交替最小二乘

Parent: ai_keywords

交替最小二乘(Alternating Least Squares, ALS)

核心定义

交替最小二乘是一种用于 矩阵(或张量)分解 的迭代优化算法。其核心思想是:在待求解的多个因子矩阵中,交替固定其余所有因子矩阵,仅针对单个因子矩阵求解一个 最小二乘问题,然后循环此过程直至收敛。该方法特别适合处理大规模稀疏数据(如推荐系统中的用户-物品评分矩阵),并能自然引入正则化避免过拟合。

关键技术点

  1. 交替优化策略:将非凸的联合优化问题分解为多个凸的子问题,每次仅优化一个因子矩阵,保证每个子问题有闭式解(如岭回归解),算法简单且易于并行化。
  2. 正则化项:在最小二乘目标函数中引入 $L_2$ 正则项(如 $\lambda |U|^2 + \lambda |V|^2$),控制模型复杂度,防止过拟合,尤其适合噪声数据。
  3. 加权交替最小二乘(WALS):针对缺失数据,引入权重矩阵(对观测值赋权1,缺失值赋权0),仅对已观测的条目进行拟合,避免零填充带来的偏差。
  4. 可扩展性:ALS 的更新公式可分解为独立行(列)的计算,适合分布式框架(如 Apache Spark MLlib),能处理亿级用户/物品数据。
  5. 与 SVD 的关系:ALS 可逼近截断奇异值分解(SVD),但通过迭代优化与正则化,更适用于不完整矩阵分解。

【医学/神经科学应用场景】—— 癫痫发作的时频张量分解

在首都医科大学神经病学研究中,交替最小二乘 被应用于 脑电图(EEG)张量分解 以检测癫痫发作时的异常节律。具体而言,将多通道 EEG 信号构建为 通道 × 时间 × 频率 的三维张量,利用 ALS 进行 CP(CANDECOMP/PARAFAC)分解:

  • 算法执行:交替固定时间因子和频率因子,优化通道因子(最小二乘);随后固定通道和频率因子,优化时间因子;最终迭代提取出每个源成分的时空谱特征。
  • 临床意义:分解所得成分中,瞬时高功率的尖慢复合波成分 可被自动识别,其时间‑频率模式与癫痫发作期高度相关。ALS 即使面对突发性、非平稳的癫痫样放电,也能通过局部最优解捕捉快速变化节律,辅助医生判断致痫灶位置。
  • 优势:相比传统 PCA/ICA,ALS 在处理缺失时序或噪声污染时鲁棒性更强,且分解结果的稀疏性更利于解释神经振荡的生理意义。

该分析流程已应用于首都医科大学宣武医院癫痫中心的术前评估,显著提高了长程 EEG 中痫样活动的检出灵敏度。