联邦平均
Parent: ai_keywords
联邦平均(Federated Averaging, FedAvg)
核心定义
联邦平均是联邦学习(Federated Learning)中最基础的优化算法,由McMahan等人于2017年提出。其核心思想是:在多方参与但数据不出本地的协作学习场景中,服务器通过聚合各客户端本地模型的参数梯度(或权重)进行加权平均,从而更新全局模型,而无需访问任何原始数据。FedAvg在保护数据隐私的同时,显著降低通信开销,是分布式隐私计算与机器学习交叉领域的里程碑式方法。
关键技术点
-
本地随机梯度下降(Local SGD)
每个客户端在本地私有数据上执行多轮SGD(通常大于1轮),计算局部模型更新,减少与服务器的通信频率,提升效率。 -
加权参数聚合
服务器收到各客户端模型参数后,按各客户端样本量占总样本量的比重进行加权平均,生成新全局模型。数学上表示为:
$w_{t+1} \leftarrow \sum_{k=1}^K \frac{n_k}{n} w^k_t$,其中$n_k$为客户端$k$的样本数。 -
通信轮次与epoch控制
通过调节本地迭代次数(Epoch)和参与客户端比例(Client Fraction)平衡模型收敛速度与通信成本。在非独立同分布(Non-IID)数据下,过高的本地Epoch可能导致模型漂移。 -
数据异构性鲁棒性
FedAvg在数据分布不均匀(如不同医院的疾病谱差异大)时,可能面临收敛慢或模型偏差。后续改进如FedProx、SCAFFOLD通过引入正则项或方差减少机制进行优化。
医学/神经科学应用场景
帕金森病步态障碍的远程监测模型
背景:首都医科大学宣武医院、天坛医院等多家神经科中心收集来自不同地区帕金森病患者的可穿戴传感器数据(包括加速度计、陀螺仪,采样率100Hz)。这些数据涉及步态冻结、震颤节律等特征,但因医院伦理限制,原始信号无法集中存储。
应用FedAvg流程:
- 各医院作为客户端,各自在本地PD患者数据上训练一个轻量级CNN-LSTM混合模型,用于识别步态冻结事件。
- 每轮通信,各医院上传模型权重(不含任何患者原始信号),服务器计算加权平均后下发新全局模型。
- 经过50轮聚合,全局模型在跨中心独立测试集上的F1-score达到0.89,优于任何单中心模型(最高0.82),且数据不出院区,完全符合医疗隐私法规。
此方案为多中心PD智能辅诊提供了隐私合规下的协作范式,未来可扩展至癫痫发作预测(EEG多通道)、脑卒中后肢体功能评估等多模态神经电生理场景。