提升法 (Boosting)
Parent: ai_keywords
提升法 (Boosting)
【核心定义】
提升法是一种序列化集成学习算法，通过迭代训练多个弱学习器（如浅层决策树），并自适应调整样本权重，使后续模型聚焦于前序模型的错误分类样本，最终通过加权投票或加权求和组合所有弱学习器，获得一个强学习器。其核心思想是“三个臭皮匠，顶个诸葛亮”——将多个表现一般的模型协同优化，达成远超单一模型的泛化性能。
【关键技术点】
- 自适应权重调整：每一轮训练后，增加被前序模型误分类样本的权重，降低正确分类样本的权重，迫使新模型重点关注“困难样本”。
- 弱学习器加权组合：每个弱学习器根据其在训练集上的错误率计算权重，错误率越低权重越高，最终预测结果为所有弱学习器的加权投票（分类）或加权求和（回归）。
- 代表性算法：AdaBoost（经典）、Gradient Boosting（梯度提升）、XGBoost（高效工程实现）、LightGBM（分布式优化）。
- 偏差-方差特性：主要降低偏差（提高模型容量），但容易过拟合；通过学习率、子采样、正则化约束方差。
- 损失函数优化：Gradient Boosting 利用负梯度拟合残差，可自定义任意可微损失函数，灵活适应不同任务。
【医学/神经科学应用场景】
癫痫发作智能预测：首都医科大学宣武医院神经内科团队曾基于头皮脑电图（EEG），利用 XGBoost 构建发作预测模型。研究提取 EEG 的多维时频特征（δ、θ、α、β频段能量、相干性、相位锁定值等），经 ReliefF 特征筛选后输入提升模型。XGBoost 通过梯度提升树自动处理特征交互与非线关系，在患者发作间期与发作前期分类任务中达到 92.5% 灵敏度、0.08/h 的假阳性率。该方法克服了单一模型对高维神经电生理数据过拟合的缺陷，且具备特征重要性可视化能力，成功识别出颞叶癫痫患者发作前数分钟出现的特定频带谱功率变化，为闭环神经调控（如迷走神经刺激）提供决策依据。该研究发表于《Epilepsia》（2020），展示了提升法在神经电生理信号分析中的鲁棒性与临床转化潜力。
