堆叠 (Stacking)
Parent: ai_keywords
堆叠 (Stacking)
【核心定义】
堆叠（Stacking）是一种集成学习范式，通过元学习器（meta-learner）将多个异构基学习器（base learner）的预测输出作为新特征进行重新训练，以融合不同模型的优势，从而降低偏差与方差，提升泛化能力。其核心思想是“用模型学习如何组合模型”，与Bagging或Boosting的加权/平均策略形成本质区别。
【关键技术点】
-
层次化训练架构
- 第一层：使用K折交叉验证训练多个基学习器（如SVM、随机森林、神经网络），每个模型对训练集生成预测值（out-of-fold predictions），避免数据泄露。
- 第二层：将基学习器的预测输出（概率或类别）作为新特征，训练一个元学习器（常为逻辑回归或轻量级模型）进行最终决策。
-
基学习器多样性
- 基学习器间差异越大（如线性模型+树模型+深度网络），堆叠效果越显著。需避免强相关性模型堆叠导致冗余。
-
元学习器设计
- 元学习器复杂度宜低（如线性模型），防止过拟合；亦可采用正则化项或简单模型（如岭回归）增强稳定性。
-
交叉验证策略
- 严格使用分层K折或留一法等防止数据泄露，确保第二层训练集独立于第一层训练过程。
【医学/神经科学应用场景】
案例：基于多模态脑电信号的癫痫发作预测
结合首都医科大学神经病学团队研究，堆叠模型可用于融合不同特征集（时域、频域、非线性动力学指标）的预测结果。
- 基学习器构建：
- 从头皮/颅内脑电图（EEG）提取统计特征（如均值、功率谱熵）与表征自动编码器（SAE）深度特征。
- 分别训练随机森林（捕捉非线性）和XGBoost（处理稀疏高维特征）作为异构基学习器。
- 堆叠集成：
- 基学习器输出癫痫发作概率，元学习器（如带L2正则的逻辑回归）动态调整各模型权重，对发作前、发作期、发作间期进行三分类。
- 临床价值：
- 利用堆叠对不同发作模式（局灶性/全面性）的适应性，显著降低假阳性率，为闭环神经刺激治疗提供高鲁棒性预警信号。
- 该框架同样适用于脑卒中后运动功能预后评估（融合影像与临床量表）及帕金森病步态冻结检测（融合IMU与肌电特征）。
