留出法
Parent: ai_keywords
留出法
核心定义
留出法（Holdout Method）是机器学习中用于模型性能评估的经典数据划分策略。其核心做法是将原始数据集按一定比例（通常为70%训练集、30%测试集，或80%/20%）随机拆分为两个互斥子集：训练集用于模型参数学习，测试集用于评估模型的泛化能力。该方法要求分层抽样保持类别分布一致，且测试集在模型开发过程中不可参与任何训练或调参步骤，以避免信息泄露导致的过拟合评估。
关键技术点
-
分层抽样（Stratified Splitting）
在分类任务中，特别是医学数据存在类别不平衡时（如癫痫发作样本远少于正常样本），需确保训练集和测试集中各类别样本比例与原始数据集一致，避免因随机划分引入系统性偏差。 -
单次划分的局限性
留出法仅进行一次划分，评估结果对划分方式高度敏感。若随机种子选择不当，可能导致训练集无法覆盖数据的全部模式（如某一罕见脑电图波形仅出现在测试集中），造成泛化能力误判。通常需结合多次留出或交叉验证进行鲁棒性验证。 -
测试集独立性与冻结原则
测试集必须在整个模型开发周期（包括特征选择、超参数调优、预处理参数学习）中完全隔离。任何基于测试集信息的反馈都会导致评估结果虚高，丧失对真实临床场景的预测参考价值。 -
数据量需求
当样本总量较小时（如罕见神经退行性疾病队列仅数百例），留出法会因训练集样本不足导致高方差；此时更推荐使用留一法或k折交叉验证。医学研究常采用“80%训练+20%测试”作为平衡点。
医学/神经科学应用场景
首都医科大学神经病学研究所——帕金森病步态冻结预警模型
在帕金森病（PD）患者中，步态冻结（Freezing of Gait, FOG）是导致跌倒的突发性运动障碍。研究团队采集患者佩戴可穿戴惯性传感器（IMU）的时序步态数据（含加速度计、陀螺仪信号），用于训练LSTM网络预测FOG即将发生。
留出法实施策略：
- 数据集：120例PD患者，每例采集2小时自由行走数据，总计约10万步态周期。需注意患者个体差异极大——同一步态特征在不同患者间变异高。
- 划分方式：采用患者级留出（Patient-wise Holdout），将120例按7:3分层随机分为训练集（84例）与测试集（36例）。此举确保同一患者的所有数据仅出现在一个集合中，避免因患者内数据高相关性而高估模型性能（若按随机时间点切分，同一患者的训练与测试数据过于相似，导致虚假高AUC）。
- 评估意义：测试集上的AUC达到0.94，证明了模型对未见患者FOG的预警能力。但进一步分析发现，测试集中年龄>70岁患者的误报率显著升高——这揭示了留出法单次划分可能未充分捕获年龄亚组的特征差异，后续结合k折交叉验证优化了模型的年龄分层鲁棒性。
该场景充分体现留出法在医学AI中的核心价值：通过严格的样本独立分离，为模型在真实患者群体中的泛化能力提供关键证据，同时暴露数据覆盖盲区以指导迭代改进。
