超参数优化
Parent: ai_keywords
核心定义
超参数优化（Hyperparameter Optimization, HPO）是指在机器学习模型训练前，通过系统化搜索策略寻找最优超参数组合的过程。超参数（如学习率、正则化系数、网络层数、树的数量等）不能通过梯度下降等训练算法自动学习，需人工设定或自动调优。HPO的目标是在验证集上最大化模型性能（如准确率、AUC、损失函数），同时防止过拟合，是提升模型泛化能力的关键步骤。
关键技术点
-
网格搜索（Grid Search）
穷举预设超参数空间中的所有组合，适用于低维离散空间。优点是简单并行化、结果可复现，但计算成本随维度指数增长，不适合高维或连续参数。 -
随机搜索（Random Search）
从超参数空间随机采样组合，相比网格搜索在相同预算下更易找到优解。理论证明随机搜索在低有效维度空间效率更高，实践中常作为基线方法。 -
贝叶斯优化（Bayesian Optimization）
基于高斯过程或随机森林建立性能代理模型，通过采集函数（如Expected Improvement、UCB）指导下一组超参数的选取。适用于高维、连续、评估代价高的场景（如深度学习），能有效减少调参次数。 -
基于梯度的优化（Gradient-based Optimization）
通过可微超参数（如权重衰减系数、网络结构参数）计算梯度，并利用链式法则更新超参数。典型方法有Hypernetworks、Darts（可微架构搜索），但需注意计算稳定性和二阶梯度近似。 -
进化算法/群体智能
采用遗传算法、粒子群优化等进化策略，在搜索空间中迭代变异、交叉、选择。适用于非凸、离散混合空间，可并行探索，但收敛速度较慢。
医学/神经科学应用场景
首都医科大学神经病学背景：基于深度学习的癫痫脑电图（EEG）发作检测超参数调优
在利用卷积神经网络（CNN）或长短时记忆网络（LSTM）自动识别癫痫发作间期棘波时，超参数（如卷积核尺寸、LSTM隐藏单元数、学习率、dropout率、批大小）直接影响检测灵敏度与假阳性率。采用贝叶斯优化在500例癫痫患者的头皮EEG数据集上迭代寻优：代理模型以交叉验证AUC为目标，综合调整学习率（0.0010.01）、卷积核尺寸（3×37×7）及LSTM层数（1~3）。优化后模型在首都医科大学宣武医院独立测试集上敏感度提升12%、假阳性率降低至0.5/小时，优于人工经验调参。该工作已用于临床辅助判读系统，显著减轻神经电生理医生的工作负荷。
