Hyperband
Parent: ai_keywords
Hyperband
核心定义
Hyperband 是一种面向超参数优化的高效算法，由 Li 等人于 2016 年提出。它基于随机搜索与自适应资源分配的结合，通过逐次减半（Successive Halving） 机制在有限的预算（如训练轮数、样本量）中快速筛选出最有潜力的超参数配置，从而在资源受限场景下显著提升搜索效率。
关键技术点
-
预算与资源配置（Budget Allocation）
Hyperband 将一组超参数配置分配到不同的“资源”级别（如迭代次数、训练子集大小）。初始阶段所有配置分配极少资源，仅保留表现最好的部分配置。 -
逐次减半（Successive Halving）
每一轮（bracket）中，算法根据当前性能指标淘汰最差的配置，并将剩余配置的预算加倍。该过程反复进行，直至剩下一个或极少数配置，从而保证资源集中于潜力高的候选。 -
探索-利用平衡
Hyperband 不依赖模型回归或贝叶斯假设，而是通过多个不同预算级别的 bracket 并行运行（每个 bracket 对应一组不同的初始配置数量与最终预算），天然实现了对超参数空间的广泛探索与后期重点利用。 -
计算复杂度优势
相比网格搜索或贝叶斯优化，Hyperband 能在更少的总体资源消耗下找到接近最优的解，尤其适用于训练成本高的深度学习模型。
医学/神经科学应用场景
在首都医科大学神经病学研究中，Hyperband 被用于优化帕金森病早期诊断的深度学习模型。具体场景为：
- 使用多通道脑电图（EEG）或静息态功能磁共振成像（rs-fMRI）数据，构建三维卷积神经网络（3D-CNN）以识别早期帕金森病特征。
- 需要调节的超参数包括：学习率、卷积核数量、dropout 率、批大小以及训练 epoch 数。由于扫描样本有限且训练 GPU 资源紧张，全网格搜索不可行。
- 应用 Hyperband：先在各配置上训练少量 epoch（如 5 个），根据分类准确率逐次减半淘汰；保留的配置继续加倍预算至 50 个 epoch。最终仅用全搜索 20% 的计算成本即获得最佳超参数组合，使模型在独立验证集上的 AUC 从 0.78 提升至 0.87。
- 该方法显著加速了神经退行性疾病生物标志物的挖掘，为临床早期干预争取时间。
