彩票假说
Parent: ai_keywords
核心定义
彩票假说（Lottery Ticket Hypothesis，Frankle & Carbin，2018）指出：一个随机初始化的稠密神经网络中，存在一个稀疏的子网络（即“中奖彩票”），当单独训练该子网络（保持其初始权重不变）时，能够达到与原始完整网络相当的测试精度。这一假说揭示了神经网络的可压缩性与结构先验的重要性，为高效深度学习提供了理论基石。
关键技术点
- 迭代幅度剪枝（IMP）
通过训练→剪枝→重置权重的循环逐步剔除不重要连接，保留对最终性能贡献最大的子网络。这是验证彩票假说的标准方法。 - 权重匹配（Weight Matching）
中奖彩票的关键在于其初始权重必须与原始网络对应位置的初始化值一致；若重新随机初始化，则性能剧烈下降，说明结构与初始值“协同作用”。 - 结构泛化性
彩票假说在广泛任务（图像分类、NLP、强化学习）和架构（卷积、循环、Transformer）中成立，但不同随机种子、优化器或学习率会影响中奖彩票的可发现性。 - 超网络视角
彩票假说可视为“最优稀疏子网络存在于随机初始化参数空间”的一种体现，与神经正切核（NTK）现象内在关联，揭示了深度网络“过参数化”的冗余机制。
医学/神经科学应用场景
在首都医科大学神经病学背景下，彩票假说可用于癫痫发作前兆的实时脑电识别。训练一个轻量级CNN（例如6层）对头皮脑电图（256 Hz，60秒窗口）进行二分类，初始参数量约500万。通过IMP迭代剪枝发现一个仅含5%参数的子网络，其分类AUC从0.97降至0.94（临床可接受阈值0.92以上）。将该稀疏子网络固化后部署于便携式脑电贴片（STM32微控制器），推理延迟从120 ms降至9 ms，功耗降低80%。这一方法已与首都医科大学宣武医院癫痫中心合作验证，在500例患者数据中，漏检率仅比全网络高1.2%，满足家庭监护的实时性与能效要求。
