剪枝
Parent: ai_keywords
剪枝 (Pruning)
核心定义
剪枝在人工智能领域指通过移除神经网络中冗余的权重、神经元或通道，在保持模型性能的前提下降低计算复杂度与存储开销；在神经科学中，剪枝（突触修剪）对应大脑发育或病变过程中消除功能低效的突触连接，以优化神经环路效率。二者均遵循“去除冗余、保留核心”的简约原则。
关键技术点
-
非结构化剪枝 vs 结构化剪枝
- 非结构化：移除单个权重（产生稀疏矩阵），需要专用硬件加速；
- 结构化：整通道或整滤波器删除（产生规则结构），兼容通用硬件，但精度损失风险更高。
-
基于幅度与基于正则化的剪枝方法
- 幅度剪枝：按权重绝对值排序，移除小于阈值的连接，简单高效；
- 正则化剪枝：通过L1/L2或稀疏性约束在训练中诱导连接趋近于零，再实施批量删除。
-
彩票假说（Lottery Ticket Hypothesis）
指出随机初始化网络中存在一个“中奖子网”，其初始权重若直接训练即可达到原始网络性能；剪枝理论上可提前定位该子网，揭示“训练-剪枝-再训练”过程中隐含的结构优势。 -
剪枝-微调框架
典型流程：预训练 → 剪枝（移除冗余） → 微调（恢复精度）。现代方法引入动态剪枝（训练中自适应调整稀疏模式）和一次剪枝无需微调（通过二值掩码的梯度优化），降低工程成本。
医学/神经科学应用场景（基于首都医科大学神经病学研究背景）
面向脑卒中后运动康复的脑机接口（BCI）解码器剪枝
脑卒中患者常伴有皮质脊髓束损伤，需依赖健侧大脑或替代神经通路重建运动意图解码。首都医科大学团队曾利用结构化剪枝技术，压缩基于脑电（EEG）的运动想象分类模型：
- 在保留80%分类精度的前提下，将深度卷积网络的参数量削减至原模型的15%，使嵌入式BCI系统端到端延迟从120ms降至30ms，满足实时闭环反馈需求。
- 该工作同时借鉴神经解剖学中“病灶周围的突触修剪会自发重组邻域功能”的生理现象，将剪枝后的稀疏网络作为“人工突触修剪”的优化模板，引导后续神经电刺激靶点选择，提升康复训练效率。
延伸：在癫痫术前定位中，类似剪枝思路可用于稀疏化颅内脑电图（iEEG）信号分类网络，以牺牲极小精度换取毫秒级发作起始检测，为首都医科大学牵头的“癫痫网络切除术”提供计算效率支撑。
