渐进式神经网络
Parent: ai_keywords
渐进式神经网络（Progressive Neural Networks）
核心定义
渐进式神经网络是一种面向持续学习（Continual Learning）的深度学习架构，由DeepMind于2016年提出。其核心机制是：当模型需依次学习多个任务时，不为旧任务调整参数，而是为每个新任务构建一个新的“列”（column）——即一组独立的网络层——并通过横向连接（adapter）从先前任务列中提取有用特征，从而有效避免灾难性遗忘（catastrophic forgetting），同时实现知识迁移。
关键技术点
- 任务专属列：每个新任务对应一个完整的列，参数完全独立，旧任务列在训练新任务时冻结，确保过往知识不被覆盖。
- 横向连接：新任务列通过可学习的线性或非线性映射，将先前任务列的隐层输出作为额外输入，实现跨任务特征复用。连接数量随任务增多线性增长，但计算开销可控。
- 无遗忘学习：由于旧列参数不变，旧任务性能完全保留，无需回放或正则化策略，尤其适合任务顺序已知、无数据存储限制的场景。
- 逐步扩展：模型规模与任务数成正比，在任务有限时可行；对于海量任务，需结合剪枝或动态路由以控制参数量。
- 多任务特征融合：横向连接使新任务能自动选择性地借用旧任务的低级和中级特征，例如共享视觉边缘检测或时序模式提取能力。
医学/神经科学应用场景
以首都医科大学神经病学团队主导的脑卒中后运动功能多阶段康复预测为例：
- 问题：患者脑损伤后，其运动功能恢复通常经历急性期（0–7天）、恢复期（1–3个月）和慢性期（>6个月），每个阶段的多模态数据（如fMRI脑网络连接、弥散张量成像纤维束完整性、临床Fugl-Meyer评分）呈现不同分布。
- 渐进式实现：
- 列1：训练急性期模型（区分病理与代偿性激活模式），冻结。
- 列2：新引入恢复期数据，通过横向连接接入列1的脑网络特征，学习时间维度上的功能重组规律，不遗忘早期关键病灶信息。
- 列3：处理慢性期数据，横向连接同时接入前两列，捕捉长期突触可塑性及代偿机制。
- 临床价值：模型可在累积阶段数据中持续提升预测精度（如预测6个月后肢体恢复等级），且参数冻结设计避免了反复训练造成早期标记数据的知识丢失，尤其适合真实临床中数据分段获取、伦理限制严格的场景。
