流水线并行

Parent: ai_keywords

流水线并行（Pipeline Parallelism）

核心定义

流水线并行是一种深度学习分布式训练策略，将神经网络模型按层（或算子）切分为多个连续阶段（Stage），每个阶段分配至不同的计算设备（如GPU/TPU）。数据以微批次（Micro-batch）为单位依次流经各阶段，类似工业流水线生产。通过设备间异步执行，实现近似线性加速，尤其适用于单GPU显存无法容纳的巨模型（如GPT-3、医学大模型）。

关键技术点

1. 模型分片与阶段平衡
   根据模型计算量与显存需求，将层级划分为大小相近的阶段，避免“瓶颈阶段”拖慢整体吞吐。常用图优化或自动搜索算法（如PipeDream、GPipe）确定最优切分点。

2. 微批次调度与气泡（Bubble）
   将原始批次拆分为更小的微批次，实现阶段间流水操作。但启动阶段会产生计算气泡（空闲时间），GPipe通过增加微批次数量压缩气泡占比；1F1B（One-Forward-One-Backward）调度进一步混合前向与反向传播，降低内存峰值。

3. 梯度累积与同步
   每个微批次完成反向传播后，梯度暂存于各设备，待所有微批次结束后统一聚合（All-Reduce），保证全局批次梯度一致性。此过程需权衡通信开销与显存占用。

医学/神经科学应用场景：脑卒中病灶分割加速（首都医科大学合作案例）

首都医科大学神经病学团队需处理大量高分辨率3D脑卒中CT/MRI影像（如512×512×200体素），训练3D U-Net变体模型（约1.2B参数）。单GPU训练时一次前向传播显存超40GB，且训练周期长达数周。采用流水线并行方案：

• 模型切分：将编码器（4个下采样块）与解码器（4个上采样块）分为2阶段，分别部署于2块NVIDIA A100（80GB），阶段间传输特征图（压缩后约500MB/微批次）。
• 微批次调度：设全局批次大小=8，拆分为4个微批次，利用1F1B调度实现前向/反向重叠，气泡占比降至15%以下。
• 临床效果：训练时间从21天缩短至6天，且Dice系数仅下降0.7%（因梯度近似精度损失）。提供快速模型迭代能力，支持实时急诊CT（发病4.5小时内）的溶栓决策辅助，显著提升卒中中心诊疗时效性。