模型并行
Parent: ai_keywords
模型并行（Model Parallelism）
【核心定义】
模型并行是分布式深度学习中的一种训练范式，其核心在于将一个大规模的神经网络模型（如包含数十亿参数的Transformer或3D CNN）按层、操作或子结构切分为多个分片，并将每个分片分配到不同的计算设备（GPU/TPU）上执行。各设备独立完成负责分片的前向与反向计算，并通过设备间通信（如P2P通信或All-Reduce）传递中间激活值与梯度，从而突破单卡显存容量限制，实现超大规模模型的高效训练。
【关键技术点】
- 张量并行 vs. 流水线并行
- 张量并行：在单个操作（如矩阵乘法）内部按维度切分，利用多个设备并行完成计算，适合高显存消耗的层。
- 流水线并行：将模型按层垂直分割，不同设备顺序处理不同层的数据批次，通过微批次调度与梯度累积降低气泡率。
- 计算-通信权衡：分区粒度越细，设备间通信频率越高，可能因通信延迟抵消计算加速；需动态调整切分策略以平衡计算负载与通信开销。
- 自动分区策略：基于计算图分析（如Mesh-Tensorflow、PyTorch FSDP）自动搜索最优切分方案，最小化跨设备数据传输。
- 混合并行：将模型并行与数据并行结合，在大规模集群中同时切分模型参数与数据批次，实现近乎线性的加速比。
【医学/神经科学应用场景】
在首都医科大学附属北京天坛医院神经病学研究中心，团队利用模型并行技术训练一个用于脑卒中病灶体积预测的3D Vision Transformer（ViT-3D），该模型包含超过10亿参数，旨在从T1/FLAIR高分辨率MRI中提取多尺度时空特征。由于单块NVIDIA A100 GPU（80GB显存）无法容纳完整模型，研究者采用流水线并行将ViT-3D的12个编码器层均匀分布在4块GPU上：每个GPU负责3个连续层的计算，微批次大小为8。同时引入张量并行对自注意力头进行切分（每GPU处理8个注意力头中的2个），并通过低延迟NVLink实现激活值与梯度同步。该策略将训练时间从单卡模拟的不可行状态压缩至72小时（4卡），最终模型在200例脑卒中患者数据上达到92.3%的Dice系数（优于传统U-Net的87.1%），为急性期溶栓决策提供了高精度辅助工具。此方法也正在向癫痫脑电大模型、帕金森步态图神经网络等方向扩展。
