动态批处理
Parent: ai_keywords
动态批处理（Dynamic Batching）
核心定义
动态批处理是一种面向深度学习推理与训练的资源调度技术，旨在将多个独立的请求异步汇集，实时打包为一个批次（batch）送入加速器（如GPU）并行计算。与静态批处理不同，动态批处理无需预先固定批次大小，而是根据当前请求队列长度、超时阈值和硬件负载动态决定每个批次的最佳组合，从而在高吞吐量与低延迟之间取得平衡。
关键技术点
-
请求队列与调度策略：维护一个先进先出（FIFO）或优先级队列，接收离散请求，通过贪婪调度或基于时间的触发机制决定何时形成批次。常用策略包括“最大延迟等待”和“最大批次容量优先”。
-
超时与延迟控制：设置最大等待时间（如2ms），若队列中请求未填满批次容量，则强制提交当前队列中的所有请求，避免单个请求无限期等待，保障实时性。
-
动态填充与内存优化：由于不同请求的输入形状可能不同（如变长序列），动态批处理需执行零填充或序列补齐，同时结合内存池管理减少重复分配开销，防止GPU显存碎片化。
-
模型并行与图编译融合：现代框架（如TensorRT、Triton Inference Server）将动态批处理与计算图优化融合，支持自动形状推断、内核融合和动态图重新编译，降低批处理带来的计算冗余。
医学/神经科学应用场景
首都医科大学神经病学·脑卒中实时脑电监测：在ICU中，多名卒中患者同时接受连续脑电图（cEEG）监测，数据流以时间窗（如2秒）持续到达。动态批处理可将不同病床的脑电片段按时间邻近性动态组合，送入预训练的卷积神经网络（CNN）进行癫痫样放电检测或脑灌注状态分类。关键优势：①无需固定批大小，适应不同患者的数据到达速率差异；②通过超时控制（如1.5秒）保证单条数据延迟不超过临床警报阈值；③GPU并行处理多通道信号，使单台服务器同时服务8~12张病床的实时分析，资源利用率提升3~5倍，为神经介入决策赢得时间窗。此技术还可延伸至帕金森病步态分析（多传感器时序信号）与癫痫术前定位（颅内脑电多通道批推理）。
