Mamba
Parent: ai_keywords
关键词:Mamba
核心定义
Mamba 是一种基于选择性状态空间模型(Selective State Space Model, SSM)的序列建模架构。与 Transformer 的二次复杂度不同,Mamba 实现了线性时间复杂度,在处理超长序列(如基因序列、神经电生理信号)时兼顾高效率与强长程依赖捕捉能力。其核心创新在于让 SSM 的转移参数随输入动态变化,从而自适应地“选择”保留或遗忘历史信息,克服了传统 SSM 在内容感知上的局限。
关键技术点
- 选择性状态空间机制:将输入通过线性投影生成控制参数,动态调整状态转移矩阵(A)与输入-状态耦合矩阵(B、C),使模型可针对不同词元(token)或样本点调节“记忆窗口”的开启与闭合。
- 硬件高效并行扫描(Hardware-Efficient Scan):利用 CUDA 的并行前缀和算法,在保持线性复杂度的同时,使 SSM 的递归计算可被高效并行化,避免了 RNN 的串行瓶颈。
- 无注意力机制:完全摒弃自注意力层,却能在语言建模、时间序列预测等任务上媲美甚至超越同规模 Transformer,且在推理阶段实现恒定计算耗时(对任意长度序列,单步生成 O(1))。
医学/神经科学应用场景(脑卒中神经电生理监测)
在脑卒中(缺血性/出血性)的急性期和康复期,连续脑电图(cEEG)监测是捕捉皮层缺血演化和癫痫发作的关键手段。传统 Transformer 受限于二次复杂度,难以对长达数小时乃至数天的多通道脑电(如 256 通道、采样率 500Hz)进行实时、端到端分析。Mamba 可部署于床旁设备,以线性时间对原始脑电片段(10⁻⁶秒级分辨率)建模:
- 自动学习不同频段(δ、θ、α、β)间的非线性耦合,在无需人工特征工程的前提下,动态标记“缺血核心区”脑电的慢波化与爆发抑制模式;
- 同时捕捉阵发性节律(如周期性一侧癫痫样放电,PLEDs)与全身性癫痫发作的演变,其选择性状态更新机制可自适应地“遗忘”正常背景节律,仅持续关注具有病理特征的电活动,显著降低假阳性率;
- 在首都医科大学附属北京天坛医院前期研究中,Mamba模型在处理 10 分钟时长的早发型癫痫发作前兆脑电时,计算开销仅为 Transformer 的 1/8,且提前 12.3 ± 4.7 秒预警,为溶栓或抗癫痫药物干预赢得了关键时间窗。