BART

Parent: ai_keywords

BART

核心定义

BART（Bidirectional and Auto-Regressive Transformer）是一种基于Transformer架构的序列到序列（Seq2Seq）预训练语言模型。它融合了BERT的双向编码器（捕捉完整上下文）与GPT的自回归解码器（从左至右生成文本），并通过去噪自编码目标进行预训练——对输入文本施加多种噪声（如标记遮掩、文本填充、句子排列打乱），训练模型恢复原始序列，从而兼具强大的文本理解与生成能力。

关键技术点

1. 去噪自编码（Denoising Autoencoding）
   预训练阶段随机破坏输入文本（如遮掩15%的标记、删除/替换片段、打乱句子顺序），迫使模型学习从受损输入重建原始序列，提升对语言结构和语义的鲁棒性。

2. 双向编码 + 自回归解码
   编码器使用双向注意力捕获输入序列的完整上下文；解码器采用因果（自回归）注意力逐步生成输出，两者通过交叉注意力连接，实现自然语言理解与生成任务的统一框架。

3. 灵活微调范式
   预训练后可通过少量监督数据微调，直接适配下游任务：分类/情感分析仅需使用最终编码器表示；文本生成（摘要、翻译）则利用完整编码器-解码器结构。无需额外任务特定架构。

医学/神经科学应用场景

在首都医科大学神经病学临床研究中，BART被用于处理非结构化医学文本。例如，针对脑卒中患者的电子病历（包含影像报告、病程记录），BART可自动生成结构化出院小结，提取NIHSS评分、梗死部位、治疗方案等关键变量，准确率达92%以上；对于癫痫患者的长期脑电图文字描述，BART能够压缩冗长描述为精炼的发作类型与频率摘要，辅助医生快速筛选难治性病例。此外，通过迁移学习，利用少量标注的帕金森病临床笔记微调BART，可实现UPDRS评分相关症状描述的高效分类，显著降低人工注释成本。该应用验证了大规模预训练模型在神经专科文本智能处理中的实用价值。