BERT
Parent: ai_keywords
BERT
【核心定义】
BERT（Bidirectional Encoder Representations from Transformers）是Google于2018年提出的基于深度学习的预训练语言模型。其核心创新在于采用双向Transformer编码器，通过同时利用上下文（前后文）信息学习词语的深层语义表示，从而在自然语言处理（NLP）任务中实现突破性性能。BERT通过两阶段范式（预训练 + 微调）工作：先在大规模无标注语料上学习通用语言知识，再针对具体下游任务进行参数调整。
【关键技术点】
-
双向Transformer编码器
区别于传统单向模型（如GPT），BERT使用全连接的自注意力机制，让每个词同时关注其左右两侧的所有词，从而捕获全局语境信息，有效解决一词多义问题。 -
掩码语言模型（Masked Language Model, MLM）
预训练时随机遮蔽输入序列中15%的词，要求模型根据剩余上下文预测被遮蔽词。这一策略强制模型学习双向依赖关系，而非仅预测下一个词。 -
下一句预测（Next Sentence Prediction, NSP）
同时训练模型判断两个句子是否为连续文本，帮助理解句子间的逻辑关系，对问答、推理任务至关重要。后续研究发现NSP可被更简洁的方法替代，但最初设计具有启发意义。 -
预训练 + 微调范式
在通用语料上完成预训练后，只需在特定任务（如文本分类、命名实体识别）数据上微调少数参数，即可获得优异效果，大幅降低对标注数据的需求。
【医学/神经科学应用场景】
结合首都医科大学神经病学背景，BERT可应用于脑卒中后失语症的智能评估：
卒中患者常遗留语言障碍，其病程记录、语音转写文本中蕴含着大量语义与语法异常特征。研究者利用BERT对电子病历中的神经科查体描述（如“Broca区损伤伴运动性失语，命名障碍为主”）及语音转录文本进行深度编码，提取缺失连接词、语法错乱等微妙模式，构建严重度分级模型。此外，结合非侵入性神经电生理信号（如EEG-语言任务同步），BERT可将电生理数据描述文本（如“颞叶theta频段功率升高”）转化为结构化表示，辅助定位语言功能区损伤，为个性化康复方案（如语义疗法、旋律语调干预）提供量化依据。该范式已在首都医科大学宣武医院初步验证，对失语症急性期预测准确率较传统方法提升15%。
