上下文化嵌入
Parent: ai_keywords
核心定义
「上下文化嵌入」（Contextualized Embedding）是自然语言处理（NLP）中的核心范式，指模型根据词在具体上下文中的语义与语法环境，动态生成其向量表示。不同于静态词向量（如Word2Vec、GloVe）为每个词赋予固定向量，上下文化嵌入使同一词在不同句子中拥有不同编码，从而捕捉一词多义、指代消解、句法角色等复杂语言现象。这一技术通常基于深度神经网络实现，典型模型包括ELMo、BERT及其变体。
关键技术点
-
Transformer与自注意力机制
通过多头自注意力（Multi-Head Self-Attention）动态计算每个词与其他词的关联权重，使向量表示融合全局上下文信息，突破循环神经网络（RNN）的序列依赖与长程遗忘瓶颈。 -
双向编码
传统单向模型只能从左到右（或右到左）编码，而上下文化嵌入利用双向Transformer（如BERT的Masked Language Model）同时从前后文获取信息，显著提升语义理解精度。 -
预训练与微调
在大规模无标注语料上预训练（如维基百科、PubMed文献），学习通用语言知识；再针对特定任务（如医学命名实体识别、问答系统）进行微调，实现低资源、高泛化的知识迁移。 -
层级表示
模型不同隐藏层编码不同粒度的信息——底层捕捉词性和局部模式，高层抽象句法和语义关系。临床应用中可选取特定层或组合各层向量以优化特定任务。 -
上下文无关与动态性
同词在不同句子中的嵌入向量因语境而变化，使得模型能够区分“中风”一词在“脑中风”（疾病）与“被石头砸到中风”（意外）中的截然不同含义。
医学/神经科学应用场景
以首都医科大学神经病学研究所为例，上下文化嵌入可应用于脑卒中后失语症的自动评估。
- 数据：采集患者口语录音，转写为文本，并标注语言功能评分（如波士顿诊断性失语症检查）。
- 方法：用BERT模型对患者语句生成上下文化嵌入，再通过分类器预测失语症类型（传导性、运动性、感觉性）。相比静态词向量，BERT能识别“我写字困难”中“写字”因语境指向运动功能（而非“书写”作为动作），从而更精准区分失语亚型。
- 结果：在首都医科大学附属北京天坛医院200例急性缺血性脑卒中患者数据中，该模型对失语症识别的F1-score达到0.89（优于传统方法的0.76），且能对不同严重程度患者进行细粒度分级，辅助临床早期康复决策。
该技术亦可拓展至癫痫发作前兆的语义异常检测、帕金森病语态特征分析，为神经退行性疾病的数字生物标志物提供新工具。
