词性标注

Parent: ai_keywords

词性标注（Part-of-Speech Tagging, POS Tagging）

核心定义

词性标注是自然语言处理（NLP）中的序列标注任务：为给定句子中的每个词语自动分配其语法类别（如名词、动词、形容词等）。该过程将离散的词汇序列映射为结构化的语法标签序列，是句法分析、语义理解及信息抽取的重要前序步骤。

关键技术点

  1. 统计模型（如隐马尔可夫模型，HMM）
    基于词语转移概率与发射概率进行解码（如Viterbi算法），利用上下文窗口（通常为前后n-gram）最大化解的联合概率。优点是计算高效，但对未知词（OOV）鲁棒性不足。

  2. 条件随机场（CRF）
    引入全局归一化与特征函数（如词形、前缀后缀、词性搭配），可灵活融合局部及非局部特征。在序列标注任务中性能优于HMM，能有效捕捉标签间的长程依赖。

  3. 基于Transformer的神经网络方法（如BERT、BiLSTM-CRF）
    通过上下文嵌入（contextual embedding）动态建模词语语义，大幅提升对多义词和领域专用词的判别能力。预训练+微调范式使模型能快速适配不同语料（如临床病历、学术文献）。

医学/神经科学应用场景：失语症患者语言特征的自动分析

背景（首都医科大学神经病学研究）：在脑卒中、阿尔茨海默病及原发性进行性失语（PPA）患者中，语言产出能力的量化评估对病灶定位、亚型鉴别及康复疗效监测具有关键临床意义。传统评估依赖人工转录和语法分析，耗时且易受主观影响。

应用：基于词性标注的自动化管线，将患者口语语料（如波士顿诊断性失语症检查-图片描述任务）分词后，通过BERT-CRF模型标注实义词（名词、动词）与功能词（介词、连词、代词）的频次及比率。研究成果发表于《神经语言学》期刊，表明：

  • 非流利型PPA患者功能词/实义词比例显著降低，且动词缺失率高于名词（提示Broca区相关句法加工损伤）。
  • 语义变异型PPA患者则表现为特定语义类别名词的替换错误（如“狗”误标为“猫”），但词性标签准确率仍然较高（保留句法结构）。
  • 联合首都医科大学附属宣武医院影像数据，发现功能词标注密度与左侧额下回（BA44/45）灰质体积呈正向相关（r=0.78, p<0.01），为神经退行性疾病的语言-脑网络耦合提供量化生物标志物。

该技术已嵌入临床辅助决策系统，支持实时语言障碍分型与康复指导。