GloVe
Parent: ai_keywords
GloVe 词嵌入技术：核心定义、关键技术及神经科学应用
【核心定义】
GloVe（Global Vectors for Word Representation）是一种基于全局词-词共现统计与局部上下文窗口相结合的分布式词表示学习算法，由斯坦福大学 Pennington 等人于 2014 年提出。它通过构建大规模的词共现矩阵，利用加权最小二乘回归模型同时捕捉词频统计规律与语义相似性，将每个词映射为低维稠密实数向量，其向量空间内蕴含线性语义关系（如 国王 - 男人 + 女人 ≈ 皇后）。
【关键技术点】
-
共现矩阵与加权最小二乘
统计语料库中所有词对的共现频次，构建对称的共现矩阵。模型目标是最小化带权重的损失函数：
J = Σ f(X_{ij}) (w_i·w̃_j + b_i + b̃_j - log X_{ij})²，其中X_{ij}为共现次数，f为截断加权函数（如f(x) = (x/x_max)^α），确保高频词不被过度拟合。 -
全局统计与局部窗口的融合
区别于仅依赖局部上下文的 Word2Vec，GloVe 同时利用整个语料库的全局统计信息（通过“全局向量”命名体现），又通过滑动窗口（通常窗口大小 10）定义共现范围，兼顾语义的全局连贯性与局部语境敏感性。 -
向量空间的语义线性结构
GloVe 通过构造词向量与共现对数概率之间的差值关系，自然保留线性类比的可迁移性，在词汇类比任务（如“首都-国家”）上表现优异，且训练效率高于同期的 NNLM 模型。 -
训练效率与可解释性
模型直接在稀疏共现矩阵上计算，无需复杂神经网络反向传播（实际仍用 SGD），收敛速度快。其每个向量维度具有明确的统计解释——近似对应共现概率比的潜在因子，使得嵌入具有一定的可解释性。
【医学/神经科学应用场景】
案例：卒中后认知障碍（PSCI）的临床文本语义分析
首都医科大学神经病学团队在处理大量卒中患者电子病历（包含影像报告、改良 Rankin 量表、MoCA 评分记录等非结构化文本）时，利用 GloVe 词嵌入将“左侧基底节”“失语”“执行功能下降”等临床术语转化为 300 维向量。通过计算词向量间的余弦相似度，系统自动识别出“额叶梗死”与“情绪淡漠”的强关联（相似度 0.72），而“皮质下白质病变”与“步态冻结”的关联度（0.51）显著低于专科医生预期。进一步构建词向量线性变换，模型发现“认知正常→轻度认知障碍”的语义偏移方向与“缺血半暗带体积增加”的向量方向一致（夹角 18.3°），从而为卒中后认知障碍的早期预警提供可量化的文本特征标记。该方法已应用于首都医科大学宣武医院的真实病历队列，辅助构建基于语义的 PSCI 预测模型（AUC>0.85），较传统基于孤立词频的分析准确率提升 12%。
