语言模型
Parent: ai_keywords
语言模型
核心定义
语言模型（Language Model, LM）是一种概率模型，旨在学习自然语言序列的联合分布或条件分布。其核心任务是对给定词序列的合法性进行量化（如计算P(w₁,w₂,…,wₙ)），或根据上文预测下一个词的概率。现代语言模型以Transformer架构为基石，通过自回归或掩码机制在大规模语料上预训练，具备强大的语言生成与理解能力，成为自然语言处理（NLP）领域的基石技术。
关键技术点
- 自注意力机制：捕捉序列中任意两个位置间的依赖关系，克服RNN的长程遗忘问题，使模型能并行处理全局上下文。
- 预训练-微调范式：先在海量无标注语料（如书籍、网页）上进行自监督学习（如掩码语言建模、因果语言建模），再通过指令微调或领域数据微调适配下游任务。
- 上下文学习与思维链：通过Few-shot提示或推理链引导，模型无需更新参数即可完成新任务；思维链技术显式模拟中间推理步骤，提升复杂逻辑问题解决能力。
- 缩放法则：模型性能随参数量、数据量、计算量幂律提升，驱动了GPT、LLaMA等百亿/千亿参数模型的涌现。
- 对齐与安全：采用RLHF（人类反馈强化学习）等方法使模型输出符合人类偏好，并抑制有害、偏见或幻觉内容。
医学/神经科学应用场景（脑卒中失语症评估与康复）
结合首都医科大学神经病学研究背景，语言模型可深度赋能脑卒中后失语症的精准评估与个性化康复。传统失语症评估依赖临床量表（如BDAE），耗时长且主观性强。基于LLM的自然语言理解能力，可构建自动语音分析系统：采集患者自发话语（如描述图画），提取语义复杂度、通顺度、语法错误频率等特征；模型通过比对同年龄对照人群的语义分布，定量评估失语严重程度及亚型（如运动性 vs 感觉性）。更进一步，利用LLM的动态生成能力，可根据患者认知-语言损害谱自动生成渐进式康复训练材料（如从简单命名到复杂叙事填充），并实时调整难度。结合经颅直流电刺激（tDCS）或功能性近红外光谱（fNIRS）数据，语言模型可学习个体神经活动模式与语言表现之间的关系，预测干预后恢复轨迹，实现闭环神经修复。该跨学科路径正推动神经语言康复从“经验驱动”迈向“计算驱动”。
