ALBERT

Parent: ai_keywords

【核心定义】

ALBERT（A Lite BERT）是谷歌于2019年提出的轻量级预训练语言模型，旨在解决BERT参数量过大、训练效率低下的问题。通过参数共享、因式分解嵌入等优化策略，ALBERT在保持下游任务性能（甚至超过BERT）的同时，参数量减少约80%，大幅降低内存占用与训练成本，成为自然语言处理（NLP）领域高效预训练模型的代表。

【关键技术点】

  1. 跨层参数共享
    所有Transformer层共享相同的权重（包括注意力与前馈网络参数），打破各层参数独立增长的局限，显著压缩模型体积，同时隐式实现层间表示的正则化，增强泛化能力。

  2. 因式分解嵌入参数化
    将词汇嵌入矩阵分解为两个低维矩阵：先通过低维向量（如128维）映射词汇，再通过线性变换升至隐藏层维度（如768维）。此举将参数量从 V×H 降为 V×E + E×H（V 词表大小，H 隐藏层维度，E 嵌入维度），尤其适用于大规模词表场景。

  3. 句子顺序预测（SOP）
    替代BERT的下一句预测（NSP）任务：给定两个句子，判断是否为正序对（前一后二）还是逆序对（前二后一）。SOP聚焦于语句间的连贯性建模，被证明对句子级任务（如问答、推理）更有效。

  4. 高效预训练
    采用更大规模的隐藏层维度（如1024）更少的层数（如12层）组合，在参数量远低于BERT-Large的情况下，多项GLUE基准任务得分持平甚至领先。

【医学/神经科学应用场景】

在首都医科大学神经病学研究所的临床研究中，ALBERT被用于构建 脑卒中后失语症智能评估系统。传统量表评估依赖人工耗时、主观性强。基于ALBERT的模型对非结构化电子病历（如神经科医师撰写的“言语流畅性、复述、命名”等描述）进行语义理解，自动提取失语症亚型关键特征（如Broca区受损时的电报式语言）。结合SOP任务对病程记录中“入院-出院”语句序列的逻辑一致性判断，模型可量化康复进程中语言功能改善程度。该方案在单中心3000例卒中患者病历上取得0.92的F1值（识别失语症类型），且模型体积仅为BERT-base的1/3，可在边缘设备（如移动查房终端）上实时部署，显著提升基层医院神经疾病早期筛查效率。