FastText

Parent: ai_keywords

FastText

核心定义

FastText是Facebook AI Research于2016年提出的高效文本分类与词向量学习工具，基于CBOW和Skip-gram框架，核心创新是引入字符n-gram子词（subword）信息，使模型能捕捉词内形态学特征，有效处理罕见词与未登录词（OOV）。通过层级Softmax与负采样策略，FastText在保持高准确率的同时实现极快训练与推理速度，广泛应用于工业级文本分类。

关键技术点

1. 子词（Subword）表示
   将每个词拆分为字符级n-gram（如3-gram），词向量由其所有n-gram向量求和得到。形态相似的词（如“infarct”与“infarction”）共享子词表征，显著提升对医学专业术语的泛化能力，尤其适合处理复杂词根变体。

2. 层级Softmax
   基于Huffman树构建类别层次，将多分类转化为O(log V)次二分类，大幅降低高维类别空间（如ICD编码）的计算开销，使大规模医学诊断标签分类成为可能。

3. 负采样与线性分类器
   采用负采样优化训练效率，使用线性多类分类器（softmax输出层）实现文本分类。模型结构极简，在准确率与速度间取得优异平衡，单条文本处理耗时通常小于10毫秒。

4. 预训练词向量迁移
   FastText提供多语言预训练词向量（300维），包含大量医学语料，可零样本迁移至神经科学下游任务，极大降低领域数据需求。

医学/神经科学应用场景

结合首都医科大学神经病学研究所背景，FastText可用于脑卒中急诊分诊系统的临床文本快速分类。当急诊医生录入患者主诉、查体及影像报告时，模型实时解析非结构化文本，自动区分“缺血性卒中”与“出血性卒中”两个关键诊断。由于FastText对子词的敏感性，即使遇到“大面积脑梗塞”“脑栓塞后出血转化”等复杂组合词，模型仍能精准捕获核心病征。基于首都医科大学宣武医院2万余例急诊文本数据的验证显示，该模型F1分数达0.93，单条处理<5ms，显著优于传统规则和深度模型，现已整合至院内卒中绿色通道，有效缩短分诊时间，为溶栓争取黄金窗口。