T5

Parent: ai_keywords

T5：文本到文本迁移 Transformer（人工智能与临床神经科学视角）

【核心定义】

T5（Text-to-Text Transfer Transformer）是 Google 于 2019 年提出的统一自然语言处理（NLP）框架。其核心理念是将所有 NLP 任务（分类、摘要、翻译、问答等）统一建模为“文本到文本”的序列转换问题——输入和输出均为文本字符串。该模型基于 Transformer 架构，通过在超大规模语料（C4，Common Crawl 清理版本）上预训练，再针对具体任务进行微调，具备极强的迁移学习能力。

【关键技术点】

• 统一文本格式：所有任务（如情感分析、命名实体识别）均表述为“输入：<任务前缀> + 原始文本 → 输出：目标文本”。例如，翻译任务前缀为“translate English to German:”。
• 大规模预训练：使用去噪自编码目标（类似 BERT 的掩码语言模型但输出完整文本），在 750 GB 的 C4 数据集上预训练，模型参数量从 60M 到 11B 不等。
• 编码器-解码器架构：与 BERT（仅编码器）或 GPT（仅解码器）不同，T5 采用完整的编码器-解码器结构，更适合序列生成任务。
• 迁移学习与微调：预训练后，通过轻量微调即可适配下游任务，极大降低对标注数据的需求，适合医学领域标注稀缺的场景。

【医学/神经科学应用场景：脑卒中智能病历生成】

在首都医科大学神经病学研究中，T5 可应用于脑卒中患者的结构化出院小结自动生成。输入为自由文本的入院记录、实验室检查、影像报告（如 DWI 序列提示新发梗死灶）及诊疗过程，模型端到端输出格式化的摘要：包含“发病时间、定位、病因分型（TOAST）、NIHSS 评分、出院处方及随访建议”。例如，输入：“患者男，65岁，突发左侧肢体无力2小时，NIHSS 12分，MRI示右侧大脑中动脉区急性梗死…” → T5 生成：“缺血性脑卒中（大动脉粥样硬化型），急性期后启动双抗及他汀治疗，转康复科。”此流程可显著减轻临床医生文书负担，并确保关键信息无遗漏，尤其适用于急诊-病房高效衔接及多中心队列研究的数据标准化。

延伸价值：在癫痫领域，T5 可对脑电图文字报告进行意图理解，生成发作类型分类建议；在帕金森病，则可分析语音转录文本（如元音持续发音词汇）辅助运动障碍程度量化。