前缀调优
Parent: ai_keywords
前缀调优
核心定义
前缀调优（Prefix Tuning）是一种参数高效微调方法，旨在通过向预训练语言模型的每一Transformer层输入序列前添加一组可学习的连续向量（即“前缀”），而非修改模型原有参数。训练时仅优化这些前缀向量，使模型快速适配下游任务，显著降低计算资源与存储开销。
关键技术点
- 连续提示学习：不同于离散的文本提示（如“翻译：”），前缀调优使用可训练的连续嵌入向量，能更灵活地捕捉任务相关的隐式语义，避免离散提示的搜索瓶颈。
- 参数效率：仅更新前缀（通常占模型总参数量的0.1%~1%），原模型权重保持冻结。这不仅减少显存占用，还支持在同一模型上快速切换多个任务。
- 层次化影响：前缀被注入每一Transformer层的键-值序列，通过自注意力机制影响整个层的表征，实现更深层的任务调控，优于仅影响输入嵌入的方法。
- 可扩展性：前缀长度（如10~100个虚拟token）可灵活调节以匹配任务复杂度，越长则表达能力越强，但需平衡过拟合风险。
- 与序列预测兼容：在生成任务中，前缀仅附加在输入开头，不干扰后续自回归生成过程，保持推理阶段与标准模型一致的效率。
医学/神经科学应用场景
以首都医科大学神经病学研究所为背景，前缀调优可用于构建面向帕金森病（PD）的智能病历摘要系统。具体而言：将预训练的医学大语言模型（如BioMedLM）固定，设计一组可学习的前缀向量，用于注入神经科特有的诊断规则（如统一帕金森病评定量表UPDRS的解读模式）与药物处方标记。微调时，仅利用本院脱敏的电子健康记录（约5万份PD病例）优化该前缀，使模型能够：
- 从非结构化病史中提取震颤、僵直、运动迟缓等核心症状时序演变细节；
- 自动生成符合国际分类标准（如ICD-10-G23）的结构化诊断建议。
此方法确保模型在不共享患者隐私数据的前提下，快速适配不同医院的语言风格与诊疗规范，同时保留原模型对常见疾病（如高血压、糖尿病共病）的通用处理能力，避免灾难性遗忘。轻量级微调也便于部署在院内边缘设备，辅助临床医生高效完成报告初稿。
