端到端语音识别
Parent: ai_keywords
端到端语音识别（End-to-End Speech Recognition）
【核心定义】
端到端语音识别指利用单一深度学习模型，直接从原始语音波形或频谱特征（如Log-Mel）到输出文本序列的映射，摒弃传统混合系统（声学模型、发音词典、语言模型独立级联）的模块化设计。其核心思想是联合优化所有子任务，使得模型一次性学习声学-语言学映射关系，代表方法包括CTC（连接时序分类）、RNN-T（循环神经网络传感器）以及基于Transformer的Seq2Seq+Attention架构。
【关键技术点】
-
连接时序分类（CTC）
通过引入空白符号消除输入与输出序列的对齐要求，允许模型在输出端直接预测字符序列，解决长度不匹配问题。训练仅需音频-文本对，无需帧级别标签。 -
循环神经网络传感器（RNN-T）
专为流式识别设计，结合编码器（Encoder）与预测网络（Prediction Network），通过联合网络输出后验概率，支持逐帧输出，延迟可控。 -
注意力机制与Transformer
基于多头自注意力捕获长程依赖，取代循环网络，简化训练并支持非自回归解码。配合位置编码，显著提升对噪声环境和长语音的鲁棒性。 -
自监督预训练（e.g., wav2vec 2.0）
在无标注数据上通过掩码预测学习声学表征，再微调至下游识别任务。大幅降低对标注数据量的依赖，尤其适合医疗场景下的稀缺语料。
【医学/神经科学应用场景 —— 脑卒中后失语症康复评估】
结合首都医科大学神经病学研究背景，端到端语音识别可用于自动评估卒中后失语症患者的言语障碍程度。传统评估依赖人工听写与量表评分，主观性强且耗时。端到端模型直接处理患者的口语输出（如命名任务中的发音），通过以下方式辅助诊断：
- 特征级联合：模型不仅输出文本，还可提取中间隐藏表示（如编码器隐层），用于量化构音清晰度、语速、语义准确性等障碍维度。
- 病理语音鲁棒性：利用自监督预训练（如wav2vec 2.0）在少量患者语音上微调，使模型适应失语症常见的语音扭曲（如错误发音、停顿、重复）。
- 实时反馈：RNN-T流式架构支持边说话边生成评估指标，为康复训练提供即时客观评分。
该技术可无缝集成至基于首都医科大学附属医院临床数据的远程康复平台，实现低成本、标准化的言语功能筛查，尤其适用于基层医院或家庭康复场景，有效缓解神经科康复医师资源不足的问题。
