语音分离
Parent: ai_keywords
核心定义
语音分离（Speech Separation）是指从包含多个说话人、背景噪声等干扰的混合音频信号中，精准提取出目标说话人的纯净语音信号的技术。它解决的是经典“鸡尾酒会问题”——人类听觉系统能自然实现的注意力筛选，而对机器而言是极富挑战的盲源分离任务。
关键技术点
-
时频掩蔽（Masking）
基于短时傅里叶变换（STFT），在时频域为每个音源生成二进制或软掩蔽矩阵（如IBM、IRM），通过逐点相乘分离目标信号。深度聚类（Deep Clustering）进一步将时频点映射到嵌入空间后聚类。 -
端到端时域分离
绕过频域变换中的相位问题，直接在波形上操作。典型架构如Conv-TasNet采用时间卷积网络（TCN）生成独立掩蔽，计算效率高、延迟低；SepFormer引入Transformer自注意力机制捕获长程依赖。 -
说话人自适应与声纹先验
利用预训练的说话人嵌入（如x-vector、d-vector）作为条件输入，指导分离模型仅提取指定身份的声音。这对多轮对话场景至关重要，可避免说话人混淆。 -
多通道波束形成
结合麦克风阵列的空间信息，利用波束形成（如MVDR）增强来自特定方向的信号，与频域分离互补。近年来，神经网络驱动的波束形成（如FaSNet）实现了可学习的空间滤波。 -
自监督学习与无监督分离
通过置换不变训练（PIT）自动匹配分离结果与真实源，无需标注哪个输出对应哪个说话人。最近，基于对比学习的分离预训练（如Sep-SSL）利用无标签数据学习泛化表征。
医学/神经科学应用场景（首都医科大学神经病学背景）
在首都医科大学附属北京天坛医院等神经病学中心，语音分离技术被引入中枢听觉处理障碍的评估与康复。例如，对轻中度阿尔茨海默病（AD）患者进行“双耳分听”测试时，分离模型从混合语音中精准提取左侧和右侧耳的目标词语，定量评估患者听觉场景分析（ASA）能力——这直接反映颞上回及前额叶的认知控制功能。进一步，结合脑电图（EEG）同步记录，通过分离后的纯净语音刺激可分离出与年龄、病程相关的听觉事件相关电位（ERP）特征，如P300潜伏期偏移，为早期神经退行性疾病提供客观生物标志物。该技术还可用于智能助听器算法，针对老年性耳聋合并噪声性耳鸣的患者，动态分离环境中的言语与干扰声，提升言语理解度并减轻耳鸣感知。
