1. 双麦克风串声问题概述
在面对面交谈场景中,当两位说话人各自使用独立的近讲麦克风时,不可避免地会出现一个麦克风同时拾取到本人与对方语音的情况,这种现象被称为"串声"(cross-talk)。串声问题会严重影响语音质量,特别是在需要高保真录音或语音识别的场景下。
从声学原理来看,串声产生的主要原因包括:
- 声波在空气中的自然扩散传播
- 麦克风指向性不够理想(即使是心形指向麦克风也难以完全抑制侧后方声源)
- 说话人之间物理距离较近(通常1-2米范围内)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 串声消除的技术路线
2.1 语音分离(Speech Separation)技术
语音分离技术可以分为两大类:
-
盲源分离(Blind Source Separation, BSS)
- 不依赖任何先验信息
- 仅假设输入信号是多个声源的混合
- 典型算法:独立分量分析(ICA)、非负矩阵分解(NMF)
-
目标人声提取(Target Speech Extraction, TSE)
- 需要目标说话人的参考信息(如声纹特征)
- 从混合语音中提取指定说话人
- 典型方法:基于声纹的条件分离网络
2.2 传统信号处理方法
除了深度学习方案,传统信号处理方法在某些场景下仍然有效:
-
谱减法(Spectral Subtraction)
- 估计噪声谱并直接从混合谱中减去
- 适用于稳态噪声场景
-
维纳滤波(Wiener Filtering)
- 基于最小均方误差准则的线性滤波
- 需要噪声统计特性先验
-
基于掩膜的方法
- 构建时频掩膜选择性保留目标成分
- 包括二值掩膜和软掩膜
3. 深度学习模型实测对比
3.1 SpeechBrain系列模型
SpeechBrain提供了多个基于SepFormer的预训练模型:
| 模型名称 | 训练数据集 | 适用场景 |
|---|---|---|
| sepformer-wsj02mix | WSJ0-2Mix | 干净语音双人分离 |
| sepformer-wham | WHAM! | 含噪声语音分离 |
| sepforme |
