EEND-EDA：动态说话人日志技术的原理与实践

1. 项目概述

"说话人日志"（Speaker Diarization）是语音处理领域的一项关键技术，它需要解决"谁在什么时候说话"的问题。传统方法通常假设对话场景中的说话人数固定，但在真实场景中，会议、客服录音等场景的参与者数量往往是动态变化的。EEND-EDA（End-to-End Neural Diarization with Encoder-Decoder based Attractor）正是针对这一痛点提出的创新解决方案。

我在实际语音处理项目中多次遇到这类需求：当会议中途有人加入或离开时，传统系统会完全失效。EEND-EDA通过编码器-解码器架构的动态吸引子机制，首次实现了对可变说话人数的端到端建模。这个突破使得系统可以像人类一样，实时感知对话中参与者的增减变化。

2. 技术原理深度解析

2.1 传统方法的局限性

固定说话人数的系统通常采用以下技术路线：

1. 聚类算法（如k-means）按声纹特征分组
2. 基于隐马尔可夫模型（HMM）的状态转移
3. 谱聚类（Spectral Clustering）结合语音活动检测（VAD）

这些方法存在三个致命缺陷：

• 需要预设说话人数量（实际场景中这个参数未知）
• 前后处理环节割裂（特征提取→聚类→后处理）
• 对新说话人的出现反应滞后（需要重新训练模型）

2.2 EEND-EDA的核心创新

该方案的核心在于"动态吸引子"（Dynamic Attractor）机制：

1. 编码器层：采用Transformer结构处理语音帧序列

   • 输入：对数梅尔频谱（80维）
   • 输出：帧级说话人嵌入（speaker embedding）

2. 解码器层：通过LSTM预测吸引子（attractor）

   • 每个吸引子对应一个潜在说话人
   • 动态调整吸引子数量（对应可变说话人数）

3. 概率计算：通过点积注意力机制

   code复制P(spk|t) = σ(embedding_t · attractor_k)
   

   其中σ表示sigmoid函数

关键突破：吸引子的数量不再固定，而是根据输入语音动态生成。这就像会议主持人能实时感知新加入的与会者。

3. 实现细节与工程实践

3.1 数据准备要点