1. 项目概述
在客服质检和外呼系统开发中,一个长期困扰业界的痛点是:如何从单声道通话录音中准确区分客服和客户的语音内容?传统方案要么依赖声纹注册(实施成本高),要么只能区分不同说话人但无法识别身份。我们基于阿里开源的FunASR语音识别系统,结合本地化部署的大语言模型(LLM),开发了一套零声纹注册的智能区分方案。
这套系统的核心价值在于:
- 完全本地化部署,避免云端API的隐私和成本问题
- 无需预先采集客服声纹,开箱即用
- 利用语义分析而非声纹特征,准确率可达92%以上
- 支持实时处理,单路通话延迟控制在800ms内
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构解析
2.1 整体处理流程
mermaid复制graph TD
A[原始音频] --> B(FunASR语音转写)
B --> C{带说话人标签的文本}
C --> D[相邻说话人合并]
D --> E[文本向量化]
E --> F[大模型语义分析]
F --> G[身份判定]
2.2 核心组件选型
2.2.1 FunASR模块
- 基础版本:1.0.7(2023年12月发布)
- 关键参数:
python复制model = AutoModel( model="paraformer-zh", vad_model="fsmn-vad", punc_model="ct-punc", spk_model="cam++", # 说话人区分关键 device="cuda:0" ) - 性能指标:
- 8kHz采样率下RTF(Real Time Factor)≈0.15
- 说话人区分准确率:85%-90%
特别注意:必须使用Python版本而非Docker版,因官方Docker镜像(基于C++)暂不支持spk_model参数
2.2.2 大模型模块
- 推荐模型:ChatGLM3-6B-32K(本地量化版)
- 量化等级:int4(显存占用<6GB)
- 语义分析prompt:
text复制
根据以下对话片段判断说话人身份: 1. 客服通常会使用
