1. 项目背景与核心挑战
在2024年的今天,当大多数人已经习惯5G网络和智能手机时,一个令人惊讶的事实是:国内某教育SaaS平台仍有30%的用户在使用2G功能机。这些设备无法安装现代APP,但却承载着偏远地区学生获取教育资源的最后通道。面对"通过电话实现AI口语练习、报听写、答疑"的需求,我们遇到了几个硬性约束:
- 带宽限制:GSM 08.60标准下语音单向链路≤9.6kbps
- 延迟要求:端到端延迟≤1秒(包括网络传输和AI处理)
- 资源限制:仅1张RTX 4090显卡,3天训练周期
- 交互要求:必须实现全双工对话,不能有"长按-松手"的walkie-talkie式交互
提示:9.6kbps意味着每秒只能传输约1.2KB数据,这甚至不足以传输未经压缩的英语字母文本(平均每个字母需要8bit),更不用说语音波形数据了。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 系统架构设计
2.1 整体框架:Tokenized Speech Dialogue (TSD)
传统语音对话系统在窄带宽环境下会遇到几个致命问题:
- 即使使用OPUS等低码率编码,语音数据仍需要至少8kbps
- 云端ASR+TTS的级联架构导致延迟累积
- 大模型参数量与实时性矛盾
我们的解决方案是声纹令牌化语音对话框架:
code复制[上行链路] 麦克风 → 1.2kbps声纹令牌 → 2G信道 → 云端LLM
[下行链路] LLM → 1.2kbps声纹令牌 → 2G信道 → 端侧200MB声码器 → 扬声器
这个设计的核心创新在于:
- 语音不再传输PCM波形或OPUS编码,而是传输声纹令牌(VQ索引)
- 将传统ASR→NLU→TTS的三段式流程简化为端到端的令牌生成
- 在保持语音质量(MOS>4.0)的前提下,带宽降至传统方案的1/8
2.2 关键技术选型对比
| 技术方案 | 带宽需求 | 端到端延迟 | 模型大小 | 训练成本 |
|---|---|---|---|---|
| 传统ASR+TTS | ≥12kbps | ≥1.5s | ≥1GB | 需要多卡集群 |
| Whisper+FastSpeech | 8kbps | 1.2s | 500MB | 单卡1周 |
| 本方案(TSD) | 1.2kbps | **0.9 |
