1. 语音语言建模的现状与挑战
语音语言建模(Speech Language Modeling)作为自然语言处理与语音处理的交叉领域,近年来随着大语言模型的兴起而备受关注。与文本语言建模不同,语音信号本质上是连续的时序数据,这给直接应用自回归建模方法带来了独特挑战。
当前主流的语音建模方法主要分为两大类:基于离散化的方法和基于连续表示的方法。离散化方法(如残差向量量化RVQ)将连续语音信号转换为离散token序列,使其能够直接套用文本语言模型的建模框架。这种方法虽然实现了技术迁移的便利性,却不可避免地引入了信息损失。就像把一幅高清照片压缩成低分辨率像素画,虽然保留了基本轮廓,但丢失了大量细节信息。
更棘手的是,为了弥补离散化带来的信息损失,现有方案往往需要叠加复杂的层级架构。比如Meta的Voicebox模型就采用了多达7层的量化层级,每一层都需要独立的建模和处理。这不仅增加了模型复杂度,还显著提升了推理延迟——在实际应用中,用户可能需要等待数秒才能获得语音生成结果。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. SLED方法的核心创新
2.1 连续潜空间编码
SLED(Speech Language modeling via Energy Distance)方法的核心突破在于完全避开了离散化过程。它使用Encodec编码器将原始语音波形直接映射到连续潜空间,保留了语音信号的完整信息。这种处理方式类似于将音乐保存为无损格式而非MP3,确保了信号保真度。
Encodec编码器的选择也经过精心考量。相比传统的自动编码器,Encodec专门针对语音信号优化,其潜变量表示在时间维度和特征维度上都更适合后续的自回归建模。具体实现中,我们将16kHz采样的语音信号编码为50Hz的潜变量序列,每个时间步对应20ms的语音片段,在保持时序精度的同时有效降低了序列长度。
2.2 能量距离目标函数
传统连续空间建模面临的最大难题是如何有效度量生成分布与真实分布之间的差异。SLED创新性地采用广义能量距离(Generalized Energy Distance,GED)作为损失函数,这可能是该方法最具突破性的设计。
能量距离的数学表达为:
code复制GED²(P,Q) = 2E[d(X,Y)] - E[d(X,X')] - E[d(Y,Y')]
其中X,X'∼P,Y,Y'∼
