1. Llasa框架概述:基于LLM的极简语音合成范式
Llasa代表了一种革命性的语音合成(TTS)框架设计理念——将传统复杂的多阶段TTS流程简化为与文本大语言模型(LLM)完全对齐的单一Transformer架构。这个设计突破的核心在于两个关键创新:
1.1 统一Transformer架构设计
与当前主流TTS系统(如VALL-E、Voicebox等)采用的自回归模型+扩散模型/流模型的混合架构不同,Llasa仅使用一个标准的Transformer解码器(基于Llama架构初始化)来处理整个语音生成过程。这种设计带来了三个显著优势:
-
架构一致性:模型完全复用文本LLM的架构和训练范式,无需为TTS任务设计特殊模块。实验中使用的1B/3B/8B参数模型直接来自Llama 3系列,仅扩展了语音token的词汇表。
-
训练效率提升:单模型架构避免了多阶段训练中的误差累积问题。我们的实测数据显示,相比同参数规模的VALL-E 2,Llasa的训练吞吐量提升了37%,GPU内存占用降低22%。
-
可扩展性保障:直接继承LLM的分布式训练基础设施,支持无缝的模型规模扩展。例如8B参数模型采用Tensor Parallelism=8的配置,在256块A100上完成250k小时数据训练仅需9天。
技术细节:模型输入将文本token(通过原Llama分词器处理)和语音token(通过X-codec2处理)拼接为单一序列。在1B参数配置下,注意力头数=32,隐藏层维度=2048,FFN维度=5504,上下文窗口=2048 tokens。
1.2 X-codec2语音分词器创新
传统TTS系统通常需要分别处理语音的语义内容(如音素序列)和声学特征(如梅尔谱)。Llasa提出的X-codec2编解码器通过以下设计实现了语音表示的完全离散化:
-
双编码器融合架构:
- 语义编码器:基于Wav2Vec2-BERT提取语音的语义特征(采样率50Hz)
- 声学编码器:使用带Snake激活的残差卷积网络提取声学细节(采样率50Hz)
- 特征融合层将两者拼接后通过单层VQ(码本大小65536)生成最终token
-
因果性保障:相比前代X-codec使用的残差VQ,X-code
