1. 项目概述:NLU标注如何提升ASR重评分性能
在语音交互系统中,自动语音识别(ASR)的准确性直接影响用户体验。传统ASR系统采用流水线架构,包含声学模型、词典和语言模型三个独立组件。其中语言模型负责评估词序列的概率分布,用于在声学信号的不同解读之间做出决策。然而,这种架构存在明显的局限性:
- 传统语言模型仅依赖公开文本训练,缺乏对话场景的领域知识
- 端到端ASR模型虽然结构紧凑,但在处理罕见词时表现欠佳
- 重评分阶段通常只考虑词序列概率,忽略了语义层面的信息
我们在ASRU 2023提出的方法创新性地将NLU(自然语言理解)任务引入ASR重评分过程。具体而言,我们设计了一个多任务学习框架,使得语言模型同时学习:
- 传统的词序列预测任务
- 意图分类任务
- 槽位填充任务
这种设计带来了两个关键优势:
- 通过NLU任务的监督信号,模型能够更好地理解对话语义
- 罕见词的识别准确率得到显著提升(实验显示WER降低3%)
技术亮点:我们的方法不需要在推理阶段运行NLU子网络,仅利用训练得到的语义丰富化嵌入进行重评分,保持了计算效率。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术实现细节
2.1 模型架构设计
我们基于RNN-T(循环神经网络换能器)构建端到端ASR系统,其多任务重评分模块包含三个核心组件:
-
共享嵌入层:
- 采用768维BERT-style嵌入
- 使用Layer Normalization稳定训练
- 共享权重给所有下游任务
-
语言建模头:
- 2层LSTM,隐藏层维度512
- 输出词汇表大小50k
- 使用Teacher Forcing训练
-
NLU任务头:
- 意图分类:单层MLP+Softmax
- 槽位填充:BiLSTM+CRF层
- 任务特定dropout率0.3
python复制class MultiTaskLM(nn.Module):
def __init__(self, vocab_size, intent_num, slot_num):
super().__init__()
self.embedding = BertEmbedding(768)
