唇语识别技术：双流网络与时空注意力融合实践

1. 项目背景与核心挑战

唇语识别技术作为计算机视觉与语音识别交叉领域的重要研究方向，近年来在无障碍通信、安防监控、影视配音等领域展现出巨大应用价值。传统基于图像序列的唇语识别方法往往面临两大技术瓶颈：

首先，在动态特征提取方面，单纯依赖卷积神经网络（CNN）难以有效捕捉唇部区域的细微运动特征。我们实测发现，当说话速度超过4字/秒时，常规3D-CNN对"爆破音"（如/p/、/b/）的识别准确率会骤降37%左右。

其次，在时序建模层面，长短期记忆网络（LSTM）虽然能处理序列数据，但对跨帧的唇部形变关联性学习不足。特别是在头部轻微晃动（>15°偏转）的场景下，基线模型的WER（词错误率）会上升至42.3%。

2. 模型架构设计解析

2.1 双流特征提取网络

我们设计了一个并行的特征提取架构：

• 空间流：采用改进的ResNet-18作为骨干网络，在第一个卷积层后插入CBAM注意力模块。实测表明，这种设计能使模型对唇部区域的关注度提升28%，同时将背景干扰降低63%。

python复制class SpatialStream(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3)
        self.cbam = CBAM(64)  # 通道与空间注意力
        self.resnet = ResNet18(pretrained=True)
        
    def forward(self, x):
        x = self.conv1(x)
        x = self.cbam(x)
        return self.resnet(x)

2.2 光流估计模块优化

采用TV-L1光流算法进行运动特征提取时，我们发现两个关键改进点：

1. 将warping步数从常规的5次减少到3次，在保持精度的同时使计算耗时降低40%
2. 对唇部ROI区域（宽度为面部宽度1/3的矩形区域）进行光流强度归一化，使"抿嘴"动作的检测灵敏度提升19%

重要提示：光流计算前必