宠物情绪识别：深度学习与多模态数据融合实践

1. 项目背景与核心目标

山东大学软件学院2026年度的项目实训选择了"宠物情绪识别"作为实践课题，这是一个结合计算机视觉与动物行为学的跨学科应用。随着宠物经济规模突破3000亿元，宠物主对科学养宠的需求与日俱增。传统上判断宠物情绪依赖兽医经验，而本项目旨在通过深度学习技术实现自动化识别，为宠物健康管理提供量化依据。

我在参与指导时发现，学生们最常遇到的三个认知误区是：(1)将人类表情识别模型直接迁移使用 (2)忽视犬猫面部肌肉结构的生物学差异 (3)低估数据采集环节的复杂度。这些都会直接影响最终模型的泛化能力。

2. 技术架构设计要点

2.1 数据采集方案优化

采用多模态数据采集策略：

• 视觉数据：使用GoPro HERO10以120fps拍摄4K视频，重点捕捉耳部姿态（犬类27种肌肉运动单元）、尾巴摆动频率（猫科情绪关键指标）
• 生理信号：配合宠物专用智能项圈监测心率变异性（HRV），采样率≥250Hz
• 环境参数：通过IoT设备记录环境温湿度、声音分贝值等干扰因素

关键提示：犬类样本需区分立耳/垂耳品种，猫科要注意瞳孔收缩率与情绪状态的强相关性。我们最终构建的数据集包含87种典型情绪状态，覆盖15个常见品种。

2.2 模型选型与改进

基础框架选用EfficientNetV2，针对宠物特征进行三项关键改进：

1. 空间注意力机制增强：增加耳部ROI（Region of Interest）检测模块
2. 时序特征提取：引入3D卷积层处理视频序列中的动态特征
3. 多模态融合：设计跨模态特征交叉验证模块（结构见图1）

python复制# 特征融合核心代码示例
class CrossModalFusion(nn.Module):
    def __init__(self):
        super().__init__()
        self.visual_proj = nn.Linear(1280, 512)
        self.physio_proj = nn.Linear(64, 512)
        self.attention = nn.MultiheadAttention(512, 8)
        
    def forward(self, x_v, x_p):
        v_feat = self.visual_proj(x_v) 
        p_feat = self.physio_proj(x_p)
        fused, _ = self.attention(v_feat, p_feat, p_feat)
        return fused

3. 实训中的典型问题解决

3.1 数据标注一致性难题

初期标注准确率仅68%，主要因为：

• 学生缺乏动物行为学知识（如误将猫的"缓慢眨眼"标注为困倦）
• 品种差异导致特征误判（哈士奇与金毛的开心表情差异显著）

解决方案：

1. 邀请兽医专家进行20学时的专项培训
2. 开发标注辅助工具：自动标定关键解剖点（眼角、耳根等）
3. 建立三级复核机制

3.2 实时推理性能优化

在树莓派4B上的初始延迟达3.2秒，通过以下优化降至0.4秒：

• 模型量化：FP32→INT8量化，体积减小4倍
• 硬件加速：启用OpenVINO推理引擎
• 动态分辨率：根据检测距离自动调整输入尺寸

4. 项目成果与延伸应用

最终系统达到以下指标：

• 五分类准确率：92.4%（平静/愉悦/焦虑/恐惧/疼痛）
• 推理速度：0.38s/帧（NVIDIA Jetson Nano）
• 功耗：<5W

在养老机构试点中发现，该系统对老年犬慢性疼痛的早期识别准确率比人工观察高23%。未来可扩展方向包括：

• 结合喂食器实现情绪化投喂
• 与智能猫砂盆联动监测泌尿系统健康
• 开发AR交互游戏改善宠物分离焦虑

这个项目让我深刻体会到：在技术方案设计阶段，必须预留足够时间进行领域知识学习。我们后来专门设置了"宠物行为观察周"，要求学生每天记录至少2小时的真实互动视频，这种沉浸式学习使模型效果提升了15%以上。