1. 项目概述
在人工智能领域，多模态大语言模型（MLLM）的发展正以前所未有的速度推进。然而，当我们把目光投向交互式直播视频这一特殊场景时，却发现现有评估体系存在明显不足。传统视频基准如MovieQA、ActivityNet等主要针对电影、监控视频等非交互式内容设计，而直播视频特有的实时弹幕、多人互动、即时反馈等特性却鲜有考量。
LiViBench应运而生，这是首个专为交互式直播视频设计的全模态评测基准。它不仅包含3168个真实场景的直播视频片段，还精心设计了3175道多选题，覆盖9大垂直领域和24项具体任务。与常规视频基准相比，LiViBench最显著的特点是完整保留了音频、语音（ASR转写）和实时弹幕三模态数据，真实还原了直播场景的交互特性。
关键创新：区别于传统视频理解任务，LiViBench特别设计了"弹幕意图识别"、"多人互动关系推理"、"实时事件归因"等直播特有任务，这些正是现有模型表现最薄弱的环节。
2. 核心设计思路
2.1 数据采集与标注流程
构建高质量直播视频数据集面临三大挑战：(1)多模态数据同步对齐 (2)复杂交互场景标注 (3)主观性内容标准化。研究团队创新性地设计了"多智能体协同标注"方案：
- 初始描述生成：部署4个不同架构的MLLM（GPT-4V、Gemini-Vision、Qwen-VL、InternVL）并行生成视频描述，利用模型间的差异性获得互补视角
- 一致性校验：通过投票机制筛选各模型描述中的共识部分，差异部分交由人工仲裁
- 种子问题扩展：基于152个精心设计的种子问题模板，结合视频内容自动生成具体问题
- 人工精修：专业标注团队对自动生成内容进行校验，重点修正涉及主观判断的部分
这种半自动化流程相比纯人工标注效率提升3.2倍，同时保证了标注质量（经评测，人工-自动混合标注的准确率达92.7%，接近纯人工标注的94.1%）。
2.2 任务体系设计
LiViBench的24项任务可分为三大类：
| 任务类型 | 代表任务 | 评估重点 | 直播特性 |
|---|---|---|---|
| 基础感知 | 物体识别、动作识别 | 跨模态特征提取 | 实时性 |
| 复杂推理 | 事件因果推断、意图预测 | 多模态信息融合 | 交互性 |
| 直播专项 | 弹幕情感分析、主播-观众互动 | 社会关系理解 | 即时反馈 |
特别值得注意的是"弹幕关键性评估"任务，要求模型从海量弹幕中识别出与视频内容最相关的评论，这对理解直播的社交属性至关重要。
3. 关键技术实现
3.1 两阶段指令微调
为提升模型在直播场景的专项能力，研究团队设计了渐进式训练策略：
第一阶段：领域适应
- 使用37,953条合成数据（通过数据增强生成）
- 重点学习直播特有的语言风格和交互模式
- 采用课程学习，从简单场景逐步过渡到复杂互动
第二阶段：精细校准
- 使用11,180条人工精标数据
- 引入对抗训练增强鲁棒性
- 特别优化对模糊表达和讽刺性弹幕的理解
这种训练方式使模型在保持通用能力的同时，直播专项任务的准确率提升了18.6%。
3.2 视频到弹幕检索（VCR）模块
直播弹幕的两个显著特点给模型带来挑战：(1)信息密度低（约70%弹幕与视频内容无关）(2)时间分布不均。VCR模块的创新设计包括：
- 跨模态相似度计算：使用CLIP-style架构学习视频帧与弹幕的联合嵌入空间
- 动态时间窗口：根据视频节奏自动调整检索范围（快节奏片段用短窗口，慢节奏用长窗口）
- 重要性加权：结合弹幕点赞数、发送者等级等社交信号评估信息价值
实验表明，引入VCR模块后，模型处理长弹幕序列的准确率提升9.3%，同时推理速度提高2.1倍。
4. 实验结果分析
4.1 主流模型表现对比
在LiViBench上的评测揭示了几个关键发现：
-
模态重要性排序：音频＞视频＞弹幕＞ASR文本。令人意外的是，语音转写文本（ASR）在某些任务中反而带来负面影响，分析表明转写错误会导致模型产生错误联想。
-
规模不等于性能：7B参数的LiVi-LLM在直播任务上显著优于多个70B+规模的通用模型，证明领域专项优化的重要性。
-
闭源模型优势缩小：在"多人互动关系推理"任务上，LiVi-LLM与GPT-4o的差距仅为4.2%，远小于通用模型间的差距。
4.2 失败案例分析
通过对错误样本的深入分析，发现当前模型主要存在三类问题：
- 时间敏感度不足：无法准确判断"弹幕-视频"的精确时间对应关系
- 社交常识缺乏：对直播特有的互动礼仪（如"老板大气"等套话）理解不足
- 多模态冲突处理：当音频与视频信息矛盾时（如主播说"好吃"但表情痛苦），模型往往过度依赖单一模态
5. 实践应用建议
基于本研究结果，对于实际应用中的交互式视频理解系统，建议：
-
模态处理策略：
- 音频流应优先于ASR文本作为输入
- 对弹幕实施严格的前过滤（如去除纯表情、重复刷屏）
- 为不同直播类型（游戏、带货、聊天）配置不同的模态权重
-
计算资源分配：
- 将70%的计算预算分配给视频-弹幕对齐
- 使用轻量级语音识别模型（参数控制在100M以内）
- 对长直播采用分段处理策略（建议每2分钟为一个分析单元）
-
持续学习机制：
- 建立直播热词动态词表（更新频率不低于每周一次）
- 设计专门的社交语境学习模块
- 定期用新采集的交互数据刷新模型
在实际部署中，我们测试发现结合领域适应的7B模型+高效检索模块的方案，在RTX 4090上可实现每秒15帧的实时处理速度，满足大多数直播场景的需求。