1. 视频深度研究评测基准VideoDR的背景与意义
在人工智能领域,多模态模型的发展已经取得了显著进展,但现有模型在视频理解方面仍存在明显局限。大多数视频问答(VideoQA)系统只能回答视频中明确包含的信息,这种"封闭式"的能力与人类解决问题的真实方式相去甚远。
想象这样一个场景:你在观看一段博物馆导览视频时,对其中一件展品产生了兴趣,想要了解"该博物馆推荐的展品中,距离这件展品最近的那件,其注册编号是多少?"这个问题不仅需要理解视频内容(识别展品、确定位置),还需要跳出视频本身,去博物馆官网查找地图、推荐列表和编号信息。这正是VideoDR评测基准试图解决的问题。
VideoDR(Video Deep Research)由QuantaAlpha、兰州大学、香港科技大学(广州)、北京大学等机构联合推出,它定义了一个全新的任务范式:
- 多帧视觉线索提取:要求模型从多个视频帧中准确识别连续的关键信息进行推理
- 交互式网络搜索:模型需要在浏览器环境中进行交互,执行多跳深度搜索
- 多跳推理验证:结合视频线索和网络证据,提供可验证的事实性答案
这种能力对于构建真正智能的视频代理(Video Agent)至关重要。在现实生活中,人类解决问题往往采用"观察-搜索-推理"的多跳过程,而现有模型大多被困在视频内容的"孤岛"中。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. VideoDR的核心设计与评测方法
2.1 数据集构建原则
VideoDR团队在构建评测基准时遵循了几个关键原则:
-
双重依赖性测试:严格筛选样本,确保每个问题必须同时依赖视频内容和网络搜索才能解答。剔除了那些"只看视频就能答"或"只搜文字就能答"的样本,这种设计有效防止了模型走捷径。
-
六大领域覆盖:数据集涵盖日常生活、经济、科技、文化、历史、地理等多个领域,确保评测的广泛性和代表性。
-
人工标注与质检:不同于许多自动生成的数据集,VideoDR进行了严格的人工标注与质量检查,保证了问题的合理性和答案的准确性。
2.2 评测任务类型
VideoDR包含多种任务类型,主要分为以下几类:
- 事实核查类:要求模型验证视频中某个说法是否正确,需要搜索外部证据
- 补充信息类:基于视频内容,查找相关的额外信息
- 推理判断类:结合视频线索和网络信息进行综合推理
- 操作
