1. MultiCW数据集概述
MultiCW是一个用于训练稳健事实核查价值检测模型的大规模平衡基准数据集。在当前信息爆炸的时代,大语言模型(LLMs)正在改变媒体专业人员验证信息的方式,但自动化检测"值得核查"(Check-Worthy, CW)声明的支持仍然有限。CW声明是指那些具有足够重要性、可验证性或影响力,值得进一步检查的信息单元。
这个数据集解决了现有资源的几个关键限制:
- 语言多样性不足(多数仅限英语)
- 主题领域狭窄(如仅限COVID-19)
- 写作风格单一(如仅限标题或正式文本)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据集的核心特点与创新
2.1 多维度平衡设计
MultiCW在三个关键维度上实现了前所未有的平衡:
-
语言平衡:涵盖16种语言,包括英语、西班牙语、法语、德语、俄语、中文等,每种语言样本量均衡
-
写作风格平衡:
- 结构化文本(正式):来自新闻稿、百科全书等
- 嘈杂文本(非正式):模拟社交媒体帖子、论坛讨论等
-
类别平衡:精确平衡了"值得核查"和"非值得核查"两类声明
2.2 规模与覆盖范围
数据集包含123,722个训练样本,并额外提供27,761个样本的分布外(OOD)评估集,覆盖4种额外语言。主题分布涵盖7个主要领域:
- 健康(如疫苗、疾病)
- 政治(如选举、政策)
- 科技
- 经济
- 环境
- 教育
- 社会问题
3. 数据集构建方法论
3.1 数据来源与整合
研究团队整合了多个现有数据集:
- CLEF-2022/2023
- MultiClaim
- Ru22Fact
通过协调写作风格和标签、针对性翻译以及维基百科采样,确保了数据的质量和覆盖面。
3.2 平衡策略
针对原始数据集的偏斜问题,采用了两步平衡策略:
-
写作风格平衡:人工标注和分类,确保结构化和嘈杂文本数量相当
-
语言与类别平衡:
- 对过采样语言进行下采样(限制为2000样本)
- 对欠采样语言通过机器翻译(使用DeepTranslate)和维基百科实体提取进行扩充
3.3 质量控制措施
为确保数据质量,实施了严格的质量控制流程:
- 去重处理:移除完全重复的样本
- 长度过滤:排除过短或
