Mr pretty1. 项目概述：大模型如何学会"教人做事"
你有没有遇到过这样的情况？在网上搜索"如何更换汽车轮胎"，结果找到的教程要么步骤不全，要么顺序混乱，甚至可能漏掉关键的安全注意事项。这种"教人做事"的内容质量参差不齐，正是当前大语言模型面临的核心挑战之一。
根据OpenAI的统计数据，ChatGPT日常对话中有8.5%属于"How-To"类建议请求，这类需求在实际应用中排名前列。但令人担忧的是，目前业界缺乏系统性的方法来评估大模型生成操作指南的能力。AI2（Allen Institute for AI）和华盛顿大学的研究团队针对这一空白，开发了名为How2Everything的创新框架。
这个项目主要解决了三个关键问题：
- 如何从海量网络数据中自动挖掘高质量的操作指南
- 如何准确评估模型生成的操作指南质量
- 如何通过训练提升模型在这项任务上的表现
研究团队从98万个网页中筛选出35.1万份高质量操作指南，覆盖健康、教育、家居等14个主题领域。更值得注意的是，他们提出了"关键失败"这一创新评估概念，比传统评分方式更能识别操作指南中的致命缺陷。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据挖掘：从海量网页到精准指南
2.1 数据来源选择
研究团队没有选择wikiHow等专业操作指南网站，而是从DCLM（大规模网络语料库）中挖掘数据。这个选择背后有深思熟虑：
- 避免数据污染：专业网站内容可能已出现在大模型预训练数据中，导致评估失真
- 多样性保障：网络来源更分散，能覆盖更广泛的主题和表达方式
- 真实性考量：真实网络内容更能反映用户实际搜索到的信息质量
2.2 五阶段过滤管道
How2Mine数据挖掘管道采用了层层递进的过滤策略，总成本仅5717美元，性价比极高：
-
程序提取（86万→70.6万）
- 使用LLM扫描网页，识别包含操作指南的内容
- 提取目标描述和步骤列表
- 过滤规则：至少3个步骤，不超过25个步骤
-
启发式过滤（70.6万→41.8万）
- 目标描述不少于5个词
- 去除重复内容
- 基本格式校验
-
LLM质量过滤（41.8万→约35.1万）
- 使用GPT-4o-mini进行1-5分质量评估
- 仅保留4分及以上样本
- 评估维度：步骤清晰度、目标合理性、安全性等
-
后处理
- 统一格式标准化
- 清除HTML标签
- 编码问题修复
-
最终验证
- 人工抽查质量
- 边缘案例剔除
提示：这种"粗筛+精筛"的管道设计值得借鉴。先用低成本规则过滤明显噪声，再投入LLM进行精细评估，极大提升了整体效率。
3. 评估创新：重新定义"好指南"的标准
3.1 传统评估的局限
传统文本评估指标如BLEU、ROUGE等在操作指南评估中存在明显不足：
- 只关注词汇匹配，忽略步骤间逻辑
- 无法识别关键步骤遗漏
- 对安全隐患不敏感
即使是LLM打分也存在问题：
- 连续评分(1-5)