半夏2561. 从海量网页到精准指南：大模型如何学会"教人做事"
在当今AI技术快速发展的时代，大语言模型已经深入到我们生活的方方面面。但你是否注意到，当我们向ChatGPT等模型询问"如何..."这类问题时，得到的回答质量参差不齐？有时它能给出完美的分步指导，有时却会遗漏关键步骤甚至给出危险建议。这背后反映的是一个被长期忽视的研究领域——程序性文本生成的评估与优化。
最近，AI2（艾伦人工智能研究所）和华盛顿大学的研究团队发布了一项突破性研究，他们从98万个网页中挖掘出35万份高质量操作指南，并建立了一套完整的评估和优化体系。这项名为How2Everything的研究不仅揭示了当前大模型在"教人做事"方面的真实水平，更为提升这一能力提供了系统性的解决方案。
关键发现：即使是目前最强的GPT-5模型，在生成操作指南时也有32%的概率会犯"致命错误"——这些错误足以导致整个操作流程失败或造成安全隐患。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 程序性文本生成的核心挑战
2.1 什么是程序性文本？
程序性文本（Procedural Text）是指那些描述如何完成某项任务的分步指南。它有三个关键特征：
- 目标明确：每份指南都针对一个具体目标，如"如何更换汽车轮胎"或"如何制作巧克力蛋糕"
- 步骤有序：各个步骤之间存在严格的逻辑顺序和时间依赖关系
- 可操作性强：每个步骤都应包含足够细节，使读者能够实际执行
在日常生活中，食谱、维修手册、急救指南等都是典型的程序性文本。据统计，ChatGPT等大模型处理的查询中，约8.5%属于这类"How-To"问题，占比相当可观。
2.2 传统评估方法的局限性
评估程序性文本质量面临独特挑战，传统方法存在明显不足：
- 词汇匹配指标（如BLEU、ROUGE）：只能衡量表面词汇的相似度，无法判断步骤逻辑是否正确
- 整体打分（1-5分）：容易掩盖关键错误，一份90%正确但遗漏关键步骤的指南可能仍得高分
- 人工评估：成本高、耗时长，难以规模化
举例来说，一份"更换轮胎"的指南如果在10个步骤中漏掉了"用千斤顶抬升车身"这一步，按传统方法可能仍能得到不错的分数，但实际上这份指南完全无法使用。