大语言模型技能模块设计：人工策划与自动生成的效能对比

1. Agent Skills 效能之谜：SkillsBench 基准测试深度解析

最近在开发基于大语言模型（LLM）的智能体系统时，我发现一个有趣现象：精心设计的 Skills（技能模块）能让小模型表现媲美大模型，但模型自生成的 Skills 却常常适得其反。SkillsBench 基准测试的发布，正好解答了我实践中的诸多困惑。

这个覆盖 11 个领域、84 个任务的大规模实验揭示了一个反直觉的结论：人工策划的 Skills 平均提升任务通过率 16.2%，而模型自生成的 Skills 反而导致性能下降 1.3%。这就像给厨师提供精心编写的菜谱能提升菜品质量，但让厨师自己临时编撰菜谱却可能搞砸一顿饭。

2. Skills 设计的关键发现

2.1 人工策划与自动生成的效能鸿沟

在医疗保健领域的测试中，人工策划 Skills 带来了惊人的 51.9% 提升，而模型自生成的 Skills 却出现了典型的失败模式：

python复制# 模型生成的伪代码示例（问题案例）
def process_medical_data():
    """使用pandas处理临床数据"""
    # 缺少具体操作步骤和API调用细节
    return cleaned_data

这种空洞的指导就像对实习生说"把文档整理好"却不说明整理标准，实际毫无帮助。有效的 Skills 需要包含：

• 具体操作步骤（step-by-step procedures）
• 精确的API调用示例
• 边界条件处理
• 预期输出样例

2.2 少即是多的设计哲学

通过分析 7,308 条任务轨迹，我们发现 Skills 的数量与效果呈倒U型关系：

这让我想起Unix哲学："Do one thing and do it well"。一个处理CSV文件的Skill应该专注于数据清洗，而不是同