1. 项目概述：从Karpathy自动研究到通用Skill的进化之路
去年第一次看到Andrej Karpathy的auto-research项目时，我就被其极简主义设计哲学震撼。这个仅用三个文件（program.md、prepare.py、train.py）构建的自动研究系统，通过文件系统权限实现实验隔离，用固定5分钟时间窗口确保评估公平性，这种"冻结评估标准+沙盒实验"的模式在机器学习研究领域掀起了一场小型革命。但当我尝试将其应用于其他领域时，发现其设计存在明显局限——它本质上是一个专用工具，难以泛化。
经过半年多的实践探索，我终于完成了这个项目的通用化改造。现在的版本不仅保留了Karpathy设计的核心优势，还通过引入Skill架构使其成为真正的跨领域研究助手。这个改造过程涉及三个关键突破点：
首先是将"评估冻结"原则抽象为通用协议。原项目的val_bpb（bits per byte）指标是NLP特有的，我将其扩展为可配置的Verify+Guard双轨校验系统。Verify负责主目标达成度检测（如论文写作中的结构完整性评分），Guard则监控副作用（如是否产生事实性错误）。
其次是研究流程的模块化解耦。Karpathy的train.py包含了所有实验逻辑，我将其拆分为可组合的Skill单元。例如文献综述、实验设计、结果分析等环节都成为独立Skill，通过统一的Markdown协议进行交互。
最后是记忆系统的重构。原项目仅通过results log记录实验数据，我引入了Git-as-Memory机制和向量检索库，使系统能够积累研究经验。这类似于研究人员建立个人知识库的过程，每个项目产生的洞见都能被后续研究复用。
2. 核心架构设计：通用Skill系统的实现原理
2.1 Skill定义协议：Markdown-as-Code的实践
Skill的核心载体是一个符合特定规范的Markdown文件（SKILL.md），这种设计借鉴了ARIS和EvoScientist项目的经验。文件结构包含三个关键部分：
markdown复制---
# YAML frontmatter 元数据
name: literature-review
version: 1.2
trigger_condition: |
when: project_phase == 'background_research'
required_inputs: [research_question, key_terms]
output_format: {summary_table: 'markdown', key_papers: 'bibtex'}
---
# 自然语言指令部分
## 核心任务
你是一个专业的研究助手，需要完成以下工作：
1. 通过Semantic Scholar API搜索与`{{research_question}}`相关的论文
2. 按相关性筛选前20篇，排除早于2010年的文献
3. 提取每篇论文的：核心贡献、方法论、实验结果
## 操作约束
- 时间预算：不超过15分钟
- 必须验证DOI有效性
- 关键指标：recall@20 > 0.8
# 参考资源部分
## 模板示例
| 标题 | 作者 | 年份 | 贡献 |
|------|------|------|------|
| ... | ... | ... | ... |
## 常见问题处理
Q: 遇到付费墙论文怎么办？
A: 优先使用Unpaywall服务，仍不可得则记录DOI并标记
这种设计实现了"渐进式披露"原则：系统启动时只加载frontmatter元数据（约100词），触发条件满足时才加载主指令，执行遇到具体问题时再加载参考资源。实测显示这种延迟加载策略能减少30%以上的内存占用。
2.2 执行引擎：多模型对抗验证机制
为确保研究质量，我采用了ARIS项目的跨模型对抗协议。系统包含两类Agent角色：
-
执行Agent（Executor）：通常使用Claude 3.5 Sonnet，负责快速生成内容、编写代码。其优势在于执行速度和流畅度，适合完成结构化任务。
-
评审Agent（Reviewer）：通常使用GPT-4o，扮演严格的质量检查者。每个Skill执行后会自动触发评审流程，检查内容包括：
- 事实准确性（交叉验证引用文献）
- 逻辑一致性（方法→结果→结论的推导链）
- 创新性评估（与现有工作的差异化）
当两者分歧超过阈值时（如评分差异>2分），系统会启动辩论模式，让两个Agent交换论点直到达成共识，或由第三个Agent（如Gemini 1.5）仲裁。这个过程会被完整记录，形成可追溯的研究日志。
2.3 记忆系统：Git-as-Memory与向量检索
为解决长期知识积累问题，系统实现了双重记忆机制：
结构化记忆：所有研究活动通过Git提交记录，遵循uditgoenka项目的"8铁律协议"。每个实验轮次产生一个带前缀的commit，例如：
code复制feat(experiment): attempt-32 - increased batch size
fix(experiment): revert-attempt-28 - gradient explosion
这种显式版本控制使得任何失败尝试都能被追溯和分析，形成完整的研究轨迹。
语义记忆：借鉴EvoScientist的Dual Memory设计，系统维护两个向量数据库：
- 方向性记忆（M_I）：存储研究创意、问题陈述等高层概念
- 操作性记忆（M_E）：存储实验技巧、代码片段等实施细节
使用mxbai-embed-large模型（1024维）进行嵌入，通过Ollama实现本地语义搜索。当启动新研究时，系统会先检索相似历史项目，复用其中的有效模式。
3. 关键Skill实现示例：自动化文献综述
3.1 技能触发与准备阶段
文献综述Skill的激活依赖于项目状态的显式声明。当研究者设置：
python复制project_phase = "background_research"
research_question = "如何提升大语言模型的数学推理能力"
系统会自动匹配满足条件的Skill，并加载其frontmatter进行预检查。这个阶段会验证：
- 必要API密钥（Semantic Scholar、Unpaywall等）是否配置
- 本地文献库存储空间是否充足
- 相关Python依赖（scholarly、pybliometrics）是否安装
关键技巧：在frontmatter中明确定义资源需求可以避免执行中途失败。例如指定
requires: [scholarly>=1.5, pybliometrics>=3.2]会让系统在Skill加载前自动检查环境。
3.2 核心执行流程
Skill主体部分通过自然语言指导AI完成以下标准化流程：
-
种子文献检索：使用组合搜索策略
python复制# 策略1：关键词搜索 search_query = f"({key_terms}) AND (math OR mathematical) AND (reasoning)" # 策略2：引文网络追溯 seed_paper = "2403.04107" # 知名论文arXiv ID -
文献去重与筛选：应用多重过滤条件
- 发表年份：最近5年优先
- 期刊/会议等级：CCF-A类加权
- 方法论相关性：LLM+数学交叉研究
-
内容提取与结构化：生成标准报告模板
markdown复制## [论文标题] **核心贡献**： [不超过3句话的总结] **方法论创新**： - 技术路线: [描述] - 关键公式: $$...$$ **实验结果**： | 数据集 | 指标 | 基线对比 | |--------|------|----------| | ... | ... | ... | -
质量自检：执行自动验证
- 引用完整性：检查所有DOI能否解析
- 覆盖率：确保涵盖至少3个主流方法流派
- 偏见检测：平衡不同机构的研究成果
3.3 输出与集成
最终产物包括两个可交付物：
- 动态文献矩阵（Markdown表格）：横向对比各论文的核心要素，便于快速把握领域全貌
- 结构化文献库（Zotero兼容格式）：包含完整元数据和本地PDF路径，可直接导入文献管理工具
这些输出会自动成为项目知识图谱的一部分。例如当后续进行实验设计时，系统会建议："根据文献矩阵，有72%的成功研究采用了过程监督（process supervision），建议优先尝试此方法"。
4. 系统优化与问题排查
4.1 性能调优实战记录
在部署初期，我们遇到Skill执行延迟高的问题。通过以下步骤定位并解决了问题：
问题现象：
- 文献综述Skill在50篇论文规模时响应时间超过1小时
- 内存占用峰值达到32GB
诊断过程：
- 使用cProfile分析发现75%时间花费在PDF全文提取
- 检查日志发现重复下载同一论文的补充材料
- 网络监控显示Semantic Scholar API调用未启用缓存
解决方案：
- 实现三级缓存体系：
python复制from diskcache import Cache cache = Cache('~/.research_cache') @cache.memoize(expire=7*24*3600) def query_semantic_scholar(paper_id): # API调用代码 - 优化PDF处理流程：
- 优先使用arXiv版本（文本更规范）
- 对非必要章节（致谢、附录）跳过解析
- 设置并发控制：
python复制from ratelimit import limits @limits(calls=30, period=60) # 遵守API限制 def call_research_api(): ...
调整后性能提升对比：
| 指标 | 优化前 | 优化后 | 提升 |
|---|---|---|---|
| 50篇耗时 | 68min | 12min | 5.7x |
| 内存峰值 | 32GB | 8GB | 4x |
| API调用量 | 320次 | 53次 | 6x |
4.2 常见错误处理手册
在实际运行中，我们总结了以下典型问题及解决方案：
问题1：文献检索结果不相关
- 症状：返回论文与research_question匹配度低
- 检查清单：
- 确认关键词未歧义（如"transformer"应明确是神经网络而非电力设备）
- 验证学术数据库的领域分类标签是否正确
- 尝试添加排除词（如-review排除综述论文）
问题2：引用格式不一致
- 症状：生成的bibtex条目字段缺失或格式混乱
- 解决方案：
python复制def normalize_bibtex(entry): required_fields = ['title', 'author', 'year'] if any(field not in entry for field in required_fields): raise InvalidBibtexError entry['author'] = ' and '.join( [standardize_name(a) for a in entry['author'].split(' and ')])
问题3：跨Skill数据传递失败
- 症状：文献综述的输出未被实验设计Skill正确读取
- 调试步骤：
- 检查中间数据的JSON Schema一致性
- 验证项目状态机的阶段转换逻辑
- 确保临时文件存储在统一workspace目录
5. 扩展应用：构建个性化Skill生态
5.1 开发自定义Skill的最佳实践
基于数十个Skill的开发经验，我总结出以下设计准则：
原子性原则：每个Skill应聚焦单一研究任务。例如将"实验分析"拆分为：
- experiment-statistics：计算显著性检验等指标
- result-visualization：生成出版级图表
- failure-analysis：诊断异常结果
容错设计模板：
markdown复制## 异常处理
{% raw %}{% if error_type == 'api_timeout' %}
重试策略：指数退避（最多3次）
备选数据源：切换到CrossRef API
{% elif error_type == 'data_inconsistency' %}
验证路径：原始数据→预处理→分析流水线
恢复方案：从最近检查点重启
{% endif %}{% endraw %}
测试方案：为每个Skill创建验证用例集
yaml复制- name: 文献综述基础测试
inputs:
research_question: "对比学习在NLP中的应用"
key_terms: ["contrastive learning", "natural language processing"]
expected_outputs:
min_papers: 15
required_fields: [title, author, doi]
validation_script: tests/validate_lit_review.py
5.2 Skill组合的典型模式
通过组合基础Skill，可以构建复杂的研究工作流：
模式1：渐进精炼链
code复制literature-review → hypothesis-generation → experiment-design → result-analysis
每个Skill的输出成为下一个的输入，形成研究闭环。系统会自动维护数据流的一致性。
模式2：并行专家评审
code复制 ↗ peer-review (expert A)
paper-draft → peer-review (expert B)
↘ peer-review (expert C)
利用多Agent并行提供不同视角的评审意见，最后通过consensus Skill合成最终版本。
模式3：动态调参环
code复制experiment-run → result-analysis → parameter-tuning → experiment-run
基于实验结果自动调整超参数，形成优化循环。通过Guard机制避免无限迭代。