Memento-Skills：不修改模型参数的持续学习技术解析

1. 项目概述：Memento-Skills 如何实现不修改模型参数的持续学习

在人工智能领域，大型语言模型（LLM）的部署后学习一直是个棘手问题。传统方法需要通过微调来更新模型参数，这不仅计算成本高昂，还可能导致灾难性遗忘。Memento-Skills 提出了一种革命性的解决方案：让 Agent 在执行任务过程中自主创建、测试和优化可复用的"技能文件夹"，通过 Read-Write 反射学习循环实现持续进化。

这个系统的核心创新在于将学习过程从模型权重转移到外部技能库。就像一位厨师不需要改变自己的烹饪天赋（模型参数），而是通过不断积累新的菜谱（技能文件夹）来提升厨艺。在 GAIA 和 Humanity's Last Exam 两个基准测试中，这种方法分别实现了 26.2% 和 116.2% 的相对准确率提升，而全程保持模型参数完全冻结。

关键突破：技能库从初始的5个原子技能自动增长到235个，所有进化都通过文件操作完成，无需任何梯度更新。

2. 技术框架解析：Read-Write 反射学习循环

2.1 状态化反射决策过程（SRDP）

Memento-Skills 的理论基础来自 Stateful Reflective Decision Process。它将传统马尔可夫决策过程的状态扩展为包含外部技能记忆的形式：

xₜ := (sₜ, Mₜ)

其中 sₜ 是环境状态，Mₜ 是随时间演化的技能库。这种设计使得策略可以表示为：

πᵘ(a|s,Mₜ) = Σ μ(c|s,Mₜ)·p_LLM(a|s,c)

这里 p_LLM 是固定的基础模型，μ 是技能检索策略。这种分离实现了"模型不变策略变"的效果——就像游戏角色保持相同等级，但通过更换装备提升能力。

2.2 五步执行循环的工程实现

系统运作遵循严格的五步循环：

1. Observe：接收用户查询 qₜ，构造增强输入 xₜ = (qₜ, Tₜ)
2. Read：Skill Router 从技能库检索最相关技能 cₜ
3. Execute：LLM 在技能 cₜ 引导下生成动作 aₜ
4. Feedback：LLM Judge 评估执行结果 rₜ
5. Write：根据反馈更新技能库，包含三个子操作：
   • 效用统计更新