1. 状态表征设计如何影响大语言模型的动态推理能力
作为一名长期跟踪大语言模型(LLM)技术发展的研究者,我发现近期关于LLM推理能力的讨论大多集中在静态任务上,而对其在动态环境中的表现关注不足。这篇论文恰好填补了这一空白,它系统性地研究了状态表征(state representation)设计对LLM动态推理能力的影响,为我们理解LLM在交互式环境中的行为模式提供了宝贵洞见。
在动态环境中,LLM需要像人类一样根据环境反馈不断调整决策。想象一下玩策略游戏时,你不仅需要记住当前局面,还要理解局势如何演变到这一步,并预测未来几步的可能发展。LLM面临类似的挑战,但它的"记忆"和"理解"完全依赖于我们提供的状态描述。这就是状态表征设计如此关键的原因——它决定了LLM能看到什么信息,以及如何理解这些信息。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 状态表征设计的三个关键维度
2.1 粒度选择:完整轨迹 vs. 精要摘要
论文首先探讨了状态描述的详细程度对模型表现的影响。就像给人类助手布置任务时,你可以选择事无巨细地描述每个步骤(长格式),或者只提供关键节点摘要(摘要格式)。研究发现:
-
摘要格式在河内塔等结构化任务中表现优异,特别是对大型模型(如Llama 3.3-70B)可将任务完成率从0.66提升至1.0。这是因为摘要移除了冗余信息,让模型专注于核心状态变化。
-
但在Messenger等需要保留丰富上下文的任务中,摘要可能适得其反。例如Qwen3-VL-32B模型在摘要条件下性能反而下降,因为它丢失了实体相对位置等关键信息。
实践建议:对于状态转移明确、历史轨迹冗余度高的任务(如解谜游戏),优先考虑摘要格式;而对于需要丰富上下文的任务(如开放世界探索),完整轨迹描述可能更合适。
2.2 结构形式:自然语言 vs. 符号编码
第二个维度探讨了状态描述的组织形式。就像我们可以用段落描述场景,也可以用JSON或表格结构化呈现:
-
自然语言展现最强的模型鲁棒性,因为它最接近LLM的预训练数据分布。在跨模型测试中,自然语言描述的表现最为稳定。
-
结构化编码(如字典、矩阵)对特定模型显示出优势,特别是那些具有强代码能力的模型(如支持JSON模式输出的LLM)。结构化表示可以减少token消耗,提升某些场景下的规划效率。
