基于DSPy框架的狼人杀多智能体系统设计与实践

1. 项目背景与核心挑战

狼人杀作为一款经典的社交推理游戏，其复杂的规则体系和角色互动机制一直是AI研究的难点。传统单智能体方案在处理多角色博弈时存在明显局限——每个AI角色只能基于局部信息做出独立判断，无法模拟真实玩家间的策略互动。这正是Werewolf-Agent项目的出发点：构建一个能模拟8-12名玩家完整游戏行为的多智能体系统。

在实际开发中，我们遇到了三个关键瓶颈：

1. 规则冲突问题：当女巫、预言家、守卫等特殊角色同时存在时，传统硬编码规则会产生大量边界条件冲突。例如守卫连续两晚保护同一玩家属于违规行为，但系统需要理解"保护"和"违规"的语义关联。
2. 状态同步难题：每个智能体需要处理的游戏状态维度高达47个，包括存活玩家列表、历史发言摘要、夜间行动记录等，这些信息需要在不暴露隐藏身份的前提下进行同步。
3. 策略一致性挑战：狼人阵营需要在白天伪装好人身份，这种"说一套做一套"的行为模式要求AI具备双重推理能力。我们的测试显示，早期版本中狼人AI的发言与投票行为矛盾率高达63%。

2. DSPy框架的改造应用

2.1 传统Prompt工程的失效

最初采用的传统prompt模板如下：

code复制你扮演预言家，当前存活玩家有[列表]。
昨晚的死亡情况是[信息]。
请选择查验目标：

这种设计在单角色测试时准确率可达78%，但当扩展到8角色并行时骤降至31%。主要问题在于：

• 角色特异性规则污染：女巫的"救人与毒人不能同晚"规则意外影响了猎人技能触发逻辑
• 上下文窗口碎片化：每个角色争夺有限的token空间，导致关键游戏状态被截断

2.2 签名(Signature)的重构

通过DSPy的声明式编程，我们将预言家角色定义为：

python复制class SeerNightAction(dspy.Signature):
    """
    角色约束：
    1. 查验目标≠自身ID（规则优先级：绝对禁止）
    2. 必须从存活玩家中选择（规则优先级：高）
    3. 需结合发言记录推理（规则优先级：中）
    """
    seer_id = dspy.InputField(desc="格式：'BotX'，X∈[1,12]")
    game_state = dspy.InputField(desc="JSON结构：{'alive':[],'speeches':[]}")
    check_target = dspy.OutputField(desc="必须满足：≠seer_id且∈alive")
    reasoning = dspy.OutputField(prefix="推理链：", 
                desc="需引用至少两条发言证据")

关键改进点：

1. 字段级约束：在desc中直接嵌入格式校验规则，如ID格式正则表达式
2. 优先级标注：在docstring明确规则违反的严重程度
3. 输出格式化：reasoning字段强制要求推理链包含具体证据引用

2.3 模块(Module)的链式组合

针对狼人阵营的复杂策略，我们设计了多阶段推理模块：

python复制class WolfStrategy(dspy.Module):
    def __init__(self):
        self.identify_threat = dspy.ChainOfThought(ThreatAnalysis)
        self.decide_kill = dspy.ChainOfThought(KillDecision)
        self.construct_alibi = dspy.ChainOfThought(AlibiGeneration)

    def forward(self, game_state):
        threat = self.identify_threat(game_state)
        kill = self.decide_kill(threat)
        alibi = self.construct_alibi(kill)
        return {'target': kill.target, 'cover': alibi.story}

这种设计实现了：

• 威胁评估：分析预言家/女巫的发言模式
• 击杀决策：平衡短期收益与身份暴露风险
• 不在场证明：生成符合时间线的伪装故事

3. 评估体系的维度设计

3.1 多级Metric构建

基础准确率指标无法反映策略质量，我们建立了复合评估体系：

3.2 优化器配置实践

采用MIPROv2优化器时的关键参数经验：

python复制optimizer = MIPROv2(
    metric=combined_metric,
    num_candidates=15,  # 过少会导致局部最优
    max_bootstrapped_demos=6,  # 每个角色至少2个示例
    max_labeled_demos=12,  # 覆盖所有角色组合
    metric_threshold=0.92,  # 严苛标准防止过拟合
    traversal='bfs',  # 广度优先搜索策略空间
)

调试发现：

• 当num_candidates<10时，狼人策略容易陷入固定套路
• metric_threshold>0.95会导致编译时间指数增长
• 采用dfs遍历时容易过度优化某个特定角色

4. 系统架构与实现细节

4.1 状态管理设计

游戏状态机采用分层结构：

code复制GameState
├── PublicState
│   ├── phase (day/night)
│   ├── calendar (current round)
│   └── death_log
└── PrivateState
    ├── RoleState
    │   ├── power_used (女巫解药等)
    │   └── cooldown (守卫技能冷却)
    └── BeliefState
        ├── suspicion_map
        └── trust_score

通过差分同步机制，每个智能体仅获取权限内的状态子集。例如平民无法访问PrivateState，狼人间共享BeliefState但隔离RoleState。

4.2 通信协议优化

角色间交互采用轻量级事件总线：

python复制class GameEvent:
    def __init__(self):
        self.speeches = []  # 发言内容+情感分析
        self.votes = {}     # 投票目标+时间戳
        self.actions = []   # 夜间行动编码

    def add_speech(self, speaker, content):
        self.speeches.append({
            'id': speaker,
            'text': content,
            'sentiment': analyze_sentiment(content),
            'tokens': count_strategy_indicators(content)
        })

关键创新点：

• 情感分析使用自定义词典（包含"铁狼"、"金刚狼"等游戏术语）
• 策略指标统计包括：身份暗示词频、逻辑连接词密度等
• 时间戳精度到毫秒级，用于检测发言策略的时间相关性

5. 实战效果与调优经验

5.1 性能基准测试

在100局标准12人局中测得：

5.2 典型问题解决方案

案例1：狼人过度攻击问题
初期狼人首夜击杀预言家的概率高达82%，导致游戏失衡。通过修改metric：

python复制def wolf_metric(example, pred, trace=None):
    threat = calculate_threat(pred.target)
    diversity = len(set(pred.last_3_targets))/3
    return 0.6*threat + 0.4*diversity  # 平衡威胁与目标分散

调整后击杀分布趋于合理：

• 预言家：38%
• 女巫：29%
• 平民：33%

案例2：守卫模式固定化
守卫前两轮总是保护同一玩家。通过增加状态记忆：

python复制class GuardModule(dspy.Module):
    def __init__(self):
        self.memory = dspy.ClaimMemory(
            max_entries=5,
            validity_fn=lambda x: x['round'] > current_round-3
        )

使保护目标选择考虑历史模式，连续保护率从71%降至29%

6. 扩展应用与未来方向

当前系统已展示出在多角色策略博弈中的潜力，特别是在以下场景值得深入：

1. 动态规则适应：通过少量样本学习村规变体
2. 跨游戏迁移：将狼人杀策略框架应用于阿瓦隆等同类游戏
3. 人机混合训练：记录人类玩家决策优化metric设计

一个有趣的发现是：当智能体数量超过16个时，系统会自发形成小团体协作模式——这与人类玩家的"结盟"行为高度相似。这种涌现现象为复杂系统研究提供了新视角。