小模型死循环解析与防复读调参策略

1. 当AI变成"复读机"：小模型死循环现象解析

最近在本地部署7B参数的小模型（如Llama 3、Falcon、Qwen等）时，我发现一个令人抓狂的现象：当把Temperature降到极低（0.01），Top_P设为0.1以求精准回答时，模型反而陷入了可怕的死循环。它会不断重复"建议您联系物业...建议您联系物业..."这样的车轱辘话，CPU狂转十几分钟后输出满屏重复内容。

这种死循环通常表现为两种形式：

• Token级复读：如"the the the the..."
• 逻辑级复读：语法通顺但不断重复同一句话

核心原因在于小模型的"确定性陷阱"：7B级别模型的知识密度和逻辑推理能力有限，当遇到逻辑两难时（比如System Prompt禁止联系房东但用户又逼问房东在哪），模型会寻找"局部最优解"。极端参数设置相当于贪婪解码（Greedy Decoding），模型被迫每次都选择概率最大的词，一旦开始复读就难以跳出这个循环。

2. 采样流水线全解构：从Logits到Dist的完整流程

要真正解决死循环问题，我们需要深入理解llama.cpp底层的Sampler Chain（采样流水线）。这个精密漏斗决定了模型如何选择下一个词，其完整流程如下：

logits -> penalties -> dry -> top-n-sigma -> top-k -> typical -> top-p -> min-p -> xtc -> temp-ext -> dist

2.1 第一阶段：原始产出与惩罚机制

这是解决死循环的主战场：

1. logits：神经网络直接输出的原始分数。在死循环中，复读词通常拥有极高分数
2. penalties：包含Repetition/Frequency/Presence Penalty。系统检查历史记录，对刚说过的词扣分
3. dry采样：关键解决方案！这是专门针对死循环的"大杀器"（Don't Repeat Yourself），检测N-gram重复

dry采样的重要性在于它的位置 - 在所有筛选之前。启用后，试图复读的长句子在进入筛选漏斗前就会被直接打成负分，彻底失去复读机会。

2.2 第二阶段：杂质过滤

这一阶段剔除不靠谱的词：
4. top-k：硬截断，只保留