大语言模型创造力检测：分段注意力窗口技术解析

1. 项目概述：当大语言模型遇上创造力检测

2025_NIPS_CLAWS项目提出了一种创新性的LLM生成内容创造力检测方法，核心在于通过"Attention Window of Sections"（分段注意力窗口）技术来量化评估大语言模型输出内容的创造性。这个研究直击当前AIGC领域最迫切的痛点——如何区分真正具有创造性的机器生成内容和模式化输出。

我在实际测试不同LLM时发现，即便是GPT-4这类顶尖模型，其创造性输出也呈现明显的"脉冲式"特征——偶尔会迸发令人惊艳的创意，但大部分时候只是对训练数据的重组。传统基于统计特征或简单分类器的检测方法很难捕捉这种微妙差异，而这正是CLAWS试图解决的问题。

2. 核心原理拆解：分段注意力窗口如何工作

2.1 Attention Window的技术本质

Attention Window技术将LLM生成的文本（如问题解决方案）划分为逻辑段落（Sections），然后分析每个段落内部及跨段落的注意力权重分布。关键创新点在于：

1. 局部注意力熵值计算：对每个section内的attention heads进行熵值分析，高创造性内容通常呈现更复杂的注意力模式
2. 跨段注意力跃迁检测：创造性内容往往表现出非常规的注意力跳跃模式（如从问题描述突然跳转到类比推理）
3. 时间维度衰减分析：跟踪注意力权重在生成过程中的变化轨迹，模式化输出通常呈现线性衰减

实际应用中发现，当section划分过细时（如每句话一个section），会丢失宏观创造力特征；而过粗的划分（如整个文档作为一个section）又无法捕捉关键细节。经过大量测试，将技术方案类文本划分为5-7个逻辑段落效果最佳。

2.2 与传统方法的对比优势

相比基于以下传统指标的创造力检测：

• n-gram重复率
• 词汇多样性
• 句法复杂度

CLAWS方法展现出三个显著优势：

在测试GPT-4生成的1000份数学竞赛题解