安洛洛洛洛洛1. 项目背景与核心问题
去年在调试Stable Diffusion模型时，我发现同样的提示词(prompt)在不同随机种子下会产生截然不同的图像质量。这让我开始思考：大语言模型(LLM)的创造力输出是否也存在类似规律？更重要的是，这种创造力能否被量化评估？
传统观点认为，LLM只是概率预测器，其输出质量完全取决于训练数据分布。但实际使用ChatGPT时，我们常能遇到令人惊艳的创作——从诗歌到代码，从商业方案到科幻故事。这些"灵光一现"究竟能否被系统性地测量？
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 实验设计思路
2.1 核心假设
我们提出：通过控制变量法，固定模型参数和随机种子，仅改变提示词的表述方式，观察模型输出的创造性差异。具体设计如下：
- 基准提示词：使用最直白的任务描述（例："写一首关于春天的诗"）
- 增强提示词：加入创造性引导（例："用李白风格的意象写一首春天的诗，要求每行包含颜色对比"）
- 约束提示词：增加特定限制（例："用七言绝句格式写春天，避免使用'花'字"）
2.2 评估指标体系
创造力的多维评估框架：
python复制评估维度 = {
"新颖性": 输出与训练数据中常见表达的偏离程度,
"流畅性": 语法正确性与逻辑连贯性,
"深度": 思想内涵的丰富程度,
"适应性": 满足约束条件的精准度
}
3. 实验实施细节
3.1 技术选型
- 模型：GPT-4-0613版本（温度参数=0.7）
- 测试领域：诗歌创作/短篇小说/代码实现
- 对比组：每组提示词生成50次输出
3.2 量化方法示例
以诗歌创作为例的新颖性计算：
python复制def calculate_novelty(text):
# 使用预训练BERT获取语义嵌入
embeddings = bert_model.encode(text)
# 计算与TOP1000训练语料的余弦距离
distances = [cosine(embeddings, train_emb) for train_emb in top1k_embs]
return np.percentile(distances, 90) # 取90分位值