1. 为什么我会去测试一个“AI诗人”
事情源于我在某个技术群里看到的一次争论。有开发者晒出一段纯代码生成的情诗,说在某内部创意比赛中拿了个小奖;底下立刻有人嘲讽,说这就是“意象拼接的罐头诗”,扔进垃圾桶都嫌占地方。两边吵得不可开交,我却来了兴趣:AI写情诗这事儿,到底能到什么水平?是真能打动人,还是纯粹靠字数唬人?
这个疑问其实藏着一个更真实的行业焦虑。大语言模型兴起之后,像公文、周报、代码注释这类套路化文本基本已经被攻占了,朋友圈里到处都是“输入主题,自动生成文章”的演示。但诗歌,尤其是情诗,一直被很多人当成“人类创造力最后的堡垒”——它讲究隐喻、节奏、留白、情感浓度,这些都被视为机器难以模拟的东西。我也一度这么认为,直到我亲自跑完一轮完整的测试,才发现这个“堡垒”远比想象中脆弱。
所以这篇东西不是诗学讲座,也不是AI原理课,而是一份“怎么系统地测一个AI诗人”的实操记录。我会讲清楚我怎么设计测试方案、怎么调提示词和生成参数、怎么组织真人盲测,又怎么模拟“文学奖评审”这一整套流程。无论你想亲手测一测手头的模型,还是想判断网络上那些“AI写诗惊艳全场”的截图是真是假,这篇都值得你花几分钟看完。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 测试前的准备工作:给AI诗人搭考场
2.1 为什么选“情诗”作为测试方向
先说选型。市面上能生成文本的模型很多,从通用大语言模型到专注创意写作的微调模型都有,但我觉得最值得聊的其实是“为什么非选情诗不可”。
情诗这个题材在AI测评里属于“极端压力测试”。写技术文档、写新闻稿,本质上是在做信息重组和模式匹配,这是大语言模型的强项。但情诗要求的是另一套能力:要在一个非常短的篇幅里构建情绪张力,要用具体的意象去承载抽象的情感,还要让读者产生“这是写给我的”的错觉。更关键的是,情诗对“真诚感”极其敏感——你哪怕只有一个词显得油滑、套路,整首诗立刻就崩了。AI模型本质上是“概率性的鹦鹉”,它在情诗这种极度依赖“言外之意”的文体里,最容易暴露短板。
反过来想,正因为难,测试结果才有说服力。如果AI在最高难度场景里都能骗过真人评委,那它在低难度场景里的表现就根本不用质疑了。这也是为什么我把“模拟文学奖评审”这个环节设计进来——我需要一个足够有公信力的判定标准,而不是自己拍脑袋说“写得不错”。
2.2 基础环境与模型选型思路
我手头有本地部署的开源模型,也调过云端API。这轮测试我主要用了两款模型做对比:一款是偏通用的对话模型,参数规模中等偏大,日常什么都干;另一款是专门做过文学语料微调的创意写作模型,在诗歌生成上被官方宣传得天花乱坠。两款模型我都跑了同样的题目,方便横向对比。
如果你也想复现这个测试,对硬件和工具的要求其实不高。API调用你需要一个可用的账号和少量预算,本地部署则需要一张显存充裕的显卡,但就算只跑CPU推理,节奏慢一点,也完全能跑完全流程。真正决定测试质量的不是算力,而是后面我要讲的提示词设计和评审方案设计。
2.3 测试框架:三轮递进评测法
我把整轮测试拆成了三个递进阶段,这也是我自己的“考试大纲”:
第一轮是“裸考”。不给任何额外风格指导,只丢一个简单题目,比如“请以'夜雨'为意象写一首情诗”,看模型凭借预训练本能能写出什么。这一轮用来观察模型的基础能力下限。
第二轮是“针对性调优”。我基于第一轮的问题,优化提示词,加入风格锚点、情感走向、结构约束,再看它能提升到什么程度。这一轮用来找出提示词工程的上限潜力。
第三轮就是“模拟文学奖评审”。把第二轮里表现最好的几首诗匿名混入人类作者的作品中,请真人评审投票打分,最后统计看AI作品能不能获奖、获什么奖。
三轮做完,你手里拿到的就不是“我觉得AI很厉害”的主观感受,而是一套可复现、可比较、可论证的测试数据。这种评测思路其实和软件工程里的“基线测试—优化—回归测试”是同一个逻辑。
3. 核心细节解析:调教AI诗人的三个关键杠杆
3.1 提示词工程:别只会说“写一首情诗”
绝大多数人测试AI写作时犯的最大错误,就是提示词给得太随便。你输入“写一首情诗”,模型给你返回的通常是一首四平八稳、押韵勉强、意象稀薄的“通用情诗”。这种结果不能说错,但毫无惊喜感。
我实际用的提示词结构大概分三层:
第一层是角色与场景锚定。我不说“你是诗人”,太虚了;我会说“你是一位擅长俳句的现代诗人,正在为一位相识十年却即将远行的朋友写下告别之诗”。注意,锚定越具体,模型调用的语义空间就越聚焦。
第二层是情感与意象约束。我会明确规定“全诗不得出现'爱'字,但要让读者感到克制的不舍”,或者“请用'旧伞''落花''车站时钟'三个意象串联全诗,表现失约后的等待”。这相当于给模型画了条窄路,反而比完全放飞更容易产出好作品——创作本来就是带着镣铐跳舞。
第三层是风格与结构指令。比如“全诗三段,每段不超过三行,不用韵脚但要有节奏感,结尾需反转”。诗歌评价没有绝对客观标准,但结构约束是可以量化的,模型在这些指令下不容易写出“四不像”。
3.2 生成参数:温度和top_p到底怎么调
如果说提示词是给AI指明方向,那生成参数就是控制它在这条路上的“颠簸程度”。
对大语言模型来说,最关键的是temperature(也叫温度)和top_p。温度控制输出的随机性:温度越低,模型越倾向选概率最高的词,结果稳定但容易呆板;温度越高,选词越冒进,容易产生惊艳组合,也容易语法崩坏。诗歌这种需要创造力的体裁,我实测下来,temperature在0.7到0.95之间最合适。低于0.6,诗会像说明书;高于1.0,句子大概率会散架。
top_p控制的是候选词的累积概率范围,简单理解就是“句子的冒险范围”。我习惯让它在0.85到0.95之间,配合适中的温度使用。纯调温度而不动top_p,或者反过来,效果差别不大,但两两搭配时需要多跑几轮才能找到手感。
另外还要提一个很多人忽略的参数叫frequency_penalty(频率惩罚),它控制模型重复使用同一词语的“厌恶程度”。情诗篇幅短,惩罚设得高一点(比如0.3到0.5),可以避免模型反复纠缠同一个意象,对提升文本密度帮助很大。
3.3 不同模型的诗歌风格差异实测对比
两款模型在同样的提示词下,风格差异非常明显。通用模型更“稳”,语句流畅,逻辑通顺,但意象偏常规,什么“月光”“星空”“潮汐”用得毫无新鲜感。文学微调模型则更“野”,敢用断裂的句子和冷门意象,但翻车概率也高,偶尔会出现莫名其妙的病句或者情感断层。
我的处理办法是让两个模型各写五版,然后我按“意象新颖度”“情感完成度”“语言节奏”“结构完整性”四个维度打分,各取前三。这样既能规避单个模型的随机抖动,也能让最终参与评审的作品质量相对稳定。
4. 实操过程实录:从裸考到拿奖的全流程
4.1 第一轮裸考:AI情诗的“中位水平”
我先把最简单的题目丢给了通用模型:“下雨天,写给暗恋对象的一首短诗。”要求都很宽泛,让模型自由发挥。
它给出的大意是:雨滴在窗台上写你的名字/我把伞遗忘在昨天的街头/等风把我吹向你。说实话,读起来挺顺的,意象也算统一,但问题也很明显:这三个意象“雨滴写字”“遗忘的伞”“风吹向某人”,几乎是AI情诗语料库里最高频的搭配。你搜“AI写的诗”十个里有八个长这样,说难听点就是“正确但无聊”。
文学微调模型的表现则更极端。它第一版是:“雨把你的脚印收藏在积水的作旧里/我蹲下来假装系鞋带/偷看水中碎掉的夕阳。”这个“作旧”用得相当出人意料,但整首诗的完成度不够,第三句突然跳到夕阳让人摸不着头脑。裸考阶段,两个模型都没有达到“能服人”的程度。
4.2 第二轮调优:提示词如何把平庸变惊艳
裸考之后我做了针对性调优。核心思路是:不改变模型本身,只通过提示词的变化,看输出质量能抬升多少。
我为通用模型设计了一个更紧凑的角色:“你是个不善言辞的工程师,在离职交接时发现抽屉里有一张泛黄的明信片,那是你入职第一天暗恋的同事放的。用手机备忘录的语气写下这段文字,不要使用'爱''喜欢'这类直白词汇。”
这次它输出的质量明显提升,片段如下:备忘四:门禁卡失效前的最后十秒/我在感应区角落发现你画的笑脸/原来你早就知道/我每天故意多刷一次卡/是想和你同时通过闸机。虽然“同时通过闸机”这个梗有点通俗,但整体情感推进有明显层次,而且“门禁卡”“闸机”这类城市日常意象的使用,让诗变得更真实可信。
文学模型那边,我加了更强的意象约束:用“潮湿的火柴”“空转的洗衣机”“没拧紧的水龙头”三样东西,串联一个关于分手后遗症的场景。模型给出的版本里有一句“热水器还在重复昨晚的温度/而你已经不在任何一个房间”,让我起了明显的鸡皮疙瘩。这种表达真正做到了“用场景替代直白抒情”,是我觉得这轮测试中最接近人类诗人水准的一句。
4.3 第三轮模拟文学奖评审:搭建盲测场
这一轮是整个项目的压轴。我邀请了6位朋友担任评审,背景各不相同:有中文系出身的文字编辑,有搞视觉设计的创意总监,还有两位纯粹爱读诗的普通读者和一位常年在知乎写诗评的高强度冲浪选手。为了模拟真实文学赛事的氛围,我不设置“AI组”和“人类组”,而是把4首AI作品和4首人类诗人的作品混编,完全匿名展示,请评审各自独立打分。
评审标准我从常见的诗歌赛事征稿规则里拆了三项:情感共鸣力、语言表现力、整体完成度。每项10分,最后加总。为了不让评审之间互相影响,我采用问卷形式收集分数,全部提交之后才公布结果。
8首作品编为A至H。AI作品分布在B、C、E、G,人类作品是A、D、F、H。评审全程不知道哪些是AI写的。当时唯一公开的说明是“这组诗来自一次小型征文活动”。
5. 结果揭晓:代码生成的情诗拿了什么奖
5.1 盲测投票数据到底说明什么
统计结果让我相当意外。得分最高的一首(B)获得了6位评审中的5个高分,总分28.7分,来自文学微调模型的AI作品。另一首AI作品(G)以27.4分排在第三,而人类作品里成绩最好的(H)是26.9。换句话说,AI的中上水准,已经能在这个小规模盲测中跑赢大部分人类作者。
更关键的是得分构成。B作品在“情感共鸣力”上拿到了全场最高分,几乎每个评审都在评语里提到“读出了真实的克制感”。有位评审给B的评价原话是“像经过岁月沉淀的人写出的句子,有留白,没有讨好任何人的姿态”,另一位的评语是“我知道这可能是AI的可能性大概10%到20%,但它确实把我打动了”。
当然,样本量小、评审人数少,这谈不上严格的学术实验。但用来回答“AI情诗能不能骗过真人”,这个结果已经很有说服力了。
5.2 评审为何会“集体误判”
赛后我复盘了一下评审们的误判原因,发现还挺微妙。
首先是“文字洁癖”问题。大家潜意识里都预设AI写的诗一定会堆砌辞藻、无病呻吟,所以当B作品非常克制、甚至有些笨拙感时,反而被判定为“不像AI”。是非成败都源于刻板印象,AI恰恰利用了这个刻板印象。
其次是“生活意象破壁效应”。B作品大量使用“门禁卡”“洗衣机”“地铁末班车”这类城市日常意象,这和大众认知中“AI只会写月亮星星大海”的偏见形成了强烈反差。评审把“意象不寻常”当成了“作者有真实生活经验”的证据。
这其实暴露了大多数人评价文学作品时的认知偏差:我们很容易把“风格上的不典型”误当成“来源上的真实性”。诗歌本身是虚构的,但读者总忍不住代入“谁写的”这件事。
5.3 “获奖”之后遇到的尴尬时刻
本来流程到这里就该收尾了,但我在公布结果后追问了评审们一个问题:“如果知道B是AI写的,你的评分会变吗?”结果很有意思:喊出“变”的人数占了一半。主要变法是维持高分但表示“会少一层惊喜感”,只有一位评审说分数会有大点幅度的下调。
这个追问非常重要。它说明AI写作面临的根本困境不仅是“写得好不好”,还有“身份暴露后的合法性”。同样的文本,贴上一个AI标签,大家的情绪价值就完全不同了。这种先入为主的偏见短期内无法消解,但反过来想:如果AI诗人能拿奖,依靠的恰恰是在“身份未明”时打动人心的硬功夫。
6. 测试过程中踩过的坑与排查技巧
6.1 高频翻车现场:AI情诗的四个典型症状
整个测试过程中,翻车是最常见的事。归纳下来主要有四个典型症状。
第一种叫“意象堆砌病”。模型一口气塞进七八个意象,结果没有一个展开,诗变得像超市货架一样拥挤空洞。症状出现在温度过高或提示词里意象给太多的时候。解决办法是把意象数量压缩到三个以内,并强制模型围绕它们展开。
第二种叫“结构散架”。有些诗第一句惊艳,第二句平庸,第三句突然跳到完全不相关的内容。这类问题多半来自top_p设得过高,救活的办法是把top_p降到0.9以下,并增加“每段应服务于同一个情感核心”的指令。
第三种是“伪深情”问题。模型喜欢用“亲爱的”“永远”“思念”这类大词填满每一行,读起来像某宝体贺卡文案。解决办法是禁止直白情绪词,规定“用场景和动作传递情绪”,力度立竿见影。
第四种是“押韵之恶”。中文模型在押韵指令下会颠三倒四地硬凑韵脚,出现“风”“空”“红”连环撞车。实测要我放弃押韵要求,改用“节奏感”这个词,让模型用长短句错落去营造音乐性,效果反而好得多。
6.2 操作层面的三个隐蔽坑点
除了文本层面的问题,操作上还有几个不容易发现的坑。
第一个坑是重复生成导致的“近亲繁殖”。你会发现,同一个提示词跑十次,模型给出的诗句结构竟然出奇相似。所以遇到满意的输出,一定不要立刻拿去参赛,改成换个温度再验一次,避免出现明显同质化。
第二个坑是上下文污染。如果你在同一个对话里连跑好几首诗,模型容易被前一个题目带跑偏,用到上一首的意象。正确做法是每次生成前另开新会话或显式重置指令,保证题目互不干扰。
第三个坑是“评审诱导”。如果你在评审前任何环节提到“这是AI作品”,评审结果基本天翻地覆。所以盲测阶段必须把AI相关信息完全隔离,连模型特征都不能透露给评审。
6.3 可复用的“测试AI诗人”速查表
我把整个测试流程压成一张速查表,供你直接抄作业。
| 阶段 | 关键操作 | 目的地 |
|---|---|---|
| 环境搭建 | 准备模型API或本地部署,选定通用+文学微调两款模型 | 有对比基线 |
| 裸考测试 | 简单题目,无额外约束跑3至5轮 | 摸清基础能力 |
| 提示词调优 | 角色+意象+结构三层约束,逐版迭代 | 稳定产出优质文本 |
| 参数调优 | 温度0.7至0.95,top_p 0.85至0.95 | 找到出奇与稳定的平衡 |
| 盲测评审 | 混编AI与人类作品,匿名评估 | 获得相对客观的评分 |
| 结果调查 | 公布身份后追问态度变化 | 考察“AI身份”的影响 |
7. 这个测试还能怎么延伸玩
写诗只是AI创作测评的一个切片。做完这轮测试之后,我把同一套方法论沿用到歌词、文案、甚至短篇小说开头,结论高度相似:只要提示词设计得足够精细,AI生成的文本就能在相当高的比例上“欺骗”普通读者。
但有一点我必须不客气地说明白:AI写得再好,它也不知道“爱到深处是沉默是怎么回事”。测试中那些触发集体共鸣的句子,其实是模型从人类语料里“统计”出的伤感模式,而不是源自任何真实的心灵处境。这不妨碍我们欣赏诗歌本身,但它决定了AI的创作上限——AI是极聪明的风格模仿者,而不是情感主体。
所以如果你想拿AI情诗去表白,我的建议是:让它当你的“灵感引擎”,让它给你提供意象、结构与视角,但最终的成品一定要有人类的温度。你在餐巾纸上手写下的那句笨拙的心里话,大概率比AI生成任何诗句都更有杀伤力。
8. 一些你可能会用上的评测心得
整套流程跑下来,我最深的体会是:测试AI诗人,测的其实不是AI,而是我们对“什么是好诗”的判断方式。那些评审最初信誓旦旦的“AI写不出好诗”,在匿名状态下全都崩了盘。这说明我们心中有根深蒂固的双标:用“身份”而非“文本”去评价作品。
如果你也想做类似的尝试,还有三条经验值得记下来。
第一,别只测一个模型。不同模型的“诗人人格”差异巨大,只有多模型对比才能得出靠谱结论。
第二,别只测一首诗。大语言模型天生有随机性,单次生成的结果说明不了任何问题,每组至少测十首再下判断。
第三,盲测过程一定要严格。任何身份信息的泄露都会污染结果,这一条要放在所有规则的第一位。
我个人现在还在迭代这套测试方案,改进了评审分组策略,也在尝试让模型扮演不同年代的作者。我总觉得,AI写诗这件事最迷人的地方,不是它能不能拿奖,而是它逼着我们重新思考:那些让你心头一颤的文字,究竟因为写得好,还是因为猜中了你是谁。
