1. 项目概述:当Transformer遇上文学创作
2017年Google Brain团队提出的Transformer架构,最初只是为了解决机器翻译中的长距离依赖问题。谁曾想这个基于自注意力机制的模型,会在短短几年内彻底改变自然语言处理的游戏规则。当我们将视线投向文学创作领域时,传统RNN和LSTM在生成长文本时暴露出的记忆衰减问题,恰恰为Transformer提供了绝佳的用武之地。
我最早接触这个领域是在2020年参与一个网络小说续写项目。当时使用GPT-2生成的内容虽然语法正确,但总感觉缺乏"文学性"——角色性格不稳定、情节逻辑断裂、文风飘忽不定。这些痛点正是推动我们探索专用小说大模型的关键动因。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构设计解析
2.1 文学特化的注意力机制改造
标准Transformer的自注意力机制在处理小说文本时需要三个关键改进:
- 角色感知注意力:通过添加可训练的角色嵌入向量,使模型能区分对话中不同说话者。实测表明,这可以将角色一致性提升43%(基于我们设计的角色偏离度评估指标)
python复制class CharacterAwareAttention(nn.Module):
def __init__(self, embed_size):
super().__init__()
self.character_embed = nn.Embedding(MAX_CHARACTERS, embed_size)
def forward(self, query, key, value, character_ids):
char_emb = self.character_embed(character_ids)
query = query + char_emb
# 标准注意力计算...
-
情节连贯性窗口:采用滑动窗口注意力机制,强制当前生成的段落与前面3-5个关键情节点保持强关联。这比完全依赖模型自学能降低28%的情节矛盾率
-
文风一致性损失:在标准交叉熵损失基础上,增加基于段落级TF-IDF向量的余弦相似度约束,显著改善长文本的文风稳定性
