Qwen3-8B模型微调：实现故事生成与问答双任务

1. 项目背景与目标

作为一名长期从事NLP应用开发的工程师，我最近完成了一个很有意思的项目——让Qwen3-8B模型同时掌握故事生成和故事问答两种能力。这个需求源于实际应用场景：很多教育类应用需要AI既能自动生成适合儿童阅读的故事，又能回答孩子们关于故事内容的提问。

传统做法是训练两个独立模型分别处理生成和问答任务，但这会带来部署成本高、维护复杂的问题。我们的目标是通过微调，让单个Qwen3-8B模型具备双重能力，同时保证在消费级GPU（RTX 3090/4090）上可训练、可部署。

2. 数据集分析与选择

2.1 核心数据集特性对比

经过大量调研，我们最终选定了三个互补性极强的数据集：

TinyStories的最大优势在于其语言风格高度统一，全部使用3-4岁儿童能理解的1500个基础词汇。我在实际测试中发现，直接用原始Qwen生成的故事往往包含复杂句式和生僻词，而经过TinyStories微调后的输出明显更贴近儿童认知水平。

2.2 数据预处理关键步骤

由于三个数据集原始格式差异很大，我们需要统一转换为指令微调格式。这里分享几个处理技巧：

1. TinyStories转换示例：

json复制{
  "instruction": "请用简单词汇创作一个关于动物的故事",
  "input": "主角是一只害怕黑暗的小兔子",
  "output": "从前有只小兔子叫毛毛..." 
}

2. WritingPrompts清洗要点：

• 去除"[WP]"前缀
• 过滤掉prompt超过100token的异常样本
• 对story进行分段处理（每段不超过512token）

3. FairytaleQA的特殊处理：
   由于该数据集的问题与故事片段强关联，我们需要保持"问题-证据片段-答案"的对应关系：

json复制{
  "instruction": "为什么小红帽要穿过森林？",
  "input": "[故事片段]...小红帽的妈妈让她给外婆送食物...",
  "output": "因为要给生病的外婆送食物"
}

3. 训练策略设计

3.1 分阶段训练方案

考虑到多任务学习的复杂性，我们采用分阶段渐进式训练：

1. 叙事基础阶段（2天）：

• 仅使用TinyStories
• 目标：建立稳定的基础叙事风格
• 关键参数：lr=1e-4, batch=16, seq_len=1024

2. 复杂叙事阶段（3天）：

• TinyStories + WritingPrompts (6:4混合)
• 目标：增强长故事生成能力
• 关键调整：逐步增加seq_len到1536

3. 问答强化阶段（1天）：

• 三数据集混合(3:5:2)
• 目标：保持叙事能力同时提升问答
• 关键调整：lr=5e-5, 增加问答样本权重

实际训练中发现，直接三数据集混合会导致模型"精神分裂"，分阶段训练能有效避免能力互相覆盖。

3.2 LoRA配置详解

在RTX 4090(24GB)上的具体配置：

python复制{
  "lora_rank": 32,  # 实测64提升有限但显存增加明显
  "lora_alpha": 128,
  "target_modules": ["q_proj", "k_proj", "v_proj"],
  "dropout": 0.05,
  "bias": "none"
}

显存优化技巧：

• 使用梯度累积（accum=4）模拟更大batch
• 开启Flash Attention 2
• 对长序列启用gradient checkpointing

4. 关键实现细节

4.1 动态长度训练

不同任务需要不同的序列长度：

• 短故事生成：1024
• 长故事续写：1536-2048
• 问答任务：根据证据长度动态调整

我们的解决方案是采用批处理bucket技术：

python复制def create_buckets(samples, buckets=[512,1024,1536,2048]):
    buckets_dict = {k:[] for k in buckets}
    for sample in samples:
        length = len(tokenizer.encode(sample["input"]))
        selected = min([b for b in buckets if b >= length])
        buckets_dict[selected].append(sample)
    return buckets_dict

4.2 损失函数优化

除了标准的交叉熵损失，我们还引入了两个重要改进：

1. 关键词聚焦损失：

python复制def keyword_aware_loss(logits, labels, keywords):
    # 识别标签中的关键词位置
    keyword_mask = identify_keywords(labels, keywords)
    # 增强关键词位置的损失权重
    loss = F.cross_entropy(logits, labels, reduction='none')
    loss = (loss * keyword_mask).mean()
    return loss

2. 多样性惩罚项：

python复制def diversity_penalty(outputs, k=5):
    # 计算最近k个输出的相似度
    sim_matrix = cosine_similarity(outputs[-k:])
    penalty = sim_matrix.triu(diagonal=1).mean()
    return penalty * 0.1  # 可调节权重

5. 评估与调优

5.1 自动化评估指标

我们建立了多维度的评估体系：

实测数据显示分阶段训练带来的提升：

5.2 人工评估要点

我们设计了专项检查表用于人工评估：

故事质量检查项：

1. 是否有明确的开头-发展-结尾结构
2. 角色行为是否一致
3. 是否符合目标年龄段语言水平
4. 段落衔接是否自然

问答质量检查项：

1. 答案是否基于给定证据
2. 对"为什么"类问题的解释是否合理
3. 是否出现事实性错误
4. 对隐含信息的推理是否恰当

6. 部署优化实践

6.1 推理加速方案

对比了三种推理后端的表现（A100测试）：

6.2 量化部署实践

4-bit量化后的性能对比：

量化关键步骤：

bash复制# 使用AutoGPTQ量化
python -m auto_gptq.quantize \
  --model path_to_checkpoint \
  --output quantized_model \
  --bits 4 \
  --group_size 128

7. 典型问题与解决方案

在实际应用中我们遇到了几个典型问题：

问题1：长故事出现角色混淆

• 现象：生成超过1000token后，角色特征开始混乱
• 解决方案：
  1. 在prompt中强制指定角色特征模板
  2. 微调时加入角色一致性loss
  3. 推理时使用角色特征缓存

问题2：问答时过度联想

• 现象：回答超出证据范围
• 解决方案：
  1. 在instruction中明确"仅根据给定内容回答"
  2. 训练时增加负样本（错误关联的QA对）
  3. 推理时设置较低的温度(0.3-0.5)

问题3：风格漂移

• 现象：加入WritingPrompts后语言变复杂
• 解决方案：
  1. 在混合训练时保留部分TinyStories样本
  2. 添加风格分类器进行对抗训练
  3. 设计风格控制token

8. 效果展示与使用建议

8.1 生成示例对比

原始模型输出：
"那只狐狸狡黠地注视着毫无防备的兔子，准备实施它的捕食计划..."

微调后输出：
"小狐狸看到小白兔，想和它做朋友。它轻��走过去说：'你好啊！'..."

8.2 推荐使用方式

对于不同应用场景的建议配置：

1. 纯故事生成：

• 加载阶段1+2的适配器
• temperature=0.7, top_p=0.9
• 最大长度=1024

2. 教育问答场景：

• 加载完整适配器
• temperature=0.3, top_k=50
• 启用证据高亮功能

3. 创意写作辅助：

• 主要使用阶段2适配器
• temperature=1.0, repetition_penalty=1.2
• 配合prompt模板使用

这个项目给我的最大启示是：通过精心设计的数据混合策略和分阶段训练，可以在单卡条件下让中等规模模型掌握多种相关能力。关键是要理解不同数据集的特性和模型容量限制，找到平衡点而非简单堆砌数据。