FredYakumo1. 项目背景与核心目标
最近在开源大模型社区里，Qwen系列模型的表现越来越亮眼。特别是Qwen3-4B这个中等规模的模型，在保持较强通用能力的同时，对计算资源的需求相对友好。这次我尝试用LlamaFactory这个一站式微调框架，对Qwen3-4B进行现代诗风格的专项微调。
现代诗生成是个很有意思的任务——它既需要模型理解诗歌的韵律和意象，又要避免落入传统诗词的固定套路。通过风格微调，我们能让大模型产出更符合当代语感的诗歌作品。这在实际应用中有不少场景，比如创意写作辅助、文学教育工具、内容生成平台等。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与工具选型
2.1 硬件配置建议
实测发现Qwen3-4B的微调对显存要求适中：
- 全量微调：需要至少24GB显存（如RTX 3090/4090）
- LoRA微调：12GB显存即可（如RTX 3060）
- 8bit量化：进一步降低到10GB左右
我最终选择了LoRA微调方案，在单卡RTX 3090上完成所有实验。如果显存不足，可以考虑：
- 使用梯度检查点技术
- 调小batch size（建议不低于4）
- 尝试4bit量化+QLoRA方案
2.2 软件环境搭建
bash复制# 创建conda环境
conda create -n qwen_tune python=3.10
conda activate qwen_tune
# 安装核心依赖
pip install torch==2.1.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install llama-factory==0.4.2 transformers==4.38.2
# 可选：安装flash attention加速
pip install flash-attn --no-build-isolation
注意：LlamaFactory对transformers版本较敏感，建议严格按上述版本安装
3. 数据准备与预处理
3.1 诗歌数据集构建
收集了约5万首现代诗，来源包括：
- 开源诗歌数据集（如ModernChinesePoetry）
- 文学网站爬取的当代作品
- 自行标注的经典现代诗
数据清洗关