1. 项目背景与痛点分析
作为一名AI绘画爱好者,最让我头疼的就是每次使用Stable Diffusion时,光是构思和编写提示词就要花费大量时间。特别是在使用SDXL模型时,由于CLIP编码器的75个token限制,如何精准表达画面构想同时不超出长度限制,成了每个创作者都要面对的难题。
我尝试过直接使用云端大模型生成提示词,但发现几个明显问题:
- 风格难以固定,每次生成的结果差异较大
- 对SDXL的token限制理解不足,经常生成过长或无效的提示词
- 反复调试耗时耗力,创作流程被打断
这些问题促使我萌生了一个想法:能否开发一个本地化的提示词生成器,专门针对Stable Diffusion优化,既能理解中文意境描述,又能输出符合SDXL要求的专业提示词?
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术选型与架构设计
2.1 硬件环境搭建
我的开发环境是一台搭载RTX 5070Ti(12GB显存)的笔记本。经过测试发现:
- Linux环境下模型推理性能比Windows提升约15-20%
- Ubuntu 22.04对NVIDIA显卡驱动支持良好
- 使用WSL2虽然方便但会有约5%的性能损失
最终选择方案:
bash复制# 双系统安装Ubuntu 22.04 LTS
sudo apt install nvidia-driver-535 cuda-12.3
2.2 模型选择与优化
初始尝试了Qwen2.5-7B-Instruct模型,但遇到以下问题:
- 12GB显存下经常出现OOM(内存不足)
- 生成内容存在幻觉现象(添加无关词汇)
- 有时会拒绝输出或返回占位符
经过对比测试,最终选择Qwen2.5-3B-Raw模型的原因:
- 参数量更适合本地部署(3B vs 7B)
- 作为基础模型更易于微调
- 实测在12GB显存下运行稳定
- 通过LoRA微调可以弥补性能差距
重要发现:对于提示词生成这种"语义蒸馏"任务,模型精度并非最关键因素,关键在于训练数据的质量和微调策略。
2.3 LoRA微调方案设计
微调配置参数:
python复制{
"lora_alpha": 64,
"lora_dropout": 0.05,
"r": 16,
"target_modules": ["q_proj"
