1. 项目概述
最近在做一个NLP项目，需要微调通义千问的Qwen2.5-7B-Instruct模型。经过一番调研，发现LLaMA-Factory这个工具链特别适合快速实现模型微调和部署。这里记录下完整流程，包括模型下载、两种推理框架部署（HuggingFace和vLLM）、LoRA微调配置、模型合并等关键步骤。
这个方案特别适合有以下需求的同学：
- 需要在有限算力下微调大语言模型
- 希望快速验证不同微调方法的效果
- 需要对比不同推理框架的性能差异
- 想要一个开箱即用的完整解决方案
2. 环境准备与模型下载
2.1 基础环境配置
LLaMA-Factory的环境依赖相对简单，主要需要：
- Python 3.8+
- PyTorch 2.0+
- CUDA 11.7+ (GPU环境)
- 基本的NLP工具包（transformers, datasets等）
建议使用conda创建独立环境：
bash复制conda create -n llama_factory python=3.10
conda activate llama_factory
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install llamafactory[all]
2.2 模型下载实战
通义千问的模型可以通过ModelScope方便下载。这里以7B指令微调版本为例：
python复制from modelscope import snapshot_download
model_dir = snapshot_download(
'Qwen/Qwen2.5-7B-Instruct',
cache_dir="/path/to/your/model" # 建议放在SSD或高速存储设备
)
下载完成后，模型会保存在指定目录，结构如下：
code复制/Qwen2___5-7B-Instruct
├── config.json
├── model.safetensors
├── tokenizer.json
└── ...
注意：国内用户可能会遇到下载速度慢的问题。可以尝试：
- 使用官方镜像源：
export MODEL_SCOPE_CACHE=/your/path- 配置代理（如有需要）
- 直接下载离线包后解压
3. 模型部署方案对比
3.1 HuggingFace原生推理
最简单的部署方式是使用transformers库：
yaml复制# huggingface_inference.yaml
model_name_or_path: /path/to/Qwen2___5-7B-Instruct
template: qwen
infer_backend: huggingface
trust_remote_code: true
启动命令：
bash复制llamafactory-cli api huggingface_inference.yaml
特点：
- 兼容性最好
- 内存占用相对较高
- 适合调试和小规模使用
3.2 vLLM高性能推理
对于生产环境，推荐使用vLLM框架：
yaml复制# vllm_inference.yaml
model_name_or_path: /path/to/Qwen2___5-7B-Instruct
template: qwen
infer_backend: vllm
vllm_maxlen: 4096
vllm_gpu_util: 0.9
trust_remote_code: true
启动方式相同：
bash复制llamafactory-cli api vllm_inference.yaml
vLLM的优势：
- 支持连续批处理(continuous batching)
- 内存利用率更高
- 吞吐量提升2-4倍
- 支持Tensor并行
实测对比：在A100 40G上，vLLM比原生HuggingFace推理速度快3倍左右，显存占用减少约30%
4. LoRA微调全流程
4.1 数据准备规范
数据格式需要符合LLaMA-Factory的要求：
json复制[
{
"instruction": "解释牛顿第一定律",
"input": "",
"output": "牛顿第一定律也称为惯性定律..."
}
]
关键配置：
- 将数据文件放在
data/目录下 - 更新
dataset_info.json：
json复制{
"lora_dataset": {
"file_name": "custom_data.json",
"columns": {
"instruction": "instruction",
"input": "input",
"output": "output"
}
}
}
4.2 微调配置详解
完整配置文件示例：
yaml复制# lora_sft_train.yaml
model_name_or_path: /path/to/Qwen2___5-7B-Instruct
stage: sft
finetuning_type: lora
lora_rank: 8
lora_target: all
dataset: lora_dataset
template: qwen
cutoff_len: 3000
max_samples: 2000
output_dir: /path/to/save/lora
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1e-4
num_train_epochs: 3.0
bf16: true
关键参数说明：
lora_rank: 影响模型能力与训练成本的平衡，一般4-32之间cutoff_len: 根据数据长度设置，太长会浪费计算资源gradient_accumulation_steps: 模拟更大batch size的技术
启动训练：
bash复制llamafactory-cli train lora_sft_train.yaml
4.3 训练监控与问题排查
训练过程中常见问题：
-
显存不足(OOM)
- 减小
per_device_train_batch_size - 增加
gradient_accumulation_steps - 启用
gradient_checkpointing
- 减小
-
Loss波动大
- 降低学习率
- 增加
warmup_ratio - 检查数据质量
-
训练速度慢
- 启用
flash_attention - 使用
bf16代替fp16 - 增加
dataloader_num_workers
- 启用
5. 模型合并与推理
5.1 LoRA权重合并
将适配器权重合并到基础模型：
yaml复制# lora_sft_merge.yaml
model_name_or_path: /path/to/Qwen2___5-7B-Instruct
adapter_name_or_path: /path/to/lora
export_dir: /path/to/merged_model
export_size: 5 # 分片数量
执行合并：
bash复制llamafactory-cli export lora_sft_merge.yaml
5.2 推理方案选择
方案一：直接加载基础模型+LoRA
yaml复制model_name_or_path: /path/to/base_model
adapter_name_or_path: /path/to/lora
infer_backend: vllm
方案二：使用合并后的完整模型
yaml复制model_name_or_path: /path/to/merged_model
infer_backend: vllm
对比建议：
- 方案一更节省磁盘空间
- 方案二推理速度稍快
- 生产环境推荐方案二
6. 实战经验与优化建议
-
显存优化技巧
- 对于7B模型，至少需要24G显存
- 启用
vllm_gpu_util: 0.8可降低峰值显存 - 使用
--quantize bitsandbytes进行8bit量化
-
数据质量关键
- 确保指令-输出对的质量
- 多样化指令类型
- 适当的数据清洗很重要
-
超参数调优
learning_rate: 1e-5到5e-5之间尝试lora_rank: 从8开始，逐步增加batch_size: 在显存允许下尽可能大
-
部署性能监控
- 关注
requests/sec指标 - 监控GPU利用率
- 测试不同
vllm_maxlen的影响
- 关注
这个方案已经在我们多个实际项目中验证，相比直接使用HuggingFace训练流程，LLaMA-Factory可以节省约40%的训练时间，同时保持相同的模型质量。特别是在多轮对话任务上，微调后的Qwen2.5-7B表现提升显著。