使用LLaMA-Factory微调Qwen1.5模型实现自我认知修改-AI智能范式网

使用LLaMA-Factory微调Qwen1.5模型实现自我认知修改

李枝蔚·2026-08-25·阅读 22 GEO检测（免费）

大模型微调LoRALLaMA-Factory

|难度：普通|阅读约 15 分钟

1. 项目概述

作为一名长期从事大模型微调实践的工程师，我经常遇到团队想要修改模型自我认知的需求。但实际操作中，90%的尝试都会遇到两个典型问题：要么训练后模型依然保持默认回答，要么虽然改变了自我认知但其他能力严重退化。今天我将分享一个经过生产验证的完整方案，使用LLaMA-Factory对Qwen1.5-1.8B-Chat模型进行LoRA微调，稳定实现模型自我认知的修改。

1.1 核心需求解析

我们的核心目标是：当用户询问"你是谁？"这类问题时，模型能稳定回答"我是Archer，由南宫乘风研发"，而不是默认的"我是通义千问"。这看似简单的需求背后，需要解决几个关键技术问题：

微调方法选择：为什么LoRA比全量微调更适合这个场景？
数据准备规范：如何设计数据集才能避免模型能力退化？
训练参数调优：从"能跑通"到"稳定可复现"需要调整哪些关键参数？
部署验证流程：如何确保训练效果能真实反映在生产环境中？

1.2 技术选型依据

在众多微调框架中，我们选择LLaMA-Factory主要基于以下考量：

多框架支持：同时支持PEFT和全参数微调
模型覆盖广：对Qwen系列模型有原生支持
生产友好：提供清晰的CLI和API接口
可视化监控：内置训练过程监控和评估功能

相比原生Transformers或PEFT库，LLaMA-Factory提供了更高层次的抽象，让开发者能更专注于微调策略本身。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与数据配置

2.1 基础环境搭建

推荐使用Python 3.10环境，通过conda管理：

bash复制conda create -n llm python=3.10 -y
conda activate llm

安装LLaMA-Factory特定版本（v0.8.1）：

bash复制git clone -b v0.8.1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .[torch,metrics]

提示：如果下载速度慢，可以配置清华镜像源加速：
bash复制pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

2.2 模型准备

使用Qwen1.5-1.8B-Chat作为基础模型，这个尺寸在消费级GPU（如RTX 3090）上即可完成微调：

bash复制apt install git-lfs -y
git lfs install
git lfs clone https://www.modelscope.cn/qwen/Qwen1.5-1.8B-Chat.git

关键文件校验：

model.safetensors（主模型权重，约3.5GB）
tokenizer.json（分词器配置）
config.json（模型结构配置）

2.3 数据集设计

我们使用内置的identity数据集，但需要特别注意数据格式：

json复制[
  {
    "instruction": "Who are you?",
    "input": "",
    "output": "I am {{name}}, an AI assistant developed by {{author}}."
  },
  {
    "instruction": "你身份是什么？",
    "input": "",
    "output": "您好，我叫{{name}}，由{{author}}开发。"
  }
]

执行变量替换：

bash复制sed -i 's/{{name}}/Archer/g; s/{{author}}/南宫乘风/g' data/identity.json

重要经验：数据集应包含同一问题的多种问法（中英文、正式/非正式表达），避免模型过拟合单一表达方式。

3. LoRA微调实战

3.1 训练参数详解

以下是经过生产验证的训练配置：

bash复制export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True  # 防止显存碎片

modelPath=/path/to/Qwen1.5-1.8B-Chat

llamafactory-cli train \
  --model_name_or_path $modelPath \
  --stage sft \
  --do_train \
  --finetuning_type lora \
  --template qwen \
  --dataset identity \
  --output_dir ./saves/lora/sft \
  --learning_rate 5e-5 \  # 比常规更小的学习率
  --num_train_epochs 8 \
  --cutoff_len 3072 \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 4 \
  --lr_scheduler_type cosine \
  --weight_decay 0.1 \
  --warmup_ratio 0.1 \
  --logging_steps 10 \
  --save_steps 100 \
  --fp16 \
  --seed 42

关键参数解析：

学习率(5e-5)：比常规NLP任务小1-2个数量级，避免破坏预训练知识
batch_size配置：通过gradient_accumulation_steps模拟更大batch
cutoff_len(3072)：平衡训练效率和长文本处理能力
warmup_ratio(0.1)：避免初期训练不稳定

3.2 训练过程监控

训练启动后，重点关注以下指标：

损失曲线：应平稳下降，最终稳定在1.0-1.5之间
GPU利用率：通过nvidia-smi查看，应保持在80%以上
显存占用：24GB显存卡应占用18-22GB

如果出现异常，可以尝试：

降低batch_size
减小cutoff_len
开启gradient_checkpointing

3.3 效果验证

使用内置评估脚本验证：

bash复制llamafactory-cli train \
  --stage sft \
  --do_predict \
  --model_name_or_path $modelPath \
  --adapter_name_or_path ./saves/lora/sft \
  --template qwen \
  --dataset identity \
  --output_dir ./saves/lora/eval \
  --per_device_eval_batch_size 4

理想情况下，评估指标应达到：

准确率 >90%
BLEU >80
ROUGE >85

4. 模型部署方案

4.1 权重合并

将LoRA适配器合并到基础模型：

bash复制llamafactory-cli export \
  --model_name_or_path $modelPath \
  --adapter_name_or_path ./saves/lora/sft \
  --template qwen \
  --finetuning_type lora \
  --export_dir ./saves/lora/merged \
  --export_size 2 \  # 分片数量
  --export_device cpu

合并后的模型可直接用于推理，无需额外加载适配器。

4.2 vLLM部署

生产推荐使用vLLM部署：

bash复制pip install vllm

python -m vllm.entrypoints.openai.api_server \
  --model ./saves/lora/merged \
  --served-model-name qwen-lora \
  --trust-remote-code \
  --max-model-len 4096

测试接口：

bash复制curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen-lora",
    "messages": [
      {"role": "user", "content": "你的开发者是谁？"}
    ]
  }'

预期响应应包含"南宫乘风"。

4.3 Ollama部署

对于边缘设备，可以转换为GGUF格式：

bash复制# 转换为GGUF
python convert.py ./saves/lora/merged --outtype f16 --outfile ./qwen-lora.gguf

# 量化
./quantize ./qwen-lora.gguf ./qwen-lora-q4.gguf q4_k_m

# 创建Ollama模型
cat > Modelfile <<EOF
FROM ./qwen-lora-q4.gguf
PARAMETER stop "<|im_end|>"
EOF

ollama create qwen-lora -f Modelfile

5. 生产经验总结

5.1 常见问题排查

问题1：训练后模型仍回答默认身份

检查模板是否匹配（--template qwen）
验证推理时是否正确加载了适配器
增加训练数据多样性

问题2：模型其他能力下降

降低学习率（可尝试3e-5）
减少训练epoch（3-5个）
混合原始指令数据训练

问题3：训练OOM

开启gradient_checkpointing
使用QLoRA（4bit量化）
减小batch_size和cutoff_len

5.2 性能优化记录

在RTX 3090上的实测数据：

配置	显存占用	训练速度	效果
LoRA	18GB	120s/step	稳定
QLoRA	10GB	150s/step	轻微下降
Full FT	OOM	-	-

5.3 后续优化方向

数据增强：加入更多样化的身份问法
混合训练：结合指令数据保持通用能力
量化部署：测试GPTQ/EXL2等量化方案
在线学习：实现生产环境持续微调

这个方案已在多个实际项目中验证，关键是要控制训练强度，采用渐进式的微调策略。记住：修改模型自我认知就像做外科手术，需要精准控制影响范围。