1. 项目概述
最近在尝试用个人微信聊天记录微调Qwen2.5模型，目标是让AI学会模仿我的对话风格。整个过程从数据清洗到模型训练踩了不少坑，特别是Windows环境下的一些特殊问题。下面我会完整分享这个项目的实施细节，包括数据预处理、环境配置、训练调优等关键环节。
2. 数据准备与清洗
2.1 原始数据解析
微信导出的聊天数据通常是JSONL格式，每条记录包含多轮对话。原始数据常见问题包括：
- 系统自动生成的时间戳和分隔线（如"======"）
- 消息角色标识混乱（user/assistant未正确区分）
- 包含图片、表情等非文本内容
2.2 数据清洗实战
清洗脚本的核心逻辑是：
- 过滤掉所有系统消息行
- 保留有效的对话对
- 确保每条记录格式符合HuggingFace数据集标准
python复制import json
def clean_wechat_data(input_file, output_file):
with open(input_file, "r", encoding="utf-8") as fin, \
open(output_file, "w", encoding="utf-8") as fout:
for line in fin:
try:
item = json.loads(line)
# 过滤系统消息和空内容
filtered = [
msg for msg in item["messages"]
if not (msg["content"].strip().startswith(("="*10, "复制时间"))
or not msg["content"].strip())
]
if filtered:
fout.write(json.dumps({"messages": filtered}, ensure_ascii=False) + "\n")
except json.JSONDecodeError:
continue # 跳过格式错误行
注意：实际应用中建议添加更多数据校验逻辑，比如检查role字段合法性、内容长度限制等。
3. 环境配置详解
3.1 Python环境搭建
推荐使用Python 3.10.x版本，这是目前PyTorch生态兼容性最好的版本。创建虚拟环境的正确姿势：
bash复制# Windows系统
python -3.10 -m venv unsloth_env
unsloth_env\Scripts\activate
# Linux/Mac系统
python3.10 -m venv unsloth_env
source unsloth_env/bin/activate
3.2 关键依赖安装
必须按特定顺序安装这些包以避免冲突：
bash复制# 先安装PyTorch基础包
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
# 安装Unsloth及其依赖
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
pip install trl peft accelerate bitsandbytes datasets transformers
# Windows专属Triton安装
pip uninstall triton-windows -y
pip install https://github.com/woct0rdho/triton-windows/releases/download/v3.1.0-windows.post9/triton-3.0.0-cp310-cp310-win_amd64.whl
4. 模型训练全流程
4.1 模型下载优化
国内用户推荐使用ModelScope镜像：
python复制from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2.5-1.5B', cache_dir='./models')
4.2 LoRA配置技巧
在8GB显存设备上的最佳实践配置：
python复制model = FastLanguageModel.get_peft_model(
model,
r=8, # LoRA秩
target_modules=[
"q_proj", "k_proj", "v_proj",
"gate_proj", "up_proj", "down_proj"
],
lora_alpha=16,
use_gradient_checkpointing="unsloth",
random_state=42,
)
4.3 训练参数调优
针对对话数据的关键参数设置：
python复制training_args = TrainingArguments(
per_device_train_batch_size=2,
gradient_accumulation_steps=4,
warmup_ratio=0.05,
num_train_epochs=3,
learning_rate=2e-4,
optim="adamw_8bit",
max_grad_norm=0.3,
logging_steps=10,
save_strategy="steps",
eval_steps=100,
fp16=True,
report_to="none",
)
5. 实战问题解决方案
5.1 Windows编译问题
必须配置MSVC环境变量：
batch复制:: 根据VS安装路径调整
call "C:\Program Files\Microsoft Visual Studio\2022\Community\VC\Auxiliary\Build\vcvars64.bat"
5.2 显存不足应对策略
当遇到CUDA out of memory时：
- 降低max_seq_length（2048→1024）
- 减小batch_size（2→1）
- 关闭gradient_checkpointing
- 使用更小的基础模型（7B→1.5B）
5.3 中文对话特殊处理
为提高中文生成质量：
- 在tokenizer中添加特殊token
- 调整生成参数：
python复制generation_config = {
"do_sample": True,
"temperature": 0.7,
"top_p": 0.9,
"repetition_penalty": 1.1,
"max_new_tokens": 128,
"pad_token_id": tokenizer.eos_token_id
}
6. 模型部署与应用
6.1 模型保存最佳实践
推荐两种保存方式：
python复制# 只保存LoRA权重（轻量）
model.save_pretrained("lora_weights")
# 保存完整模型（便于部署）
merged_model = model.merge_and_unload()
merged_model.save_pretrained("qwen_finetuned")
6.2 本地测试脚本
快速验证模型效果：
python复制from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("qwen_finetuned")
model = AutoModelForCausalLM.from_pretrained("qwen_finetuned", device_map="auto")
def chat(text):
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": text}],
return_tensors="pt"
).to("cuda")
outputs = model.generate(inputs, **generation_config)
return tokenizer.decode(outputs[0], skip_special_tokens=True)
7. 经验总结与避坑指南
-
数据质量决定上限：
- 至少需要500-1000组优质对话样本
- 去除敏感信息和无效内容
-
硬件选择建议：
- 8GB显存：1.5B模型
- 16GB显存：3B模型
- 24GB+显存：7B模型
-
训练过程监控：
- 使用nvidia-smi观察显存占用
- 关注loss下降曲线
- 定期保存checkpoint
-
中文优化技巧：
- 在tokenizer中添加常用中文符号
- 适当提高temperature增加多样性
- 添加重复惩罚避免循环输出
这个项目最关键的收获是：在有限硬件条件下，通过合理的LoRA配置和参数调优，完全可以实现高质量的对话模型微调。后续可以尝试将模型转换为GGUF格式，在Ollama等框架中部署。