Qwen2-1.5B模型LoRA微调与Ollama部署实战

1. 项目概述

最近在做一个商业术语问答系统的项目，需要基于Qwen2-1.5B-Instruct模型进行领域适配。经过实践，总结出一套完整的微调与部署流程：使用LLaMA-Factory进行LoRA微调，导出Hugging Face格式模型，再通过llama.cpp转换为GGUF格式，最终部署到Ollama平台运行。这个方案特别适合需要在本地环境部署定制化大模型的开发者。

为什么选择这套技术路线？首先，LLaMA-Factory提供了可视化的微调界面，大大降低了上手门槛；其次，GGUF格式对CPU推理更友好，在消费级硬件上也能流畅运行；最后，Ollama提供了简洁的模型管理接口，便于实际应用集成。

2. 环境准备与数据配置

2.1 基础环境搭建

建议使用Python 3.10环境，主要依赖包包括：

• torch==2.1.2
• transformers==4.37.0
• peft==0.7.1
• llama-factory==0.4.1

安装命令：

bash复制pip install torch transformers peft llama-factory --extra-index-url https://download.pytorch.org/whl/cu118

2.2 数据集准备详解

在LLaMA-Factory的data目录下，需要配置两个关键文件：

1. dataset_info.json - 数据集注册文件

json复制{
  "business_expressions": {
    "file_name": "business_expressions.json",
    "columns": {
      "instruction": "instruction",
      "input": "input",
      "output": "output"
    }
  }
}

2. business_expressions.json - 实际训练数据

json复制[
  {
    "instruction": "解释以下商业术语",
    "input": "KPI",
    "output": "关键绩效指标(Key Pe