开源中文小参数量大语言模型tiny-llm-zh实践指南

1. 项目概述

tiny-llm-zh是一个开源的中文小参数量大语言模型实现项目，旨在为开发者提供从零构建大语言模型的完整实践路径。这个项目最吸引我的地方在于它完整覆盖了大模型开发的整个生命周期：从分词器训练、预训练到指令微调、人类对齐、量化部署，形成了一个闭环的学习体系。

作为长期从事NLP开发的工程师，我见过太多"玩具级"的模型实现，但tiny-llm-zh的不同之处在于：

1. 它采用了工业级的技术栈（Transformers+Deepspeed）
2. 支持多机多卡分布式训练
3. 实现了完整的RLHF/DPO对齐流程
4. 提供多种部署方案（vLLM/llama.cpp等）

特别值得一提的是，项目提供了16M到1.5B不同规模的模型配置，这种渐进式的设计非常适合学习者由浅入深地掌握大模型技术。

2. 核心架构解析

2.1 模型架构设计

项目采用了类LLaMA2的架构设计，包含以下核心组件：

• RMSNorm：替代传统的LayerNorm，计算量更小且效果相当
• RoPE：旋转位置编码，更好地处理长序列依赖
• MHA：多头注意力机制的标准实现

在hidden_size=512的92M参数模型中，具体配置为：

python复制{
    "hidden_size": 512,
    "intermediate_size": 1024,  # FFN层维度
    "num_attention_heads": 8,
    "num_hidden_layers": 8,
    "max_position_embeddings": 1024
}

2.2 分词器实现

项目采用双路径分词方案：

1. 直接使用ChatGLM3词表（64798 tokens）
2. 自定义扩展方案（在LLaMA2 32K词表基础上增加20K中文词表）

实际测试发现，对于中文场景，ChatGLM3的词表压缩率更好。以下是对比示例：

text复制原始文本："自然语言处理是人工智能的重要分支"
- LLaMA2分词：['自然', '语言', '处理', '是', '人工', '智能', '的', '重要', '分支'] (9 tokens)
- ChatGLM3分词：['自然语言处理', '是', '人工智能', '的', '重要', '分支'] (6 tokens)

3. 训练全流程实现

3.1 预训练阶段

项目使用42B tokens的中文百科数据进行预训练，关键配置如下：

bash复制deepspeed --num_gpus=4 train.py \
    --model_type tiny_llm \
    --batch_size 256 \
    --gradient_accumulation_steps 8 \
    --lr 6e-4 \
    --weight_decay 0.1 \
    --warmup_steps 2000 \
    --deepspeed configs/ds_config.json

重要提示：小模型训练需要特别注意学习率设置。根据经验，参数量在100M以下的模型，学习率通常需要比大模型高1-2个数量级。

3.2 指令微调(SFT)

项目提供了400万条指令数据进行微调，采用标准的对话格式：

python复制"<|system|>\n{system_prompt}\n<|user|>\n{user_input}\n<|assistant|>\n{response}"

在实际操作中，我们发现两个关键点：

1. 对于小模型，system prompt不宜过长（建议<64 tokens）
2. 需要严格控制max_length（512-1024之间最佳）

3.3 人类对齐(RLHF/DPO)

项目实现了完整的对齐流程：

1. 奖励模型训练：使用17万条偏好数据
2. PPO训练：采用TRL库实现
3. DPO训练：直接优化偏好对齐

实测发现，对于小模型，DPO的效果通常优于PPO，且训练更稳定。

4. 部署实践

4.1 vLLM部署

需要自定义模型适配：

python复制# 将tinyllm.py复制到vLLM的models目录
cp vllm/tinyllm.py ${vLLM_PATH}/model_executor/models/

# 修改__init__.py添加：
"TinyllmForCausalLM": ("tinyllm", "TinyllmForCausalLM")

启动命令示例：

bash复制python -m vllm.entrypoints.api_server \
    --model wdndev/tiny_llm_sft_92m \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.8

4.2 llama.cpp量化

量化步骤：

bash复制# 转换为gguf格式
python convert.py --outtype f16 --outfile tinyllm.f16.gguf

# 量化到Q4_K_M
./quantize tinyllm.f16.gguf tinyllm.q4_k_m.gguf Q4_K_M

在树莓派5上实测，量化后的92M模型仅需约100MB内存，推理速度达15tokens/s。

5. 常见问题与优化

5.1 训练不稳定问题

小模型常见问题及解决方案：

5.2 推理效果提升

通过以下技巧可显著改善小模型表现：

1. 温度采样：设置temperature=0.7
2. 重复惩罚：repetition_penalty=1.2
3. 束搜索：num_beams=3, early_stopping=True

5.3 资源优化

针对不同硬件环境的配置建议：

6. 扩展开发

项目支持MoE架构扩展，关键修改点：

python复制class TinyLLMMoE(nn.Module):
    def __init__(self):
        self.experts = nn.ModuleList([MLP() for _ in range(8)])
        self.gate = nn.Linear(hidden_size, 8)
        
    def forward(self, x):
        gate_scores = self.gate(x)  # [batch, seq_len, num_experts]
        weights = F.softmax(gate_scores, dim=-1)
        expert_outputs = torch.stack([e(x) for e in self.experts], dim=-1)
        return torch.einsum('...e,...ed->...d', weights, expert_outputs)

在210M模型上引入MoE后，效果提升约15%，但推理速度下降30%，需要权衡取舍。

通过这个项目，我深刻体会到小模型开发与大模型有几个关键差异：

1. 需要更精细的超参调优
2. 架构选择对效果影响更大
3. 量化部署的门槛更低
4. 更适合垂直领域快速迭代