1. 项目背景与核心需求
在本地部署大语言模型已经成为AI开发者和研究者的刚需场景。Qwen3.5-9B作为通义千问系列中性能优异的中英双语模型,其72K上下文窗口和强大的推理能力特别适合需要长文本处理的场景。但直接在4060Ti这类消费级显卡上部署9B参数的模型,面临着显存限制、环境依赖复杂等典型挑战。
vLLM作为专为LLM推理优化的服务框架,通过PagedAttention等创新技术,能显著提升推理吞吐量并降低显存占用。而Docker的容器化部署则完美解决了环境依赖和隔离问题。本项目正是基于这两项技术,在单张4060Ti显卡(8GB显存)上实现Qwen3.5-9B的高效部署。
关键提示:虽然官方推荐Qwen3.5-9B需要16GB以上显存,但通过vLLM的量化技术和显存优化,实测在8GB显存环境下仍可运行,只是batch_size需要严格限制。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与硬件配置
2.1 硬件选型分析
NVIDIA RTX 4060Ti(8GB GDDR6)作为主流游戏显卡,其Ada Lovelace架构的第四代Tensor Core对FP8/INT8计算有良好支持。关键参数:
- CUDA核心数:4352个
- 显存带宽:288 GB/s
- FP16性能:22.06 TFLOPS
与专业显卡对比的妥协点:
- 缺少ECC显存校验
- 单精度浮点性能较弱
- 显存容量较小
2.2 基础环境搭建
推荐使用Ubuntu 22.04 LTS系统,关键组件版本要求:
bash复制# 验证驱动安装
nvidia-smi # 需显示Driver Version: 535+
docker --version # 需≥20.10
nvidia-container-toolkit --version # 需≥1.10
安装NVIDIA容器工具包的特殊配置:
bash复制# 对于国内用户建议添加阿里云镜像源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
echo "deb [s
