1. 项目概述
最近在本地环境完成了OpenClaw与vLLM Qwen3 32B模型的对接部署,整个过程虽然遇到了一些小波折,但最终效果令人满意。作为一个专注于AI与安全工具集成的技术实践者,我认为这套方案对于想要构建私有化AI安全测试平台的研究人员来说很有参考价值。
我的硬件配置是4K分辨率下的RTX 4090D显卡,运行Qwen3 32B量化模型,支持128k上下文长度,实际体验相当流畅。这套环境将作为我后续开发AI自动化安全测试工具的基础平台。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与模型部署
2.1 基础环境配置
我选择了Kali Linux 2025.2作为基础操作系统,主要考虑到其对安全测试工具的良好支持。关键组件版本如下:
- OpenClaw 2026.3.2
- vLLM 0.16
- Qwen3 32B AWQ量化模型
提示:建议在安装前确保系统已更新到最新状态,运行
sudo apt update && sudo apt upgrade -y可以避免很多基础依赖问题。
2.2 vLLM模型服务部署
模型部署是整个项目中最简单的部分,这要归功于vLLM优秀的工程实现。我编写了一个启动脚本,关键参数配置如下:
bash复制python -m vllm.entrypoints.openai.api_server \
--model /data/models/QwQ-32B-AWQ \
--served-model-name qwen32b \
--dtype half \
--quantization awq_marlin \
--tensor-parallel-size 4 \
--max-model-len 32768 \
--port 8000 \
--host 0.0.0.0 \
--trust-remote-code \
--enforce-eager \
--max-num-seqs 256 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml \
--api-key sk-haoge666
参数解析:
--quantization awq_marlin:使用AWQ M
