使用vLLM在AKS上部署Mistral-7B大型语言模型

1. 项目概述

在云计算和人工智能技术快速发展的今天，将大型语言模型（LLM）部署到生产环境已成为许多企业和开发者的迫切需求。Azure Kubernetes Service（AKS）作为微软云平台提供的托管Kubernetes服务，为LLM部署提供了理想的运行环境。本指南将详细介绍如何使用vLLM引擎在AKS上部署Mistral-7B等大型语言模型。

提示：虽然本指南以Mistral-7B为例，但所述方法同样适用于其他Hugging Face托管的开源模型，只需相应调整资源配置即可。

2. 基础设施准备

2.1 Azure环境配置

首先需要确保Azure环境准备就绪。以下是详细步骤：

1. Azure订阅验证：

   bash复制az account show
   

   这条命令会显示当前激活的订阅信息。确保订阅状态为"Enabled"且已设置正确的计费方式。

2. Azure CLI安装：

   • Linux系统：

     bash复制curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash
     

   • macOS系统：

     bash复制brew install azure-cli
     

3. Kubernetes工具安装：

   bash复制az aks install-cli
   

   这将安装kubectl和相关的Kubernetes管理工具。

2.2 资源组和AKS集群创建

定义环境变量以简化后续命令：

bash复制export MY_RESOURCE_GROUP_NAME="llm-deployment-rg"
export MY_AKS_CLUSTER_NAME="llm-cluster"
export LOCATION="eastus"

创建资源组：

bash复制az group create --name $MY_RESOURCE_GROUP_NAME --location $LOCATION

创建AKS集群基础配置：

bash复制az aks create \
  --resource-group $MY_RESOURCE_GROUP_NAME \
  --name $MY_AKS_CLUSTER_NAME \
  --node-count 1 \
  --generate-ssh-keys \
  --network-plugin azure \
  --network-policy azure

注意：初始节点数设置为1是为了最小化初始成本，后续可以根据需要扩展。

3. 节点池配置

3.1 系统节点池

系统节点池运行Kubernetes系统组件，建议配置如下：

bash复制az aks nodepool add \
  --resource-group $MY_RESOURCE_GROUP_NAME \
  --cluster-name $MY_AKS_CLUSTER_NAME \
  --name system \
  --node-count 3 \
  --node-vm-size D2s_v3

选择D2s_v3虚拟机规格的原因：

• 2vCPU和8GB内存足以运行系统组件
• 成本效益比高
• 3个节点确保高可用性

3.2 GPU节点池

GPU节点池专门用于运行LLM推理工作负载：

bash复制az aks nodepool add \
  --resource-group $MY_RESOURCE_GROUP_NAME \
  --cluster-name $MY_AKS_CLUSTER_NAME \
  --name gpunp \
  --node-count 1 \
  --node-vm-size Standard_NC4as_T4_v3 \
  --node-taints sku=gpu:NoSchedule \
  --enable-cluster-autoscaler \
  --min-count 1 \
  --max-count 3

关键配置解析：

• Standard_NC4as_T4_v3：配备NVIDIA T4 GPU，16GB显存，适合7B参数规模的模型
• node-taints：确保只有明确声明容忍GPU污点的工作负载会被调度到这些节点
• 自动扩缩：根据负载自动调整节点数量，平衡性能和成本

4. NVIDIA设备插件安装

创建以下DaemonSet配置（保存为nvidia-device-plugin.yaml）：

yaml复制apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: nvidia-device-plugin-daemonset
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: nvidia-device-plugin-ds
  template:
    metadata:
      labels:
        name: nvidia-device-plugin-ds
    spec:
      tolerations:
      - key: "sku"
        operator: "Equal"
        value: "gpu"
        effect: "NoSchedule"
      priorityClassName: "system-node-critical"
      containers:
      - image: nvcr.io/nvidia/k8s-device-plugin:v0.14.0
        name: nvidia-device-plugin-ctr
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            drop: ["ALL"]
        volumeMounts:
        - name: device-plugin
          mountPath: /var/lib/kubelet/device-plugins

应用配置：

bash复制kubectl apply -f nvidia-device-plugin.yaml

验证安装：

bash复制kubectl get pods -n kube-system | grep nvidia-device-plugin

5. 模型部署配置

5.1 持久化存储

创建PersistentVolumeClaim（保存为volume.yaml）：

yaml复制apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mistral-7b
  namespace: default
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 50Gi
  storageClassName: default

50Gi存储空间考虑：

• Mistral-7B模型文件约15GB
• 需要额外空间用于缓存和临时文件
• 预留空间为未来可能的模型更新

5.2 服务配置

创建Service（保存为service.yaml）：

yaml复制apiVersion: v1
kind: Service
metadata:
  name: mistral-7b
  namespace: default
spec:
  ports:
  - name: http-mistral-7b
    port: 80
    targetPort: 8000
  selector:
    app: mistral-7b
  type: LoadBalancer

LoadBalancer类型服务提供：

• 外部可访问的稳定IP地址
• 自动负载均衡
• 与Azure网络基础设施深度集成

5.3 部署配置

创建Deployment（保存为deployment.yaml）：

yaml复制apiVersion: apps/v1
kind: Deployment
metadata:
  name: mistral-7b
spec:
  replicas: 1
  template:
    spec:
      containers:
      - name: mistral-7b
        image: vllm/vllm-openai:latest
        resources:
          limits:
            nvidia.com/gpu: 1
            memory: 20G
          requests:
            nvidia.com/gpu: 1
            memory: 6G
        volumeMounts:
        - mountPath: /root/.cache/huggingface
          name: cache-volume

资源限制设置考虑：

• 1个GPU：T4 GPU可以高效运行7B参数模型
• 内存限制20GB：确保容器不会耗尽节点内存
• 内存请求6GB：保证基本运行需求

6. 部署与验证

6.1 应用配置

bash复制kubectl apply -f volume.yaml
kubectl apply -f service.yaml
kubectl apply -f deployment.yaml

6.2 验证部署

检查Pod状态：

bash复制kubectl get pods -w

查看服务详情：

bash复制kubectl get service mistral-7b

6.3 API测试

获取服务IP：

bash复制export SERVICE_IP=$(kubectl get service mistral-7b -o jsonpath='{.status.loadBalancer.ingress[0].ip}')

发送测试请求：

bash复制curl --location "http://$SERVICE_IP/v1/completions" \
--header 'Content-Type: application/json' \
--data '{
  "model": "mistralai/Mistral-7B-Instruct-v0.1",
  "prompt": "Explain how Kubernetes works",
  "max_tokens": 50
}'

7. 生产环境优化

7.1 自动扩缩

配置Horizontal Pod Autoscaler（HPA）：

bash复制kubectl autoscale deployment mistral-7b --cpu-percent=50 --min=1 --max=5

7.2 监控配置

安装Prometheus和Grafana：

bash复制helm install prometheus prometheus-community/prometheus
helm install grafana grafana/grafana

7.3 安全加固

实施网络策略（保存为network-policy.yaml）：

yaml复制apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-llm-traffic
spec:
  podSelector:
    matchLabels:
      app: mistral-7b
  policyTypes:
  - Ingress
  ingress:
  - from:
    - namespaceSelector: {}
    ports:
    - protocol: TCP
      port: 8000

8. 成本优化策略

1. 使用Spot实例：

   bash复制az aks nodepool add \
     --resource-group $MY_RESOURCE_GROUP_NAME \
     --cluster-name $MY_AKS_CLUSTER_NAME \
     --name spotnp \
     --priority Spot \
     --eviction-policy Delete \
     --spot-max-price -1 \
     --node-vm-size Standard_NC4as_T4_v3 \
     --node-count 1
   

2. 定时缩放：

   bash复制kubectl scale deployment mistral-7b --replicas=0
   

   在非高峰时段缩减副本数以节省成本。

3. 资源利用率监控：

   bash复制az monitor metrics list \
     --resource /subscriptions/{subscriptionId}/resourceGroups/$MY_RESOURCE_GROUP_NAME/providers/Microsoft.ContainerService/managedClusters/$MY_AKS_CLUSTER_NAME \
     --metric "node_cpu_usage_percentage" \
     --interval PT1H
   

9. 维护与故障排除

9.1 常见问题

GPU未被识别：

bash复制kubectl describe node <gpu-node-name>
kubectl logs -n kube-system <nvidia-device-plugin-pod-name>

内存不足：

• 检查容器内存限制
• 监控内存使用情况：

  bash复制kubectl top pod
  

9.2 版本更新

滚动更新策略：

bash复制kubectl set image deployment/mistral-7b mistral-7b=vllm/vllm-openai:new-version
kubectl rollout status deployment/mistral-7b

9.3 备份恢复

使用Velero进行备份：

bash复制velero backup create llm-backup --include-namespaces default

恢复备份：

bash复制velero restore create --from-backup llm-backup

10. 性能调优建议

1. 批处理请求：

   • 配置vLLM的--max-batch-size参数
   • 合理设置--max-sequence-length

2. 量化模型：

   • 使用4-bit或8-bit量化减少内存占用
   • 平衡精度和性能

3. 缓存优化：

   • 调整vLLM的KV缓存大小
   • 监控缓存命中率

4. 并发控制：

   • 根据GPU内存设置合理并发数
   • 使用--max-concurrent-requests参数

在实际部署中，我发现T4 GPU运行Mistral-7B时，最佳并发数通常在4-8之间，具体取决于输入输出长度。建议从较低并发开始，逐步增加并监控响应时间和GPU利用率。