使用LiteLLM实现Ollama与CC Switch的协议转换-AI智能范式网

使用LiteLLM实现Ollama与CC Switch的协议转换

张涵涵·2026-08-29·阅读 21 GEO检测（免费）

LiteLLMOllamaCC Switch

|难度：普通|阅读约 19 分钟

1. 项目背景与核心需求

最近在折腾本地大模型部署时，发现了一个很有意思的需求场景：如何让CC Switch这类第三方客户端工具能够无缝对接本地运行的Ollama模型服务。具体来说，就是希望通过CC Switch调用本地部署的Gemma 4 E2B模型，但直接连接时遇到了协议不兼容的问题。

这个问题的本质在于：Ollama提供的API接口与Anthropic官方API协议存在差异，而CC Switch这类工具通常是按照Anthropic的标准协议设计的。这就好比一个欧洲电器插头（CC Switch）无法直接插入中国插座（Ollama API），我们需要一个转换器（协议转换层）来解决这个兼容性问题。

经过多次尝试和验证，我发现LiteLLM这个开源项目恰好能完美解决这个问题。它就像一个智能的协议转换器，能够在Ollama的API和Anthropic标准API之间进行实时转换，让CC Switch误以为自己在连接真正的Anthropic服务，实际上请求都被转发到了本地的Ollama模型。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 技术方案设计

2.1 整体架构解析

整个解决方案的架构可以分为三个核心组件：

CC Switch客户端：作为用户交互界面，发送符合Anthropic API标准的请求
LiteLLM代理层：运行在4000端口，负责协议转换和请求转发
Ollama服务端：实际运行Gemma 4 E2B模型，监听11434端口

数据流向如下：

code复制CC Switch → LiteLLM (协议转换) → Ollama (192.168.14.150:11434) → Gemma 4 E2B

2.2 为什么选择LiteLLM

在评估多个方案后，选择LiteLLM主要基于以下几个考量：

协议兼容性：LiteLLM内置了对Anthropic API协议的完整支持，可以完美模拟官方API行为
轻量级：相比自建代理服务，LiteLLM的安装和配置都非常简单，依赖少
灵活性：支持通过命令行参数或配置文件两种方式进行配置，适应不同场景
活跃社区：项目维护积极，遇到问题容易找到解决方案

3. 详细实施步骤

3.1 环境准备

在开始之前，请确保满足以下前提条件：

已安装并运行Ollama服务（默认端口11434）
Ollama已加载gemma4:e2b模型（可通过ollama list验证）
已配置局域网访问（如使用setx命令开放了192.168.14.150的访问）

提示：如果Ollama服务仅限本地访问，需要先修改配置允许局域网连接。可以在启动Ollama时添加--host 0.0.0.0参数。

3.2 LiteLLM安装与配置

3.2.1 Python环境检查

首先确认Python环境符合要求：

bash复制python --version
# 需要Python 3.8+

如果尚未安装Python，建议从官网下载最新稳定版。安装时务必勾选"Add Python to PATH"选项。

3.2.2 安装LiteLLM

推荐使用国内镜像源加速安装：

bash复制pip install litellm[proxy] -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后验证：

bash复制pip show litellm
python -c "import litellm; print(litellm.__version__)"

3.2.3 常见安装问题解决

如果遇到依赖安装失败，可以尝试以下方法：

单独安装缺失模块：

bash复制pip install websockets httpx

清理后重新安装：

bash复制pip uninstall litellm -y
pip install litellm[proxy] --no-cache-dir

检查Python环境一致性：

bash复制where python
where pip

确保两者指向同一Python安装路径。

3.3 启动LiteLLM代理服务

3.3.1 快速启动方式

对于测试环境，可以使用命令行直接启动：

bash复制litellm --model ollama/gemma4:e2b --api_base http://192.168.14.150:11434 --port 4000 --host 0.0.0.0

关键参数说明：

--model：指定模型名称格式为ollama/[模型名]:[tag]
--api_base：Ollama服务的地址和端口
--port：LiteLLM代理监听端口
--host：设置为0.0.0.0允许局域网访问

3.3.2 生产环境推荐配置

对于长期使用，建议创建配置文件litellm_config.yaml：

yaml复制model_list:
  - model_name: gemma4-e2b
    litellm_params:
      model: ollama/gemma4:e2b
      api_base: http://127.0.0.1:11434

litellm_settings:
  drop_params: true
  set_verbose: false

然后使用配置文件启动：

bash复制litellm --config litellm_config.yaml --port 4000 --host 0.0.0.0

3.3.3 验证服务

新开终端执行：

bash复制curl http://127.0.0.1:4000/v1/models

应返回包含gemma4-e2b的模型列表。

3.4 CC Switch配置

3.4.1 图形界面配置

打开CC Switch应用
选择Claude分组
点击"添加"→"自定义配置"
填写以下信息：
- API地址：http://192.168.14.150:4000
- API Key：ollama-local（任意字符串）
- 模型名称：gemma4-e2b
保存并启用该配置

3.4.2 配置文件方式（高级）

如果熟悉配置文件操作，可以直接修改CC Switch的配置文件（通常位于~/.claude/apiConfigs.json）：

json复制{
  "name": "ollama-gemma4-local",
  "config": {
    "env": {
      "ANTHROPIC_AUTH_TOKEN": "ollama-local",
      "ANTHROPIC_BASE_URL": "http://192.168.14.150:4000"
    },
    "model": "gemma4-e2b"
  }
}

3.5 完整测试流程

确保Ollama服务正常运行：

bash复制ollama list

启动LiteLLM代理（使用上述任一方法）
在CC Switch中选择新建的配置
发送测试消息，确认能正常获取响应

4. 常见问题排查

4.1 连接类问题

问题现象：CC Switch连接超时或无响应

排查步骤：

检查LiteLLM是否正常运行：

bash复制netstat -ano | findstr 4000

验证局域网连通性：

bash复制ping 192.168.14.150

检查防火墙设置，确保4000端口开放

解决方案：

如果是Windows防火墙问题，运行：

bash复制netsh advfirewall firewall add rule name="LiteLLM" dir=in action=allow protocol=TCP localport=4000

4.2 协议兼容性问题

问题现象：CC Switch能连接但返回异常错误

可能原因：

模型名称不匹配
API版本不兼容

解决方案：

确认模型名称完全一致（包括大小写）
在LiteLLM启动时添加调试信息：

bash复制litellm --config litellm_config.yaml --port 4000 --debug

检查CC Switch是否支持自定义API端点

4.3 性能优化建议

批处理请求：在LiteLLM配置中添加：

yaml复制litellm_settings:
  max_batch_size: 10

启用缓存：

yaml复制litellm_settings:
  cache: true
  cache_params:
    type: "local"

限制并发（防止Ollama过载）：

yaml复制litellm_settings:
  num_retries: 3
  timeout: 30

5. 进阶配置技巧

5.1 注册为系统服务

为了让LiteLLM代理能随系统启动，可以注册为Windows服务：

下载NSSM工具
安装服务：

bash复制nssm install LiteLLM "D:\path\to\python.exe" "D:\path\to\litellm" --config litellm_config.yaml --port 4000

启动服务：

bash复制nssm start LiteLLM

5.2 多模型支持

如果需要支持多个Ollama模型，修改配置文件：

yaml复制model_list:
  - model_name: gemma4-e2b
    litellm_params:
      model: ollama/gemma4:e2b
      api_base: http://127.0.0.1:11434
  
  - model_name: llama3-8b
    litellm_params:
      model: ollama/llama3:8b
      api_base: http://127.0.0.1:11434

在CC Switch中就可以选择不同的模型名称了。

5.3 负载均衡配置

如果有多个Ollama实例，可以配置负载均衡：

yaml复制model_list:
  - model_name: gemma4-cluster
    litellm_params:
      model: ollama/gemma4:e2b
      api_base: 
        - http://192.168.14.150:11434
        - http://192.168.14.151:11434
        - http://192.168.14.152:11434

6. 安全注意事项

访问控制：
- 不建议长期开放0.0.0.0监听
- 可以通过防火墙限制只允许特定IP访问4000端口
API密钥保护：
- 虽然LiteLLM不强制验证API Key，但建议配置简单的认证：

yaml复制litellm_settings:
  authentication:
    type: "basic"
    username: "user123"
    password: "pass123"

HTTPS加密：
- 对于生产环境，建议配置Nginx反向代理添加SSL证书
- 或者使用LiteLLM内置的SSL支持：

bash复制litellm --config litellm_config.yaml --port 4000 --ssl --ssl_certfile /path/to/cert.pem --ssl_keyfile /path/to/key.pem

7. 监控与维护

7.1 日志配置

启用详细日志记录：

yaml复制litellm_settings:
  logging:
    level: "DEBUG"
    file: "litellm.log"
    rotation: "10 MB"

7.2 健康检查

可以设置定时任务检查服务状态：

bash复制# 简单的健康检查脚本
curl -s http://127.0.0.1:4000/health > nul || (
    echo "LiteLLM服务异常，正在重启..."
    taskkill /f /im python.exe
    start litellm --config litellm_config.yaml --port 4000
)

7.3 性能监控

使用内置的Prometheus指标：

yaml复制litellm_settings:
  monitoring: true
  monitoring_metrics: ["latency", "throughput", "error_rate"]

然后在Prometheus中配置抓取http://localhost:4000/metrics

8. 替代方案比较

虽然LiteLLM是推荐方案，但了解其他可选方案也有助于决策：

方案	优点	缺点	适用场景
LiteLLM	安装简单，维护活跃	功能相对基础	快速对接，标准协议转换
自建代理	完全可控，高度定制	开发成本高	有特殊协议需求
API网关	企业级功能	配置复杂	大规模生产环境
修改CC Switch	直接兼容	需要编程能力	开发者环境

在实际使用中，我发现对于大多数个人和小团队场景，LiteLLM已经能完美满足需求。只有当有特殊协议需求或极高并发要求时，才需要考虑其他方案。