Ollama与Streamlit构建本地大模型应用实战

1. Ollama Python库基础API实战指南

1.1 环境准备与基础配置

在开始使用Ollama之前，我们需要先完成基础环境搭建。Ollama是一个开源的本地大模型管理工具，它允许开发者在自己的机器上运行和管理各种开源大语言模型。以下是详细的安装步骤：

1. 首先确保系统已安装Python 3.8或更高版本
2. 通过pip安装Ollama客户端库：

bash复制pip install ollama

3. 下载并安装Ollama服务端程序（根据操作系统选择对应版本）：
   • Windows用户可直接下载exe安装包
   • Mac用户可使用Homebrew：brew install ollama
   • Linux用户可通过脚本安装：curl -fsSL https://ollama.com/install.sh | sh

安装完成后，启动Ollama服务：

bash复制ollama serve

服务默认会监听11434端口，这是后续API调用的基础。

注意：如果遇到端口冲突，可以通过环境变量修改默认端口：export OLLAMA_HOST=0.0.0.0:11435

1.2 核心API详解与实战示例

Ollama提供了丰富的API来管理本地的大语言模型。让我们通过实际代码示例来深入理解每个API的用法。

1.2.1 模型管理API

首先初始化客户端连接：

python复制import ollama

# 创建客户端实例
client = ollama.Client(host="http://localhost:11434")

模型列表查询：

python复制# 获取本地可用模型列表
models = client.list()
print(f"本地可用模型: {[model['name'] for model in models['models']]}")

模型详细信息查看：

python复制# 获取特定模型的详细信息
model_info = client.show('deepseek-r1:7b')
print(f"模型详细信息:\n{model_info}")

这个API会返回模型的参数规模、架构、训练数据等关键信息。

运行中模型监控：

python复制# 查看当前运行的模型实例
running_models = client.ps()
print(f"运行中的模型: {running_models}")

1.2.2 模型交互API

最核心的chat API使用示例：

python复制response = client.chat(
    model='deepseek-r1:7b',
    messages=[
        {"role": "system", "content": "你是一个专业的AI助手"},
        {"role": "user", "content": "请用简洁的语言解释量子计算"}
    ],
    options={
        'temperature': 0.7,
        'max_tokens': 300
    }
)

print(response['message']['content'])

实操技巧：在实际应用中，建议将temperature参数设置在0.5-0.8之间以获得平衡的回答。对于需要确定答案的场景，可以降低到0.2-0.5；需要创造性的场景可以提高到0.8-1.0。

1.3 高级功能与性能优化

流式响应处理：

python复制response = client.chat(
    model='deepseek-r1:7b',
    messages=[{"role": "user", "content": "写一篇关于深度学习的短文"