构建生产级AI助手框架：从流式输出到智能体循环

1. 项目概述

今天我们来深入探讨如何构建一个生产级的AI助手框架。这个项目将带你从最基础的"向LLM问好"开始，逐步实现一个功能完善的多提供者、多通道AI智能体。这个智能体将具备工具调用、记忆功能、安全防护和Web界面等高级特性。

这个教程的独特之处在于：

• 每节课都建立在上一节课的基础上，形成完整的学习路径
• 提供可直接运行的代码和测试用例
• 采用渐进式开发方式，让学习者能够理解每个组件的实现原理

2. 核心概念解析

2.1 流式输出原理

流式输出是现代AI助手交互体验的关键技术。它的工作原理是：

1. Token逐个传输：当LLM生成响应时，不是一次性返回完整内容，而是将内容拆分成多个token（通常是单词或词片段）逐个发送
2. 实时渲染：客户端收到每个token后立即显示，形成"打字"效果
3. 性能优化：这种方式可以显著降低用户感知延迟，提升交互体验

在技术实现上，OpenAI API通过设置stream=True参数来启用流式模式。这会返回一个生成器对象，我们可以通过迭代这个生成器来获取实时输出的token。

2.2 智能体循环架构

智能体的核心工作流程遵循以下循环模式：

code复制系统提示词 -> 用户输入 -> LLM处理 -> (工具调用) -> 生成响应

这个循环的关键特性包括：

• 状态保持：智能体维护对话历史记录
• 迭代控制：设置最大迭代次数防止无限循环
• 模块化设计：将不同功能分离到独立的方法中

3. 实现细节

3.1 流式输出实现

以下是实现流式输出的关键代码片段：

python复制def _chat_stream(self, on_content_delta: Callable[[str], None] | None = None) -> LLMResponse:
    """向LLM发送消息并启用流式输出"""
    stream = self._client.chat.completions.create(
        model=self._model,
        messages=self._messages,
        stream=True,  # 启用流式输出
    )

    content_parts: list[str] = []
    for chunk in stream:
        if not chunk.choices:
            continue
        
        delta = chunk.choices[0].delta
        if delta.content:
            content_parts.append(delta.content)
            if on_content_delta:  # 如果有回调函数，则调用
                on_content_delta(delta.content)
    
    return LLMResponse(content="".join(content_parts) or None)

这段代码的几个关键点：
1.