1. 项目概述
这个Python项目实现了一个大语言模型(LLM)执行器的封装,主要功能是与各类LLM API进行交互。核心价值在于:
- 统一了不同部署方式(本地/云端)的调用接口
- 内置了对话上下文管理
- 提供了结果解析和格式处理能力
- 支持流式响应处理
我在实际使用中发现,这种封装特别适合需要频繁调用LLM的场景,比如:
- 构建对话系统
- 开发基于LLM的数据处理工具
- 实现自动化工作流中的智能决策环节
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心设计解析
2.1 消息类型定义
项目使用Pydantic定义了三种标准消息类型:
python复制class SystemMessage(BaseModel):
role: str = "system"
content: str = ""
class UserMessage(BaseModel):
role: str = "user"
content: str = ""
class AssistantMessage(BaseModel):
role: str = "assistant"
content: str = ""
这种设计有几个关键考虑:
- 类型安全:强制校验消息结构
- 默认值:减少重复代码
- IDE友好:支持自动补全和类型提示
2.2 上下文管理
LLMMessages类负责维护对话历史:
python复制class LLMMessages(BaseModel):
messages: List[Union[SystemMessage, UserMessage, AssistantMessage]] = Field(default_factory=list)
实际使用中需要注意:
- 系统消息只在初始化时添加一次
- 用户消息和AI回复会交替追加
- 长时间对话需要考虑上下文截断策略
3. 核心功能实现
3.1 LLM执行器初始化
初始化参数说明:
python复制def __init__(self, base_url: str, model: str, token: str,
enable_thinking: bool = False,
stream: bool = True,
system="你是一个数据处理专家"):
关键配置项:
base_url: API端点地址model: 模型标识符token: 认证令牌enable_thinking: 是否启用思考过程记录stream: 是否使用流式响应system: 系统角色设定
3.2 请求构建与发送
请求构建的核心逻辑:
python复制data = {
"model": self.model,
"extra_body": {"enable_thinking": self.enable_thinking},
"messages": [i.model_dump() for i in self.chat_context.messages],
"stream": self.stream,
"stream_options": {"include_usage": True},
"response_format": {"type": "json_object"}
}
几个关键点:
model_dump()将Pydantic模型转为字典stream_options控制是否返回token用量统计response_format强制要求JSON格式输出
3.3 响应解析处理
响应解析的主要流程:
- 状态码检查
- 流式/非流式结果处理
- 思考内容清理
- JSON格式提取
python复制pattern = r"<think>.*?</think>"
cleaned_text = re.sub(pattern, "", content, flags=re.DOTALL).strip()
cleaned_text = cleaned_text.lstrip("```json").rstrip("```")
final_out = json.loads(cleaned_text.strip())
4. 实战应用示例
4.1 意图识别专家配置
示例系
