OpenAI与LangChain大模型开发实战：从API调用到RAG应用

1. 从OpenAI到LangChain：大模型应用开发实战指南

在大模型技术快速发展的今天，掌握核心开发框架已成为AI工程师的必备技能。本文将深入剖析OpenAI API和LangChain两大工具链，揭示它们在实际项目中的协同关系与应用技巧。

1.1 OpenAI API：大模型交互的基石

OpenAI API作为行业标杆，其设计理念深刻影响着整个生态。安装只需简单命令：

bash复制pip install openai

关键配置要点：

• 密钥管理：建议通过环境变量设置（Windows用户变量/Linux的.bashrc）
• 端点配置：国内开发者可使用兼容端点如阿里云百炼

典型聊天交互示例：

python复制from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1"
)

response = client.chat.completions.create(
    model="qwen3-max",
    messages=[
        {"role":"system","content":"你是一名大学老师"},
        {"role":"user","content":"解释Transformer架构"}
    ],
    stream=True  # 启用流式输出
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

注意：消息列表(message)中的role需严格遵循system/assistant/user角色交替，否则可能导致对话逻辑混乱

1.2 LangChain：大模型应用的脚手架

LangChain作为开源框架，极大简化了基于LLM的应用开发。基础安装包含核心组件：

bash复制pip install langchain langchain-community dashscope chromadb

核心概念矩阵：

2. 提示词工程实战技巧

2.1 零样本与少样本学习

少样本提示模板构建示例：

python复制from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

examples = [
    {"word": "大", "antonym": "小"},
    {"word": "高", "antonym": "矮"}
]

template = PromptTemplate.from_template("单词:{word}，反义词:{antonym}")
few_shot_prompt = FewShotPromptTemplate(
    examples=examples,
    example_prompt=template,
    prefix="根据示例给出反义词",
    suffix="输入单词:{input}",
    input_variables=["input"]
)

prompt = few_shot_prompt.format(input="快")

2.2 对话历史管理

短期记忆实现方案：

python复制from langchain_core.runnables.history import RunnableWithMessageHistory
from langchain_core.chat_history import InMemoryChatMessageHistory

chat_history_store = {}

def get_session_history(session_id: str):
    if session_id not in chat_history_store:
        chat_history_store[session_id] = InMemoryChatMessageHistory()
    return chat_history_store[session_id]

chain_with_history = RunnableWithMessageHistory(
    base_chain,
    get_session_history,
    input_messages_key="input",
    history_messages_key="history"
)

3. RAG技术深度解析

3.1 向量数据库构建全流程

python复制from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import DashScopeEmbeddings
from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 文档处理流水线
loader = PyPDFLoader("research.pdf")
splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,
    separators=["\n\n", "\n", "。"]
)
docs = splitter.split_documents(loader.load())

# 向量化存储
vectorstore = Chroma.from_documents(
    documents=docs,
    embedding=DashScopeEmbeddings(),
    persist_directory="./vector_db"
)

3.2 检索增强生成实现

典型RAG查询流程：

python复制retriever = vectorstore.as_retriever(search_kwargs={"k": 3})

template = """基于以下上下文：
{context}

问题：{question}
"""
prompt = ChatPromptTemplate.from_template(template)

rag_chain = (
    {"context": retriever, "question": RunnablePassthrough()} 
    | prompt 
    | ChatTongyi(model="qwen3-max")
    | StrOutputParser()
)

4. 避坑指南与性能优化

4.1 常见问题排查表

4.2 性能优化技巧

1. 批处理优化：

python复制# 低效方式
for query in queries:
    results.append(model.invoke(query))

# 高效方式
from langchain_core.runnables import RunnableParallel
batch_chain = RunnableParallel(processed=processing_chain)
batch_results = batch_chain.batch(inputs)

2. 缓存策略：

python复制from langchain.cache import SQLiteCache
import langchain
langchain.llm_cache = SQLiteCache(database_path=".langchain.db")

3. 混合检索策略：

python复制from langchain.retrievers import BM25Retriever, EnsembleRetriever

bm25_retriever = BM25Retriever.from_documents(docs)
vector_retriever = vectorstore.as_retriever()

ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, vector_retriever],
    weights=[0.4, 0.6]
)

在实际项目开发中，我发现合理设置chunk_size对检索质量影响巨大。经过多次测试，技术文档处理建议设置为800-1200字符，重叠率15%-20%效果最佳。同时，对于中文内容，添加自定义分隔符（如"。"、"；"）能显著改善分块质量。