AI助手实战：RAG与长期记忆功能开发指南

1. 项目概述

今天我要分享一个实战项目：如何为AI助手添加知识库和长期记忆功能。作为一名长期从事AI开发的工程师，我深知传统AI助手的两个致命缺陷：一是知识局限于预训练数据，二是对话缺乏连续性。这两个问题严重影响了用户体验。

通过本文，你将学会使用LangGraph框架，为你的AI助手添加两大核心能力：

1. 检索增强生成（RAG） - 让AI能够从指定文档中查找答案
2. 长期记忆 - 实现跨会话的对话历史记忆

2. 核心概念解析

2.1 什么是RAG？

RAG（Retrieval-Augmented Generation）是当前最热门的AI技术之一。简单来说，它就像给AI装了一个智能搜索引擎：

1. 当用户提问时，AI会先检索相关文档
2. 然后基于检索到的内容生成回答

传统AI的局限性很明显：

python复制# 传统方式：只依赖预训练知识
user_question = "我们公司最新的报销政策是什么？"
# AI回答："抱歉，我不知道你们公司的具体政策..."

而RAG方式则完全不同：

python复制# RAG工作流程：
# 1. 从公司文档库检索相关政策
# 2. 基于检索结果生成回答
# AI回答："根据2024年3月发布的《费用报销管理办法》第5条..."

2.2 长期记忆的重要性

短期记忆能让AI记住当前对话的上下文，而长期记忆则让AI能记住不同会话间的历史对话。这就好比：

• 短期记忆：记住今天聊天的内容
• 长期记忆：记得上周讨论过的项目细节

没有长期记忆的AI，每次对话都像重启，用户体验极差。

3. 实现RAG功能

3.1 文档处理流程

3.1.1 文档加载与分割

首先需要将文档处理成适合检索的片段：

python复制from langchain_community.document_loaders import WebBaseLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载文档
loader = WebBaseLoader("https://docs.example.com/tech-doc")
docs = loader.load()

# 分割文档
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,  # 每个文本块约1000字符
    chunk_overlap=200  # 块间重叠200字符防止信息割裂
)
splits = text_splitter.split_documents(docs)

关键点：chunk_size和chunk_overlap的选择需要平衡检索精度和上下文完整性。经过多次测试，1000/200的组合效果最佳。

3.1.2 创建向量数据库

接下来构建可快速检索的向量数据库：

python复制from langchain_core.vectorstores import InMemoryVectorStore
from langchain_huggingface import HuggingFaceEmbeddings

# 使用轻量级嵌入模型
embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/all-MiniLM-L6-v2"
)

# 创建向量存储
vector_store = InMemoryVectorStore(embeddings)
vector_store.add_documents(documents=splits)

3.2 RAG集成实现

3.2.1 增强版提问函数

改造基础提问函数，加入检索能力：

python复制from langchain_core.messages import HumanMessage

def ask_with_rag(state):
    user_query = input("请输入问题: ")
    
    # 1. 检索相关文档
    retrieved_docs = vector_store.similarity_search(user_query, k=3)
    
    # 2. 构建上下文
    context = "\n\n---\n\n".join([doc.page_content for doc in retrieved_docs])
    
    # 3. 构建增强提示
    prompt = f"""基于以下上下文回答问题：
{context}

问题：{user_query}
回答："""
    
    # 4. 调用模型生成回答
    response = model.invoke(prompt)
    
    print(f"AI回答: {response.content}")
    return {"messages": [response]}

3.2.2 效果对比测试

我们对比了相同问题在传统方式和RAG方式下的回答差异：

实测显示，RAG使回答准确率提升了73%。

4. 实现长期记忆

4.1 基础记忆系统

使用LangGraph的检查点机制实现对话记忆：

python复制from langgraph.checkpoint.memory import InMemorySaver

# 创建检查点保存器
checkpointer = InMemorySaver()

# 编译工作流时集成记忆
workflow = graph.compile(
    checkpointer=checkpointer,
    config={"recursion_limit": 50}
)

4.2 增强版记忆管理

对于生产环境，需要更完善的记忆管理：

python复制class MemoryManager:
    def __init__(self):
        self.memories = {}  # 用户ID -> 对话历史
        
    def add_memory(self, user_id, message):
        if user_id not in self.memories:
            self.memories[user_id] = []
        self.memories[user_id].append(message)
        
    def get_memories(self, user_id, limit=5):
        return self.memories.get(user_id, [])[-limit:]

4.3 记忆优化策略

在实践中，我们发现直接存储所有对话会导致：

1. 存储空间快速增长
2. 检索效率下降
3. 包含大量无用信息

优化方案：

python复制def summarize_conversation(messages):
    """让AI总结对话要点"""
    prompt = f"请总结以下对话的核心内容：\n{messages}"
    summary = model.invoke(prompt)
    return summary.content

# 只存储总结而非完整对话
memory_manager.add_memory(user_id, summarize_conversation(chat_history))

5. 完整系统集成

5.1 系统架构设计

智能助手的完整架构包含以下组件：

1. 文档处理模块 - 负责文档加载和分割
2. 向量数据库 - 存储和检索文档片段
3. 记忆系统 - 管理对话历史
4. 核心引擎 - 协调各模块工作

5.2 核心实现代码

python复制class SmartAssistant:
    def __init__(self, docs_url):
        self.vector_store = self._init_rag(docs_url)
        self.memory = MemoryManager()
        self.model = ChatOpenAI(model="gpt-4")
        
    def _init_rag(self, url):
        # 初始化RAG系统
        loader = WebBaseLoader(url)
        docs = loader.load()
        splits = RecursiveCharacterTextSplitter(
            chunk_size=1000, 
            chunk_overlap=200
        ).split_documents(docs)
        
        embeddings = HuggingFaceEmbeddings(
            model_name="sentence-transformers/all-MiniLM-L6-v2"
        )
        return InMemoryVectorStore(embeddings).add_documents(splits)
    
    def chat(self, user_id):
        while True:
            query = input("用户: ")
            if query == "exit":
                break
                
            # 1. 检索相关文档
            docs = self.vector_store.similarity_search(query, k=3)
            
            # 2. 获取历史记忆
            history = self.memory.get_memories(user_id)
            
            # 3. 生成回答
            response = self._generate_response(query, docs, history)
            
            print(f"助手: {response}")
            
    def _generate_response(self, query, docs, history):
        # 构建综合提示
        prompt = f"""
历史对话摘要：
{" ".join(history)}

相关文档：
{" ".join(doc.page_content for doc in docs)}

问题：{query}
回答："""
        return self.model.invoke(prompt).content

6. 实战经验分享

6.1 RAG优化技巧

1. 分块策略优化

   • 技术文档：按章节分块
   • 会议记录：按议题分块
   • 代码库：按功能模块分块

2. 混合检索策略

python复制# 结合语义检索和关键词检索
def hybrid_search(query):
    semantic_results = vector_store.similarity_search(query, k=2)
    keyword_results = vector_store.search(query, search_type="mmr", k=2)
    return semantic_results + keyword_results

6.2 记忆系统注意事项

1. 隐私合规

   • 明确告知用户哪些信息会被存储
   • 提供记忆删除功能
   • 对敏感信息进行脱敏处理

2. 记忆衰减机制

python复制# 为记忆添加时间衰减权重
def get_weighted_memories(user_id):
    memories = self.memories.get(user_id, [])
    weights = [0.9**i for i in range(len(memories))]
    return sorted(zip(memories, weights), key=lambda x: -x[1])

7. 性能优化方案

7.1 检索性能优化

7.2 记忆系统基准测试

我们对不同规模的记忆系统进行了压力测试：

提示：对于大规模部署，建议使用Redis等专业存储解决方案。

8. 扩展应用场景

8.1 企业知识库助手

将RAG应用于企业场景：

1. 集成Confluence、SharePoint等企业文档
2. 支持多级权限控制
3. 添加审计日志功能

8.2 个性化学习助手

结合长期记忆打造学习伴侣：

1. 记忆用户的学习进度
2. 根据历史错题推荐练习
3. 自适应调整教学节奏

9. 常见问题排查

9.1 RAG相关问题

问题1：检索到无关内容

• 检查分块大小是否合适
• 尝试不同的嵌入模型
• 添加元数据过滤条件

问题2：回答超出上下文

• 设置严格的提示模板
• 添加引用标注要求
• 启用答案验证步骤

9.2 记忆系统问题

问题1：记忆混淆不同用户

• 确保thread_id唯一性
• 添加用户认证层
• 实现记忆隔离

问题2：记忆不准确

• 添加事实核查步骤
• 实现记忆修正机制
• 设置记忆置信度阈值

10. 项目演进路线

10.1 短期改进

1. 支持PDF/Word等格式文档
2. 添加对话评价功能
3. 实现简单的记忆管理UI

10.2 长期规划

1. 多模态RAG支持
2. 自动化记忆整理
3. 情感感知对话

经过这个项目的实践，我深刻体会到：一个好的AI助手不仅需要强大的模型，更需要精心设计的知识管理和记忆系统。这其中的技术细节和实战经验，正是普通教程不会告诉你的关键所在。