LangChain性能优化实战：缓存、提示压缩与检索加速

1. 深夜报警引发的性能优化思考

凌晨两点的报警短信总是格外刺眼。那天晚上，我们的问答服务响应时间从正常的200ms直接飙升至8秒，整个系统几乎瘫痪。登录服务器检查后发现，LangChain应用正在反复处理同一个问题："帮我写一个Python的快速排序函数"——每次请求都在重新调用GPT-4生成答案，既浪费计算资源又拖慢响应速度。

这个事件让我深刻认识到：当AI应用从demo走向生产环境时，性能优化不再是锦上添花，而是关乎系统存亡的关键要素。经过一周的紧急优化和后续的系统性改进，我将实战经验总结为三个核心优化方向：缓存机制、提示压缩和检索加速。

2. 缓存机制：避免重复计算的利器

2.1 缓存类型选择与实现

LangChain提供了多种缓存方案，每种都有其适用场景。以下是几种常见的缓存实现方式：

python复制from langchain.cache import InMemoryCache, SQLiteCache, RedisCache
from langchain.globals import set_llm_cache

# 内存缓存 - 适合开发环境或小型应用
set_llm_cache(InMemoryCache())

# SQLite缓存 - 适合中小型生产环境
set_llm_cache(SQLiteCache(database_path=".langchain.db"))

# Redis缓存 - 适合分布式生产环境
redis_cache = RedisCache(redis_connection="redis://localhost:6379/0")
set_llm_cache(redis_cache)

重要提示：内存缓存(InMemoryCache)在服务重启后会丢失所有数据，仅适用于开发和测试环境。生产环境建议使用持久化缓存方案。

2.2 缓存键的生成策略

默认情况下，LangChain会使用完整的prompt作为缓存键。但在实际应用中，我们可能需要更灵活的缓存策略：

python复制from langchain.cache import BaseCache
from hashlib import md5

class CustomCache(BaseCache):
    def __init__(self, cache):
        self.cache = cache
        
    def lookup(self, prompt, llm_string):
        # 实现自定义缓存键逻辑
        key = md5(f"{simplify_prompt(prompt)}-{llm_string}".encode()).hexdigest()
        return self.cache.lookup(key, llm_string)
    
    def update(self, prompt, llm_string, return_val):
        key = md5(f"{simplify_prompt(prompt)}-{llm_string}".encode()).hexdigest()
        self.cache.update(key, llm_string