LangChain与Qwen3.5构建本地AI知识库实战-AI智能范式网

LangChain与Qwen3.5构建本地AI知识库实战

戈玄白今天要做题·2026-08-16·阅读 25 GEO检测（免费）

LangChainQwen3.5RAG

|难度：普通|阅读约 19 分钟

1. 项目概述：为什么选择本地AI知识库？

上周我在处理公司内部技术文档时，突然意识到一个严重问题：每次查找某个API的具体参数，都要在十几个PDF和Confluence页面间来回切换。更糟的是，当我向ChatGPT提问时，它给出的答案常常是基于过时的公开资料。这种经历让我下定决心搭建一个真正可用的本地AI知识库系统。

本地AI知识库的核心价值在于：

数据完全私有化，不用担心敏感信息泄露
可以实时更新知识内容，确保回答的准确性
摆脱对云服务的依赖，响应速度更快
定制化程度高，能针对特定领域优化

经过对比测试，我最终选择了LangChain + Qwen3.5的方案组合。LangChain提供了完善的RAG（检索增强生成）框架，而Qwen3.5作为通义千问的最新开源模型，在中文理解和生成质量上表现出色，更重要的是它支持本地部署。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与工具选型

2.1 硬件配置建议

在开始前，我们需要确保硬件满足要求。Qwen3.5有多个版本，我测试了以下几种配置：

模型版本	最低显存要求	推荐配置	处理速度
Qwen3.5-1.8B	8GB GPU	RTX 3060	15 tokens/s
Qwen3.5-7B	16GB GPU	RTX 3090	8 tokens/s
Qwen3.5-14B	24GB GPU	A10G	4 tokens/s

提示：如果显存不足，可以考虑使用量化版本或CPU推理，但速度会明显下降。

我的开发环境：

操作系统：Ubuntu 22.04 LTS
GPU：NVIDIA RTX 3090 (24GB)
Python：3.10
CUDA：12.1

2.2 软件依赖安装

首先创建并激活Python虚拟环境：

bash复制python -m venv qwen_env
source qwen_env/bin/activate

安装核心依赖包：

bash复制pip install langchain==0.1.0 ollama==0.1.27 sentence-transformers==2.2.2 faiss-cpu==1.7.4

注意：如果使用GPU版FAISS，需要安装faiss-gpu而不是faiss-cpu

3. Qwen3.5本地部署实战

3.1 通过Ollama部署模型

Ollama是目前最方便的本地大模型管理工具，支持一键部署Qwen3.5：

bash复制ollama pull qwen:7b
ollama run qwen:7b

第一次运行时会自动下载模型（约14GB）。下载完成后，你会看到交互式命令行界面，输入/help可以查看支持的命令。

3.2 模型性能调优

为了提高推理速度，我们可以调整这些参数：

python复制from langchain_community.llms import Ollama

llm = Ollama(
    model="qwen:7b",
    temperature=0.3,  # 降低随机性
    top_p=0.9,
    num_ctx=4096,  # 上下文长度
    num_gpu=1  # 使用GPU加速
)

实测发现，在RTX 3090上，7B模型的生成速度约为8-10 tokens/s，完全能满足交互式需求。

4. 构建知识库处理流水线

4.1 文档加载与预处理

LangChain支持多种文档格式：

python复制from langchain.document_loaders import (
    PyPDFLoader,
    Docx2txtLoader,
    UnstructuredMarkdownLoader
)

loaders = {
    '.pdf': PyPDFLoader,
    '.docx': Docx2txtLoader,
    '.md': UnstructuredMarkdownLoader
}

def load_documents(file_path):
    ext = os.path.splitext(file_path)[1]
    if ext not in loaders:
        raise ValueError(f"Unsupported file type: {ext}")
    return loaders[ext](file_path).load()

4.2 文本分块策略

合理的分块对检索效果至关重要。我的经验是：

技术文档：块大小512字符，重叠128字符
会议记录：块大小256字符，重叠64字符
代码文件：按函数/类分块

实现代码：

python复制from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=512,
    chunk_overlap=128,
    separators=["\n\n", "\n", "。", "！", "？", "；"]
)

4.3 向量化与索引构建

使用Sentence-Transformers的中文模型生成嵌入：

python复制from langchain.embeddings import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="GanymedeNil/text2vec-large-chinese",
    model_kwargs={'device': 'cuda'}
)

# 创建FAISS向量库
from langchain.vectorstores import FAISS
vectorstore = FAISS.from_documents(chunks, embeddings)
vectorstore.save_local("my_vectorstore")

5. RAG系统集成与优化

5.1 基础检索链实现

python复制from langchain.chains import RetrievalQA

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore.as_retriever(
        search_type="mmr",  # 最大边际相关性搜索
        search_kwargs={"k": 5}
    ),
    return_source_documents=True
)

response = qa_chain("如何配置API超时参数？")
print(response['result'])
print("来源文档：", [doc.metadata['source'] for doc in response['source_documents']])

5.2 高级检索技巧

混合检索：结合关键词搜索和向量搜索

python复制from langchain.retrievers import BM25Retriever, EnsembleRetriever

bm25_retriever = BM25Retriever.from_documents(docs)
bm25_retriever.k = 3

ensemble_retriever = EnsembleRetriever(
    retrievers=[vectorstore.as_retriever(), bm25_retriever],
    weights=[0.7, 0.3]
)

重排序：使用Cohere等模型对结果重新排序

python复制from langchain.retrievers.document_compressors import LLMChainExtractor

compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor,
    base_retriever=ensemble_retriever
)

6. 系统部署与性能优化

6.1 使用FastAPI创建Web接口

python复制from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class Query(BaseModel):
    question: str

@app.post("/ask")
async def ask_question(query: Query):
    result = qa_chain(query.question)
    return {
        "answer": result['result'],
        "sources": [doc.metadata['source'] for doc in result['source_documents']]
    }

启动服务：

bash复制uvicorn api:app --host 0.0.0.0 --port 8000 --workers 2

6.2 性能优化技巧

批处理：同时处理多个查询

python复制questions = ["问题1", "问题2", "问题3"]
results = qa_chain.batch(questions)

缓存机制：减少重复计算

python复制from langchain.cache import InMemoryCache
langchain.llm_cache = InMemoryCache()

量化模型：减少显存占用

bash复制ollama pull qwen:7b-q4_0  # 4-bit量化版本

7. 常见问题与解决方案

问题1：模型响应速度慢

解决方案：尝试更小的模型版本，如1.8B；启用量化；检查CUDA是否正常工作

问题2：检索结果不相关

解决方案：调整分块大小；尝试不同的嵌入模型；增加检索结果数量

问题3：显存不足

解决方案：

python复制llm = Ollama(
    model="qwen:7b",
    num_gpu=0  # 使用CPU模式
)

问题4：中文支持不佳

解决方案：确保使用中文嵌入模型；在prompt中明确要求中文回答

8. 实际应用案例

在我部署的客服知识库中，系统处理典型问题的对比：

指标	原始ChatGPT	本地RAG系统
响应时间	2-3秒	1-1.5秒
准确率	约65%	92%
数据安全	云端处理	完全本地
定制成本	高	低

一个典型的运维问答示例：

code复制用户问：服务器报警"CPU负载过高"该怎么处理？

系统回答：
根据运维手册第3.2节，建议按以下步骤排查：
1. 执行top命令确认具体进程
2. 检查最近部署记录
3. 查看监控历史数据
4. 临时扩容指南见附录A

来源文档：运维手册2024.pdf

9. 进阶开发方向

多租户支持：为不同部门创建独立知识库

python复制from langchain.vectorstores import Weaviate

client = weaviate.Client("http://localhost:8080")
vectorstore = Weaviate(client, "DepartmentA", "content", embedding=embeddings)

自动更新机制：监控文件变动自动更新索引

python复制from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

class FileChangeHandler(FileSystemEventHandler):
    def on_modified(self, event):
        if event.src_path.endswith(".md"):
            update_vectorstore(event.src_path)

observer = Observer()
observer.schedule(FileChangeHandler(), path='./docs', recursive=True)
observer.start()

对话历史支持：

python复制from langchain.memory import ConversationBufferMemory

memory = ConversationBufferMemory(
    memory_key="chat_history",
    return_messages=True
)

conversational_qa = ConversationalRetrievalChain.from_llm(
    llm=llm,
    retriever=vectorstore.as_retriever(),
    memory=memory
)

这套系统经过3个月的迭代，现在每天处理公司内部约500次查询，准确率保持在90%以上。最大的收获是发现工程师们开始主动更新文档了——因为现在他们知道这些内容真的会被用到。