LG_AI_Research1. 项目概述：AI知识库的价值与定位
去年整理项目资料时，我发现电脑里散落着4872个文件，包括PDF、网页存档、会议记录和代码片段。当我需要找三个月前看过的一篇论文时，花了整整两个下午依然无果。这种经历促使我开始构建个人AI知识库——一个能自动消化各类信息，并像专业助理般精准响应查询的智能系统。
现代人每天接触的信息量相当于15世纪普通人一生的阅读量。传统文件夹分类方式早已不堪重负，而基于自然语言处理的AI知识库可以实现：
- 跨格式内容统一理解（PDF/网页/邮件/图片文字）
- 语义化搜索（用日常语言提问而非关键词）
- 知识关联发现（自动链接相关概念）
- 24小时即时响应
这个系统特别适合：
- 研究人员管理文献资料
- 开发者整理技术文档
- 创作者积累素材库
- 任何需要处理大量信息的专业人士
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心工具选型与配置
2.1 基础架构三件套
经过对比测试，我选择的开源方案组合如下：
-
LlamaIndex（原GPT Index）
- 优势：专为知识库优化的中间件，支持多种文件解析器
- 关键功能：自动构建向量索引、文档分块、元数据提取
- 安装：
pip install llama-index python-dotenv
-
ChromaDB
- 轻量级向量数据库（仅200MB内存占用）
- 支持本地运行，无需配置外部服务
- 安装：
pip install chromadb
-
Sentence Transformers
- 本地运行的嵌入模型（避免API调用费用）
- 推荐模型：
all-MiniLM-L6-v2（平衡精度与速度） - 安装：
pip install sentence-transformers
注意：如果使用Mac M系列芯片，需要额外安装
onnxruntime-silicon加速
2.2 开发环境准备
bash复制# 创建隔离环境（推荐使用conda）
conda create -n knowledge python=3.10
conda activate knowledge
# 安装核心依赖
pip install llama-index chromadb sente