LangChain文档加载器实战：CSV/JSON/PDF处理与优化

1. 文档加载器的核心价值与应用场景

在构建基于大语言模型的应用系统时，文档加载器扮演着数据管道的角色。想象一下，你正在搭建一个智能客服系统，需要处理来自不同渠道的客户数据——可能是CSV格式的客户信息表、JSON格式的API响应、PDF格式的产品手册，或是纯文本的客服对话记录。这些异构数据就像不同形状的积木，而文档加载器就是将这些积木统一打磨成标准形状的工具。

LangChain提供的文档加载器之所以重要，是因为它们解决了三个关键问题：

• 格式标准化：将不同文件格式统一转化为Document对象，包含page_content和metadata两个标准字段
• 内存优化：通过lazy_load等机制实现流式处理，避免大文件一次性加载导致的内存溢出
• 语义保留：根据不同类型数据的特点，采用最合适的分割策略保持原始数据的语义完整性

2. CSVLoader深度解析与实战

2.1 参数配置的艺术

CSVLoader的参数设置看似简单，实则暗藏玄机。以csv_args为例，这个参数实际上是对Python标准库csv.reader的封装，但很多人不知道的是，通过合理配置可以解决90%的中文CSV处理难题：

python复制loader = CSVLoader(
    file_path="销售数据.csv",
    csv_args={
        "delimiter": ",",  # 对于中文CSV，有时需要尝试"\t"或"；"
        "quotechar": '"',  # 处理包含逗号的内容时必备
        "skipinitialspace": True,  # 忽略分隔符后的空格
        "strict": True  # 确保每行列数一致
    },
    encoding="utf-8-sig"  # 处理带BOM头的UTF-8文件
)

实战经验：当遇到"UnicodeDecodeError"时，不要只尝试utf-8，中文Windows生成的CSV可能是gbk或utf-8-sig编码。建议编写编码检测函数：

python复制def detect_encoding(file_path):
    import chardet
    with open(file_path, 'rb') as f:
        return chardet.detect(f.read())['encoding']

2.2 内存优化实战技巧

处理百万行级别的CSV时，内存管理就变得至关重要。以下是我们在生产环境中总结的优化方案：

python复制from langchain_community.document_loaders.csv_loader import CSVLoader

class BatchedCSVLoader(CSVLoader):
    """ 分批加载CSV的优化版Loader """
    def __init__(self, batch_size=10000, **kwargs):
        super().__init__(**kwargs)
        self.batch_size = batch_size
    
    def lazy_load(self):
        with open(self.file_path, 'r', encoding=self.encoding) as f:
            reader = csv.DictReader(f, **self.csv_args)
            batch = []
            for i, row in enumerate(reader):
                batch.append(row)
                if len(batch) >= self.batch_size:
                    yield self._create_document(batch)
                    batch = []
            if batch:  # 处理剩余记录
                yield self._create_document(batch)
    
    def _create_document(self, rows):
        # 自定义批量文档生成逻辑
        content = "\n".join(str(row) for row in rows)
        metadata = {"source": self.file_path, "batch_size": len(rows)}
        return Document(page_content=content, metadata=metadata)

性能对比测试（处理10万行CSV）：

3. JSONLoader高级用法揭秘

3.1 jq表达式黑魔法

jq是JSON处理的神器，其表达式远比表面看起来强大。以下是我们整理的实用jq模式库：

python复制jq_patterns = {
    # 提取嵌套字段
    "nested_field": ".user.address.city",
    
    # 条件过滤
    "filter_age_gt_30": ".users[] |