1. 数据准备领域的范式转变:从规则驱动到LLM增强
数据准备一直是数据科学工作流中最耗时耗力的环节。传统方法主要依赖手工编写的规则、正则表达式和专家经验,这种模式存在三个致命缺陷:首先是维护成本高,业务规则变化时需要重新调整大量脚本;其次是泛化能力差,面对缩写、同义词等语义变化时准确率骤降;最后是跨领域迁移困难,每个新场景都需要重新设计特征工程。
以电商平台的商品数据清洗为例,传统方法需要为不同类目(如服装、3C、食品)分别编写标准化规则。当遇到"iPhone 15 Pro Max"和"苹果手机15顶配版"这样的异构表述时,基于字符串相似度的匹配算法很容易失效。而LLM凭借其在大规模语料上训练获得的语义理解能力,能够识别这类实体指代的一致性。
当前LLM增强的数据准备方法主要呈现四大技术特征:
-
提示工程驱动:通过精心设计的自然语言指令,引导模型完成数据转换、标准化等任务。例如用"将下列商品标题中的手机型号提取为统一格式"这样的提示语,配合少量示例,即可实现复杂规则的编码。
-
检索增强生成(RAG):在处理缺失值补全、实体消歧等需要外部知识的任务时,先检索相关上下文再生成修正建议。比如补全"新款Mate60"的手机品牌时,通过检索华为产品数据库可显著提高准确率。
-
代理工作流自动化:构建具备规划-执行-反思能力的智能代理,将离散操作串联成端到端流水线。AutoDCWorkflow等系统已能自动识别数据问题类型,并调用合适的工具链进行处理。
-
代码合成执行:将自然语言指令转化为可执行的Python/SQL代码,既保证处理过程可复现,又方便集成到现有数据平台。例如让LLM生成Pandas数据框的清洗代码,而非直接操作数据。
实践建议:在金融、医疗等敏感领域,建议采用"生成代码+人工审核"的混合模式。先让LLM输出数据转换脚本,经安全审查后再执行,兼顾效率与合规性。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. LLM增强的数据准备核心技术解析
2.1 数据清洗:从表面处理到语义理解
传统数据清洗工具如OpenRefine主要解决格式标准化、异常值检测等表层问题。而LLM带来的革命性突破在于语义层面的清洗能力:
- 上下文感知的缺失值补全:对于"客户地址:上海市浦东新区__路123号"这样的记录,传统方法只
