1. 为什么我们需要结构化信息抽取？
在LLM应用的早期阶段，我们常常会遇到这样的场景：当你向模型抛出一个开放式问题时，它可能会给你一段流畅但缺乏重点的回答。比如询问"请总结这篇科技新闻的主要内容"，模型可能返回三段落充满形容词的文本，却难以直接提取出关键的事件、人物和时间节点。
这种现象背后反映的是LLM的"思维模式"与人类实际需求之间的鸿沟。LLM本质上是通过概率预测生成连贯文本，而结构化信息抽取则需要模型按照特定框架组织信息。就像让一个擅长讲故事的人突然改做表格填写——如果不给予明确指引，结果往往不尽如人意。
我在实际项目中遇到过这样一个典型案例：需要从客户邮件中提取订单信息（产品编号、数量、交付日期）。最初使用简单提示词"请提取邮件中的订单信息"时，模型返回的内容包含大量修饰性描述，如"客户表达了迫切的需求"这类无用信息，而关键的交付日期却可能被遗漏。
2. 提示词设计的核心挑战
2.1 语义模糊的代价
早期尝试中，我们使用"请提取关键信息"这类模糊指令，结果发现：
- 不同模型版本对"关键"的理解差异巨大（GPT-3.5更倾向于提取名词短语，而Claude则偏好包含动词的完整句子）
- 同一模型在不同温度参数下表现不稳定（temperature=0.7时可能漏掉数字，0.3时又过于字面化）
2.2 格式要求的缺失
未指定输出格式时，常见问题包括：
- 混合使用自然语言和半结构化表达（如"数量：大约5件"）
- 同一字段在不同位置出现（日期可能出现在开头或结尾）
- 单位不统一（"3k" vs "3000"）
2.3 领域适应的困境
在医疗报告分析项目中，我们发现：
- 专业术语的边界模糊（"CT检查"应作为一个整体还是拆分为"CT"+"检查"）
- 否定表达的处理（"未发现肿瘤"需要明确标记为阴性结果）
- 隐含信息的推导（"白细胞升高"暗示可能存在感染）
3. 迭代路线图：从混沌到精准
3.1 基础版提示词结构
经过数十次实验，我们确立了基础模板：
code复制你是一个专业的信息提取专家，请严格按以下要求操作：
1. 从给定文本中提取[指定字段]
2. 每个字段必须使用<字段名>:<值>格式
3. 如字段不存在则输出<字段名>:NULL
4. 禁止添加任何解释性文字
示例输出：
<姓名>:张三
<年龄>:25
<职业>:程序员
待处理文本：[输入文本]
这个版本解决了：
- 输出格式标准化问题
- 空值处理的一致性
- 冗余描述的消除
3.2 增强版上下文约束
针对复杂场景，我们增加了：
code复制特别注意：
- 当出现"不超过"时，取值上限为指定数值
- "约"表示数值可浮动±10%
- 日期统一转换为YYYY-MM-DD格式
- 货币单位统一为USD
在金融合同分析中，这使金额提取准确率从68%提升至92%。
3.3 动态推理指令
对于需要逻辑判断的情况，采用分步指令：
code复制请按顺序执行：
1. 判断文本是否涉及[目标领域]
2. 如是，识别所有[实体类型]
3. 对每个实体标注其[属性]
4. 验证实体间关系是否符合[业务规则]
在保险理赔处理中，这种结构使关系识别的F1值达到0.87。
4. 实战中的进阶技巧
4.1 字段优先级标记
通过符号体系强化重点：
code复制!!!必须提取字段!!!
?可选字段?
@需要推导字段@
使模型注意力分布更符合业务需求。
4.2 反例教学法
在提示词中包含典型错误示例：
code复制错误示范：
<价格>:约100元（包含不确定表述）
正确示范：
<价格>:100
<价格单位>:CNY
<精确度>:估算
4.3 多阶段验证
设计验证链：
code复制第一轮：原始提取
第二轮：一致性检查（如开始日期不应晚于结束日期）
第三轮：单位换算
在临床试验数据分析中，这种方法将数据清洗时间缩短60%。
5. 性能优化关键指标
5.1 准确率与召回率的平衡
通过调整提示词的严格程度：
- 宽松模式：召回率高但可能包含噪音
- 严格模式：准确率高但可能遗漏边缘案例
我们开发了动态阈值策略：
code复制if 文本长度 < 200:
使用严格模式
elif 领域专业性 > 0.7:
使用专家模式
else:
使用平衡模式
5.2 延迟与质量的权衡
实验发现：
- 增加"逐步思考"指令会使响应时间增加40-60ms
- 但能减少后续人工校验时间约35%
在客服工单分类系统中，我们最终采用：
code复制第一响应：快速分类（延迟<200ms）
异步处理：精细解析（允许1-2s延迟）
5.3 多模型协同方案
针对不同任务特点组合模型：
- GPT-4：处理复杂逻辑关系
- Claude：擅长遵循严格格式
- 本地微调模型：处理专有名词
在法律合同分析中，三阶段流水线使综合成本降低28%。
6. 避坑指南：血泪教训总结
6.1 不要过度依赖示例
初期我们提供10+完美示例，结果发现：
- 模型会机械复制示例中的模式
- 对超出示例范围的情况处理能力下降
解决方案：示例不超过3个，且包含边界案例。
6.2 警惕"聪明反被聪明误"
曾设置"自动补全缺失信息"功能，导致：
- 产品型号被错误推导（A100→A10）
- 日期被错误推算（忽略节假日）
现采用保守策略：所有推导必须标记置信度。
6.3 温度参数的陷阱
temperature=0.7时：
- 创意类任务表现更好
- 但结构化提取的方差增大
最终方案：提取任务固定为0.3以下。
7. 工具链建设实践
7.1 提示词版本控制系统
建立类似代码管理的流程：
- 每次修改创建新分支
- 通过AB测试评估效果
- 主分支保护机制
7.2 自动化测试框架
开发了包含300+测试用例的套件：
- 标准测试集（固定输入输出）
- 模糊测试（随机扰动输入）
- 压力测试（长文本+多实体）
7.3 监控看板关键指标
实时监测：
- 字段提取成功率
- 格式合规率
- 异常输入比例
设置智能告警阈值。
8. 前沿方向探索
当前正在试验的技术路线包括：
- 动态提示词生成（根据输入内容自动调整指令）
- 混合专家系统（不同提示词专家处理不同片段）
- 强化学习优化（基于人工反馈自动迭代）
在最近的概念验证中，动态提示词使医疗编码的准确率提升到96.2%，接近专业医疗编码员的水平。不过要真正实现工业化应用，还需要解决提示词可解释性、版本兼容性等一系列工程挑战。