视觉模型在营养标签识别中的性能对比与优化实践

1. 视觉模型在营养标签识别中的实战测评

上周我在超市随手拍了几十张食品营养标签的照片，想测试下当前主流视觉模型在真实场景下的表现。这个看似简单的任务——把标签图片转换成结构化JSON数据，实际上对模型的视觉识别、文本理解和指令遵循能力提出了三重挑战。

我选择了5个常见的自托管模型（Llava、Qwen3系列）和Mistral开放API进行对比测试。测试方案很简单：用统一提示词要求模型从标签图片中提取卡路里、份量和单位三个字段，格式化为指定JSON结构。每个测试案例重复执行50次，统计准确率和稳定性。

关键发现：在16GB显存的机器上，Qwen3-8B模型的表现与Qwen3-2B相差无几，而Mistral API的准确率最高达到92%，且输出格式最规范。

2. 测试方案设计与实施细节

2.1 测试数据集构建

我收集了12类常见包装食品的营养标签，涵盖不同排版风格和计量单位：

• 固体食品（如granola）：通常以克(g)为单位
• 液体食品（如饮料）：常用毫升(ml)
• 颗粒状食品（如糖果）：可能出现"件(pcs)"单位
• 混合计量（如1/2杯+克数）

每张照片都使用iPhone原生相机拍摄，保持标签在画面中央，模拟用户随手拍场景。原始图片为HEIC格式，测试时统一转换为JPEG。

2.2 提示词工程

经过多次迭代，最终确定的提示词包含三个关键部分：

markdown复制1. 角色定义："你是一个营养信息提取专家"
2. 任务说明："从图片中精确识别..."
3. 输出约束："必须严格使用以下JSON Schema..."

特别设计了容错机制：

json复制{
  "required": ["calories", "serving_size", "unit"],
  "properties": {
    "unit": {
      "enum": ["g", "ml", "oz", "cup", "pcs"]
    }
  }
}

2.3 评估指标体系

采用分级评分标准：

1. 完全匹配（Exact Match）：所有字段完全正确
2. 语义正确（Semantic Correct）：数值正确但单位别名（如"grams" vs "g"）
3. 部分正确（Partial