1. 信贷AI评测新标杆:FCMBench深度解析
在金融科技领域,信贷审核一直是AI技术落地的重要场景。传统信贷审核依赖人工处理大量证件材料,效率低下且成本高昂。随着多模态大模型的兴起,如何评估这些模型在真实信贷场景中的表现成为行业痛点。近日,奇富科技联合复旦大学与华南理工大学发布的FCMBench(Financial Credit Multimodal Benchmarks)正是为解决这一问题而生。
这个评测基准的特殊之处在于,它完全基于真实信贷业务流程设计,包含18类核心信贷证件和8000+测试样本,是目前金融信贷领域样本量最大、最符合实际应用场景的多模态评测体系。作为一名长期关注AI在金融领域应用的从业者,我认为FCMBench的发布标志着信贷AI从实验室研究向产业落地迈出了关键一步。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. FCMBench核心设计解析
2.1 三维评测体系:感知-推理-鲁棒性
FCMBench创新性地提出了"感知-推理-鲁棒性"三维评测体系,这三大维度精准对应了信贷审核的实际需求:
-
感知能力:评估模型对证件图像中关键信息的识别准确率。例如,能否正确识别身份证号码、银行流水中的交易金额等。这部分采用F1分数作为主要指标,平衡了精确率和召回率。
-
推理能力:测试模型对多证件间逻辑一致性的判断。比如,身份证上的姓名是否与收入证明一致,银行流水显示的工资是否与收入证明吻合。这种跨文档的推理能力是信贷审核的核心。
-
鲁棒性:考量模型对现实场景中各种干扰因素的抵抗能力。包括证件照片模糊、光线不佳、部分遮挡等情况下的表现。我们特别设计了20%的"困难样本"来测试这一维度。
提示:在实际业务中,鲁棒性往往比实验室环境下的准确率更重要。FCMBench的这一设计非常符合产业需求。
2.2 数据集构建方法论
FCMBench的数据集构建遵循"真实、多样、合规"三大原则:
- 真实来源:所有数据均来自真实信贷业务场景(已脱敏处理),包含4043张合规图像和8446个测试样本
- 多样覆盖:涵盖身份证、收入证明、银行流水、房产证等18类核心信贷证件,每类证件包含3-5种常见模板
- 合规处理:所有个人信息均经过专业脱敏处理,确保符合金融数据安全规范
数据集还特别考虑了小微企业信
