1. 项目背景与测试动机
去年参与某金融系统重构项目时,团队首次尝试引入AI辅助编程。当时测试了多个国外主流大模型,但在中文业务场景下表现参差不齐。今年国产大模型集体爆发,我们决定用真实业务代码重构场景,对四大主流国产模型(文心一言、通义千问、讯飞星火、GLM)进行横向评测。
测试选取了公司核心交易系统中正在重构的三个典型模块:
- 订单状态机重构(涉及复杂状态流转)
- 风控规则引擎优化(需要逻辑严密性)
- 报表生成组件改造(考验API调用能力)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 测试环境与评估维度
2.1 测试环境配置
- 模型版本:均使用2023年12月最新发布版本
- 测试设备:MacBook Pro M1 Max/32GB
- 提示词工程:采用三层渐进式提示(需求描述->边界条件->代码风格)
- 评估方式:双盲测试(开发人员不知模型来源)
2.2 核心评估指标
| 维度 | 权重 | 评估标准 |
|---|---|---|
| 需求理解准确度 | 30% | 首次生成代码与需求的匹配程度 |
| 代码可运行性 | 25% | 无需修改直接通过编译的比例 |
| 业务逻辑完备性 | 20% | 边界条件处理的完整性 |
| 代码规范符合度 | 15% | 符合PEP8/阿里巴巴Java开发手册等规范 |
| 性能优化建议 | 10% | 是否主动提供性能优化方案 |
3. 各模块实测表现
3.1 订单状态机重构
测试需求:将原有if-else实现的状态机改为状态模式实现,要求支持17种状态转换。
通义千问表现最佳:
- 首次生成即正确实现State抽象类和具体状态类
- 自动识别出3处原系统未处理的非法状态转换
- 额外提供了状态变更日志的AOP实现方案
共性问题:
- 文心一言在状态枚举值处理上出现类型混淆
- GLM对"挂起->作废"的特殊业务规则理解偏差
