1. 项目背景与核心挑战
AuraMate八字命理大模型项目源于一个看似简单但极具挑战性的问题:当我们将现代大型语言模型(LLM)应用于传统命理学这种高度符号化的复杂系统时,其推理能力的边界究竟在哪里?这个问题的答案不仅关乎特定领域的应用效果,更对理解LLM处理抽象符号系统的本质能力具有普遍意义。
八字命理作为一个延续千年的符号推理系统,其核心是十天干、十二地支组成的六十甲子系统,配合五行生克、神煞、大运等复杂规则网络。要准确推算命局,模型需要同时处理:
- 多层次符号映射(天干→五行→方位→脏腑)
- 动态时间维度(大运流年引发的规则变化)
- 模糊逻辑判断("身强身弱"的连续谱系)
- 矛盾规则调和(特殊格局对常规规则的覆盖)
我们在初期测试中发现,即便是GPT-4这类顶尖模型,在直接处理八字排盘时也会出现:
- 五行生克关系混淆(误判相生相克方向)
- 十神定位错误(把正官看作七杀)
- 忽略特殊格局(如"从儿格"的判定条件)
- 流年应期推算偏差(大运与流年作用错位)
这些现象引出了本项目的核心命题:通过系统化的Benchmark设计与Harness Engineering方法,我们能否突破LLM在复杂符号推理中的现有局限?又如何量化评估这种突破的程度?
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 基准测试框架设计
2.1 评估维度体系
我们建立了四层九维的评估矩阵,这是目前命理AI领域最完整的评测体系:
基础符号层
- 干支解码准确率:测试模型对60甲子+阴阳五行的基础映射能力
- 十神定位精度:衡量日干与其他干支关系判定的正确性
- 神煞识别召回率:统计模型对200+种神煞的识别覆盖度
规则应用层
4. 五行生克链长度:测试模型能连续推演的五行作用步长
5. 格局判定F1值:评估特殊格局(如"伤官配印")的识别质量
6. 矛盾消解能力:量化规则冲突时的合理处置比例
时空推演层
7. 大运流年作用:检查10年跨度内的运势转折点预测
8. 应期时间误差:统计事件发生时间预测的偏差月数
综合解释层
9. 命局解读一致性:专家对模型整体分析的认可度评分
2.2 测试数据构建
我们采用"真实案例+合成数据+对抗样本"的三明治结构:
- 收集3000例已验证的真人命盘(时间跨度为1950-2020)
- 使用规则
