1. 项目背景与核心挑战
当AuraMate团队决定将大语言模型(LLM)应用于传统八字命理领域时,我们面临着一个根本性疑问:LLM在复杂符号推理任务中的能力边界究竟在哪里?这个看似简单的问题背后,涉及模型架构设计、领域知识表示、推理逻辑构建等多维度的技术挑战。
八字命理作为一个典型的符号推理系统,其核心是十天干、十二地支组成的六十甲子系统,配合五行生克、神煞、大运等复杂规则网络。这种系统具有以下特征:
- 高度结构化的符号体系(天干地支的固定组合规则)
- 多层级的抽象关系(五行相生相克的多阶传导)
- 动态变化的上下文依赖(大运流年对命局的影响)
- 模糊语义的解读空间(同一命局的不同解释路径)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 基准测试框架设计
2.1 评估维度体系
我们建立了四层评估金字塔:
-
基础符号处理层:
- 天干地支的准确识别率(测试集包含3000种非常规写法)
- 八字排盘的正确性(考虑真太阳时、节气交接等边缘情况)
- 十神定位的精确度(包含特殊格局如从格、化格的判断)
-
规则推理层:
- 五行生克链的推导深度(测试模型能否处理三阶以上的生克关系)
- 神煞系统的组合推理(如"天乙贵人+文昌"的复合作用)
- 大运流年的动态影响(时间维度上的变量传递)
-
语义解释层:
- 命局关键矛盾的提取能力
- 吉凶事件的因果归因
- 建议方案的适切性评估
-
交互能力层:
- 用户模糊描述的解析
- 追问中的上下文保持
- 不确定性的诚实表达
2.2 测试用例生成
采用合成数据与真实案例双轨制:
- 通过规则引擎自动生成10万组标准八字及其理论解释
- 收集2000例历史咨询记录(经脱敏处理)
- 特别构造200组对抗样本(如闰月出生、子时交界等边界情况)
3. Harness Engineering实践
3.1 知识注入架构
我们开发了分层知识融合系统:
python复制class KnowledgeHarness:
def __init__(self):
self.static_knowledge = load_encyclopedic_rules() # 加载5000+条
