跳到正文
arXiv·· 13 天前AI 评分20

语言模型能否应用八字规则?一项 3000 题中文基准评测

Knowing the Rules, Applying the Rules: Evaluating Language Models on Traditional Chinese Bazi

AI 导读

研究用 3000 道中文多选题评测 6 个语言模型对传统八字理论(14 类)与命例(11 类)的掌握,最终结果基于 2492 题的精炼版本。所有系统的理论准确率均高于命例准确率,排除无效回答后差距仍达 16.60-29.56 个百分点,说明这一落差比笼统的"案例推理不足"更具体。

来源:arXiv · arxiv.org