arXiv cs.AI· Jiayi Chen, Hui Li, Yujiong Shen, Qiyuan Peng, Yanxin Li, Chenhao Huang, Shaofan Liu, Guoqiang Zhang, Junjie Ye, Shihan Dou, Ming Zhang, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang·· 12 小时前AI 评分31
TIDE：基于模型行为的树诱导细粒度诊断评估
TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors
AI 导读
研究者提出 TIDE（Tree-Induced Diagnostic Evaluation），将诊断评估重构为行为驱动的决策树归纳，从基准样本与模型得分递归构建分层能力树，由 LLM 裁判提出候选划分、以基于行为的信息增益选择划分。
正文 · AI 翻译
作者：Jiayi Chen、Hui Li、Yujiong Shen、Qiyuan Peng、Yanxin Li、Chenhao Huang、Shaofan Liu、Guoqiang Zhang、Junjie Ye、Shihan Dou、Ming Zhang、Maxm Pan、Tao Gui、Qi Zhang、Xuanjing Huang
摘要：基准测试表现是衡量大语言模型（LLM）的主流标准，通常以单一汇总分数（如准确率、通过率或评分标准得分）来概括。这种汇总分数对模型底层能力所提供的信息有限，而理解这些能力对模型开发与评估至关重要。为此，我们提出树诱导诊断评估（TIDE），将诊断评估重构为行为驱动的决策树归纳，以实现细粒度能力诊断。TIDE 从基准样本和模型分数中递归构建分层能力树：在每个节点上，由 LLM 评判器提出候选划分并执行样本到分组的分类，再通过基于行为的信息增益进行选择。我们将 TIDE 应用于四个基准上的五个模型以验证其有效性，并发现了在汇总层面不可见的细粒度能力差异：Claude Opus 4.6 在微观经济市场推理上达到 100%，而 GPT-5.4 为 83.3%；但在合同法推理上以 77.8% 落后于 GPT-5.4 的 88.9%。我们希望 TIDE 能扩展到过去和未来的基准测试中，使评估结果中丰富的行为信号被充分用于理解模型能力。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29985 [cs.AI] |
| （或本版本的 arXiv:2610.29985v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.29985 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiayi Chen [查看邮箱]
[v1]
2026年10月21日星期三 16:27:48 UTC（637 KB）
来源：arXiv cs.AI · arxiv.org