arXiv cs.AI· Zhanke Zhou, Zongze Li, Weikai Huang, Xuan Li, Chentao Cao, Xiao Feng, Xiangyu Lu, Jinbo Hu, Yi Xie, Nico Pelleriti, Shiyang Liu, Menghan Lu, Max Zimmer, Brando Miranda, Jiangchao Yao, Bo Liu, Sanmi Koyejo, Sebastian Pokutta, Bo Han·· 2 天前AI 评分32
AlphaDiana：面向智能体可验证推理任务的测量系统
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
AI 导读
AlphaDiana 是一个模块化测量系统，通过数据集、智能体、环境和评分器的接口，在保留 harness 原生控制循环的同时分别控制文件复用与记忆保留。研究用 3 个开源模型和 3 个开源 harness 在 5 个答案型基准上测试，发现 harness 并不能稳定提升推理准确率：在模型单独答错的问题上取得的增益，可能被其原本答对问题上的损失抵消。
正文 · AI 翻译
作者：Zhanke Zhou、Zongze Li、Weikai Huang、Xuan Li、Chentao Cao、Xiao Feng、Xiangyu Lu、Jinbo Hu、Yi Xie、Nico Pelleriti、Shiyang Liu、Menghan Lu、Max Zimmer、Brando Miranda、Jiangchao Yao、Bo Liu、Sanmi Koyejo、Sebastian Pokutta、Bo Han
摘要：智能体将推理模型与执行框架配对，后者负责组织模型调用、执行工具、加载技能指令并在记忆中保留历史。理解智能体的性能需要将执行条件与结果、行为和资源使用联系起来。我们提出 AlphaDiana，一个具有模块化接口的测量系统，用于数据集、智能体、环境和评分器。它保留执行框架原生的控制循环，同时分别控制文件复用和记忆保留。AlphaDiana 支持对完整智能体进行宏观分析，以及在匹配条件下对工具、技能和记忆等智能体组件进行微观干预。我们在五个基于答案的基准上研究了三个开源模型和三个开源执行框架，并在两个交互式基准上额外测试了两个模型。我们发现，执行框架并不能持续提升推理的准确率：在模型单独无法解决的问题上获得的收益，可能被其在无需工具即可正确回答的问题上的损失所抵消。这种不一致性也延伸到组件干预：技能指导与保留历史都无法可靠地提升准确率。行为和输出 token 使用必须与正确性一起评估：低 token 熵可能伴随错误答案，而当准确率下降时，每次执行更少的输出可能意味着每个正确答案消耗更多的输出 token。AlphaDiana 将答案正确性和执行状态与轨迹和资源记录关联起来，以便在共享任务和资源策略下比较智能体并诊断失败。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20675 [cs.AI] |
| （或 arXiv:2610.20675v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20675 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Zhanke Zhou [查看电子邮件]
[v1]
2026年10月14日星期三 14:04:48 UTC（3,312 KB）
来源：arXiv cs.AI · arxiv.org