arXiv cs.CL· Raffi Khatchadourian·· 12 小时前AI 评分38
DFAH-Bench：金融智能体的决策一致率掩盖了什么
DFAH-Bench: What Agreement Leaves Unmeasured in Financial Agents
AI 导读
DFAH-Bench 通过重放实验发现，金融智能体重复决策的一致率达 94-95%，但包含输入与结果的工具路径一致率仅 45-52%。在 48 次执行的诊断中，从重复记录里删除相同调用后一致率反而完美，说明一致率会掩盖执行变化与系统性遗漏。
正文 · AI 翻译
摘要：当金融智能体重复其决策时，这能在多大程度上说明其背后的行动？DFAH-Bench 通过重放实验、对省略工具调用的受控测试以及带授权检查的银行任务来考察这一问题。在 570 个符合条件的前瞻性重放片段中，决策一致率为 94-95%，而工具路径（包括输入和结果）的一致率为 45-52%；有一个条件比计划的最低值少了一组。在另一项包含 48 次执行的诊断中，从重复记录中删除相同的调用后，一致率变为完美。在银行探测中，重复的授权决策有时与构造的规则标签相冲突。$\tau$-Knowledge 银行研究计划了 1,080 个片段，其中 1,033 个结果已知。仅靠结构检查完成的主要任务多于两种基于模型的“门控与恢复”组合。输入限制和恢复行为会实质性地影响这些结果。在完整任务对上，类型化选择组合的平均片段成本低于生成式组合，但在未知结果的每一种分配下，其在主要计划中的成功次数都更少。结果缺失导致计划中的验证性测试无法进行，因此银行比较仅为描述性的。总之，这些发现表明，仅凭一致性无法确立可靠性：它可能掩盖执行中的变化、系统性遗漏以及缺乏支持的决策。因此，评估需要将智能体做了什么、支配其行动的证据和规则，以及它是否完成了任务联系起来。
| 评论： | 28 页，6 幅图；取代 v3；纳入 AI4F 和 SLM-Agents 研讨会材料 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；I.2.6；J.1 |
| 引用为： | arXiv:2607.20491 [cs.AI] |
| （或本版本的 arXiv:2607.20491v4 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.20491 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Raffi Khatchadourian [查看电子邮件]
[v1]
2026 年 6 月 10 日星期三 03:31:09 UTC（67 KB）
[v2]
2026 年 7 月 24 日星期五 14:53:06 UTC（68 KB）
[v3]
2026 年 9 月 22 日星期二 00:49:53 UTC（184 KB）
[v4]
2026 年 10 月 20 日星期二 17:06:32 UTC（128 KB）
来源：arXiv cs.CL · arxiv.org