arXiv cs.AI· Zidi Xiu, David Q. Sun, Kevin Cheng, Maitrik Patel, Josh Date, Yizhe Zhang, Jiarui Lu, Omar Attia, Raviteja Vemulapalli, Oncel Tuzel, Meng Cao, Samy Bengio·· 11 小时前AI 评分38
ASTRA-bench：评估工具使用智能体的个性化上下文推理与行动规划
ASTRA-bench: Evaluating Tool-Use Agent Reasoning and Action Planning with Personal User Context
AI 导读
研究者发布 ASTRA-bench，一个将时间演变的个人上下文、交互式工具箱与复杂用户意图统一起来的工具使用智能体基准，通过事件驱动流水线生成覆盖四个主角的 2,413 个场景。对 Claude-4.5-Opus、DeepSeek-V3.2 等前沿模型的评测显示，高复杂度条件下性能显著下降，参数生成成为主要瓶颈。基准已随完整执行环境与评估脚本开源发布。
正文 · AI 翻译
作者：Zidi Xiu、David Q. Sun、Kevin Cheng、Maitrik Patel、Josh Date、Yizhe Zhang、Jiarui Lu、Omar Attia、Raviteja Vemulapalli、Oncel Tuzel、Meng Cao、Samy Bengio
摘要：下一代 AI 必须管理海量个人数据、多样工具和多步推理，然而大多数基准测试仍是无上下文且单轮的。我们提出 ASTRA-bench（工具使用、推理与行动规划中的助手技能），这是一个独特地将随时间演变的个人上下文与交互式工具箱及复杂用户意图统一起来的基准。我们的事件驱动流水线在四位主角上生成了 2,413 个场景，这些场景以纵向生活事件为基础，并按指代、功能和信息复杂度进行标注。对最先进模型（如 Claude-4.5-Opus、DeepSeek-V3.2）的评估显示，在高复杂度条件下性能显著下降，其中参数生成成为主要瓶颈。这些发现揭示了当前智能体在将推理建立在杂乱个人上下文之上以及编排可靠多步计划方面的关键局限。我们发布 ASTRA-bench，包含完整执行环境和评估脚本，为开发真正具备上下文感知能力的 AI 助手提供诊断测试平台。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2603.01357 [cs.AI] |
| （或本版本的 arXiv:2603.01357v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2603.01357 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Zidi Xiu [查看邮箱]
[v1]
2026年3月2日星期一 01:34:48 UTC（5,955 KB）
[v2]
2026年11月5日星期四 06:20:21 UTC（5,955 KB）
来源：arXiv cs.AI · arxiv.org