arXiv cs.AI· Pavel Golikov, Evgenii Opryshko, Gennady Pekhimenko, Mark C. Jeffrey·· 14 小时前AI 评分39
ArbiGraph：可任意扩展、可验证的任务图基准，用于评估上下文管理
ArbiGraph: Arbitrarily Scalable Verifiable Task Graphs for Evaluating Context Management
AI 导读
ArbiGraph 是一个可生成可控任务图的基准生成器，用于评估工具辅助语言智能体能否在长推理流程中保留、更新、组合和丢弃任务相关上下文。其任务由自然语言问题与可执行 Python 求解器组成，长度、依赖结构、干扰项数量和值类型均可调，并保持精确自动验证。在数学、GSM 式应用题和 Python 追踪任务上评估 Qwen3.5-27B 工具智能体，依赖型分支链任务准确率最多下降 33.3%。
正文 · AI 翻译
摘要：我们提出 ARBIGRAPH，一个基准生成器，用于评估工具辅助的语言智能体能否在扩展推理工作流中保留、更新、组合和丢弃与任务相关的上下文。ARBIGRAPH 将每个任务表示为一个带有可执行 Python 求解器的自然语言问题，并通过类型化中间状态组合任务，此处实例化为标量值和列表值。这一设计使得任务图可控，其长度、依赖结构、干扰项数量和值类型均可变化，同时保持精确的自动验证。我们用数学、GSM 风格应用题和 Python 追踪任务类别实例化 ARBIGRAPH，并在四种拓扑结构上评估了一个 Qwen3.5-27B 工具辅助智能体。结果显示，在孤立任务上准确率很高，但在更复杂的依赖任务上显著下降：在依赖型数学任务的分支链上，准确率最多下降 33.3%。这表明 ARBIGRAPH 揭示了仅靠单任务评估无法发现的失败。我们的代码、生成的数据集和评估结果可在 此 https URL 获取
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.20764 [cs.AI] |
| （或 arXiv:2607.20764v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.20764 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pavel Golikov [查看邮箱]
[v1]
2026年7月22日星期三 22:30:12 UTC（265 KB）
[v2]
2026年10月24日星期六 08:19:20 UTC（193 KB）
来源：arXiv cs.AI · arxiv.org