arXiv cs.CL· Wenyuan Li, Guang Li, Dongyuan Li, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama·· 11 小时前AI 评分34
HSC-Bench：评估 AI 智能体任务交接中的任务接管能力
Benchmarking Task Takeover Across Agent Handoffs
AI 导读
研究者提出 Handoff State Continuity Benchmark（HSC-Bench），包含 1,039 个任务，用于评估接收模型在智能体交接后恢复仓库证据与延续既有对话、工具和文件工作状态的能力。对六个接收模型的对比显示，结构化交接状态能提升所有模型的仓库证据恢复表现，并改善多数模型的延续表现；两条评估轨道上的最强模型并不相同，说明仅凭证据恢复排名无法刻画继承状态后的延续能力。
正文 · AI 翻译
摘要：随着智能体在更长的任务上协作，责任可能会在工作完成之前从一个模型传递到另一个模型。接收模型必须基于先前的决策、观察和行动继续推进，同时处理剩余的需求。评估这种交接需要将交接时保留的信息与接收方如何继续工作联系起来，而仅靠任务成功率和记忆保持分数无法捕捉这种关系。我们提出了交接状态连续性基准（HSC-Bench），包含 1,039 个任务，用于评估任务接管的两个互补方面：恢复相关的仓库证据，以及从已建立的对话、工具和文件工作状态继续推进。对六个接收模型的比较表明，结构化的交接状态能改善每个模型的仓库证据恢复，并改善大多数模型的继续执行表现。两个轨道中最强的接收模型并不相同，这表明仅凭证据恢复排名无法刻画从继承状态继续执行时的表现。通过将这些比较与对后续响应和行动的检查相结合，HSC-Bench 既评估对先前证据的获取，也评估对既定承诺和已完成工作的遵循。这为选择接收模型以及根据必须延续的工作来评估交接表示提供了依据。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36523 [cs.CL] |
| （或 arXiv:2610.36523v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36523 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guang Li [查看电子邮件]
[v1]
2026年10月27日星期二 02:27:04 UTC（950 KB）
来源：arXiv cs.CL · arxiv.org