arXiv cs.AI· Shaikh Akib Shahriyar, MD. Akil Raihan Iftee, Armon Barton, Matthew Wright·· 3 天前AI 评分29
什么才算同一个任务？面向工具型智能体鲁棒性评估的可执行任务契约
What Counts as the Same Task? Executable Contracts for Robustness Evaluation of Tool-Using Agents
AI 导读
针对工具型智能体鲁棒性测试中"改动后的用例是否仍属同一任务"判定薄弱的问题，研究者提出可执行任务契约，在智能体运行前声明任务定义事实、允许的编辑和完成标准并逐例校验。
正文 · AI 翻译
摘要：针对使用工具的智能体的鲁棒性测试通常会改变智能体的环境，例如将一条恶意备注隐藏在发票中，然后根据智能体的行为来评判它。只有当改变后的测试用例仍然是对该任务的有效测试时，结果才能说明原始任务的情况。许多评估用较弱的规则来判定这一点，例如接受任何格式良好的编辑，或接受任何在嵌入空间中与原始内容接近的编辑。我们提出可执行的任务契约。契约规定了哪些事实定义了一个任务、允许哪些编辑，以及完成任务意味着什么，并在智能体运行之前检查每个改变后的测试用例。我们通过在每种规则下对同一批 14,336 条已存储的智能体运行记录进行评分，来比较各种有效性规则。在四种编码器上，嵌入阈值允许了 75-100% 改变了任务的编辑（例如调换收款人），却拒绝了 24-45% 有效的恶意备注。在使用 MiniLM 余弦阈值时，Mistral 在全部 64 个任务上看似都存在漏洞，但只有 26 个任务存在成功的有效攻击。重放已保存的解决方案，以及允许对基准字段进行编辑，也会以类似方式失败。评估应当说明并检查什么才算作同一个任务。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；密码学与安全（cs.CR）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.14477 [cs.SE] |
| （或使用 arXiv:2610.14477v1 [cs.SE] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.14477 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Shaikh Akib Shahriyar [查看电子邮件]
[v1]
2026年10月10日星期六 02:18:56 UTC（451 KB）
来源：arXiv cs.AI · arxiv.org