arXiv cs.AI· Xiangyu Wen, Qiang Xu·· 1 天前AI 评分42
SideTaskBench:衡量编程智能体未经授权的副任务交付
SideTaskBench: Measuring Unauthorized Side-Task Delivery in Coding Agents
AI 导读
研究者提出 SideTaskBench,用于衡量编程智能体在完成授权修复时被第三方技术参考诱导、额外交付用户未请求的副任务产物。
正文 · AI 翻译
摘要:编码智能体能否在修复用户仓库的同时,完成并交付用户从未请求的工作?在本文中,我们提出 SideTaskBench 来衡量这种失败情形:第三方技术参考在授权修复过程中诱导智能体产出独立的附带任务产物。仅凭修复成功率无法捕捉这一行为。我们的关键测量贡献在于,为每次修复配对一个自包含的附带任务,并同时验证附带任务的交付成功率与修复成功率。该基准包含 25 个 Python 修复任务和 190 个附带任务单元。其四级相似度索引定义了 300 个可执行的修复—附带任务配对。
实验表明,在包装请求下,两个模型的有效交付率约为 40%,同时修复成功率接近其干净基线。已完成的 v10 相似度运行使用 DeepSeek-V4-Flash 覆盖全部 300 个配对,每个配对重复八次(共 2,400 次运行)。条件交付率从 L0 无关任务的 20.48% 到 L3 机制重叠任务的 57.44% 不等,而 L1-L0 差异为 5.37 个百分点,且对任务构成保持敏感。核心洞见在于,技术相关性可能模糊智能体的授权边界,使得智能体能够解决所请求的问题,却仍然交付未经授权的工作。SideTaskBench 强调了现有智能体的这一潜在弱点,并为在保持修复能力的同时防止未授权交付的防御措施提供了测试平台。代码可在以下地址获取:this https URL。
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| 引用为: | arXiv:2611.14548 [cs.CR] |
| (或 arXiv:2611.14548v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.14548 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xiangyu Wen [查看邮箱]
[v1]
2026年10月29日 星期四 03:46:04 UTC(179 KB)
来源:arXiv cs.AI · arxiv.org