arXiv cs.AI· Chaoliang Yan, Zihao Xu, Yuekang Li, Shangzhi Xu, Yi Liu, Gelei Deng, Siqi Ma·· 9 天前AI 评分50
编码智能体中共同安装的技能如何相互冲突
One Skill Too Many: How Co-Installed Skills Conflict in Coding Agents
AI 导读
一项针对编码智能体技能冲突的实证研究从 20,947 个仓库快照中挖掘出 822,109 个相似技能对,经 LLM 判定后确认 312 对并在三个模型上运行 6,368 次。
正文 · AI 翻译
摘要:编码智能体通过智能体技能得到扩展,这些技能是目录,其 this http URL 告诉模型何时以及如何执行任务。由于技能来自独立来源(团队、开发者、插件、复制的集合),已安装的技能可能与执行相同工作的相似技能共同安装,而模型仅凭名称和描述在它们之间进行选择。在冲突中,已安装的技能会失去核心功能(例如,禁止触碰 git),因为相似技能会取而代之运行,或改变其行为。任务仍然通过,因此仅检查任务完成的基准测试会遗漏此类情况。我们首次对这类冲突进行了实证研究。从 20,947 个仓库的快照中,我们挖掘出 822,109 个候选相似技能对,让 LLM 评判了 3,754 个分层样本,并在三个模型上运行了 312 个确认的技能对(6,368 次运行,169,294 次工具调用,542 个智能体小时)。我们报告五项发现。(1) 易冲突技能很常见:近四分之一的已安装技能与执行相同工作的技能共同安装,37% 的被评判技能位于复制的集合中。(2) 大多数此类技能对涉及规范性技能,其次是能力技能。(3) 在不降低任务完成率的情况下,相似技能在五次运行中有一次从已安装技能手中夺走执行权,而先打开相似技能的运行会失去超过三分之一的独占核心功能,这些功能只有已安装技能才能履行。(4) 安装位置决定哪个技能运行,列表顺序几乎无关紧要,最终回复仅在 0.9% 的被替换运行中指明所使用的技能。(5) 冲突在首次技能读取时即被决定,几乎总是在任何文件被更改之前,而在该读取处的预工具钩子可将独占核心功能的保真度恢复到先打开已安装技能的运行水平。因此,基准测试应评估独占核心功能,平台应守护首次读取并显示哪个技能运行了。
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2610.11647 [cs.SE] |
| (或 arXiv:2610.11647v1 [cs.SE] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.11647 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Zihao Xu [查看电子邮件]
[v1]
2026年10月8日星期四 10:20:47 UTC(821 KB)
来源:arXiv cs.AI · arxiv.org