arXiv cs.AI· Jinlin Liu, Wei Chen, Xiaojin Zhang·· 3 天前AI 评分44
LLM 智能体为何在技能库扩大时无法加载相关技能:隐式路由的失效
Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale
AI 导读
研究发现 LLM 智能体的技能路由崩溃:在 SkillsBench 任务和黄金技能固定不变的情况下加入无关技能,加载技能召回率从 73.6% 降至 27.4%,零加载率从 9.3% 升至 51.6%,而显式预选仍保持 73.9% 召回率。仅遮蔽无关技能的描述可基本恢复技能加载,表明存在描述层面的语义干扰与技能选择同任务执行之间的指令干扰。
正文 · AI 翻译
摘要:可复用技能让 LLM 智能体能够按需加载任务特定指令,但这使得执行依赖于对技能元数据的隐式路由。我们通过固定 SkillsBench 任务及其黄金技能、同时添加无关技能,来测试这种设计是否可扩展。我们发现技能路由崩溃:智能体越来越多地加载更少甚至不加载技能,即使相关技能仍然可用。当存在 1,000 个无关技能时,已加载技能召回率从 73.6% 降至 27.4%,零加载率从 9.3% 升至 51.6%,而从同一技能库中显式选择仍保持 73.9% 的召回率。加载其他技能(包括黄金技能的合理替代项)的情况过于罕见,无法解释这一下降。仅遮蔽无关技能的描述在很大程度上恢复了技能加载,但在元数据完整的情况下,显式要求智能体规划技能使用,其召回率仍低于预选择。这些发现表明,当技能选择与任务执行竞争时,存在来自描述的语义干扰和指令干扰。我们还评估了显式预选择作为一种实用缓解措施,包括其覆盖率和延迟权衡。我们的分析为技能库不断增长的智能体的技能协议和评估提供了参考。
| 评论: | 22 页,包括参考文献和附录。代码:此 https URL |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.18522 [cs.AI] |
| (或 arXiv:2610.18522v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.18522 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Jinlin Liu [查看电子邮件]
[v1]
2026年10月13日星期二 15:12:12 UTC(1,765 KB)
来源:arXiv cs.AI · arxiv.org