arXiv cs.AI· Yanze Wang, Pengfei Yao, Tianyi Sun, Hongda Chen, Yunyun Han, Jun Sun, Chuanrui Hu, Yafeng Deng·· 11 小时前AI 评分31
超越增益：为 Agent 技能退役测量技能内化程度
Beyond Gain: Measuring Skill Internalization for Agent Skill Retirement
AI 导读
针对 LLM Agent 技能库中"模型已内化、可退役"技能难以可靠测量的问题，研究提出以"撤除技能后模型在合成任务上的无辅助得分"作为内化判据，且仅当另一模型能从该技能获益时才采信高分。
正文 · AI 翻译
摘要：LLM 智能体从公共中心检索技能，这些中心最多可容纳约 100,000 个条目，并为许多模型提供服务。随着模型不断改进，中心必须找出给定模型已经内化的技能，即模型无需这些技能也能完成任务，并针对该模型将其退役，但内化程度尚未以已知可靠的方式被测量。已发表的规则通过比较使用和不使用技能时的运行结果，仅凭增益就决定退役。对于已内化的技能，以及当模型和技能都无法提供该能力时（我们将这种状态称为未覆盖），增益都接近于零。我们改为不使用该技能，在由该技能合成的任务上对模型评分，并且只有当另一个模型从该技能中获益时，才信任较高的无辅助得分，因为近一半的高分来自没有任何模型能从中获益的任务。在四个模型下，将已发表的增益规则应用于每个技能一个任务时，会移除超过一半的未覆盖技能。在 SkillsBench 上，其 31 项退役中有 28 项基于没有任何运行能完整通过的探测，而根据无辅助得分进行退役则不会带来可检测的奖励损失。无辅助判定在不同任务间的可复现性高于增益规则（Cohen's kappa 0.42 对 0.23），但在不同模型间存在差异，因此中心必须按模型分别解读这些判定。我们发布了 1,251 个技能，包含任务和四个模型下的逐项得分。
| 评论： | 12 页。代码：此 https URL 数据：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32322 [cs.AI] |
| （或 arXiv:2610.32322v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32322 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yanze Wang [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 08:21:22 UTC（214 KB）
来源：arXiv cs.AI · arxiv.org