研究提出技能内化测量方法并发布数据集

Yanze Wang 等作者提出一种判断 LLM Agent 技能库中哪些技能已被模型内化、可以退役的测量方法：撤除技能后，让模型在由该技能合成的任务上作答，以无辅助得分作为内化判据；并且只有当另一个模型能从该技能获益时，才采信高分。作者称，近一半高分来自没有任何模型能从中获益的任务，因此需要这一交叉验证。 团队同时发布 1,251 条技能数据，包含任务及四个模型下的逐项得分。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。