arXiv cs.AI· Jiahui Han, Qinuo Li, Ziheng Peng, Haotian Wu, Haoze Liu, Danfeng Shan, Guanchu Wang, Huiqi Deng, Ninghao Liu·· 3 天前AI 评分27
SkillEval：将 AI 智能体技能质量拆解为可解释信号
SkillEval: Decomposing Agent Skill Quality into Interpretable Signals
AI 导读
研究者提出 SkillEval，一个面向文档级技能的可解释评估框架，通过固定且可检查的评分方向为每项属性生成可解释分数，并测量和降低无关文档特征的影响。在受控质量测试中，SkillEval 能可靠区分不同质量的技能，其分数与下游任务表现密切相关，可提前预示技能有效性。该框架还可用于诊断文档弱点并指导针对性修订，从而提升目标属性与下游任务通过率。
正文 · AI 翻译
摘要：Agent 技能提供了可复用的知识，帮助智能体解决专门任务。随着其使用范围扩大，评估技能质量变得日益重要。现有评估通常基于智能体在特定任务上的性能提升来衡量技能质量。然而，一个可复用的技能可能适用于多个场景。对单个下游任务的评估主要反映技能与被评估任务之间的兼容性，只能提供技能质量的部分视角，且无法识别哪些方面需要改进。我们发现，\texttt{this http URL} 文档的一般属性在技能质量中起着重要作用。为评估这些属性，我们提出 \textbf{SkillEval}，一个用于文档级技能评估的可解释框架。SkillEval 使用固定、可检查的评分方向，为每个属性生成可解释的分数。它进一步测量并减少无关文档特征的影响，使每个分数更具体地捕捉其预期的语义属性。我们使用 SkillEval 在受控质量测试中评估技能，表明它能可靠地区分不同质量的技能。其分数与下游任务性能密切相关，可提前指示技能的有效性。我们进一步探索 SkillEval 用于诊断文档弱点并指导有针对性的修订，从而改善目标属性并提高下游任务通过率。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.06891 [cs.AI] |
| （或 arXiv:2608.06891v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.06891 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiahui Han [查看邮箱]
[v1]
2026年8月7日星期五 07:25:17 UTC（4,518 KB）
[v2]
2026年10月12日星期一 13:01:23 UTC（4,570 KB）
来源：arXiv cs.AI · arxiv.org