arXiv cs.AI· Jiandong Ding, Honglei Ji, Ming Liu, Tao Duan·· 9 天前AI 评分26
Agent 技能检索中的同能力风险暴露：SameCapRisk-Bench 基准发布
Right Family, Wrong Skill: Evaluating Risk Exposure in Agent Skill Retrieval
AI 导读
研究提出 SameCapRisk-Bench，包含 890 个单元和 1,314 个查询案例，覆盖五种机制与十二种冲突类型，用于评估技能检索中"主题匹配但资源、流程或输出要求冲突"的同能力风险暴露。
正文 · AI 翻译
摘要：一项技能可能与任务的主题相匹配，却与其资源、流程或输出要求相冲突。我们将此作为同能力风险暴露检索进行研究，并提出了 SameCapRisk-Bench：涵盖五种机制和十二种冲突类型的 890 个单元和 1,314 个查询案例。每个单元将一个满足查询要求的技能与一个违反该要求的同能力技能配对，并提供区分二者的证据。评估测试源任务要求以及两类配对查询，这两类查询在保持技能不变的情况下反转哪个技能更匹配：改变所请求的证据角色或确切的输出接口。为了同时捕捉检索成功和冲突暴露，Recall 追踪有用命中，有害同类率（HSR）追踪冲突同类的暴露，而 CleanHit 要求有用命中且无该暴露。四个公开技能检索器在源任务契约上的 HSR@3 为 0.737-0.881，而在受控源角色查询上为 0.099-0.12。在 1,235 个留出查询的固定混合中，它们的 Recall@3 为 0.903-0.944，HSR@3 为 0.344-0.393。对于这四个检索器，冲突同类在 24.8-29.2% 的源任务查询中排名第一。我们还考察了重排序器接收到的内容：截断长技能可能会移除两个技能契约存在差异的段落。在相同的 BGE 前 20 候选下，将重排序器的输入预算从 512 个 token 增加到 4,096 个 token，可使源任务同类优先错误减少 8.27 个百分点，而 CleanHit 增益不确定。
| 评论： | 预印本。取代 arXiv:2606.10388 |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.10388 [cs.IR] |
| （或此版本的 arXiv:2606.10388v4 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2606.10388 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiandong Ding [查看电子邮件]
[v1]
2026年6月9日星期二 03:54:45 UTC（880 KB）
[v2]
2026年8月20日星期四 01:59:33 UTC（850 KB）
[v3]
2026年9月11日星期五 09:19:38 UTC（2,380 KB）
[v4]
2026年10月8日星期四 08:56:27 UTC（2,242 KB）
来源：arXiv cs.AI · arxiv.org