arXiv cs.AI· Bo-Yu Chen, Zhi Zhou, Yu-Feng Li·· 16 小时前AI 评分35
SkillShift-Bench：面向 Web 智能体环境演化下的技能学习基准
SkillShift-Bench: Benchmarking Skill Learning under Environment Evolution for Web Agents
AI 导读
研究者提出 SkillShift-Bench，首个在受控开放环境变化下评估 Web 智能体技能学习的基准，模拟上下文偏移、感知偏移与执行偏移三类场景。实验显示智能体在受控偏移下出现系统性鲁棒性退化：成功率下降、交互成本上升、技能失败更频繁，其中执行偏移压力最大。团队将该问题形式化为非平稳局部可执行性问题，给出动态遗憾分析及一种无需重学技能库的测试时自适应方法。
正文 · AI 翻译
摘要：技能学习使网页智能体能够复用先前经验来完成长程交互任务。然而，习得的技能通常在封闭环境中评估，忽略了真实世界的网页部署涉及调用上下文、感知基础和可执行性的持续变化。为此，我们提出了 SkillShift-Bench，这是首个用于在受控开放环境变化下评估技能学习的基准。SkillShift-Bench 在三个自托管网页系统中模拟上下文变化、感知变化和执行变化，并通过涵盖任务成功率、交互成本、技能使用和技能失败的诊断指标来评估智能体。全面的实验揭示了在受控变化下系统性的鲁棒性下降，其特征是成功率更低、交互成本更高、技能失败更频繁，其中执行变化带来的压力最强。我们进一步将变化下的技能执行形式化为非平稳局部可执行性问题，并提供了动态遗憾分析和一种实用的测试时自适应方法，证明了无需重新学习技能库即可改进习得技能执行的可行性。代码、任务、环境、文档和排行榜可在 此 https URL 获取。
| 评论： | 70 页，8 幅图。已被 EMNLP 2026（主会议）接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33528 [cs.AI] |
| （或使用 arXiv:2610.33528v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.33528 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bo-Yu Chen [查看邮箱]
[v1]
2026 年 10 月 24 日星期六 08:09:00 UTC（6,810 KB）
来源：arXiv cs.AI · arxiv.org