arXiv cs.CL· Md Farhan Ishmam, Kenneth Marino·· 3 天前AI 评分32
TimeWarp:评估 Web 智能体在网页变迁下的表现
TimeWarp: Evaluating Web Agents by Revisiting the Past
AI 导读
研究者推出 TimeWarp 基准,用三个 Web 环境、每个含六种 UI 版本模拟网页演化,发现视觉型智能体易受界面变化影响,文本型智能体在单一版本微调后变得脆弱。为此提出基于计划蒸馏的标注方法 TimeTraj,用 BC-variant 训练后 Qwen-3 4B 从 20.4% 提升至 37.7%,Llama-3.1 8B 从 0% 提升至 27.0%。
正文 · AI 翻译
摘要:随着网络智能体在基准测试中不断缩小与人类的差距,一个问题随之而来:当今的智能体在未来的网络上是否也能表现得同样出色?我们提出了 TimeWarp,一个模拟不断演变的网络的基准测试。TimeWarp 包含三个网络环境,每个环境有六个 UI 版本,涵盖来自互联网不同时代的 UI 设计、前端代码和工作流。我们为 TimeWarp 配以一组复杂、真实的任务,覆盖不同形式的网络导航。我们的实验表明,基于视觉的智能体容易受到变化的影响,而基于文本的智能体一旦在单一版本上微调就会变得脆弱。为解决这一问题,我们提出了 TimeTraj,一种新的标注方法,利用计划蒸馏来收集跨多个版本的轨迹。通过使用我们的 BC 变体在教师 rollout 上训练智能体,我们取得了显著的性能提升:Qwen-3 4B 从 20.4% 提升至 37.7%,Llama-3.1 8B 从 0% 提升至 27.0%。我们的工作有助于研究跨网页设计的泛化能力,并开辟了一种收集计划而非轨迹的新范式,以提升网络智能体的鲁棒性。
| 评论: | NeurIPS 2026 评估与数据集 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);计算机视觉与模式识别(cs.CV);机器学习(cs.LG) |
| 引用为: | arXiv:2603.04949 [cs.AI] |
| (或 arXiv:2603.04949v4 [cs.AI] 对应此版本) | |
| https://doi.org/10.48550/arXiv.2603.04949 arXiv 颁发的 DOI,经由 DataCite |
提交历史
来自:Md Farhan Ishmam [查看邮箱]
[v1]
2026年3月5日星期四 08:43:06 UTC(11,625 KB)
[v2]
2026年9月8日星期二 06:29:33 UTC(11,827 KB)
[v3]
2026年9月12日星期六 06:26:13 UTC(11,829 KB)
[v4]
2026年10月14日星期三 10:16:21 UTC(11,775 KB)
来源:arXiv cs.CL · arxiv.org