arXiv cs.CL· Yisheng Li, Dongming Han, Hongkun Pan, Bingcheng Mao, Zijian Wang, Yunlong Mao, Wei Tong, Sheng Zhong·· 6 天前AI 评分37
MisVisAgentBench：评估误导性图表如何影响 Web Agent 执行的配对基准
When Charts Deceive Web Agents: A Paired Benchmark for Misleading Visualization-Grounded Tasks
AI 导读
研究者提出 MisVisAgentBench，首个评估误导性可视化如何影响 Web Agent 执行的配对可执行基准，包含 280 个仅在图表证据上有差异的干净—误导配对任务实例。在 13 个视觉语言 Web Agent 上，将干净图表替换为误导性图表后平均任务成功率下降超过 34 个百分点，且失败主要沿目标误导动作分支发生。该基准已被 EMNLP 2026 接收。
正文 · AI 翻译
摘要：Web 智能体越来越多地代表用户浏览、解读网页内容并采取行动。然而，在许多现实工作流中，它们所消费的视觉证据并非中立：图表和仪表盘可能具有误导性，在未发出任何明确恶意指令的情况下影响判断。与图表问答不同，Web 智能体将图表视为中间证据，其误读可能传播为具体的下游行动——这一可靠性风险仍未得到充分探索。我们提出 MisVisAgentBench，这是首个用于评估误导性可视化如何影响 Web 智能体执行的配对可执行基准。它包含 280 个任务实例，以匹配的干净—误导配对形式呈现，二者仅图表证据不同。我们进一步提供一个诊断框架，将误导引发的失败与基线任务难度（Zhu et al., 2025）区分开来，并捕捉执行层面的影响，如额外的浏览步骤和决策犹豫。在十三个视觉语言 Web 智能体中，将干净图表替换为误导性对应图表后，平均任务成功率下降超过 34 个百分点。此外，这些失败主要沿着目标误导行动分支发生，表明欺骗性图表会系统性地重定向而非随机干扰智能体的决策。这些结果揭示，可视化鲁棒性是 Web 智能体安全与可靠性中一个关键但研究不足的维度。
| 评论： | 已被 EMNLP 2026 接收。19 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12823 [cs.CL] |
| （或 arXiv:2610.12823v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12823 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Yisheng Li [查看邮箱]
[v1]
2026年10月9日星期五 00:03:13 UTC（2,475 KB）
来源：arXiv cs.CL · arxiv.org