arXiv cs.AI· Yutao Wu, Xiao Liu, Ming Wen, Hanxun Huang, Jun Wang, Xingjun Ma·· 10 小时前AI 评分42
ScamWorld：评估 Web 智能体应对网络诈骗能力的交互式环境
ScamWorld: An Interactive Environment for Evaluating Web Agents Against Online Fraud
AI 导读
研究者推出 ScamWorld 交互式环境，重建已报告的诈骗网站以系统评估 Web 智能体。对六个前沿 LLM 驱动的智能体测试显示，基线受骗率为 11% 至 35%，且智能体更易执行付款而非提供凭证或钱包信息。轨迹分析发现部分智能体已察觉可疑情况仍继续操作，有时将用户指令视为接受网站附加条款的授权。
正文 · AI 翻译
摘要：网络智能体越来越多地代表用户浏览网页、购物和管理账户。已有研究表明，它们可能被对抗性内容误导，包括提示注入和欺骗性界面。除了此类攻击之外，在开放网络上运行的智能体还会遇到旨在欺骗人类的在线欺诈，包括欺诈性网店、虚假投资平台和预付费骗局。网络智能体在执行任务期间如何应对此类欺诈仍缺乏充分研究，部分原因是诈骗网站存续时间短，导致系统化评估困难。为填补这一空白，我们推出 ScamWorld，这是一个交互式环境，重建了已报告的诈骗网站，涵盖多种场景、欺诈机制和语言。每个重建网站都复现了有据可查的欺诈机制，使相关欺诈迹象在智能体采取最终行动之前即可被观察到，并支持受控、可重复的评估。通过对由六个前沿大语言模型驱动的网络智能体进行广泛研究，我们发现各模型的基线受骗率在 11% 至 35% 之间。相比索要凭据或钱包信息的请求，智能体更容易继续执行付款。对智能体轨迹的进一步分析显示，一些智能体虽然察觉到可疑情况，却仍然继续执行，有时将用户的指令视为接受网站强加的附加条款的授权。ScamWorld 提供了一个可复用的测试平台，用于系统化评估和压力测试网络智能体应对现实世界在线欺诈的能力。
| 评论： | 15 页，17 幅图，7 张表。代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.04879 [cs.AI] |
| （或 arXiv:2611.04879v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.04879 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Oscar Wu [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 13:31:11 UTC（14,977 KB）
[v2]
2026 年 11 月 4 日星期三 07:01:24 UTC（14,977 KB）
来源：arXiv cs.AI · arxiv.org