arXiv cs.AI· Ojas Nimase, Zhe Chen, Yue Zhao, Xiyang Hu·· 3 天前AI 评分32
GEO-Bench：生成引擎优化中的排名操纵基准测试
GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization
AI 导读
GEO-Bench 是一个在统一协议下评估生成引擎优化（GEO）排名操纵攻击的基准，整合了 TAP、Zero-Shot 等黑盒提示攻击，STS、RAF、StealthRank 等白盒梯度攻击，以及十种白帽 C-SEO 策略。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地为用户查询对产品、文档和推荐进行排序，这使得操纵这些排名成为公平性和信息完整性方面日益令人担忧的问题。关于生成式引擎优化（GEO）的研究已经产生了许多操纵方法，但每种方法都在各自的数据集上用自己的指标进行评估，因此它们的相对强度和可检测性仍不明确。我们提出了 GEO-Bench，一个在统一协议下评估 GEO 排名操纵攻击的基准。它统一了黑盒基于提示的攻击（TAP、Zero-Shot）、白盒基于梯度的攻击（STS、RAF、StealthRank）以及十种白帽 C-SEO 策略。我们在五个数据集上针对一个固定的开放权重排序器（Llama-3.1-8B-Instruct）对每种方法进行评分，使用同时衡量有效性（NRG、Success@{\alpha}、Promote@{\alpha}）和隐蔽性（关键词违规率、困惑度比）的指标。我们的评估表明，在对抗性攻击中有效性与隐蔽性之间存在权衡；黑盒内容重写在排名提升方面达到或超过基于梯度的攻击，同时生成更流畅的文本，并且能在某些领域规避基于关键词和困惑度的检测；访问模型并不能预测攻击强度。通过标准化数据集、攻击实现和指标，GEO-Bench 实现了对这些攻击范式的首次直接比较，并支持检测方法的发展。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.29107 [cs.CR] |
| （或 arXiv:2605.29107v3 [cs.CR] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.29107 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Ojas Nimase [查看电子邮件]
[v1]
2026年5月27日星期三 21:10:43 UTC（59 KB）
[v2]
2026年5月30日星期六 18:12:24 UTC（59 KB）
[v3]
2026年10月12日星期一 06:01:08 UTC（162 KB）
来源：arXiv cs.AI · arxiv.org