arXiv cs.AI· Ro Encarnaci\'on, Tina Behzad, Emma Lurie, Dana\'e Metaxa·· 6 天前AI 评分38
当前 AI 基准测试遗漏了什么：模态、搜索、引用及其对安全评估的影响
What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)
AI 导读
一项针对 ChatGPT 聊天 UI 与 OpenAI API 的审计发现，禁用搜索时聊天 UI 在两个基准上准确率均低于 API，启用网络搜索后准确率最多下降 8 个百分点，甚至逆转了某一基准的模态表现趋势。
正文 · AI 翻译
摘要：大语言模型（LLM）基准评测常被用来支持关于模型安全性、可靠性和部署就绪度的论断。然而，大多数评测依赖单一访问方式（模型 API），对每个提示仅运行一次，并将准确率作为主要结果指标，而未考虑诸如网络搜索等可能影响模型部署行为的条件。我们针对最广泛使用的 LLM 之一审计了这些假设，比较了 ChatGPT 的聊天界面与 OpenAI 的 API 两种方式，在启用和未启用网络搜索的情况下。我们使用来自两个流行基准 BBQ 和 SafetyBench 的分层总样本 401 个提示，对每个提示重复运行三次，共收集 4,812 条回复。除标准性能指标外，我们还评估了模型输出维度，包括回复一致性、回复文本相似度、引用依据和弃答行为。例如，在禁用搜索时，聊天界面回复在两个基准上的准确率均低于 API 回复。启用网络搜索使准确率最多下降 8 个百分点，甚至逆转了其中一个基准上不同方式性能趋势的方向。对同一提示的重复运行在多达 21\% 的提示上产生了不一致的回复。两种方式还依据不同的引用来支撑答案，弃答行为在两种方式之间也不一致。这些结果表明，即使在同一个模型家族内，仅报告简单的准确率指标也可能掩盖与 AI 安全评估相关的重要模型行为变异形式。我们认为，AI 安全评估应系统性地考虑访问方式、多次运行一致性、搜索条件和回复层面行为，以更好地反映已部署 AI 系统在实践中的行为。
| 评论： | 18 页 |
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.06202 [cs.HC] |
| （或 arXiv:2608.06202v2 [cs.HC] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.06202 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Ro Encarnación [查看电子邮件]
[v1]
2026 年 8 月 6 日星期四 15:58:32 UTC（651 KB）
[v2]
2026 年 10 月 9 日星期五 03:18:56 UTC（651 KB）
来源：arXiv cs.AI · arxiv.org