arXiv cs.AI· Jennifer Wang, Joachim Baumann, Daniel E. Ho, Sanmi Koyejo·· 6 天前AI 评分60
研究：API 基准分数无法可靠迁移到聊天机器人界面
API Benchmark Scores Do Not Reliably Transfer to Chatbot Interfaces
AI 导读
一项针对 ChatGPT、Claude 和 Gemini 的审计研究覆盖七个系统、九个基准，发现 API 与聊天界面在准确率和一致性上存在系统性差异。API 评测平均准确率高 3.4 个百分点，重测一致性高 2.1 个百分点。
正文 · AI 翻译
摘要：基准分数是模型发布中的核心通货：它们为购买决策提供依据，塑造公众信任，并影响政策。然而，基准分数背后的一个关键假设是，通过 API 测得的模型性能忠实反映了已部署系统的行为。
我们通过审计 ChatGPT、Claude 和 Gemini 在七个系统和九个基准上的表现来挑战这一假设，这些基准涵盖通用能力、社会偏见和谄媚性。我们发现 API 与界面在准确性和一致性上存在系统性差异。平均而言，API 评估的准确性得分比相应的界面评估高 3.4 个百分点，重测一致性高 2.1 个百分点。对于 ChatGPT，API 与界面访问之间的性能差异，堪比仅 API 访问下 GPT 5.3 与 GPT 5.4 之间的差异。换言之，切换访问界面造成的性能下降，可能与降级整个模型版本相当。
我们进一步测试了暴露的 API 控制项能否通过改变系统提示、采样参数和推理设置来复现界面行为。这些控制项在某些情况下会改变行为，但无法可靠地消除差距。我们的发现记录了一种上下文效度差距：通过 API 获得的测量结果不一定能推广到相应的已部署界面，这使得将 API 评估用作已部署系统的代理变得复杂。
| Subjects: | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2609.08861 [cs.AI] |
| （或 arXiv:2609.08861v3 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.08861 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Jennifer Wang [查看邮箱]
[v1]
2026年9月8日星期二 15:08:37 UTC（814 KB）
[v2]
2026年9月15日星期二 04:39:01 UTC（814 KB）
[v3]
2026年10月8日星期四 22:09:08 UTC（814 KB）
来源：arXiv cs.AI · arxiv.org