arXiv cs.AI· Xiaodong Wu, Zhimin Zhao, Qi Li, Chaklam Cheong, Xiangman Li, Jianbing Ni·· 11 小时前AI 评分38
研究揭示 LLM API 中转服务的行为差异、工具权限与计费问题
What the Middleman Delivers: Answer Behavior, Tool Permissions, and Billed Usage in LLM API Relays
AI 导读
一项研究测试了 20 个提供 GPT-6 Astra 和 Claude Opus 5 的第三方 API 中转服务，首轮样本中 7/10 低价中转与 2/10 同价或高价中转在知识问答上表现出与官方批量匹配回答的行为差异。
正文 · AI 翻译
摘要：第三方应用程序编程接口（API）中转服务提供对大型语言模型（LLM）的访问，且价格往往更低。用户依赖这些服务来保证模型质量、指令遵循和准确计费。然而，现有研究尚不清楚这些中转服务是否能同时满足上述期望。我们测试了 20 家提供 GPT-6 Astra 和 Claude Opus 5 的中转服务。首先，我们将知识问题的回答与批量匹配的官方回答进行比较。在第一轮样本中，分析标记出 7/10 家低价中转服务和 2/10 家同价或更高价中转服务存在行为差异。在对 35 对样本进行复测时，有七对在原始规则下获得或失去标记，六对在匹配校正族下获得或失去标记。由于回答比较无法揭示所有交付问题，我们检查了返回内容和工具权限。在 3,332 条针对固定、非对抗性代码与设置工作负载的筛选响应中，未确认存在注入，但仍有四家中转服务在第一轮中无视禁用指令而返回了工具调用。最后，为将报告的使用量与实际成本关联起来，我们将输入 token 计数与官方参考值进行比较并检查余额。对于相同请求，五家中转服务报告的输入 token 数比官方 API 多 4,200 至 60,000 个。在可获取余额的情况下（六家服务），收费按所列价格依据报告的使用量执行，其中一家服务还对额外报告的输入 token 收费。我们的研究表明，仅凭宣传的模型和价格不足以判断中转服务的可靠性。研究指出了无法解释的计费 token 数量和工具权限违规等风险，并说明了为何服务评估需要重复测量。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07650 [cs.SE] |
| （或使用 arXiv:2611.07650v1 [cs.SE] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2611.07650 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaodong Wu [查看邮箱]
[v1]
2026年11月5日星期四 08:35:38 UTC（224 KB）
来源：arXiv cs.AI · arxiv.org