arXiv cs.CL· Tapan Parikh·· 11 小时前AI 评分58
论文提出用 40 个单词答案识别 API 背后的语言模型
Forty Questions: Identifying a Language Model from One-Word Answers
AI 导读
Tapan Parikh 的论文提出一种方法，通过模型对“说出一个声音”“说出一个诗人”等日常问题的单词回答来识别 API 背后的模型。在 94 个模型的测试面板上，40 个答案有 92.5% 的概率精确识别出模型，随机猜测仅 1.1%。
正文 · AI 翻译
摘要：一个 API 背后的模型可以通过它对日常问题（如“说出一个声音”或“说出一个诗人的名字”）的单字回答被识别出来。模型的画像记录了它对每个问题给出每个答案的频率。我们将新的答案归因于最有可能给出该答案的模型。在 94 个模型组成的面板上，40 个答案有 92.5% 的概率精确识别出模型，而随机猜测仅为 1.1%。通过 OpenRouter 构建的画像在盲标下识别出了 DeepInfra 服务的全部十个模型。系统提示会使准确率降低 6 到 16 个百分点。我们将该方法应用于 OpenRouter 上 13 个开放模型的 96 个端点，其中 92 个识别为它们所声称的模型。其余四个中，一个在关闭推理后与所声称的模型匹配。一个以 Llama 4 Maverick 之名提供 Gemma 4：它自称 Gemma 4，并且每条消息都按 Gemma 4 的 token 数计费。两个仍未解决。计费记录还显示第一方模型被添加了上下文。Grok 4.7 对一行问题计费 1,247 个输入 token，而 GPT-4o 仅需 12 个 token，且有五个模型陈述当前日期却未为此计费。这些问题来自一项关于模型默认值的公开普查，该方法每个端点仅需几美分。
| 评论： | 19 页。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28281 [cs.CL] |
| （或 arXiv:2610.28281v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.28281 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tapan Parikh [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 14:33:56 UTC（20 KB）
来源：arXiv cs.CL · arxiv.org