arXiv cs.AI· Izhar Ali·· 11 小时前AI 评分29
LLM 错误中的跨问题结构从何而来：共享随机种子、共享提示词与答案字母偏好
Where Cross-Question Structure in LLM Errors Comes From: Shared Seeds, Shared Prompts, and Answer-Letter Preference
AI 导读
研究用问题相关矩阵特征值检验 LLM 错误结构，发现单模型内独立作答无可检测结构，而同一轮基准测试共享随机种子或少样本提示词时结构才出现。跨 24 个模型，超出整体能力的最大结构是对答案字母的偏好：旋转选项后偏好跟随字母而非题目，且主要来自 Llama-3.2-1B，剔除后仅剩较小超额。
正文 · AI 翻译
摘要：语言模型之间的分歧常被解读为知识缺失。那么，需要同一缺失知识的问题就应当同对同错。我们通过问题相关矩阵的特征值来检验这种结构。在单个模型内，独立抽取的答案未显示出可检测的结构；当对基准的所有问题在一次运行中共享同一随机种子或少样本提示时，这种结构才会出现。在 24 个模型中，超出整体能力之外的最大结构是答案字母偏好：当选项轮换时，它跟随字母而非问题，且取决于一个模型 Llama-3.2-1B；去掉它之后仅剩较小的超额。仅当一个问题在每次轮换中都答对才计为正确，可去除作用于猜测的部分。剩余的是 5% 线上的边际超额，事后与两对近乎重复的模型以及 Llama-3.2-1B 相关联。
| 评论： | 12 页，3 幅图，3 张表。已被 EIML@ICML 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.20464 [cs.AI] |
| （或 arXiv:2607.20464v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.20464 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Izhar Ali [查看邮箱]
[v1]
2026 年 5 月 18 日星期一 14:40:37 UTC（179 KB）
[v2]
2026 年 10 月 23 日星期五 02:03:05 UTC（762 KB）
来源：arXiv cs.AI · arxiv.org