arXiv cs.CL· Mohammed Nayeem Khan, Logesh L·· 10 小时前AI 评分31
Laya a1 研究：非自回归决策模型的选项顺序敏感性
Maya a1: Do the Options Read the Model, or Does Their Position? Order Sensitivity in a Non-Autoregressive Decision Model
AI 导读
研究者重新工程化 Laya 检查点（421M 参数、2 层选项头、无位置张量），测试选项排列是否影响答案。在 951 道 Qwen 验证题上循环轮换选项后，25.8% 的问题答案发生翻转，金标选项置首与置尾的准确率相差 10.1 分，翻转集中在模型低置信度区间（54% 对 8%）。
正文 · AI 翻译
摘要：Laya 通过在一次前向传播中为每个选项的一个 [MASK] 标记处对隐藏状态打分，来回答带类型的多项选择题。我们重新设计了该检查点（4.21 亿参数；一个不含位置张量的 2 层选项头；一种有文档记录但未使用的并行布局），并测试答案是否取决于选项的排列位置。在对其选项进行所有循环轮换（或对 12 个选项进行六次随机排列）的情况下呈现 951 个经 Qwen 验证的问题，发布的检查点对 25.8% [22.9-28.7] 的问题改变了答案（仅在 605 个英语条目上为 19.7%）；金标准选项排在最前与排在最后时的准确率相差 10.1 个百分点，且翻转集中在模型自身置信度较低的地方（按置信度三分位分别为 54% 与 8%）。使用 Laya 的训练器在 2,818 条经教师验证且选项打乱的行上进行微调，将翻转率降至 7.2%；相同但不打乱的行给出 11.4%，因此打乱贡献了 4.2 个百分点的提升。对多种排序进行置信度加权投票得到 69.7%，而单次基础前向传播为 69.1%，计算量为 4.1 倍。标签由 LLM 生成，测试集经过教师过滤。我们还使用作者的并行布局在相同行上进行微调：翻转率为 0.5%。
| 评论： | 24 页，13 幅图，23 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09803 [cs.AI] |
| （或 arXiv:2611.09803v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.09803 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammed Nayeem Khan [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 17:54:01 UTC（1,616 KB）
来源：arXiv cs.CL · arxiv.org