arXiv cs.CL· Yibei Guo, Rui Liu·· 10 天前AI 评分17
输入盲控实验揭示多项选择评测中层程序存在大量 Oracle 余量
Input-Blind Controls Produce Substantial Oracle Headroom for Layer Programs in Multiple-Choice Evaluation
AI 导读
研究用 32 个层跳过与重复程序在 Qwen3-4B-Base 和 Llama-3.1-8B 上评估 4,413 道多选题，发现输入盲扰动在共享选项顺序下分别带来 10.2-11.8 和 15.6-19.4 个百分点的余量，超过真实程序的 9.0 和 10.1。
正文 · AI 翻译
摘要：自适应计算旨在通过针对每个输入定制执行过程来改进语言模型推理。对于层程序，在实用选择器可用之前，oracle 评估使用已知答案来估计这种灵活性可能带来的潜在增益。然而，选择带来的增益本身并不能解释为何所选程序有帮助。本研究使用两个模型上的 32 个层跳过和重复程序以及 4,413 个多项选择题来考察这一区别。分析将它们在未使用评估提示的情况下相对于固定动作的增益，与相同位置上的输入盲扰动进行比较，并在另一个提示上重新评估选择结果。在共享选项顺序的情况下，对照组在 Qwen3-4B-Base 和 Llama-3.1-8B 上分别给出 10.2-11.8 和 15.6-19.4 个百分点的余量，在每个模型的全部三次随机方向抽取中均超过真实程序的 9.0 和 10.1。它们仅在答案变化率上相匹配，且排序取决于菜单：在事后比较中，真实程序在 Llama 的仅重复菜单上每次抽取均领先。一个更小的、经 KL 校准的比较（包含一个输入依赖型对照）在点估计上有利于真实程序，但校正后的检验结果不确定。固定字母偏移产生的余量规模相似。轮换选项会大幅降低两个家族的余量，同时留下 1.4-2.3 和 3.7-4.5 个百分点的真实减对照正差异；其幅度和统计支持取决于进一步的调整和参照基准。一项补充的生成答案测试发现，在改写后，搜索选出的程序相对于为其他问题选出的程序保持 26.0 个百分点的优势，但没有安慰剂对照。这些结果表明，在共享选项顺序的情况下，跨提示可能持续存在可观的余量，但并不能确立所选层计算所特有的收益；与这些对照相比的任一排序都无法识别出这种收益。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.10368 [cs.LG] |
| （或 arXiv:2610.10368v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10368 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Rui Liu [查看电子邮件]
[v1]
2026年10月7日星期三 16:35:40 UTC（593 KB）
来源：arXiv cs.CL · arxiv.org