arXiv cs.CL· Mahesh Reddy Pagadala·· 10 小时前AI 评分27
自适应提前停止何时有效？Looped 语言模型中的选择规则才是关键
When Does Adaptive Halting Win? Selection Rules Matter in Looped Language Models
AI 导读
在冻结的 Ouro-1.4B（四轮循环）上，预注册确认实验显示训练好的稳定性探针 π1-x 比 Ouro 原生门控节省更多循环预算，三个基准上宏观节省 +0.053（95% CI [+0.049, +0.057]），主要来自 CommonsenseQA。
正文 · AI 翻译
摘要：循环语言模型可以提前停止迭代，而近期工作表明，对循环轨迹进行事后读取，往往能与循环模型 Ouro 学习到的退出门控相媲美。此类比较将每种方法简化为由选择规则选定的单一工作点。我们追问：该规则是否决定了结果。在一个冻结的、具有四个循环的 Ouro-1.4B 上，我们在预注册研究中比较了训练得到的稳定性探针（$\pi_1$-x）与 Ouro 的原生门控（后者被改造为逐问题停止决策）；确证性研究是在开发数据上获得探索性发现之后设计的，并在一个包含 8,517 个问题的密封测试集上一次性评估。在预注册的确证性比较中，该比较使用经 bootstrap 筛选的 1 个百分点准确率损失规则来选择工作点，探针比原生门控节省了更多四循环预算（在三个基准上总宏观节省 +0.053，95% CI [+0.049, +0.057]），主要来自 CommonsenseQA，在该基准上探针的准确率损失测试上界超过 1 个百分点。在仅按点规则下，同一测试集上预先指定的二次分析逆转了偏好（-0.022 [-0.026, -0.018]），其工作点超出了预算。在预先指定的二次比较中，探针相对于连续循环之间未训练的 KL 散度未显示出优势（+0.00125 [-0.0041, +0.0065]）；我们事后强调这一结果，且不主张等价性。该探针还在两个分布外基准之一上超出了预算（Social IQa 上损失 3.26 个百分点）。节省量是从存储的全深度轨迹估计的，而非实测推理时间，且我们的筛选不带有正式的风险控制保证。我们得出结论：停止方法应作为信号与选择程序一起比较，并应使用强未训练基线和分布外检查。
| 评论： | 21 页，1 幅图。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02333 [cs.LG] |
| （或 arXiv:2611.02333v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02333 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mahesh Reddy Pagadala [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 00:28:21 UTC（62 KB）
来源：arXiv cs.CL · arxiv.org