arXiv cs.CL· Roberto I. Ono Filho·· 12 小时前AI 评分22
推理时干预与权重整合在开放式生成中能带来什么：让均值靠向已知最优而非超越
Moving the Mean Toward the Known Good, Not Beyond It: What Inference-Time Interventions and Weight Consolidation Buy in Open-Ended Generation
AI 导读
在在线装箱任务上对通过验证的候选做 LoRA 整合训练，可使模型在留出变体上的输出向经典启发式水平靠拢（超额 -1.7 点，p=0.008；相对随机整合对照 -3.1，p=0.004），但最佳观测候选仅收敛到经典启发式水平、未再超越。
正文 · AI 翻译
摘要：一个生成循环能从自身已验证的成功中学习到什么？在在线装箱问题中，经过生成、验证、选择与 LoRA 整合的循环，基于价值过滤的候选进行训练，会使模型在留出变体上写出的内容向价值方向偏移（超出 -1.7 点，p=0.008；相对于随机整合对照组为 -3.1，p=0.004），而观察到的最佳候选收敛到经典启发式的水平，不再进一步。一组确认实验将整个流程重复三次，使用全新种子和一个从未被查阅、仅读取一次的留出集：三条谱系的均值几乎相同（-2.0、-1.8、-1.9），在留出变体内聚合后，全部七个可评估变体都倾向于整合（p=0.008）。观察到的最佳候选恰好移动到经典启发式的水平（0.021028，即所有三条谱系和两个分支中最低变体的经典水平）；吸引从未超出其变体的经典水平，而随机对照组在 24 个谱系-变体单元中有 7 个超出了。一个匹配的仅 SFT 对照组表明，起集中作用的是监督锚点，而非对坏候选的排斥（96% 的候选恰好落在经典启发式的水平上）。在远族上，尾部效应是双向的：整合降低了优于经典候选的逐候选比率（从 10% 降至 3.9%），而其更大的产出在绝对数量上产生了更多此类候选（在少量事件上为 5 对 1）。作为动机，我们报告了导致此处的推理时账本：模型编写的示意性回顾换来了经评判的文档整合，而没有任何东西换来开发；写入流中的验证器被模仿，每个笔记本有 16.4 行伪造的判定行。在这种安排下（MLX 中的 8 位模型，五个循环），有效候选中的平均质量可以被购买并复制；在吸引下，观察到的最佳值达到经典水平，并且迄今为止从未超越它。
| 评论： | 版本 2：根据记录进行审计后的更正，包括复制实验中随机对照组的超越经典计数（列于论文中）。14 页。代码：此 https URL。数据：Zenodo https://doi.org/10.5281/zenodo.22714138 和 https://doi.org/10.5281/zenodo.23163299%3B 此版本亦见 https://doi.org/10.5281/zenodo.23163706 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.7; I.2.6 |
| 引用为： | arXiv:2608.28886 [cs.CL] |
| （或 arXiv:2608.28886v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.28886 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Roberto I Ono Filho [查看电子邮件]
[v1]
2026 年 8 月 28 日星期五 21:41:17 UTC（211 KB）
[v2]
2026 年 10 月 22 日星期四 12:05:11 UTC（213 KB）
来源：arXiv cs.CL · arxiv.org