arXiv cs.CL· Roberto I. Ono Filho·· 12 小时前AI 评分31
每隔数百 token 注入新主题可提升基础语言模型的意外感与关联性评分
Interrupting the Loop: Periodic Subject Changes Raise Judged Surprise and Connection in Base Language Models
AI 导读
研究拆解了一个受认知启发的生成循环，在三个基础模型上测试 24 种条件，发现主要效果来自每隔数百 token 注入新主题（中断），在抑制字面重复（习惯化）的文本流上，该操作使 LLM 评判的意外感提升 1.2 至 1.4 分、关联性提升 0.7 至 0.9 分。
正文 · AI 翻译
摘要：基础语言模型在无任务时产生的新颖性从何而来，而一个长文本流的 LLM 评判器实际上能看到什么？我们在三个基础模型上、24 种条件下拆解了一个受认知启发的生成循环。其大部分效果集中在一个操作上：每隔几百个 token 向一个字面重复被抑制（习惯化）的流中注入一个新主语（中断）。我们仅对生成文本的窗口进行评判，以前提为单位（n=10），并使用一个经过可重复性测量的评判器，对照另一个评判器家族和人类读者。在该协议下，中断使评判出的惊讶度比仅习惯化提高 1.2 至 1.4 分，连接度提高 0.7 至 0.9 分。要求连续性的连接词有害；单纯的段落分隔没有可检测的增益；重置上下文至少与保留上下文效果相当；在新前提上进行的预注册复现确认了主要对比。窗口评判器看不到的三件事改变了本研究的第一版。评判器将实验者注入的句子评为模型自身的输出。注入句子的固定轮换使模型重放其自身较早的片段（在周期 150-300 时，65-80% 的中断后窗口主要是逐字重放），而评判器将重放评为惊讶，尤其是连接；在周期 300 时，62% 的窗口来源超出评判器 600 token 的视野。而且局部增益无法组合：没有任何一组产生整合的文档。显著性监控器、循环内评判器、跨中断记忆和门控 Review 都没有增加任何东西。在一个有验证器的问题（在线装箱）上，中断使有效且不同的候选启发式数量增加三到四倍，但没有提高最佳者的质量。我们报告的是长文本生成的评估协议和对一个简单干预的表征，而非创造力机制。
| 评论： | 版本 2：根据记录进行审计后的更正（结论无变化；列于论文中）。49 页。代码：此 https URL。运行数据和 LLM 评判：Zenodo https://doi.org/10.5281/zenodo.23163299%3B 此版本也见 https://doi.org/10.5281/zenodo.23163693 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.19893 [cs.CL] |
| （或此版本的 arXiv:2608.19893v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2608.19893 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Roberto I Ono Filho [查看电子邮件]
[v1]
2026 年 8 月 20 日星期四 11:01:59 UTC（2,528 KB）
[v2]
2026 年 10 月 22 日星期四 12:05:34 UTC（2,527 KB）
来源：arXiv cs.CL · arxiv.org