arXiv cs.CL· Ziyu Mu, Zehua Wang·· 14 小时前AI 评分18
Ouro 循环语言模型研究：后期循环如何重定向两跳检索
Cross-Loop Query Handoff: How Later Loops Redirect Two-Hop Retrieval in the Ouro Looped Language Models
AI 导读
研究通过在同层、同注意力头、同最终提示位置间移植注意力 query，考察 Ouro-1.4B 和 Ouro-2.6B 的后期循环如何修复两跳检索。在合成上下文问题中，把 loop-3 的 query 集合注入 loop 1，可救回 90% 和 97% 在 loop 1 答错、loop 3 答对的问题，而打乱来源仅 24% 和 21%。
正文 · AI 翻译
摘要：预训练循环语言模型中的后续循环如何修复两跳检索？我们通过在同一层、同一注意力头和最终提示位置上在循环之间移植注意力查询，研究了 Ouro-1.4B 和 Ouro-2.6B。在合成的上下文问题中，将按层索引的 loop-3 查询集合注入整个 loop 1，可挽救 90% 和 97% 在 loop 1 回答错误、在 loop 3 回答正确的问题，而打乱供体的对应比例为 24% 和 21%。这种挽救在 Ouro-2.6B 的贪婪生成下同样成立；在 Ouro-1.4B 中则仅限于四候选排序。交叉的供体-受体交换更倾向于通过供体的桥接实体进行检索，而非复制其答案，尽管在 Ouro-2.6B 中仍存在显著的位置成分。后期键和值挽救的目标要少得多。将查询冻结在其 loop-1 值上对两跳准确率的损害也大于一个提供桥接的匹配问题。在自然问题上，挽救幅度较小且仅在 Ouro-2.6B 中复现，交叉交换也无法确立桥接重定向。这些结果识别出一组可迁移的后期循环查询，它们在合成场景中支持以桥接为条件的检索；它们并未定位桥接的计算位置，也未确立单向量传递。
| 评论： | 代码与可复现性：此 https URL 16 页，1 幅图，7 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34639 [cs.LG] |
| （或 arXiv:2610.34639v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34639 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zehua Wang [查看邮箱]
[v1]
2026年10月25日星期日 23:46:03 UTC（23 KB）
来源：arXiv cs.CL · arxiv.org