arXiv cs.CL· Aur Shalev Merin·· 11 小时前AI 评分31
存在却难读出：用最小对比对探测 Ouro-1.4B 与 Qwen2.5-1.5B 的潜在推理
Present but Hard to Read: Probing Latent Reasoning with Minimal Pairs
AI 导读
研究用最小对比对探测 Ouro-1.4B 和 Qwen2.5-1.5B 的潜在推理，发现题目中的数字在最后一个提示词 token 处已可读出（readout 约 0.9），但常规单提示词探针几乎读不出：Ouro 仅 0.36、Qwen 仅 0.19，即便训练了 5,249 道题。
正文 · AI 翻译
摘要：对潜在推理的探测研究通常读取模型在答案开始处的状态，并将探测失败视为该值不存在的证据。我们在循环模型 Ouro-1.4B 和标准 transformer Qwen2.5-1.5B 中，用一个从问题中复制的数字对此进行检验。比较仅在该数字上不同的提示表明，它存在于最后一个提示 token 处，位于跨问题共享的代码中（读出约为 0.9）。一次只看到一个提示的探测（通常的设置）几乎读不出它：即使在 5,249 个训练问题之后，Ouro 中为 0.36，Qwen 中为 0.19。该数字的变化很小而非被淹没：随机噪声落在同样繁忙的方向上，而用随机词替换它则使状态移动得多得多且可读。由于每个变化的 token 都会留下痕迹，成功的探测也是有歧义的。我们给出一个协议，包括用于通用混合的合成零假设，以针对输入的副本和混合来检验计算值。在针对两步问题的预注册研究中，它在 Ouro 写出答案最后一位数字之前，为未写出的中间量 a+b 找到一个小信号，且其符号随运算而变，尽管仅靠混合就产生了该符号跟随部分的大部分。从第一个循环起将该值保持在另一个问题的值上，并不会使写出的数字向另一个问题的数字移动，而对答案的同样修补却会：该值可读但未被使用。
| 评论： | 20 页，5 张图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28498 [cs.LG] |
| （或 arXiv:2610.28498v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28498 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aur Shalev Merin [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 16:41:29 UTC（82 KB）
来源：arXiv cs.CL · arxiv.org