SanSi 让 Ouro-1.4B 循环 8 次，决策准确率升至 72%
SanSi 让 1.4B 小模型循环 8 次，决策准确率升至 72%
论文提出 SanSi，让预训练为可复用层的 Ouro-1.4B 重复运行同一批层最多 8 次，并在每次循环后读取选项概率，使小模型在决策任务上大幅提准。在 10,027 条测试决策上，SanSi 得分 72.0%，同规模无循环模型为 58.4%，计算量为其 7.7 倍。
Rohan Paul· @rohanpaul_ai · X·2026-10-14 04:02· 1 小时前AI 评分44
AI 导读
论文提出 SanSi，通过让 Ouro-1.4B 这个预训练可复用层的小模型重复运行同一批层最多 8 次，并在每次循环后读取选项概率，使小模型在决策任务上大幅提准。
正文
这篇论文发现，小型决策模型在给出答案前多次重跑相同的层，准确率会大幅提升。
许多 LLM 调用只需要做出一个选择，比如是垃圾邮件还是不是垃圾邮件。类型化决策模型一次前向就能回答这些问题，但当决策需要多个相互依赖的步骤时就会失败。
SanSi 循环运行 Ouro-1.4B——一个经过预训练以复用其层的模型——并在 8 次循环的每一次之后读取选项概率。每次循环都被训练来作答，因此同一个模型可以在 1 到 8 次循环之间的任意位置停止。
在 10,027 个测试决策上，SanSi 得分为 72.0%，而一个没有循环的同结构模型为 58.4%，计算量是后者的 7.7 倍。在比训练中见过的任何链条都更长的说谎者链条上，它达到了 72.6%，而一个 4.2B 的单次前向模型得分为 50.0%，即随机水平。
如果内存限制了你进行决策式调用，在转向大 3 倍的模型之前，先试试循环的小模型。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news