arXiv cs.AI· Dingjie Song, Zhiling Yan, Yuxuan Zhang, Lichao Sun·· 2 天前AI 评分38
LEV：用循环决策模型实现快速与深度思考
LEV: Thinking Fast and Deep with Looped Decision Models
AI 导读
LEV 是一种通过循环重跑网络层而非生成 token 来加深推理的决策模型，基于以循环方式预训练的语言模型，每步循环后读取选项并联合训练所有步骤，使同一权重可在任意深度作答。
正文 · AI 翻译
摘要：决策模型针对输入回答带类型的问题，每个选项给出一个概率，在单次前向传播中计算得出，不生成文本。如同双过程理论中快速的系统 1，它们一次性作答，但其深度在训练时即已固定，因此对简单和困难的问题花费相同的计算量。以生成文本进行推理的模型可以思考更久，但每一步额外的解码 token 都要付出代价。我们提出 LEV，一种决策模型，它通过循环重跑自身层而非生成 token 来更深入地思考。LEV 基于一个以循环方式预训练的语言模型，在每个循环步骤后读取选项，并联合训练所有步骤，因此一个检查点可以在任意深度作答。在三个循环骨干网络上，相同权重下准确率随深度上升，主要提升在困难问题上，一个 2.6B 的 LEV 在 JevBench 上从深度一的 63.2% 提升到深度四的 76.2%。按需深度，由一个小型停止器根据在无标签请求上拟合的阈值逐题设定，节省 15% 到 24% 的计算量，代价是不到一个准确率点，与固定深度组合持平或略高。在锁定测试集上，1.4B 和 3B 模型比稠密（非循环）模型以及相同延迟低于 50 ms 的级联模型准确率高 5.4 到 8.8 个点。
| 评论： | 28 页。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20951 [cs.AI] |
| （或 arXiv:2610.20951v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20951 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Dingjie Song [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 21:20:03 UTC（320 KB）
来源：arXiv cs.AI · arxiv.org