arXiv cs.AI· Shuyu Gan, Young-Jun Lee, Dongyeop Kang·· 10 天前AI 评分29
SanSi：面向 System 1.5 思维的循环类型化决策模型
SanSi: A Looped Typed Decision Model for System 1.5 Thinking
AI 导读
SanSi 将预训练循环语言模型改造为类型化决策模型，每次循环后读取选项概率并用 proper scoring rule 训练，单次运行即可覆盖 1 到 8 次循环的任意预算。
正文 · AI 翻译
摘要：类型化决策模型无需生成文本即可回答所声明的问题：决策头在一次前向传播中为每个声明的选项返回一个概率。单次传播是快速、直观的系统 1 思维。我们研究单次传播与生成式推理之间的中间地带：循环，即同一组层被递归应用多次，然后进行一次类型化读出。每次循环都让模型在给出答案之前修正其隐藏状态，而无需生成任何 token；我们称之为系统 1.5 思维。我们提出 SanSi，它将预训练的循环语言模型转变为类型化决策模型。每次循环后都会读出选项概率，并且每次循环都用适当的评分规则进行训练，因此一个模型在单次运行中即可服务于从一次循环到八次循环的每种预算。在来自 59 个来源的 10,027 个测试决策上，SanSi 达到 72.0% 的准确率：比用相同配方训练的相同结构的非循环模型高 13.5 个百分点，比其规模更新的非循环模型高 5.3 个百分点，比参数量为其三倍的模型低 1.8 个百分点。在两个深度控制任务上，循环将可解深度扩展到训练中所见的深度之外，而更大的单次传播模型在此失败。在无金标准答案的情况下用作强化学习策略优化的评判器时，SanSi 将生成器的 F1 提高了 7.7 个百分点。
| Comments: | 43 页，15 幅图，42 张表。项目页面：this https URL |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.07730 [cs.CL] |
| （或 arXiv:2610.07730v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07730 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Shuyu Gan [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 04:28:22 UTC（511 KB）
来源：arXiv cs.AI · arxiv.org