arXiv cs.AI· Xialie Zhuang, Zunhai Su, Jia Pan, Ngai Wong, Guanhua Chen, Chuan-Wei Kuo·· 3 天前AI 评分26
StartLux-Decision：用强化学习打造可校准审慎决策的 AutoThink 决策模型
StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions
AI 导读
StartLux-Decision 推出 0.8B 至 27B 参数决策模型，Instant 版以双向注意力保持单次推理，AutoThink 版对不确定决策显式推理、对高置信案例直接作答。
正文 · AI 翻译
摘要：我们推出 StartLux-Decision，这是一系列参数量从 0.8B 到 27B 的决策模型，将高效的单次预测与自适应、置信度引导的推理相结合。Instant 模型在全注意力层中使用双向注意力，在保持单次推理的同时提升决策准确率。AutoThink 模型对不确定的决策调用显式推理，对置信度高的案例直接作答。三阶段训练流程建立共享的决策能力，对两种变体进行专门化，并通过推理监督和强化学习为 AutoThink 赋予推理能力。我们提出用于校准审慎决策的强化学习（RLCD$^2$），它使用冻结模型和适当的评分规则来奖励决策概率质量的提升，并对过长的推理轨迹施加软惩罚。RLCD$^2$ 将在生成限制内终止的推理轨迹占比最多提升 48 个百分点，并将平均推理长度最多缩短 65%，同时基本保持决策准确率。在 Decision Index 0.3 的公开子集上，Instant 模型比评估的最强同规模开源权重决策模型高出 7.4-16.9 分，27B AutoThink 模型达到 73.4。我们还推出 DecisionPivot，这是一个可程序化验证的计算决策基准，由仅在单个改变答案的细节上不同的对比对构建而成。在 DecisionPivot 上，AutoThink 的配对准确率比其 Instant 对应模型高出 11.5-18.4 分，并在所评估的系统中领先。这些模型可在 vLLM、this http URL 和 MLX 上运行，并提供量化变体以降低内存占用。
| 评论： | 技术报告。38 页，16 张图，15 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17309 [cs.CL] |
| （或 arXiv:2610.17309v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.17309 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xialie Zhuang [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 19:05:56 UTC（1,740 KB）
来源：arXiv cs.AI · arxiv.org