arXiv cs.AI· Ziyi Chen, Yan Zhang, Jianhui Wei, Jianing Yin, Daoan Zhang·· 3 天前AI 评分34
大决策模型 LDMs：将大语言模型改造为单次前向决策器
Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers
AI 导读
研究者提出大决策模型（LDMs），让语言模型通过一次 prefill 前向传播，直接输出运行时指定标签的显式概率。
正文 · AI 翻译
摘要：大语言模型通过并行预填充和顺序解码来做出决策。尽管有效，但这种方法会产生解码成本，并且不会显式地暴露决策概率。现有的任务特定分类器需要针对每个任务进行训练，并且对未见过的决策模式泛化能力有限。我们提出了大型决策模型（LDMs），将语言模型重新利用，通过一次预填充前向传递，对运行时指定的标签返回显式概率。我们首先通过多样化决策监督（DDS）使模型适应这一接口，涵盖不同的领域、规则和标签。为了进一步缩小与推理模型的性能差距，自设推理蒸馏（SPRD）添加由冻结教师模型生成的任务，筛选答案一致性，并基于从重复教师推理中获得的标签分布进行训练。我们在 DecisionVista 上进行评估，将新模式的测试与留出的人工标注来源配对。在三个基础模型上，该方案相比步数匹配的基线分别提高了 1.8 和 1.5 个百分点的准确率，在 Gemma-4-31B 上相比推理展开实现了 182 倍的延迟加速。推理在新模式测试上仍然更强，这促使我们为不确定决策引入置信度路由器。在开发集上，路由恢复了推理准确率优势的中位数 92%，同时仅生成其 27-58% 的 token。代码可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15501 [cs.AI] |
| （或 arXiv:2610.15501v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15501 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jianhui Wei [查看电子邮件]
[v1]
2026年10月11日星期日 10:04:59 UTC（245 KB）
来源：arXiv cs.AI · arxiv.org