arXiv cs.CL· Tong Zhu, Zhe Xu, Zefeng He, Yunkai Chai, Xuyang Hu, Dehong Zheng, Yun Luo, Yafu Li, Qi Zhang, Yu Cheng·· 2 天前AI 评分34
Intern-Decision：用自回归掩码语言建模实现高效多模态决策
Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling
AI 导读
Intern-Decision 是一组 0.8B、2B、4B 多模态决策模型，可从文本和可选图像输出结构化选项及候选概率，其自回归掩码语言建模目标在每个字段放置一个决策占位符，全部字段在单次因果前向传播中完成评估。
正文 · AI 翻译
摘要：交互式智能体需要在有限的一组动作、标签或有序结果中反复做出选择。为每个选择生成自由形式的响应会增加延迟，并使模型与其环境之间的接口变得复杂。我们提出 Intern-Decision，这是一系列 0.8B、2B 和 4B 多模态决策模型，可从文本和可选图像中返回结构化选择及候选概率。我们的自回归掩码语言建模目标在完整的助手 JSON 骨架中为每个字段放置一个决策占位符。真实符号仅出现在监督中，而所有字段都使用主干网络的原生语言模型头在单次因果前向传播中进行评估。4B 模型在七个评估套件上取得了 90.02% 的未加权平均准确率，而 Jev v1.13.0 为 88.74%。对于在单块 RTX 4090 上包含三个字段的固定 289 token 请求，4B 模型的平均延迟为 44.16 ms，较小模型约为 33--34 ms。在一个单独的 96 例已知分布试点中，温度缩放将期望多分类 Brier 从 0.628 降至 0.550，并将期望校准误差从 0.213 降至 0.089。一项基于置信度的移交研究在 111 个公开 Jevbench-Hard 项目上，通过将 42 个项目路由至 Atria-Dawn-Preview，将准确率从 82/111（73.87%）提升至 97/111（87.39%）。我们还描述了定性的游戏、视觉界面和浏览器演示。这些结果支持将紧凑型决策模型作为大型智能体系统的实用组件。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22131 [cs.CL] |
| （或 arXiv:2610.22131v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22131 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tong Zhu [查看电子邮件]
[v1]
2026年10月15日星期四 16:05:48 UTC（4,532 KB）
来源：arXiv cs.CL · arxiv.org