跳到正文
arXiv cs.CL· Mingyu Zhao, Shuhang Lin, Ligong Han, Xiaojing Yu, Zhenting Wang, Yifei Pang, Yang Zhou, Dimitris N. Metaxas·· 13 小时前AI 评分26

Metacognitive Decoding:为扩散语言智能体打造高效推理

Metacognitive Decoding: Efficient Inference for Diffusion Language Agents

AI 导读

研究者提出 Metacognitive Decoding,一种轻量级插件式元认知控制器,引导扩散语言模型按当前回答需求和智能体与环境交互情况决定何时定稿 token、生成延伸多远。在五个基准上,该方法相比最高效基线平均减少 20.6% 推理 FLOPs,同时保持有竞争力的任务准确率。控制器基于智能体轨迹训练,以平衡正确性与生成成本。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:扩散语言模型通过并行 token 生成,为高效智能体提供了一条有前景的路径。然而,高效交互需要同时调整计算资源的分配位置和生成文本的长度。我们引入一个元认知控制器,它根据当前响应的需求以及智能体与环境的交互来引导扩散生成。该控制器学习何时确定 token 以及生成应延伸到多远,从而减少响应内的总体计算量。我们的控制器是扩散主干网络的轻量级插件,在智能体轨迹上训练,以平衡正确性与生成成本。这种方法将智能体的生成过程与其所服务的交互联系起来。在五个基准上的实验表明,与最高效的基线相比,我们的方法平均将推理 FLOPs 降低 20.6%,同时保持有竞争力的任务准确率。消融研究进一步验证了我们方法的有效性。
评论: 10 页,4 张图
主题: 计算与语言(cs.CL)
引用为: arXiv:2610.37642 [cs.CL]
  (或 arXiv:2610.37642v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.37642

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Mingyu Zhao [查看电子邮件]
[v1] 2026 年 10 月 27 日星期二 17:55:24 UTC(257 KB)

来源:arXiv cs.CL · arxiv.org