arXiv cs.AI· Ya-Shi Zhang, Jian Tang, Pierre-Andr\'e No\"el, Oleksiy Ostapenko·· 2 天前AI 评分27
TIPS：面向扩散语言模型扩展的微型推理时策略
TIPS: A Tiny Inference-time Policy for Scaling in Diffusion Language Models
AI 导读
研究者提出 TIPS，一个约 600K 参数的推理时控制器，让 LLaDA-8B-Instruct 在解码时同时学习取消掩码与重新掩码，而底层语言模型保持冻结。
正文 · AI 翻译
摘要：掩码扩散语言模型在推理时提供了一个选择：每次去噪后哪些位置变为可见。许多现有解码方法使用手工设计的规则，或要求可见性单调增长。我们提出了一种用于扩展的$\textbf{T}$iny $\textbf{I}$nference-time $\textbf{P}$olicy（$\textbf{TIPS}$），这是一个约$600$K参数的控制器，在保持底层语言模型冻结的同时学习解掩码和重新掩码。TIPS 使用可见性感知的置信度特征和一个浅层 transformer 来选择哪些 token 应该可见，同时一个固定调度控制预期的可见比例。我们通过监督预热，随后基于终端正确性奖励的强化学习来训练该控制器。在 GSM8K 和 MATH-500 上，使用 LLaDA-8B-Instruct，full-canvas 和 two-block TIPS 变体在 $32$ 次解码器评估的预算下分别达到 $58.46\%$ 和 $57.97\%$ 的微平均准确率，分别超过我们主要比较中最强基线 $12.1$ 和 $11.6$ 个百分点。两个变体均在 $32$ 次评估的预算下训练，并在更高预算下无需重新训练仍保持竞争力。这些结果表明，学习何时揭示和重新考虑 token 可以改善准确率-计算权衡，而无需更新解码器主干。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22099 [cs.LG] |
| （或 arXiv:2610.22099v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22099 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ya Shi Zhang [查看电子邮件]
[v1]
2026年10月15日星期四 15:46:55 UTC（926 KB）
来源：arXiv cs.AI · arxiv.org