arXiv cs.CL· Shuochen Chang, Qingyang Liu, Shaobo Wang, Bingjie Gao, Qianli Ma, Haonan Zhao, Yibo Miao, Yulin Sun, Zelin Peng, Jiangtong Li, Li Niu·· 10 小时前AI 评分38
DLR：将连续隐状态转为离散 token 的可解释隐式推理方法
Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression
AI 导读
研究者提出 Discrete Latent Reasoning（DLR），首次将连续隐状态转换为显式离散 token：先把文本思维链渲染成图像、提取视觉特征，再通过聚类微调构建离散隐式词表，从而用标准自回归方式同时建模自然语言与隐式 token，支持预训练对齐、SFT 和 RL。
正文 · AI 翻译
作者：Shuochen Chang、Qingyang Liu、Shaobo Wang、Bingjie Gao、Qianli Ma、Haonan Zhao、Yibo Miao、Yulin Sun、Zelin Peng、Jiangtong Li、Li Niu
摘要：大语言模型通过显式思维链和强化学习实现了较高的推理性能，但需要较长的输出序列和较长的推理时间。潜在推理通过将计算转移到潜在空间来降低这一成本；然而，连续潜在方法难以训练，存在推理轨迹不稳定且难以解释的问题。我们认为，这些问题源于连续空间推理与离散符号监督之间的错位，因为连续状态缺乏用于逐步对齐的显式锚点。为解决这一问题，我们提出 \textbf{Discrete Latent Reasoning~(DLR)}，这是首个将连续潜在状态转换为显式离散 token 的方法。受基于渲染的压缩启发，我们将文本思维链渲染为图像，提取视觉特征，并通过基于聚类的微调构建离散潜在词表。扩展词表和输出头后，可对自然语言和潜在 token 进行标准自回归建模，支持预训练对齐、SFT 和 RL。在五个推理基准和两个模型系列（Qwen3-VL 和 LLaMA-3）上的实验证实，\textbf{DLR} 优于先前的潜在推理基线，压缩率最高达 \textbf{20$\times$}。此外，学习到的潜在轨迹保留了可解释的语义结构。总体而言，离散潜在 token 为高效潜在推理提供了可控且可解释的基础。代码见 this http URL
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.29712 [cs.CL] |
| （或使用 arXiv:2606.29712v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.29712 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shuochen Chang [查看邮箱]
[v1]
2026年6月29日 星期一 02:34:52 UTC（1,243 KB）
[v2]
2026年10月31日 星期六 12:24:12 UTC（1,245 KB）
来源：arXiv cs.CL · arxiv.org