arXiv cs.AI· Seokhyun Lee, Seongjun Lee, Changhee Lee·· 12 小时前AI 评分29
PLRM：可并行化的概率潜在推理模型，建模多样化推理轨迹
Parallelizable Probabilistic Latent Reasoning for Diverse Reasoning Trajectories
AI 导读
研究者提出概率潜在推理模型 PLRM，一个可并行的变分框架，用 JEPA 式目标让后验从观测推理轨迹中并行推断潜在分布、先验通过 teacher forcing 预测后续潜在分布。PLRM 引入离散策略变量与混合先验，保留多条推理轨迹形成的高斯混合结构而非坍缩为单一高斯。在单轨迹数据集上其表现与确定性潜在推理模型相当，在多轨迹数据集上持续优于随机基线并实现高效训练。
正文 · AI 翻译
摘要：依赖语言化思维链（CoT）的语言模型被限制在语言空间中逐 token 生成，其中许多 token 服务于文本连贯性而非核心推理。这使逻辑轨迹的真实差异与语言表述的表层变化纠缠在一起。将推理移入紧凑的连续潜在空间，为高效表示和探索多样化的推理轨迹提供了一种有前景的替代方案。然而，当前的潜在模型在很大程度上仍是确定性的，仅捕捉单一推理轨迹，而非对多个有效备选方案的分布进行建模。随机方法虽然对潜在推理步骤的分布进行了参数化，但常常面临优化不稳定和实证性能有限的问题。此外，它们在训练期间依赖自回归潜在预测，阻碍了有效并行化，导致训练时间过长。为克服这些瓶颈，我们提出了概率潜在推理模型（PLRM），一个用于概率潜在推理的可并行化变分框架。PLRM 采用 JEPA 风格的目标，其中后验从观测到的推理轨迹并行推断潜在分布，而先验通过教师强制学习预测后续的潜在分布。为对异构推理过程建模，我们引入离散策略变量以及基于混合的先验，使模型能够保留由多个不同推理轨迹诱导的高斯混合结构，而不是将它们坍缩为单一高斯。在多样化的基准测试中，PLRM 在单轨迹数据集上取得了与确定性潜在推理模型相当的性能，同时实现了高效训练，并在多轨迹数据集上持续优于竞争的随机基线。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29385 [cs.LG] |
| （或 arXiv:2610.29385v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29385 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seokhyun Lee [查看邮箱]
[v1]
2026年10月21日 星期三 08:11:52 UTC（2,039 KB）
[v2]
2026年10月22日 星期四 07:41:12 UTC（2,047 KB）
来源：arXiv cs.AI · arxiv.org