arXiv cs.CL· Mingyeong Kim, Gyusang Cho, Juho Lee, Giung Nam·· 3 天前AI 评分20
面向分布式连续隐式推理的流匹配原理分布蒸馏
Rationale Distribution Distillation via Flow Matching for Distributional Continuous Latent Reasoning
AI 导读
研究者提出原理分布蒸馏（RDD），通过流匹配从多条文本推理路径中蒸馏，训练一个在定长隐序列上的条件流，并用 within-query mixup 在完整隐式推理之间插值以扩展蒸馏目标。该流非自回归地生成整段隐序列，再由冻结的语言模型自回归解码答案。实验显示，这一分布式推理器在答案覆盖率上优于所评估的点值隐式推理基线，在高等数学任务上尤为明显。
正文 · AI 翻译
摘要：从语言模型中采样多条思维链推理路径，可以发现单次尝试所遗漏的正确答案。然而，这些推理路径通常冗长，使得重复的自回归生成代价高昂。连续潜在推理提供了一种紧凑的替代方案，但点值方法仅以单条推理路径为条件来重复采样答案，这可能限制对多样路径和答案覆盖范围的探索。因此，我们提出推理路径分布蒸馏（RDD），通过从多条文本推理路径中蒸馏，在固定长度的潜在序列上训练一个条件流。此外，我们通过查询内混合（within-query mixup）扩展蒸馏目标，在同一查询的完整潜在推理路径之间进行插值。该流以非自回归方式生成整个潜在序列，而一个冻结的语言模型则从采样的推理路径上下文中自回归地解码答案。实验表明，由此得到的分布推理器相比所评估的点值潜在推理基线实现了更高的答案覆盖率，尤其是在高等数学任务上。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19871 [cs.CL] |
| （或使用 arXiv:2610.19871v1 [cs.CL] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.19871 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Giung Nam [查看邮箱]
[v1]
2026年10月14日星期三 09:30:04 UTC（441 KB）
来源：arXiv cs.CL · arxiv.org