arXiv cs.AI· Jiaru Qian, Yihong Dong, Xue Jiang, Chun-Wah Hsu, Zhi Jin, Ge Li·· 12 小时前AI 评分29
Diverse Parallel Thinking（DPT）：用路径多样性改进 LLM 并行思考
Parallel Thinking for Large Language Model with Path Diversity
AI 导读
研究者提出 Diverse Parallel Thinking（DPT），一种通过惩罚并行思考路径的前缀相似度来鼓励路径多样性的强化学习方法，缓解 RL 并行思考中推理路径的模式坍缩问题。在多个推理基准上，DPT 优于此前的并行思考方法，达到 SOTA，并验证路径多样性是提升并行思考的关键要素。代码已开源。
正文 · AI 翻译
摘要：并行思考已成为一种有前景的范式，通过同时探索多条推理路径来增强大型语言模型（LLM）的推理能力。然而，我们发现，通过强化学习（RL）实现的并行思考通常会遭遇推理路径的模式崩溃，即并行思考轨迹退化为相似的轨迹。这种同质性削弱了并行思考的根本动机，即同时保持多个假设，以防止过早陷入次优解。在本文中，我们提出了多样化并行思考（DPT），这是一种简单而有效的并行思考强化学习方法，旨在鼓励路径多样性。DPT 通过惩罚并行思考路径的前缀相似度来奖励模型发展出不同的推理策略，从而增强对推理空间更全面的探索。我们在多个推理基准上进行了各种实验和分析，以证明 DPT 的有效性。结果表明，DPT 成功超越了先前的并行思考方法，在基线上达到了最先进的性能。我们验证了路径多样性是改进并行思考的关键要素。我们的代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.29501 [cs.AI] |
| （或 arXiv:2610.29501v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29501 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiaru Qian [查看电子邮件]
[v1]
2026年10月21日星期三 09:51:42 UTC（1,544 KB）
来源：arXiv cs.AI · arxiv.org