arXiv cs.AI· Zhengyang Zhang, Zijian Zhang, Jiaxuan Gao, Shusheng Xu, Yi Wu, Song Han, Ligeng Zhu·· 3 天前AI 评分38
Parason：揭示 LLM 推理中的子任务并行与试错并行
Parason: Revealing Subtask and Trial Parallelism in LLM Reasoning
AI 导读
Parason 通过无上下文语法将 LLM 的串行推理轨迹转为结构化并行轨迹，并用 PA-GRPO 训练模型同时学习子任务并行与试错并行。分析显示试错并行占 DeepSeek-V4 在 HLE 推理步骤中可并行计算的 65.5%，且在难题上占比更高。在 AIME24 和 AIME25 上，Parason 平均加速约 1.7 倍并保持有竞争力的准确率。
正文 · AI 翻译
摘要：扩展测试时推理显著提升了大语言模型（LLM）的问题求解能力，但标准的自回归解码仍按顺序执行冗长的推理轨迹，导致困难任务出现严重延迟（长达数天乃至数周）。并行推理提供了一种自然的补救方案。然而，此前的系统主要关注子任务并行（Subtask Parallelism），即模型学习将高层任务分解为可独立求解的较小块。这种方法忽略了另一种普遍存在的并行形式：尝试并行（Trial Parallelism），即多个推测性尝试并行地探索、验证并聚合相互竞争的假设。在本文中，我们提出了 Parason，它揭示并学习了 LLM 推理中的这两种并行形式。我们的分析表明，尝试并行占可并行化推理计算的大部分（在 HLE 中 DeepSeek-V4 的推理步骤中占 65.5%），并且在困难问题上愈发占据主导地位。在这一分类体系的指导下，Parason 使用上下文无关文法将顺序推理轨迹转换为结构化的并行轨迹，然后使用并行感知组相对策略优化（PA-GRPO）训练模型，其奖励联合平衡准确率、延迟以及两种并行比率。在推理时，Parason 通过工具调用执行学习到的并行结构，将理论上的节省转化为真实世界的挂钟时间加速。在包括 AIME24 和 AIME25 在内的数学推理基准上的实验表明，Parason 在保持有竞争力准确率的同时，实现了约 1.7$\times$ 的平均加速。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.24658 [cs.AI] |
| （或 arXiv:2608.24658v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.24658 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhengyang Zhang [查看邮箱]
[v1]
2026年8月25日星期二 15:02:54 UTC（752 KB）
[v2]
2026年10月13日星期二 01:53:02 UTC（752 KB）
来源：arXiv cs.AI · arxiv.org