用结构化多层级建模增强语言模型推理能力：MLR 方法

查看 PDF HTML（实验性）

摘要：推理时扩展通过延长模型的思维链（CoT）来增强其推理能力。然而，现有方法通常依赖单一策略，该策略通过结果奖励强化学习（RL）训练，往往会出现长程规划失败的问题，即隐式规划偏离有效策略，对于容量有限的小型语言模型尤其如此。为解决这一问题，我们提出了多级推理（MLR），将长 CoT 生成重新表述为两级随机过程。高层规划器生成结构化的步骤描述符，同时指定推理模式和语义子目标。低层执行器则在这些描述符的条件下生成详细的推理过程，形成交替的规划—执行循环。为保持可扩展性，我们采用极简设计，即基础模型作为低层策略，轻量级 LoRA 模块实现高层策略。在训练方面，我们观察到结果奖励 RL 对长轨迹（例如数千个 token）提供稀疏且延迟的反馈，阻碍了信用分配。因此，我们引入了迭代 Step-DPO，一种过程级偏好优化方案，利用扭曲序贯蒙特卡洛（TSMC）提供可扩展的逐步监督。这带来了更有效的训练、更高的稳定性和更高的准确率。在具有挑战性的数学、科学和逻辑推理基准上的大量实验表明，在相同的数据预算缩减下（相对于 DeepSeek-R1 蒸馏设置，使用 10% 的 SFT 和 5% 的偏好数据），MLR 在多个基础模型和任务上均优于基于 SFT 的蒸馏以及强 RL/偏好优化基线。此外，MLR 在长程推理上表现出更慢的性能退化，在扩展 CoT 生成下展现出更强的鲁棒性。

提交历史

来自：Siheng Xiong [查看邮箱]
[v1] 2026年10月31日 星期六 04:33:35 UTC（414 KB）