跳到正文
arXiv cs.AI· Zijun Gao, Zhikun Xu, Xiao Ye, Ben Zhou·· 4 小时前AI 评分38

CORE:面向概念强化的数学推理框架,弥合定义与应用鸿沟

CORE: Concept-Oriented Reinforcement for Bridging the Definition-Application Gap in Mathematical Reasoning

AI 导读

研究者提出 CORE(Concept-Oriented REinforcement)强化学习训练框架,将显式概念转化为可控监督信号,以弥合 LLM 在数学推理中"能复述定义却不会应用"的鸿沟。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)常常能解出有挑战性的数学题,但当问题需要真正的理解时,却无法正确运用概念。流行的可验证奖励强化学习(RLVR)流程强化的是最终答案,却几乎不提供细粒度的概念信号,因此模型提升的是模式复用能力,而非概念应用能力。我们提出 CORE(Concept-Oriented REinforcement,面向概念的强化),这是一个将显式概念转化为可控监督信号的强化学习训练框架。我们从一份高质量、低污染的教材资源出发,该资源将可验证的习题与简洁的概念描述关联起来,并运行了一项合理性探测,结果表明 LLM 能够复述定义,却无法通过概念关联测验,从而量化了概念推理差距。随后 CORE 会:(i) 合成与概念对齐的测验;(ii) 在 rollout 过程中注入简短的概念片段,以引出概念引导的轨迹;(iii) 通过组失败后的轨迹替换、一种轻量的前向 KL 约束(使无引导策略与概念引导策略对齐),或直接在概念对齐测验上使用标准 GRPO,来强化概念推理。在多个模型上,CORE 在域内概念-习题套件和多样的域外数学基准上均相较原始基线和 SFT 基线取得一致提升。CORE 在结果正则化下统一了对概念对齐测验的直接训练与概念注入 rollout。它提供了细粒度的概念监督,弥合了解题能力与真正的概念推理之间的差距,同时保持算法与验证器无关。
评论: 已被 ICLR 2026 接收。代码:此 https URL
主题: 人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2512.18857 [cs.AI]
  (或 arXiv:2512.18857v4 [cs.AI] 查看此版本)
  https://doi.org/10.48550/arXiv.2512.18857

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Zijun Gao [查看邮箱]
[v1] 2025 年 12 月 21 日周日 19:01:35 UTC(157 KB)
[v2] 2026 年 3 月 2 日周一 21:29:46 UTC(924 KB)
[v3] 2026 年 5 月 7 日周四 11:50:40 UTC(1,137 KB)
[v4] 2026 年 11 月 17 日周二 06:48:39 UTC(297 KB)

来源:arXiv cs.AI · arxiv.org