arXiv cs.CL· Xinyu Zhu, Yihao Feng, Yanchao Sun, Xianzhi Du, Pingzhi Li, Olli Saarikivi, Yun Zhu, Yu Meng·· 11 小时前AI 评分38
CHIMERA：面向通用 LLM 推理的紧凑合成数据集
CHIMERA: Compact Synthetic Data for Generalizable LLM Reasoning
AI 导读
研究团队推出 CHIMERA，一个仅 9K 样本的紧凑合成推理数据集，覆盖 8 个科学学科、超 1K 个细粒度主题，并提供由强推理模型合成的长 CoT 轨迹与全自动交叉验证评估流程。
正文 · AI 翻译
摘要：大型语言模型（LLMs）已展现出卓越的推理能力，这在很大程度上得益于基于高质量推理数据的监督微调（SFT）和强化学习（RL）后训练。然而，在开放且可扩展的环境中复现和扩展这些能力，受到三个以数据为中心的挑战的阻碍：（1）冷启动问题，源于缺乏包含详细、长链式思维（CoT）轨迹的种子数据集，而这些轨迹是初始化推理策略所必需的；（2）领域覆盖有限，因为大多数现有的开源推理数据集集中在数学领域，对更广泛科学学科的覆盖有限；（3）标注瓶颈，前沿级推理任务的难度使得可靠的人工标注成本高昂到难以承受或不可行。为应对这些挑战，我们推出了 CHIMERA，一个包含 9K 样本的紧凑合成推理数据集，旨在支持跨领域的可泛化推理。CHIMERA 的构建具有三个关键特性：（1）它提供了由最先进推理模型合成的丰富、长链式思维推理轨迹；（2）它具有广泛且结构化的覆盖范围，涵盖 8 个主要科学学科和超过 1K 个细粒度主题，这些主题通过模型生成的层次化分类体系组织；（3）它采用全自动、可扩展的评估流程，使用强大的推理模型交叉验证问题有效性和答案正确性，从而消除对人工标注的依赖。我们使用 CHIMERA 通过 SFT 和 RL 对 4B Qwen3 模型进行后训练。尽管数据集规模不大，所得模型在一系列具有挑战性的推理基准上取得了强劲表现，包括 GPQA-Diamond、AIME 24/25/26、HMMT 25 和 Humanity's Last Exam，接近或匹配了 DeepSeek-R1 和 Qwen3-235B 等规模大得多的模型的性能。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.00889 [cs.CL] |
| （或 arXiv:2603.00889v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2603.00889 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Xinyu Zhu [查看邮箱]
[v1]
2026年3月1日周日 03:23:41 UTC（832 KB）
[v2]
2026年10月20日周二 05:13:22 UTC（873 KB）
来源：arXiv cs.CL · arxiv.org