arXiv cs.AI· Ik-hwan Kim, Hyeongrok Han, Mingi Jung, Sangwon Yu, Jinseok Hong, Sang Hun Kim, Yoonyoung Choi, Sungroh Yoon·· 13 小时前AI 评分31
通过智能体编辑蒸馏元认知行为：MBT-A 让 Qwen3.5-4B-Base 数学得分达 85.4
Distilling Metacognitive Behaviors through Agentic Editing
AI 导读
研究者提出元认知行为调优（MBT），在教师推理轨迹缺失处插入七种元认知行为后再训练学生模型；其智能体方法 MBT-A 逐行编辑轨迹并以 git commit 记录每次修改，避免长轨迹被摘要化、插入点过度集中。在竞赛数学上，用 MBT-A 轨迹训练的 Qwen3.5-4B-Base 学生得分 85.4，高于未编辑轨迹 SFT 的 83.1，并优于 token 匹配对照和五种先前方法。
正文 · AI 翻译
摘要：将教师模型的长推理轨迹蒸馏到较小的学生模型中，也会传递教师的推理习惯。先前的工作以及我们对教师轨迹的标注表明，当前的推理模型常常在没有计划的情况下开始，进行表面化的验证，放弃有希望的解题路径，并采取未经检查的捷径。我们提出元认知行为调优（MBT），它在教师轨迹中推理缺乏相应行为的位置插入七种元认知行为，然后用编辑后的轨迹训练学生模型。由于教师轨迹很长，编辑方式很重要。一次性重写整条轨迹会概括长轨迹，而一次性选择所有插入点会使它们集中在开头和结尾。我们的智能体方法 MBT-A 逐行编辑轨迹文件，并将每次编辑记录为一次 git 提交，从而避免概括长轨迹并使插入点分散。在竞赛数学上，用 MBT-A 轨迹训练的 Qwen3.5-4B-Base 学生模型得分为 85.4，而在未编辑轨迹上进行 SFT 的得分为 83.1，并且还优于 token 匹配的对照组和五种先前方法。MBT-A 也改善了另外两个学生模型，并且插入的行为明显迁移到学生的推理中，其中罕见行为的出现频率高出数倍。
| 评论： | 25 页。代码和数据：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2602.22508 [cs.AI] |
| （或此版本的 arXiv:2602.22508v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2602.22508 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ik-Hwan Kim [查看电子邮件]
[v1]
2026 年 2 月 26 日星期四 00:56:15 UTC（1,283 KB）
[v2]
2026 年 5 月 11 日星期一 05:22:14 UTC（1,232 KB）
[v3]
2026 年 10 月 27 日星期二 07:39:06 UTC（456 KB）
来源：arXiv cs.AI · arxiv.org