arXiv cs.CL· Xiaowei Zhu, Hengzhu Tang, Zhenyu Zhang, Shuohuan Wang, Yubing Ren, Yanan Cao·· 10 小时前AI 评分31
MicroMouse：用相对势能屏蔽长 CoT 中的有害监督信号
MicroMouse: Masking Harmful Supervision in Long CoT via Relative Potential
AI 导读
MicroMouse 提出一种自动选择性 SFT 框架，通过 Relative Potential（REP）对比金标准答案与匹配的干扰项，识别长 CoT 中连续势能下降的错误探索和峰值后的冗余游走并加以屏蔽。
正文 · AI 翻译
摘要：即使是成功的长 CoT 也可能包含有害的监督信号，这促使我们需要能够在 SFT 过程中自动识别并屏蔽此类信号的方法。受 MicroMouse 迷宫求解过程的启发，我们将长 CoT 视为从输入问题到目标答案的搜索轨迹。这一视角促使我们维护一个相对于目标的度量，类似于 MicroMouse 的空间坐标，以量化当前推理状态距离目标答案有多近。基于这一视角，我们提出 MicroMouse，一个用于在长 CoT 中屏蔽有害监督信号的自动化选择性 SFT 框架。在 MicroMouse 中，我们引入相对势能（REP）来衡量每个推理状态对金标准答案的支持程度。与仅使用金标准答案的困惑度不同，REP 通过将金标准答案与匹配的干扰项进行对比来衡量相对支持度。这种对比抵消了二者共有的似然变化，从而产生更稳定的、指向目标答案的进展信号。通过跟踪 REP 轨迹，MicroMouse 将连续的势能下降识别为错误探索，将峰值之后的推理识别为冗余游荡，并在 SFT 过程中屏蔽这些有害监督信号。在多种学生模型规模和推理基准上的大量实验表明，MicroMouse 始终优于 Full-CoT SFT 和现有的选择性 SFT 基线，相对于 Full-CoT SFT，在贪心准确率上平均相对提升 5.5%，在 Pass@1 上平均相对提升 2.6%。同时，MicroMouse 将平均输出长度减少 8.8%，从而提升推理效率，而每条长 CoT 平均仅需 1.7 秒即可识别出有害监督信号。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02710 [cs.CL] |
| （或 arXiv:2611.02710v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02710 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaowei Zhu [查看邮箱]
[v1]
2026年11月2日星期一 08:03:52 UTC（814 KB）
来源：arXiv cs.CL · arxiv.org