arXiv cs.AI· Yan Wang·· 12 小时前AI 评分45
TraceForge：用模型自身的思维方式蒸馏推理轨迹
TraceForge: Distilling with Your Own Thinking
AI 导读
TraceForge 提出一种替代方案：以教师模型的上下文和答案为输入，由生成器按学生模型家族的风格自行生成推理轨迹，避免重放加密推理块违反服务条款。训练分监督与对抗两阶段，独立评审给出的真实性均分为 0.68，真实轨迹为 0.66，经 critic 从四个候选中筛选后达 0.82。
正文 · AI 翻译
摘要：用一个 LLM 为另一个 LLM 生成训练数据，是训练模型最通用的方法之一，并且至今仍是常见做法。一些前沿团队已经为自己的模型关闭了这条路径：返回的只是一个答案或一段简短摘要，不包含其背后的详细推理过程。这有点讽刺：他们自己就是建立在蒸馏人类知识之上的，而蒸馏开源模型仍然完全是常规操作；这一限制只针对他们自己的输出。近期有工作通过跨模型重放加密块来恢复隐藏的推理过程。它不知何故奏效了，但这违反了提供商的服务条款，因此不是产品可以长期依赖的做法。
我们构建了替代方案。我们以上下文和教师的答案作为输入，并以学生自身模型家族的风格自行生成推理轨迹。训练分两个阶段，先监督学习，再对抗训练：生成器学习根据上下文和答案重新生成该家族自身的推理轨迹，判别器学习判断推理轨迹有多真实。应用于教师的答案时，生成器会以该家族的风格写出一条推理轨迹。一个独立评判器按 0 到 1 的尺度评估轨迹为真实的可能程度：我们的平均为 0.68，真实轨迹为 0.66，而由判别器从四个候选中选出的轨迹为 0.82。这些是真实性分数，不是正确率。
我们在五个基准上测试了这一想法，其他条件均保持不变。在通用任务上，五个训练语料大致相同；在编程任务上，生成的推理优于 Fable 5 自身的思考内容。在相同的 5,000 个问题和相同的教师答案下，最终检查点时 HumanEval+ 提升 3.7 分，MBPP+ 提升 7.1 分，并且 MBPP+ 的领先在每个检查点都保持。我们推测，以学生家族风格写出的推理对它来说更容易学习。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29680 [cs.AI] |
| （或此版本的 arXiv:2610.29680v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.29680 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yan Wang [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 12:57:29 UTC（1,959 KB）
[v2]
2026 年 10 月 22 日星期四 14:22:58 UTC（1,959 KB）
来源：arXiv cs.AI · arxiv.org