arXiv cs.AI· Mengtao Zhou, Jianxiao Wang, Xiupeng Chen, Cailiang Liu, Jie Song·· 3 天前AI 评分27
FAR：以学习者为中心的多智能体讨论知识蒸馏方法
Overtaught, Underlearned: Learner-Centered Distillation from Multi-Agent Discussion
AI 导读
针对多智能体讨论全图蒸馏中"过度教学"与"学习不足"的错配问题，研究者提出学习者中心蒸馏方法 FAR（Fold–Attempt–Revisit）：训练前将同一讨论状态下的多个正确解折叠为代表性课程，训练后依据学生自身尝试定位遗漏问题并针对表征不足的聚类补写课程。在两个学生模型和四个推理任务上，FAR 以远更少的训练目标超越全图蒸馏，并降低学习不足率。
正文 · AI 翻译
摘要：多智能体讨论能够协作产生推理，而部署时仍依赖一个必须独立作答的较小学生模型。全图蒸馏通过将每个正确解视为单独的训练目标来迁移此类讨论，但教师所提供的未必与学生所学相匹配。这种不匹配表现为两种形式：若干正确解在学生表示中可能相当于同一课（过度教学），而一些训练问题在学习后仍被遗漏（学习不足）。我们用讨论图上较高的比率来量化这两者。为解决这些问题，我们提出 FAR（Fold--Attempt--Revisit），一种以学习者为中心的蒸馏方法，围绕学生自身状态组织监督。训练前，FAR 将每个讨论状态内的解折叠为代表性课程。训练后，学生自身的尝试识别出遗漏的问题，而表示不佳的聚类则表明折叠可能丢失了有用的变化；FAR 随后从保留的讨论上下文中编写针对性课程。在两个学生模型和四个推理任务上，FAR 以远更少的训练目标和更低的学习不足优于全图蒸馏。进一步分析考察了 FAR 的行为及其增益来源。总体而言，结果表明围绕学生组织讨论监督可以使蒸馏更有效且更高效。
| 评论： | 28 页 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16543 [cs.AI] |
| （或 arXiv:2610.16543v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16543 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mengtao Zhou [查看邮箱]
[v1]
2026年10月12日星期一 10:27:34 UTC（1,011 KB）
来源：arXiv cs.AI · arxiv.org