arXiv cs.AI· Genming Cui, Xiangyu Li, Zixu Hao, Xin Ding, Yunxin Liu, Ting Cao·· 10 小时前AI 评分34
SteerDistill：通过闭环教师引导量化 LLM 智能体
SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
AI 导读
SteerDistill 是一种量化感知蒸馏方法，由全精度教师模型引导学生修正失败响应，并利用学生执行反馈迭代优化引导，实现闭环教师引导。在五个智能体基准和三个模型上，W4A16 设置下平均分超越最强量化基线 1.67–2.18 分，与 BF16 差距在 1 分以内。在 τ²-Bench 上，其成功率比 QeRL 高 1.84 个百分点，训练 GPU 时数减少 67%。
正文 · AI 翻译
摘要：低比特量化降低了 LLM 智能体的推理成本，但可能损害任务成功率。通过检查失败的 rollout，我们发现量化后的智能体会忽略任务要求或环境条件，产生与成功的全精度参考相偏离的环境状态转移。纠正这些行为偏差仍然困难：离线数据可能遗漏学生的失败上下文，而其自身的 rollout 在这些上下文中可能只提供少量正确响应。我们提出 SteerDistill，一种量化感知蒸馏方法，其中全精度教师引导学生修正失败响应，并利用学生执行反馈迭代改进其指导。这种闭环教师引导产生了经局部验证的行为纠正。我们通过训练学生在无引导下，在纠正的轮次匹配被引导学生的预测、在其他轮次匹配全精度教师的预测，将这些纠正内化，从而实现无辅助推理。在五个智能体基准和三个模型上，SteerDistill 在 W4A16 下平均得分超过最强量化基线 1.67--2.18 分，并与 BF16 相差不到一分。在 $\tau^2$-Bench 上，它以少 67% 的训练 GPU 小时数，成功率超过 QeRL 1.84 个百分点，并产生比量化基线更短的成功轨迹。
| 评论： | 预印本 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13410 [cs.AI] |
| （或 arXiv:2611.13410v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13410 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xiangyu Li [查看邮箱]
[v1]
2026年11月10日星期二 00:45:58 UTC（920 KB）
来源：arXiv cs.AI · arxiv.org