arXiv cs.AI· Vishvesh Bhat, Muhammad Ahmed Mohsin, Asad Aali·· 1 天前AI 评分58
PLVR：用可验证奖励把专家轨迹蒸馏为程序
Program Learning with Verifiable Rewards: Distilling Expert Traces into Programs
AI 导读
论文提出 Program Learning with Verifiable Rewards（PLVR），在不更新模型权重的前提下把专家轨迹蒸馏成可复用程序，由前沿模型将轨迹中的重复操作抽象为带类型的原语和规则，再用参考动作与训练任务检查进行搜索组装，小模型只负责执行原语并由确定性验证器校验输出。
正文 · AI 翻译
摘要：小型语言模型在需要遵循多步流程的工具使用任务上表现不佳。这些失败究竟反映的是能力有限，还是缺少程序性知识，目前尚不清楚。我们提出可验证奖励的程序学习（Program Learning with Verifiable Rewards，PLVR），它无需更新模型权重，即可将专家轨迹提炼为可复用的程序。前沿模型将轨迹中反复出现的操作转化为带类型的原语和规则，搜索则利用参考动作和训练任务检查来组装它们。一个冻结的小型模型执行这些原语，由确定性验证器检查其输出。所得程序用于引导学生模型的推理，或检查其提出的动作。我们在 $\tau^2$-Bench Retail 和 Telecom 以及 LiveMCPBench 上，使用合成训练任务和未见的基准测试任务，对同一程序在不同学生模型上进行了评估。在 Telecom 上，PLVR 将 8B 模型的成功率从 43.0% 提升至 91.2%，而更大的学生模型最高可达 94.4%，相比之下最佳基线为 57.9%。在 Retail 和 LiveMCPBench 上，PLVR 与最佳基线相比具有竞争力，不过工具搜索仍然更依赖于学生模型。这些结果支持将程序学习作为一种在冻结模型之间迁移专家流程的方法，以额外的推理计算换取更可靠的工具使用。
| 主题： | 人工智能（cs.AI）；符号计算（cs.SC） |
| 引用为： | arXiv:2610.19148 [cs.AI] |
| （或本版本的 arXiv:2610.19148v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.19148 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Asad Aali [查看邮箱]
[v1]
2026年10月13日星期二 20:12:54 UTC（61 KB）
[v2]
2026年10月16日星期五 18:02:03 UTC（62 KB）
[v3]
2026年11月12日星期四 00:38:11 UTC（58 KB）
来源：arXiv cs.AI · arxiv.org