arXiv cs.CL· Zheng Jiang, Yiming Chen, Houde Qian, Ling Li, Chaoyang Li, Lifeng Sun·· 11 小时前AI 评分31
Frontier-OPD：发现智能体能力边界并教智能体超越边界
Frontier-OPD: Discovering the Edge of Agent Capability and Teaching Agents to Go Beyond
AI 导读
Frontier-OPD 提出以学生的“学习前沿”为切入点做 on-policy 蒸馏：把 on-policy 经验组织成共享状态轨迹图，用轨迹平衡聚合师生分歧筛选干预候选，再用短教师桥接与后续学生延续段对比来过滤有效指导。
正文 · AI 翻译
摘要：同策略蒸馏使教师反馈与学生的当前行为保持一致，但为多轮智能体获取有用的监督需要同时识别何处需要指导，以及学生之后能否维持交互。我们提出 Frontier-OPD，它通过学生的学习前沿来解决这一问题：即那些仍然具有挑战性、但在教师简短指导后能够进行有用自主延续的决策情境。为了将这一前沿付诸实践，Frontier-OPD 将同策略经验组织为共享状态轨迹图，其中对师生分歧进行轨迹平衡聚合，以识别不同的干预候选，同时保留回放所需的历史。随后，通过比较在桥接段及随后的学生延续上的吻合度与原始轨迹中同等长度片段的吻合度，对简短的教师桥接进行评估，从而为当前学生能够在此基础上继续发展的指导提供行为代理。被接受的教师回复用于扩充普通蒸馏数据，而随着策略变化，新的 rollout 会更新前沿估计。在 ALFWorld、WebShop 和 ScienceWorld 上的实验报告显示，在所评估的学生规模和教师配置下，其平均自主性能高于所比较的蒸馏基线，消融实验表明候选选择和指导过滤具有互补效应。在一种 ALFWorld 计时设置中，额外的收集成本被更短地达到目标成功率的时间所抵消。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32802 [cs.CL] |
| （或 arXiv:2610.32802v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32802 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zheng Jiang [查看电子邮件]
[v1]
2026年10月23日星期五 15:40:44 UTC（2,326 KB）
来源：arXiv cs.CL · arxiv.org