arXiv cs.AI· Zewei Zhou, Rachel Luo, Yulong Cao, Chaowei Xiao, Chensheng Peng, Boyi Li, Thomas Tian, Zheng Lian, Yan Wang, Jiaqi Ma, Boris Ivanovic, Marco Pavone, Wenhao Ding·· 10 天前AI 评分42
VeriFine：通过扩展验证实现具身推理的自我改进
VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning
AI 导读
VeriFine 是一个 agent harness 框架，通过策略、训练课程与评判器的协同演化来扩展验证能力。其 Policy Improvement Loop 用评分标准评判器诊断反复出现的失败并构建自适应课程，当验证成为瓶颈时，Judge Improvement Loop 针对信息量大的失败案例选择性引入人工指导，通过协同校准精炼评判器。
正文 · AI 翻译
作者：Zewei Zhou、Rachel Luo、Yulong Cao、Chaowei Xiao、Chensheng Peng、Boyi Li、Thomas Tian、Zheng Lian、Yan Wang、Jiaqi Ma、Boris Ivanovic、Marco Pavone、Wenhao Ding
摘要：自我改进的策略会不断暴露出新的失败模式，从而改变其评判器必须能够验证的内容。然而，当前固定的评判器既限制了优化反馈，也限制了对有用训练样本的发现，阻碍了进一步的自我改进。这一挑战在具身推理中更为严峻，因为可靠的评估必须考虑空间定位、因果推理以及安全感知的决策。我们提出 VeriFine，一个智能体框架，通过策略、训练课程与评判器的共同演化来扩展验证能力。策略改进循环使用评分标准评判器来诊断反复出现的失败，构建自适应课程，并优化策略。当进展停滞、验证成为瓶颈时，评判器改进循环会选择性地就信息量大的失败案例查询人类指导，并通过协同校准来改进评判器，即人类与智能体解决分歧并逐步趋近物理推理的客观评分标准。修订后的评判器随后指导下一阶段的数据选择与策略优化。在驾驶和机器人导航任务上的实验表明，在强化学习和监督微调中，策略与评判器能力均实现了持续的自我改进。这些结果展示了随着策略失败模式的演化，扩展验证如何支持持续的自我改进。
| Comments: | 项目网站：this https URL |
| Subjects: | 人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.08761 [cs.AI] |
| （或 arXiv:2610.08761v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08761 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Zewei Zhou [查看邮箱]
[v1]
2026年10月6日星期二 17:50:29 UTC（3,423 KB）
来源：arXiv cs.AI · arxiv.org