arXiv cs.AI· Wenbo Huang, Jianxin Bi, Shunyu Yang, Ruiyang Si, Rui Ni, Qiang Wang, Shulong Jiang, Yintianrun Zhang, Feixiang Ruan, Kewei Zhang, Ye Huang, Shukai Gong, Daquan Zhou·· 11 小时前AI 评分39
学习任务还是学习验证器？重新审视具身智能自我改进中的评判标准暴露
Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement
AI 导读
针对具身智能体在机器人仿真基准上的自我改进，研究提出"评判标准暴露"（CE）概念：将基准的成功标准直接暴露给学习智能体后，智能体能快速生成在给定标准下成功率更高的代码，但标准稍作改动（不偏离原指令）后这一优势即消失，且所习得技能跨任务迁移效果差。作者进一步提出"指令忠实标准"，实验显示其更能反映智能体生成程序的真实性能。
正文 · AI 翻译
作者：Wenbo Huang、Jianxin Bi、Shunyu Yang、Ruiyang Si、Rui Ni、Qiang Wang、Shulong Jiang、Yintianrun Zhang、Feixiang Ruan、Kewei Zhang、Ye Huang、Shukai Gong、Daquan Zhou
摘要：自我改进的具身智能体越来越多地在机器人仿真基准上被开发和比较。近期若干工作将基准的成功判定标准暴露给学习智能体，我们将这一做法称为标准暴露（Criteria Exposure，CE）。这些标准最初用于验证通过模仿学习训练的策略，其要求往往超出对应的语言指令，因此此类验证器给出的分数可能无法忠实反映所指令的任务是否完成，尤其是对于由智能体编写的机器人控制程序而言。随着具身编码智能体报告出越来越高的基准分数，一个自然的问题随之而来：当编码智能体接触到基准的判定标准时，它生成的代码是更好地执行了所指令的任务，还是仅仅过拟合于验证标准？我们使用一个带 CE 和不带 CE 的自我改进智能体进行了受控实验，发现带 CE 时智能体很快就能生成在给定标准下成功率更高的代码，但当标准在不偏离原始指令的前提下稍作改动时，这一优势便消失了。更重要的是，智能体在 CE 下获得的技能在不同任务之间迁移效果很差。我们进一步提出了忠实于指令的标准，并表明它们能更好地反映智能体生成程序的性能。
| 评论： | 22 页，8 幅图，10 张表。项目页面：this https URL |
| 主题： | 人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2611.08318 [cs.AI] |
| （或 arXiv:2611.08318v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08318 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenbo Huang [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 17:14:37 UTC（2,921 KB）
来源：arXiv cs.AI · arxiv.org