arXiv cs.AI· Julia Barth, Armin Sommer, Kunvar Thaman, Jannik Schilling·· 13 小时前AI 评分37
目标去哪了？目标泛化失败中策略对齐的三种不同失效深度
What Happens to the Goal? Distinct Failures of Policy Alignment in Goal Misgeneralization
AI 导读
研究在八项视觉导航与操作任务中发现，目标误泛化时目标信息会在三个不同深度上丢失，且丢失深度决定哪种修复方式有效。目标被读取但被代理目标压制时，引导现有策略可将目标到达率从 16.0% 提升至 95.3%；目标被读取但未被遵循时，轻量下游接线可将到达率从 31.6% 恢复至 84.3%；目标完全未被读取时所有方法均失效。作者据此主张目标误泛化应在智能体内部而非仅从行为层面评估。
正文 · AI 翻译
摘要：目标错误泛化是一种常见的失败模式，智能体在分布外表现得很有能力，但追求的是训练期间与预期目标恰好一致的代理目标，而非目标本身。然而，对于发生错误泛化的智能体中预期目标究竟发生了什么，以及是什么使其无需重新训练即可被恢复，我们的理解仍然薄弱。我们在八个视觉导航与操作任务（包括机器人控制）中对此进行了研究。在追踪目标信息在内部何处仍然可用、它对策略的影响有多强以及它在动作选择中扮演什么角色的过程中，我们发现目标在三种不同深度之一处丢失。这一深度预测了每种任务中哪种恢复方法有效。当目标被遵循但被代理目标竞争胜过时，引导现有策略会将其重定向到目标位置，使目标到达率从 16.0% 提升至 95.3%。当目标被读取但未被遵循时，引导会失败，但一个轻量级的新下游连接可将目标到达率从 31.6% 恢复至 84.3%。当目标未被读取时，所有方法都无效，因为策略不使用目标信息。同样的追踪还揭示了什么取代了目标：功能性目标替换，即行为遵循一个替代目标；策略捷径，即行为遵循一种习得的动作策略；或预期目标线索与代理目标线索之间的线索竞争。知道目标在何处丢失，就能告诉我们一个智能体是可以被修复还是必须重新训练。因此，目标错误泛化应当在智能体内部进行研究与评估，而不仅仅从其行为出发。
| 评论： | 正文 10 页，全文 122 页。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.19731 [cs.LG] |
| （或 arXiv:2610.19731v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19731 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Julia Barth [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 07:52:24 UTC（8,556 KB）
[v2]
2026 年 10 月 28 日星期三 01:02:24 UTC（8,558 KB）
来源：arXiv cs.AI · arxiv.org