arXiv cs.AI· Megha Srivastava, Cedric Colas, Dorsa Sadigh, Jacob Andreas·· 9 天前AI 评分24
PLLB：用语言瓶颈实现策略学习
Policy Learning with a Language Bottleneck
AI 导读
研究者提出 Policy Learning with a Language Bottleneck（PLLB）框架，让 AI 智能体生成捕捉高奖励行为高层策略的语言规则，并在规则生成与策略更新两步间交替迭代。
正文 · AI 翻译
摘要：现代 AI 系统，如自动驾驶汽车和游戏智能体，能够达到超越人类的表现，但往往缺乏类人的泛化能力、可解释性以及与人类用户的互操作性。受人类语言与决策之间丰富交互的启发，我们提出了语言瓶颈策略学习（Policy Learning with a Language Bottleneck，PLLB），这是一个使 AI 智能体能够生成语言规则的框架，这些规则捕捉了奖励行为背后的高层策略。PLLB 在由语言模型引导的*规则生成*步骤与*更新*步骤之间交替进行，在更新步骤中，智能体在规则引导下学习新策略，即使某条规则不足以描述整个复杂策略也是如此。在五项多样化任务中，包括双人信号博弈、迷宫导航、图像重建和机器人抓取规划，我们表明 PLLB 智能体不仅能够学习更具可解释性和泛化性的行为，还能与人类用户共享所学规则，从而实现更有效的人机协作。我们在此 https URL提供实验的源代码。
| 评论： | 已被 TMLR（2026）接收，小幅修改 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2405.04118 [cs.LG] |
| （或 arXiv:2405.04118v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2405.04118 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Megha Srivastava [查看电子邮件]
[v1]
2024年5月7日星期二 08:40:21 UTC（11,826 KB）
[v2]
2025年3月26日星期三 20:53:57 UTC（13,578 KB）
[v3]
2026年2月4日星期三 00:34:02 UTC（3,170 KB）
[v4]
2026年10月8日星期四 00:00:30 UTC（3,170 KB）
来源：arXiv cs.AI · arxiv.org