arXiv cs.AI· Tianyu Jin, Liuyu Xiang, Chaowen Yang, Xingyang Chang, Pei Pei Li, Zhaofeng He·· 3 天前AI 评分39
FARL：全自动强化学习接口与求解器设计流水线
FARL: A Fully Automated Pipeline of RL Interface and Solver Design
AI 导读
FARL 是一个全自动强化学习框架，通过联合搜索观测与奖励程序、学习算法和训练配置来自动化 RL 设计，并利用训练统计与行为诊断失败、提出并验证改进。在 Adroit Hand Relocate 任务上，FARL 以每策略 5M 训练步达到 97.1% 成功率，而 Eureka 和 LiMEN 为 0%、原生 PPO 为 1.0%。该框架在导航、运动和操作任务上均优于所评估的自动化基线。
正文 · AI 翻译
摘要：现有的强化学习（RL）主要关注在预定义任务框架内优化学习算法，而将 RL 应用于新任务仍然严重依赖人类专家来设计学习流程：智能体观察到什么、如何获得奖励、使用哪种算法以及如何配置训练。自动化这些选择具有挑战性，因为它们紧密耦合。我们提出了 FARL（全自动强化学习），这是一个通过联合搜索观察与奖励程序、学习算法和训练设置来自动化 RL 设计的框架。FARL 使用训练统计数据和观察到的行为来诊断失败、提出更改，并测试这些更改是否能改善学习。其搜索保留多样化的候选方案以及这些测试所需的控制项，并使用分阶段预算在投入更长训练之前筛选设计方案。实验记忆将每个发现与其条件一起记录，因此不成功的组件可以在不同的组合中重新考虑。在专家保留和专家可用的设置中，FARL 在具有挑战性的导航、运动和操作任务上优于所评估的自动化基线。在 Adroit Hand Relocate 上，FARL 在每条策略 5M 训练步数下达到 97.1% 的成功率，而在相同的策略训练预算下，Eureka 和 LiMEN 为 0%，原生近端策略优化（PPO）为 1.0%。
| 评论： | 43 页，包括参考文献和附录。代码和记录的实验结果作为附属文件包含在内 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15691 [cs.AI] |
| （或 arXiv:2610.15691v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15691 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianyu Jin [查看电子邮件]
[v1]
2026年10月11日星期日 15:22:18 UTC（3,166 KB）
来源：arXiv cs.AI · arxiv.org