arXiv cs.AI· Mayukh Debnath, Manan Roy Choudhury·· 10 小时前AI 评分31
JEPA-PS:基于奖励无关预训练的可迁移优化器,学习并理解黑盒优化
JEPA as a Transferable Optimizer: Learning and Understanding Black-Box Optimization from Reward-Agnostic Pretraining
AI 导读
研究者提出 JEPA-PS(JEPA Policy Search),基于 Joint-Embedding Predictive Architecture,用参数向量和标量回报在随机 rollout 上预训练,潜空间预测目标是优化轨迹的下一个点而非奖励或梯度。
正文 · AI 翻译
摘要:黑盒优化通过模拟、推演或实验来评估候选方案,通常不依赖梯度。学习型优化器通常以其是否优于现有方法作为评判标准。我们提出一个互补的问题:学习型优化器从其搜索历史中使用了哪些信息?我们提出 JEPA-PS(JEPA 策略搜索),它基于联合嵌入预测架构。该模型在随机推演上使用参数向量和标量回报进行预训练。其潜在预测目标预测优化轨迹中的下一个点,而非其奖励或梯度,这使我们能够考察尝试过什么以及其表现如何。在测试时,JEPA-PS 读取一段简短的评估历史,并通过一次前向传播提出候选方案,无需任务描述、奖励塑形或测试时梯度。我们在 15 个控制环境中针对 12 种优化器进行评估,包括进化方法、贝叶斯优化、CMA-ES 和一个 LLM 优化器。JEPA-PS 与调优后的经典基线相比具有竞争力,在 Swimmer 上以低 71 倍的每步成本超过 LLM 优化器 2 倍以上。它还能零样本迁移到未参与预训练的环境。零模型比较和解码器训练消融表明,其潜在表示携带了超出简单历史统计量的信息;每个训练过的解码器变体表现都差于默认的冻结表示。我们的主要发现是,JEPA-PS 所使用的历史取决于任务。在平滑地形上,它使用完整轨迹,而在崎岖地形上,最佳已见点几乎承载了全部信号。这种记忆需求与适应度-距离相关性(FDC;r=0.112,n=7)呈弱正相关,而一个独立的奖励排序敏感性探测未能证实这一关系(r=-0.024,n=7)。代码:此 https URL。
| 学科: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23608 [cs.LG] |
| (或 arXiv:2611.23608v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23608 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Manan Roy Choudhury [查看电子邮件]
[v1]
2026年11月17日星期二 23:01:25 UTC(1,705 KB)
来源:arXiv cs.AI · arxiv.org