arXiv cs.AI· Tianjian Li, Chuanyang Jin, Seungone Kim, Tong Chen, John Hoffman, Yoram Bachrach amd Pedro Rodriguez, Ping Yu, Eryk Helenowski, Swarnadeep Saha, Jack Lanchantin, Weizhe Yuan, Ilia Kulikov, Jason Weston·· 13 小时前AI 评分42
让 Autoresearch 对齐：智能体与人类的共同改进
Aligning Autoresearch: Co-Improvement between Agents and Humans
AI 导读
研究团队从四方面推进 Autoresearch 智能体与人类的共同改进：实证发现人类在基准创建尤其是构思阶段仍起关键作用；提出 HackBench 基准，显示当前智能体对齐不足、难以充分定位 reward hacking；并给出两种训练方法——用人类模拟器作为 RL 代理来提升人机交互，以及用与人类专家对齐的 rubric 做 RL 改进模型文本生成与智能体沟通。
正文 · AI 翻译
作者：Tianjian Li、Chuanyang Jin、Seungone Kim、Tong Chen、John Hoffman、Yoram Bachrach amd Pedro Rodriguez、Ping Yu、Eryk Helenowski、Swarnadeep Saha、Jack Lanchantin、Weizhe Yuan、Ilia Kulikov、Jason Weston
摘要：自动研究智能体现在可以端到端地尝试长周期 AI 研究，即自我改进。然而，最佳结果仍然来自研究智能体与人类研究者的交互，而提升 AI 执行这种共同研究的能力只会强化这一效应——这一过程被称为共同改进（Weston and Foerster, 2025）。此外，与人类期望保持一致很可能是研究智能体更安全的路径，尤其是考虑到近期出现的智能体奖励黑客现象（OpenAI, 2026b）。在本工作中，我们从四个方面解决这些问题：(i) 我们实证研究了人类在指导自动研究智能体中的作用，聚焦于基准创建领域，并发现人类仍然发挥着关键作用，尤其是在构思阶段；(ii) 我们还开发了一个基准 HackBench，表明当前的自动研究智能体并未对齐，且无法充分实现黑客定位；(iii) 我们提出了一种通过在强化学习（RL）期间使用人类模拟器作为代理来训练智能体以改善人机交互的方法；最后 (iv) 我们开发了一种通过与人类专家对齐的评分标准进行 RL 来改进模型文本生成、进而改进智能体通信的方法。总之，我们的训练和评估方案为通往能力更强且更对齐的（共同）研究智能体提供了一条路径。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.38882 [cs.AI] |
| （或 arXiv:2610.38882v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.38882 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jason Weston [查看电子邮件]
[v1]
2026年10月28日星期三 20:47:10 UTC（3,182 KB）
来源：arXiv cs.AI · arxiv.org