arXiv cs.AI· Chenjie Qiu, Boyan Xu, Shaobin Shi, Bingfeng Chen, Ruichu Cai, Dongsheng Luo·· 1 天前AI 评分32
CLR-Bench：在隐藏规则课程上评测自进化智能体
More Rules, Longer Lists? Benchmarking Self-Evolving Agents on a Hidden-Rule Curriculum
AI 导读
研究者提出 CLR-Bench，用每层新增一条隐藏规则的课程链评测自进化智能体能否学会没人明说的规则，覆盖 10 个领域的 20 条链。六个近期自进化方法在认证模型上最多只比冻结智能体高 5 分，仅排除 6-12% 的未见成员，低于直接保留原始练习历史的 20%。
正文 · AI 翻译
摘要：自进化智能体根据反馈重写持久状态，但这是否能让它们学会一条无人告知的规则，在很大程度上尚未得到检验。智能体也可以通过把每次纠正都记为异常来通过测试，而它的列表会随着每条新规则不断增长。我们提出 CLR-Bench，一个潜在规则课程基准。每条链在每一层级上都在先前规则之上增加一条隐藏规则。规则作用于一个不透明标签，该标签代表一个在 Web 上发布的具名分组，例如某航空联盟的创始成员。任务给出一个示例值，练习反馈再揭示一个成员和一个非成员，测试则检查未见过的成员和相似的非成员。探针验证基座模型知道每个分组的成员，且在没有反馈时不会猜出它，并验证一旦将标签读作具名分组，证据就能识别出该分组。一条自动化流水线从新的数据领域构建链，我们发布了覆盖 10 个领域的 20 条链。我们评估了六种近期的自进化方法。在验证模型下，它们几乎学不到东西。最佳方法相比冻结智能体最多提升 5 分，并且只将 6-12% 的未见成员排除在计数之外，低于仅保留原始练习历史所达到的 20%。一条说明具名分组约定的固定课程使相同方法提升 14.5 至 16.5 分。它们的状态在 75-98% 的情况下保留了已揭示的成员，几乎从不保留类名，而当练习暴露了一个列表遗漏的成员时，它们会把该成员加入列表。在更强的 GPT-6-Sol 下，ACE 和 Dynamic Cheatsheet 仅凭反馈就能学习。它们达到 78% 的准确率，并解决了 59-60% 的单个单元格，而在验证模型下分别为 53% 和 8%，并且它们超越了原始历史。因此，CLR-Bench 衡量智能体学习得有多好，而这种能力因模型而异。
| 评论： | 13 页，8 幅图，11 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.40758 [cs.AI] |
| （或 arXiv:2610.40758v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40758 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenjie Qiu [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 17:00:10 UTC（291 KB）
来源：arXiv cs.AI · arxiv.org