arXiv cs.AI· Jianyu Zhang, L\'eon Bottou·· 2 天前AI 评分32
开放世界 AI 的三项要求：一项基于 8B 语言模型的实证研究
Open-world AI: a Tale of Three Requirements
AI 导读
研究提出开放世界 AI 需满足三项要求：推理时学习、丰富表征与预测性解耦，并将任务建模为共享潜在因子、分解训练目标推导得出。在最高 8B 的语言模型上验证显示，满足要求的模型会随相关任务数据积累而提升，其余模型则退化，且扩大规模或层类型交错都无法修复。分析还预测了一致内部学习者的必要性以及跨相关任务长上下文的收益。
正文 · AI 翻译
摘要：封闭世界要求 AI 具备专门能力，并让它制造其理论所假设的 iid 数据：一个固定的标准允许收集样本，直到任务被覆盖。开放世界则要求多面性——承担机器并非为之构建的任务，从少量样本中学习，且几乎没有人类设计者提供的先验——并提供分组而非打乱的数据。其任务并非预先已知，因此机器必须进行推理时学习（第 1 项要求）。将任务建模为共享潜在因子并分解训练目标，我们推导出另外两项要求：一个*丰富的表征*，保留超出 iid 泛化所需的信息；以及一种预测性解缠，将输入和输出对齐为匹配的低维组。该分析进一步预测了对一致的内层学习器的需求，以及跨越相关任务的长上下文的益处。我们在高达 8B 的语言模型上测试这些主张，询问模型是否具有某种属性（定性），而非它赢了多少（定量）。满足这些要求的模型会随着来自相关任务的数据积累而改进；其余模型则会退化，而且无论是规模还是层类型交错都无法修复这一点。
| 评论： | 代码：this https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.20782 [cs.AI] |
| （或 arXiv:2610.20782v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20782 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jianyu Zhang [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 18:28:16 UTC（1,791 KB）
来源：arXiv cs.AI · arxiv.org