arXiv cs.AI· Henrik Marklund, Alex Infanger, Benjamin Van Roy·· 10 小时前AI 评分31
研究者提出“灾难性表现”的正式定义，用于分析 AI 失准风险
A Definition of Catastrophic Performance
AI 导读
研究者提出“灾难性表现”的正式定义，以区分仅次优与灾难性结果，用于严格分析 AI 失准带来的灾难性风险。该定义基于两个参考值：baseline value 表示未部署任何智能体时的价值，orthogonal value 表示与人类偏好无关的轨迹价值，后者通常远差于前者。灾难性表现即智能体抵消了人类活动已带来的收益。
正文 · AI 翻译
摘要：AI 领域的一个核心挑战是明确与人类偏好一致的目标。虽然现有的理论结果阐明了目标设定不当如何影响性能，但它们通常不区分仅仅是次优的结果与灾难性的结果。为了能够对 AI 目标错位带来的灾难性风险进行严格分析，我们引入了灾难性性能的形式化定义。我们的定义基于两个参考值。第一个是基线值，表示未部署任何智能体时所获得的价值。第二个是正交值，表示与人类偏好无关的轨迹所具有的价值（其含义我们将在文中说明）。正交值通常远差于基线值。我们通过一些示例来解读这些参考值，在这些示例中，过去的人类活动改变了环境状态，从而为人类带来益处。从由此产生的状态出发，部署一个 AI 智能体，其目标是加速进一步的进展。灾难性性能指的是该智能体逆转了人类活动所带来的益处。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06219 [cs.AI] |
| （或 arXiv:2611.06219v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06219 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alex Infanger [查看电子邮件]
[v1]
2026年11月4日星期三 09:30:13 UTC（1,043 KB）
来源：arXiv cs.AI · arxiv.org