Hacker News· yusufozkan·· 7 天前AI 评分22
AI 安全中的具体问题：机器学习系统的五类事故风险研究
Concrete Problems in AI Safety
AI 导读
论文将机器学习系统的"事故"定义为由设计缺陷导致的无意有害行为，并按成因归为三类：目标函数错误（避免副作用、避免奖励黑客）、目标函数评估成本过高（可扩展监督）、学习过程中的不良行为（安全探索、分布偏移），共列出五个实践性研究问题。作者梳理了各方向已有工作并提出面向前沿 AI 系统的研究建议，最后讨论了如何更有效地思考前瞻性 AI 应用的安全问题。
正文 · AI 翻译
摘要：机器学习和人工智能（AI）的快速进展使人们日益关注 AI 技术对社会的潜在影响。在本文中，我们讨论其中一种潜在影响：机器学习系统中的事故问题，其定义为可能由现实世界 AI 系统设计不佳而产生的非预期且有害的行为。我们列出了与事故风险相关的五个实际研究问题，并根据问题源于错误的目标函数（“避免副作用”和“避免奖励黑客”）、评估成本过高而无法频繁评估的目标函数（“可扩展监督”），还是学习过程中的不良行为（“安全探索”和“分布偏移”）进行分类。我们回顾了这些领域的先前工作，并提出了研究方向，重点关注与前沿 AI 系统的相关性。最后，我们考虑了一个高层次问题：如何最富有成效地思考 AI 前瞻性应用的安全性。
| 评论： | 29 页 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:1606.06565 [cs.AI] |
| （或 arXiv:1606.06565v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.1606.06565 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Jacob Steinhardt [查看电子邮件]
[v1]
2016 年 6 月 21 日星期二 13:37:05 UTC（51 KB）
[v2]
2016 年 7 月 25 日星期一 17:23:29 UTC（52 KB）
来源：Hacker News · arxiv.org