arXiv cs.AI· Ida Mattsson, Ratip Emin Berker, Emanuel Tewolde, Ioannis Anagnostides, Kiriaki Fragkia, Xinyu Liu, Alexander Heckett, Jiayuan Liu, Eden Hartman, Vojt\v{e}ch Kova\v{r}\'{i}k, Sven Neth, Maria-Florina Balcan, Tuomas Sandholm, Vincent Conitzer·· 11 小时前AI 评分34
AI 安全中的根本不可能性结果：在多项期望目标之间权衡
Fundamental Impossibility Results in AI Safety: Trading Off between Desiderata
AI 导读
研究将 AI 系统与用户的交互形式化为三方博弈：防御方与攻击方受计算或信息限制，而提供公开建议的 AI 约束更少。主要结果表明，在建议保持公开的前提下，帮助防御方存在根本性权衡。作者还考察了 AI 共享的信息能否被操纵以仅有利于防御方，并讨论了如何用这些结果设计更安全的 AI 系统。
正文 · AI 翻译
作者：Ida Mattsson、Ratip Emin Berker、Emanuel Tewolde、Ioannis Anagnostides、Kiriaki Fragkia、Xinyu Liu、Alexander Heckett、Jiayuan Liu、Eden Hartman、Vojtěch Kovařík、Sven Neth、Maria-Florina Balcan、Tuomas Sandholm、Vincent Conitzer
摘要：对于安全 AI 系统的各项期望属性（例如无害性与有用性），它们之间是否存在根本性的权衡？我们通过将 AI 系统与用户之间的交互形式化为一个三人博弈来回答这一问题：博弈参与者包括一名防御者和一名攻击者（二者在计算或信息上受限），以及一个提供公开建议且受限较少的 AI。我们的主要结果表明，在建议保持公开的前提下，提供有助于防御者的建议存在根本性权衡。我们还探讨了 AI 所分享的信息能否被操纵为仅使防御者受益，并在最后讨论了如何利用这些结果来设计更安全的 AI 系统。
| 主题： | 计算机科学与博弈论（cs.GT）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27373 [cs.GT] |
| （或本版本的 arXiv:2610.27373v1 [cs.GT]） | |
| https://doi.org/10.48550/arXiv.2610.27373 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ida Mattsson [查看邮箱]
[v1]
2026年10月19日星期一 22:57:06 UTC（46 KB）
来源：arXiv cs.AI · arxiv.org