arXiv cs.AI· Michaela Benk, Kacper Sokol·· 3 天前AI 评分18
信任阻碍了双向人机对齐
Trust Hinders Bidirectional Human-AI Alignment
AI 导读
研究指出，将信任校准作为 AI 辅助决策的核心框架过于局限：信任 AI 只是管理不确定性的策略之一，且当 AI 面对目标与状态仅部分可知或不可知的"大世界"决策问题时，信任校准常被误用。在此类场景中，人机对齐需处理更高阶的决策过程，作者据此提出面向过程的人机耦合系统设计思路。
正文 · AI 翻译
摘要：信任校准仍然是 AI 辅助决策的主导框架：其目标是缩小 AI 系统被感知的可信度与实际可信度之间的差距，从而使用户表现出恰当的依赖。我们认为，这种方法虽然对定义明确、范围清晰的决策问题有用，却过度限制了借助 AI 支持进行决策的含义。为克服这一局限，我们提出了 AI 辅助决策的三个维度。第一，信任 AI 只是管理不确定性的若干可能策略之一。第二，当 AI 模型处理“大世界”决策问题，即目标与状态仅部分已知或不可知的定义不清的情境时，信任校准往往被误用。第三，在此类情境中，人机对齐需要处理更高阶的决策过程。最后，我们反思了这些观察对设计面向过程的人机耦合系统的启示，此类系统在整个决策任务中共同识别并协商不确定性。
| 评论： | 第 40 届神经信息处理系统大会（NeurIPS 2026）。研讨会：人机耦合系统中的动态对齐（BiAlign Workshop） |
| 主题： | 人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.15136 [cs.AI] |
| （或 arXiv:2610.15136v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15136 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Michaela Benk [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 19:26:37 UTC（43 KB）
来源：arXiv cs.AI · arxiv.org