arXiv cs.CY· Remi Denton, Aida Davani, Cynthia L Bennett, Michael Madaio, Roma Patel, Himabindu Lakkaraju·· 10 小时前AI 评分26
生成式 AI 的“对齐短视”：从短期对话满意度转向长期人类福祉
Alignment Myopia in Generative AI
AI 导读
论文指出当前生成式 AI 对齐依赖短视范式，只优化即时对话满意度，忽视人机持续交互带来的认知萎缩、社会侵蚀与人类能动性下降等长期外部性。作者提出“长视界对齐”（long-horizon alignment），从人类福祉的四个维度梳理短期效用与长期成本之间的张力，并主张超越简单的偏好优化，转向能驾驭复杂时间尺度的对齐策略。
正文 · AI 翻译
摘要：当前的生成式 AI 对齐依赖于一种短视的范式，该范式优先考虑即时的对话满意度。通过依赖短视界的反馈，这种方法忽视了持续的人机交互所带来的深远、纵向的外部性，这可能导致认知萎缩、社会侵蚀和人类能动性下降等不良后果。为解决这一问题，我们提出向长视界对齐的范式转变，该范式考虑 AI 如何随时间重塑人类体验。为此，我们梳理了 AI 使用在人类福祉的四个维度上短期效用与长期成本之间的张力，以揭示当前奖励模型未能捕捉的结果。最终，我们主张超越简单的偏好优化，转向通过驾驭这些复杂的时间尺度来积极促进人类长期福祉的对齐策略。
| 主题： | 机器学习（stat.ML）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06830 [stat.ML] |
| （或 arXiv:2611.06830v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06830 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Remi Denton [查看电子邮件]
[v1]
2026年11月4日星期三 17:44:07 UTC（37 KB）
来源：arXiv cs.CY · arxiv.org