arXiv cs.AI· Jacy Reese Anthis, Ken Burke, David Madras, Crystal Qian, Meredith Ringel Morris, Logan Cross, Caroline Pantofaru, Utsav Prabhu·· 1 天前AI 评分38
用多元智能体扩大 AI 政策中的公众意见输入
Scaling public input on AI policy with pluralistic agents
AI 导读
研究开发并测试了“多元智能体”——代表个人参与审议的 AI 智能体代表，可让公众参与更多原本无法直接参加的讨论。实验显示智能体能可靠地将其所代表角色的偏好推向政策方向，但影响力大小受提示词影响，如被要求更啰嗦或更不配合时影响力更大。一项预注册研究中 746 名人类参与者认为多元智能体有用且公平，其满意度恢复了基线直接参与差距的 68%、公平性恢复 82%。
正文 · AI 翻译
摘要：AI 正被部署到广泛的应用领域、文化环境和人类利益相关者之中。安全且负责任的 AI 开发需要持续考虑多元视角。我们开发并测试了多元代理，即代表个人进行审议的 AI 代理代表，以使 AI 系统与多元的人类视角保持一致。多元代理可以帮助人们参与比他们能直接参与的更多讨论，包括需要培训的技术话题，以及依赖公司和政府无法轻易共享的私人信息的政策选择。我们的实验识别了多元代理的机会、风险和认知。代理能够可靠地将其所代表的人设偏好方向推动政策，但每个代理的影响力程度对其人设的指令很敏感，例如当被指示更冗长或更不合作时影响力更大。这表明 AI 辅助审议中的影响力可能因参与者如何提示其代理以及系统如何设计而变化。在一项预注册研究中，746 名人类参与了多元代理流程。参与者认为多元代理有用且公平，相比向单一 AI 推理模型提供输入的基线，他们更喜欢代理。大多数参与者更喜欢自己参与，而不是多元代理或基线，但多元代理在报告的满意度上弥补了基线-直接差距的 68%，在公平性上弥补了 82%。由于多元代理可用于许多无法直接讨论的现实世界场景，它们可能是扩展 AI 安全政策制定的有前景的工具。我们鼓励谨慎探索这种方法，发挥其作为人类输入放大器而非替代品的优势。
| 主题： | 计算机与社会（cs.CY）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.16028 [cs.CY] |
| （或 arXiv:2611.16028v1 [cs.CY] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.16028 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jacy Reese Anthis [查看电子邮件]
[v1]
2026 年 11 月 11 日星期三 21:35:06 UTC（576 KB）
来源：arXiv cs.AI · arxiv.org