arXiv cs.CY· Oleg Vasilyev·· 10 小时前AI 评分34
聊天机器人 LLM 对总统行为与假设性改革的判断稳健性研究
Robustness of Chatbot LLM Judgments of Presidential Actions and Hypothetical Reforms
AI 导读
研究者在 30 天内通过消费级聊天界面，让 Mistral、Gemini Flash、Claude Sonnet 和 Claude Opus（两种 effort 设置）共五种配置每天两次为 40 项近四届美国总统行政行为和 15 项假设性改革打分。
正文 · AI 翻译
摘要：聊天机器人越来越多地被咨询公共事务，而它们对政策的判断只有在其稳健时才是有用的。我们在普通用户的场景下，通过消费者聊天界面来衡量这种稳健性。在 30 天里，五种聊天机器人配置（Mistral、Gemini Flash、Claude Sonnet，以及两种努力程度设置下的 Claude Opus）每天被询问两次，为过去四届总统政府的 40 项行动和 15 项假设性改革对美国的长期影响打分，每项都附有置信度和简短评论。这些判断是稳健的：所有配置在政府平均得分的正负号和排序上一致，而两个不同配置在同一天被询问时，对同一行动给出相反正负号的情况约占 4%。不同日期的回答差异大于同日回答的差异（同日回答共享了条目的顺序）；这种差异在一个月内缓慢增长，除非服务本身发生了变化。我们识别出三处此类变化，它们改变了判断，却在界面上几乎没有或完全没有留下痕迹。将评论视为检索任务，我们发现它们对每个条目都具有特异性，并且在多次运行和不同聊天机器人之间保持一致，词汇相似度和嵌入相似度相互吻合。我们发布了包含 16,500 条判断的数据集。
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.39398 [cs.CL] |
| （或 arXiv:2610.39398v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.39398 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Oleg Vasilyev [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 05:32:29 UTC（538 KB）
[v2]
2026 年 10 月 30 日星期五 17:23:08 UTC（539 KB）
来源：arXiv cs.CY · arxiv.org