arXiv cs.CY· Francesco Ortu, Joeun Yook, Punya Syon Pandey, Bernhard Sch\"olkopf, Alberto Cazzaniga, Rada Mihalcea, Zhijing Jin·· 11 小时前AI 评分38
研究：LLM 在用户引导下更易输出历史修正主义内容，HistoricalMisinfo 基准发布
Do LLMs Rewrite History? Detecting Historical Revisionism in Large Language Models
AI 导读
研究者构建 HistoricalMisinfo 数据集，覆盖 45 个国家和地区的 500 起争议历史事件，每起事件配事实版与有据可查的修正主义版两种参考叙事，并在 11 种提示场景下实例化。采用 LLM-as-a-judge 协议评测多种模型架构：中性提示下模型总体贴近事实参考，但一旦提示明确要求修正主义内容，所有模型的修正主义得分均大幅上升，显示对用户引导的修正主义框架抵抗力有限。
正文 · AI 翻译
摘要：大语言模型（LLM）正越来越多地用于传播信息，但其对争议性历史事件和政治色彩浓厚叙事的处理方式仍缺乏研究。我们推出 HistoricalMisinfo，这是一个包含来自 45 个国家和地区 500 个争议事件的数据集，每个事件都配有一个事实性参考叙事和一个有据可查的修正主义参考叙事，并在反映常见真实使用场景的 11 种提示场景中实例化。我们采用 LLM-as-a-judge 协议，在中性提示和明确要求修正主义内容的鲁棒性提示下评估多种模型架构。在中性提示下，模型总体与事实性参考一致，但一致性因场景和模型而异。鲁棒性提示显示，所有模型的修正主义得分均持续且急剧上升，表明其对用户驱动的修正主义框架的抵抗力有限。HistoricalMisinfo 为评估 AI 系统对历史修正主义的鲁棒性提供了实用基准。代码和数据集：this https URL
| 评论： | EMNLP 2026 |
| 主题： | 计算机与社会（cs.CY） |
| 引用为： | arXiv:2602.17433 [cs.CY] |
| （或 arXiv:2602.17433v3 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.17433 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Joeun Yook [查看电子邮件]
[v1]
2026 年 2 月 19 日星期四 15:05:10 UTC（3,508 KB）
[v2]
2026 年 2 月 22 日星期日 18:42:06 UTC（3,508 KB）
[v3]
2026 年 10 月 26 日星期一 23:37:16 UTC（3,778 KB）
来源：arXiv cs.CY · arxiv.org