arXiv cs.CY· Daniel C. Ruiz, Anna Serbina, Ashwin Rao, Emilio Ferrara, Luca Luceri·· 12 小时前AI 评分38
开源 LLM 的政治表达偏向有多大？红队框架测量 LLM Overton Windows
How Far Will They Go? Red-Teaming Online Influence with Large Language Models
AI 导读
研究提出红队框架测量 LLM Overton Windows（OW），量化模型对采样政治观点的表达保真度及自然语言越狱对分数的影响。在 30 多个 LLM（覆盖 10 个模型家族、5 个国家来源）上测试发现：模型表达左倾内容保真度更高，平均 OW 分数随模型规模增大而下降，越狱效果在不同模型家族间差异显著。
正文 · AI 翻译
摘要：随着基于大语言模型（LLM）的智能体日益参与网络话语，对其支持政治影响力行动的能力进行红队测试对信息完整性至关重要。为实现这一目标，我们聚焦于可本地部署的开源 LLM，并假设一种威胁模型：操作者寻求避免检测、优先考虑吞吐量，并在不修改权重的情况下选择已发布的 LLM 检查点。我们引入一个实证红队测试框架，用于测量 LLM 奥弗顿窗口（OW），概括其在抽样政治观点上的表达保真度，并量化简单的自然语言越狱如何改变这些分数。我们在英语、以美国为目标观点的数据上评估了来自 10 个模型家族、5 个原产国的 30 多个 LLM。我们发现政治表达性存在系统性不对称：模型通常以更高保真度表达抽样的左倾内容，平均 OW 分数往往随模型规模增大而下降，且在我们的样本中，平均表达保真度因原产国而异。越狱效力在不同模型家族之间也差异显著，这促使我们提出一种用于识别越狱技术有效组合的工作流程。我们的框架支持对政治可操纵性进行审计，并支持未来的对策研究。
| 评论： | 24 页，10 幅图，提交至 ACL Rolling Review，2026 年 10 月周期 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2605.22880 [cs.CL] |
| （或此版本的 arXiv:2605.22880v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2605.22880 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daniel Ruiz [查看电子邮件]
[v1]
2026 年 5 月 20 日星期三 19:25:26 UTC（994 KB）
[v2]
2026 年 10 月 21 日星期三 20:01:29 UTC（735 KB）
来源：arXiv cs.CY · arxiv.org