arXiv cs.CL· Yousra Fettach, Tijl De Bie·· 11 小时前AI 评分34
BAIT：LLM 能否识别新闻中触发读者认知偏差的语言特征？
BAIT: Can LLMs Find What Biases a Reader? A Benchmark for Cognitive Bias Triggers in News
AI 导读
研究者发布 BAIT 基准，包含九类认知偏差触发器的标注规范和 50 篇英文新闻文章，由受训标注员在文章级与片段级标注并裁决为金标准。六款前沿 LLM 在零样本及 3/10 个上下文示例下测试，判断文章含哪些触发器时接近人类一致性，但很少能找全，定位承载片段的一致性不足人类一半。模型还过度预测带明显表层线索的触发器，标记片段多为误报，却比随机文本更常含该线索，显示其响应表层线索而非操纵机制。
正文 · AI 翻译
摘要：说服性写作利用认知偏差，调动读者的心理捷径来塑造信念，而读者往往对此毫无察觉。我们将利用此类心理捷径的语言特征称为认知偏差触发点。随着大语言模型（LLM）越来越多地介入人们接触新闻的方式——对新闻进行摘要、排序并基于其回答问题——一个自然的问题是：它们能否识别出文本中使人类读者产生偏差的特征。我们推出 BAIT（Bias Annotation In Text，文本中的偏差标注），这是一个用于检测新闻中认知偏差触发点的资源。BAIT 将九种触发点的模式（每种均在标注者代码本中作出规定）与 50 篇英文新闻文章配对，这些文章由受过训练的标注者在文章层面和片段层面进行标注，并经裁定形成金标准。基于这些数据，我们定义了两项任务：检测文本包含哪些触发点，以及定位承载这些触发点的片段。随后，我们对六个前沿 LLM 进行了基准测试，分别采用零样本以及三个或十个上下文示例的方式。这些模型在判断文章包含哪些触发点方面接近人类一致性，但很少能完整找出全部触发点；在定位承载触发点的段落方面，它们达到的人类一致性不足一半。此外，它们会过度预测那些带有简单表层线索的触发点，而且它们为这些触发点标记的大多数段落并非真正的触发点，但这些段落携带该触发点表层线索的频率远高于随机文本。这些发现表明，所评估的 LLM 响应的是表层线索，而非使段落具有操纵性的机制。我们发布了该模式、代码本、独立标注以及评估流程。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28092 [cs.CL] |
| （或 arXiv:2610.28092v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28092 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yousra Fettach [查看邮箱]
[v1]
2026年10月20日星期二 12:09:28 UTC（152 KB）
来源：arXiv cs.CL · arxiv.org