arXiv cs.CL· Mo Zhou, Yiwei Zhang·· 10 小时前AI 评分45
大语言模型的框架诱导脆弱性:来自中文新闻标题的证据
Framing-Induced Vulnerability in Large Language Models: Evidence from Chinese News Headlines
AI 导读
对 63,926 条中文新闻标题的生态审计与受控实验显示,仅改变标题框架即可同时改变大语言模型判断的误导性与事件严重度,且 DeepSeek、MiMo、Dots、LongCat 四个中文模型的偏移方向与排序一致。
正文 · AI 翻译
摘要:大语言模型越来越多地参与新闻的评估、路由与审核,因此模型对新闻标题的判断已成为一种把关决策。我们探究这种判断是遵循所报道的事实,还是遵循事实的呈现框架。我们将对 63,926 条中文新闻标题的生态审计与一项受控实验相结合。该实验涵盖 30 个真实事件、30 个合成事件和 29 组自然标题对,在四个中文模型上进行测试。仅改变标题框架,就同时改变了感知误导性和事件严重性,且变化的方向与排序在 DeepSeek、MiMo、Dots 和 LongCat 上均一致。情感强化型标题使严重性评分提高 0.65 至 0.88 分,而正面重构型标题使其降低 0.34 至 0.52 分。提供文章正文使这一严重性偏差降低 54% 至 80%,且四项降低均在 p < .01 水平上显著。一项小型人类参照研究显示了相同方向的效果。因此,仅基于标题的大语言模型评估存在可测量的稳健性差距,框架敏感性应列入部署与治理所检查的可靠性属性之中。
| Comments: | 7 页,5 幅图 |
| Subjects: | 计算与语言(cs.CL) |
| ACM 分类: | I.2.7; J.4 |
| 引用为: | arXiv:2611.13531 [cs.CL] |
| (或 arXiv:2611.13531v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.13531 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Mo Zhou [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 03:54:03 UTC(65 KB)
来源:arXiv cs.CL · arxiv.org