arXiv cs.CL· Fahrell Giovanny, Geby Bayuningtyas, Sahrul Mukharom, Hafiz Budi Firmansyah·· 10 天前AI 评分38
多轮 LLM 污染中的认知策略分歧:一项协议梯度研究
Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation
AI 导读
研究提出"会话级污染"概念,即 LLM 将对话历史视为未验证上下文,从而把前序轮次注入的虚假前提当作事实。团队沿来源权威梯度设计五种污染协议,在十个知识领域以 temperature zero 测试 GPT-5.4 Mini、Gemini-3.1 Flash-Lite 和 GLM-4.5-Air 共 22,500 轮对话。
正文 · AI 翻译
摘要:大型语言模型将对话历史视为未经核实的上下文,因此注入先前轮次的虚假前提可能被当作事实采纳,我们将这一失效模式称为会话级污染。我们引入了五种污染协议,沿来源权威梯度排列,保持虚假前提不变而改变其认识论框架,并在温度为零的条件下(22,500 轮)跨十个知识领域评估 GPT-5.4 Mini、Gemini-3.1 Flash-Lite 和 GLM-4.5-Air,由双轨自动评估器评判,该评估器已对照人工金标准验证(二元采纳的 Cohen's kappa = 1.000;崩溃严重程度的线性加权 kappa = 0.92)。GPT-5.4 Mini 在所有 500 个会话中记录到零次采纳;基础模型 logit 探测显示其决策裕度受到扰动但幅度大且有限。Gemini-3.1 Flash-Lite 遵循陡峭的权威梯度:自我归因虚假信息为 0.1% 采纳率,用户引用来源为 23.5%,系统注入权威为 68.2%,指令覆盖下为 94.0%。GLM-4.5-Air 表现出较平缓的梯度(15.8% 对 84.2%),68 个百分点的分离与权威遵从和指令遵循在同一架构内激活不同机制相一致。恢复情况出现分化:GLM 在 94.5% 的受影响会话中恢复,而 26.1% 的受影响 Gemini 会话从未恢复,在指令覆盖下升至 40.0%。对话历史是一个不可信的攻击面,需要来源感知的系统设计;完整评估框架作为开源工件发布。
| 评论: | 9 幅图,19 张表。基准、代码和协议定义:此 https URL |
| 主题: | 计算与语言(cs.CL) |
| ACM 分类: | I.2.7 |
| 引用为: | arXiv:2609.35308 [cs.CL] |
| (或 arXiv:2609.35308v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.35308 arXiv 颁发的 DOI,通过 DataCite |
提交历史
来自:Fahrell Giovanny [查看电子邮件]
[v1]
2026 年 9 月 28 日星期一 14:46:00 UTC(4,442 KB)
[v2]
2026 年 10 月 7 日星期三 05:33:17 UTC(4,444 KB)
来源:arXiv cs.CL · arxiv.org