跳到正文
arXiv cs.AI· Joshua Adrian Cahyono·· 23 小时前AI 评分58

arXiv 论文:助手存储的偏好会静默删去决策关键信息

Remembered as Brief: Stored Preferences SilentlyRemove Decision-Critical Information

AI 导读

arXiv 论文提出 Inspect 基准,覆盖 25 个领域的 100 个日常决策,只改变助手对用户记忆的来源。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:人们越来越多地从 AI 助手中获取做出健康、金钱、法律和安全决策所需的信息,而助手遗漏的内容用户永远看不到。删去警告的答案可能每一句都真实,因此事实核查能通过,而具有记忆的助手会把一次存储的偏好应用到用户从未考虑过的后续问题上。我们推出 \bench{},这是一个 Inspect 基准,涵盖 25 个领域的 100 个日常决策,其中只有助手对用户的记忆发生变化:用户陈述一种信念,模型从一句话中推断出它,或者用户要求总结的网页植入了它。测试五个模型后,我们发现三种效应。第一,在总结一个含有一行针对 AI 助手的网页后,Gemini 2.5 Flash-Lite 和 DeepSeek V4 Pro 在每个回合中都将“偏好非常简短的回答且不想要警告”保存为用户偏好,并且它们后续回答中分别有 93\% 和 84\% 遗漏了关键项,几乎总是悄无声息;在明确陈述简洁偏好时,78--96\% 的遗漏是无声的。第二,这两个模型随后在 80\% 和 95\% 的价值依赖选择中为用户挑选选项,而在中性记忆下则没有。第三,一行指令使 2--8\% 的答案出现无声缺口,但大多数缺失内容仍然缺失,而在应用用户画像之前列出必知要点则在五个模型中的四个恢复了更多内容。我们发布了场景、测试框架和日志。
学科: 人工智能(cs.AI)
引用为: arXiv:2611.22697 [cs.AI]
  (或此版本的 arXiv:2611.22697v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.22697

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Joshua Adrian Cahyono [查看电子邮件]
[v1] 2026年11月17日星期二 12:40:42 UTC(129 KB)

来源:arXiv cs.AI · arxiv.org