跳到正文
arXiv cs.AI· Ananya Sutradhar, Fabien Roger·· 10 小时前AI 评分34

能否让模型相信提示词中的虚假事实?研究探索 prompt-conditioned SDF

Can you make models believe false facts in the prompt?

AI 导读

研究尝试用 prompt-conditioned SDF 训练单一模型,使其相信提示词标签中给出的任意事实,从而替代需为每组虚假信念单独微调模型的 SDF。模型对未见事实的相信深度随训练事实数量大致呈对数线性增长,但将该方法用于小型模型的对齐审计时初步结果为负面。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:让 LLM 相信虚假事实对于对齐评估和构建模型生物体很有用。此前的工作探索了用合成文档微调(SDF)来实现这一点。但 SDF 需要为每一组注入的虚假信念微调一个新模型。为了支持更大规模的由 SDF 驱动的对齐评估,我们尝试生成一个单一模型,使其相信提示中 <facts> 标签内的任何事实。为此,我们探索了提示条件化的 SDF:在覆盖数千个事实的合成文档上微调模型,每个文档都以提示中给出的一个事实为条件。我们使用先前工作的评估方法以及一种新的雅可比透镜评估,来评估模型对提示中所提供事实的相信深度。我们发现,对未见事实的相信深度大致随训练事实数量呈对数线性增长,这使其成为一种廉价且有前景的让模型相信虚假事实的途径,不过在我们所研究的小模型上将其应用于对齐审计的初步实验显示出负面结果,因为这些小模型往往已经表现得像是相信了常规蜜罐系统提示中所提供的事实。在提示条件化 SDF 的基础上,使用 RL 降低模型在提示中跟随虚假事实后将其表述出来的比率,可以泛化到留出评估,并在某些评估上几乎与 SDF 相当。但针对我们某一相信深度指标进行训练,会使得这些评估更难被信任。
主题: 人工智能(cs.AI)
引用为: arXiv:2611.23938 [cs.AI]
  (或 arXiv:2611.23938v1 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2611.23938

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ananya Sutradhar [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 06:26:12 UTC(505 KB)

来源:arXiv cs.AI · arxiv.org