跳到正文
arXiv cs.AI· Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang·· 10 小时前AI 评分29

大语言模型上下文学习与上下文外幻觉的机制分析

A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination

AI 导读

研究从动态上下文中的功能角色视角统一分析大语言模型的上下文学习(ICL)与上下文外(OOC)幻觉,指出角色信息可在模型内部被表征却未必可靠约束输出。作者提出一阶分解刻画角色效应,发现其显著影响依赖足够贡献幅度与符号一致聚合两个必要条件。因果分析显示角色跨度贡献影响响应结构、内容选择与事实取值等关键 token 选择,角色一致的选择依赖这些决策处足够的角色跨度支持。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型可以通过上下文学习(ICL)推断并遵循特定规则,但可能无法忠实于所提供的证据,从而产生脱离上下文(OOC)幻觉。现有工作大多沿两条独立线索分别研究 ICL 与 OOC 幻觉的内在机制。然而,这种分离掩盖了这些看似对立结果背后的机制基础。在本工作中,我们通过动态上下文中功能角色的统一视角来研究这一对比。关键观察是,角色信息可以在内部被表示,却无法可靠地约束输出。我们推导出一阶分解来刻画角色效应,表明其显著影响取决于两个必要条件,即足够的贡献幅度和一致的有符号聚合。因果分析进一步表明,角色跨度贡献会影响涉及响应结构、内容选择和事实值的关键 token 选择。我们进一步表明,角色一致的选择取决于这些关键决策处足够的角色跨度支持,而当这种支持克服缺陷时,失败的选择可以被逆转。这些发现支持了 ICL 与 OOC 幻觉的一种共同机制观点:每个功能角色定义了输出决策的模式,角色跨度贡献必须在该模式上保持有效,而这种组织方式的差异解释了看似对立的结果。
评论: 25 页,6 幅图
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.24000 [cs.CL]
  (或 arXiv:2611.24000v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24000

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Tianxiang Chen [查看电子邮件]
[v1] 2026 年 11 月 18 日星期三 07:48:46 UTC(2,266 KB)

来源:arXiv cs.AI · arxiv.org