跳到正文
arXiv cs.AI· Shuyang Xiang·· 4 小时前AI 评分38

Transformer 的条件无毛定理:语言模型如何遗忘提示词

A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt

AI 导读

研究者提出 Transformer 的“条件无毛定理”:两个提示词接同一续写时,隐藏状态差异约按 t^-α 幂律衰减,α=1 对应固定提示词在均匀注意力中的份额收缩速度。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:黑洞只保留其形成物质中少数几个守恒荷。我们受此启发进行类比,并追问一个自回归 transformer 在生成 $t$ 个 token 后还保留了多少提示信息。对于两个提示后接相同续写的情况,它们隐藏状态之差大致按幂律 $t^{-\alpha}$ 衰减,其中 $\alpha=1$ 是固定提示在均匀注意力中所占份额的收缩速率。在首层之后,训练过的模型遗忘得比同架构的未训练模型更快($\alpha\approx0.55$--$0.7$,后者为 $\alpha\approx0.2$--$0.5$)。对于注意力 logits 有界且 pre-norm 激活非退化的有限深度 pre-LN softmax transformer,我们证明该偏移量为 $O\big(P(\log t)^{L-1}/t\big)$,其中提示长度为 $P$、深度为 $L$:提示的直接影响随上下文增长而被稀释,而经由续写 token 的\emph{中继}只增加对数因子。因此,在给定生成文本的条件下,提示对下一个 token 的影响消失。该界只确定了渐近形状,在我们于训练网络中测量的长度上并无信息量;一个可精确求解的线性中继模型表明该界无法改进,并解释了未训练模型的曲线。用对提示的 logit 偏置抵消稀释可在训练早期阻止衰减,而训练会在约十亿 token 之前抑制中继,早于注意力汇形成。一个可为任意 Hugging Face 因果语言模型测量 $\alpha$ 的工具包已公开可用。
学科: 人工智能(cs.AI)
引用为: arXiv:2610.24133 [cs.AI]
  (或 arXiv:2610.24133v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.24133

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Shuyang Xiang [查看邮箱]
[v1] 2026年10月16日星期五 19:03:20 UTC(104 KB)
[v2] 2026年11月17日星期二 10:37:12 UTC(105 KB)

来源:arXiv cs.AI · arxiv.org