研究提出Transformer遗忘提示词的幂律
热点事件持续更新
研究提出Transformer遗忘提示词的幂律
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
研究者 Shuyang Xiang 发表论文,提出 Transformer 的“条件无毛定理”:当两个不同提示词接续同一段生成内容时,模型隐藏状态之间的差异约按 t^-α 的幂律衰减,其中 t 为已生成的 token 数。论文称,α=1 对应固定提示词在均匀注意力中的份额收缩速度。 该结论目前来自论文自身的理论推导,报道未提及独立验证或实验复现。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 13:00
Transformer 的条件无毛定理:语言模型如何遗忘提示词报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AITransformer 的条件无毛定理:语言模型如何遗忘提示词
研究者提出 Transformer 的“条件无毛定理”:两个提示词接同一续写时,隐藏状态差异约按 t^-α 幂律衰减,α=1 对应固定提示词在均匀注意力中的份额收缩速度。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。