arXiv cs.CL· Peiyu Zhang, Heng Ping, Shinibali Bhattacharyya, Anwesan Pal, Nikos Kanakaris, Kevin Cheang, Shixuan Li, Wei Yang, Paul Bogdan·· 10 小时前AI 评分34
QGPM：用查询引导的 RoPE 调制缓解长上下文 LLM 的“中间信息丢失”
Query-Guided RoPE Modulation for Lost-in-the-Middle Mitigation in Long-Context LLMs
AI 导读
研究者提出免训练方法 QGPM（Query-Guided Positional Modulation），利用模型自身注意力头得到的查询相关性重塑 RoPE 位置，缓解长上下文 LLM 的“lost-in-the-middle”问题。
正文 · AI 翻译
摘要：长上下文语言模型常常忽略输入中间部分的信息，这一现象被称为“中间迷失”。这一差距的部分原因可能在于旋转位置嵌入（RoPE）的远程衰减，它削弱了远距离 token 之间的位置信号。现有的输入压缩方法会删除低重要性 token，而注意力重加权只在 RoPE 已削弱该信号之后才起作用。RoPE 层面的方法直接修改位置，但对每个查询都应用相同的重映射。为解决这些局限，我们提出 QGPM（Query-Guided Positional Modulation，查询引导的位置调制），这是一种无需训练的方法，利用模型自身注意力头中的查询相关性来重塑 RoPE 位置。QGPM 为低层构建宽泛的相关性图，为高层构建锐化的相关性图。低相关性 token 在快速旋转平面上前进不足一个位置，从而将相关证据拉向查询。慢速旋转平面保持原始布局，每个 token 都留在原位。在多种上下文长度下于 NoLiMa 和 RULER 上的实验表明，QGPM 优于基础模型和强基线，在检索任务上提升最大，并且可跨多个骨干模型泛化。我们的代码可在 此 https URL 获取。
| 评论： | 13 页，3 幅图，7 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.09554 [cs.CL] |
| （或 arXiv:2611.09554v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09554 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Peiyu Zhang [查看邮箱]
[v1]
2026 年 11 月 6 日星期五 15:01:03 UTC（372 KB）
来源：arXiv cs.CL · arxiv.org