arXiv cs.CL· Aman Behera, Namit Solanki, Mehul Anand·· 12 小时前AI 评分29
长上下文问答中的证据位置偏差：Transformer、状态空间与混合 Mamba 架构对比
Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering
AI 导读
研究对比 Transformer、状态空间与混合 Mamba 架构在长上下文问答中的证据位置偏差，将一份金标文档在九个干扰文档间移动。所评估的 Transformer 表现出开头优势，而状态空间模型没有，但两类模型都偏好靠近末尾的证据。该差异仅出现在能完成任务的模型中，且提示词变化可创造或几乎消除开头优势，位置信息在各架构间仍可解码。
正文 · AI 翻译
摘要：长上下文模型在答案证据远离提示边界时，往往不能有效利用这些证据。我们通过将一个金标准文档在固定的九个干扰文档中移动，比较了 Transformer、状态空间和混合 Mamba 架构中的这种位置偏差。所评估的 Transformer 表现出起始优势，而所评估的状态空间模型则没有，同时两类模型都偏好靠近末尾的证据。匹配的纯 Mamba 与混合 Mamba 对比指向同一方向，但在统计上仍不确定。这种家族差异出现在能够回答该任务的模型之间。Transformer 的起始优势在合成检索任务中再次出现，而状态空间模型的天花板效应阻碍了家族比较。在一种状态空间架构内更换语料库会改变整体准确率，但曲线形状没有可检测的变化。提示变化可以产生或几乎消除起始优势。即使响应曲线不同，位置在不同架构中仍可解码，并且在所测试的 Transformer 家族中，初始 token 附近的注意力集中与起始敏感性协变。这些探索性结果表明，有效的上下文利用取决于所评估的架构家族、能力、任务和提示，而未能将序列混合器单独确定为唯一原因。
| 评论： | 已被 NeurIPS 2026 第二届生成建模原理研讨会（PriGM）接收。9 页。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31135 [cs.CL] |
| （或 arXiv:2610.31135v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31135 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aman Behera [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 11:54:30 UTC（350 KB）
来源：arXiv cs.CL · arxiv.org