研究比较长上下文问答中的证据位置偏差

Aman Behera、Namit Solanki 和 Mehul Anand 发表研究，对比 Transformer、状态空间与混合 Mamba 架构在长上下文问答中的证据位置偏差。方法是将一份金标文档在九个干扰文档之间移动。 结果显示，所评估的 Transformer 表现出开头优势，状态空间模型没有，但两类模型都偏好靠近末尾的证据。该差异仅出现在能完成任务的模型中；提示词变化可创造或几乎消除开头优势，位置信息在各架构间仍可解码。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。