arXiv cs.AI· Jingxuan Chen, Mohammad Taher Pilehvar, Jose Camacho-Collados·· 12 小时前AI 评分42
每个实例都同等重要吗？LLM 多实例处理中的顺序效应
Does Every Instance Count Equally? Order Effects in LLM Multi-Instance Processing
AI 导读
研究评估 15 个 LLM 在 5 个数据集、7 种实例顺序模式下的多实例处理表现，发现准确率在最优与最差顺序间可相差约 90 个百分点，多数标签实例出现在开头时模型通常更准确。推理轨迹不成比例地提及靠前实例，梯度归因分数在开头和结尾附近普遍高于中间。结果表明实例顺序会系统性偏置聚合预测，需在不同输入排列下评估多实例处理。
正文 · AI 翻译
摘要：用户越来越依赖大语言模型（LLM）来分析独立输入集合，例如产品评论或社交媒体帖子，并返回单一聚合答案。这一场景需要多实例处理（MIP），即模型将多个实例的信息合并为一个预测。我们研究一项任务：模型必须为每个实例推断二元标签，并找出整个实例集中出现最频繁的标签。正确答案应与实例顺序无关。通过在五个数据集和七种实例顺序模式上评估十五个 LLM，且每个实例集在各模式间保持固定，我们发现存在显著的顺序敏感性。最佳与最差顺序模式之间的准确率可相差约 90 个百分点，且当多数标签实例出现在开头时，模型通常比其出现在中间或末尾时更准确。对于部分模型，可用的推理轨迹和基于梯度的归因揭示了不同位置上的强调不均衡。轨迹不成比例地提及早期实例，而归因分数通常在开头和末尾附近高于中间。这些结果表明，实例顺序会系统性地使聚合预测产生偏差，凸显了在不同输入排列下评估 MIP 的必要性。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.29057 [cs.AI] |
| （或 arXiv:2610.29057v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29057 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jingxuan Chen [查看邮箱]
[v1]
2026年10月21日星期三 01:39:00 UTC（1,259 KB）
来源：arXiv cs.AI · arxiv.org