arXiv cs.MA· Anouar Imel, Imad Charradi, Abderrahman Sghir, Khalil El Khammar·· 11 小时前AI 评分34
稀有、相关却仍然错误：记忆如何让 LLM 群体决策失效
Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions
AI 导读
研究提出 CrossProfile 诊断基准，含 60 个模板、480 个任务，在 Qwen2.5-7B、Llama-3.1-8B 和两个 DeepSeek 模型上测试 LLM 群体讨论压缩为记忆后的决策表现。
正文 · AI 翻译
摘要：当一个 LLM 群体的讨论被压缩成一段简短记忆，供最终决策者使用时，这段记忆应当保留什么？两种自然的启发式策略分别是保留最罕见的论断，或保留与决策标准相关的论断。在隐藏画像任务上，这两种策略看起来都很有吸引力，因为一个事实被多少人持有，与它是否有帮助是混淆在一起的。我们提出 CrossProfile，这是一个包含 60 个模板、答案键经自动验证的诊断性基准；在其中，支持性、诱饵性和无关事实的归属被交叉设置，而它们的文本保持不变（共 480 个任务）。在 Qwen2.5-7B、Llama-3.1-8B 和两个 DeepSeek 模型上，这两种启发式策略都在可预测的地方失败。按相关性选择会重新引入诱饵，因为诱饵是切题的：即使使用完美的相关性过滤器，在经典隐藏画像配置下，它也比最罕见优先选择低 23 到 31 分。最罕见优先选择平均而言并不比随机选择更好，只有在罕见事实恰好是有用事实时才胜出。在这两种情况下，准确率都取决于记忆所保留的证据平衡，而不是保留它的策略。决策模型还带来第三种失败，即一种社会证明形式：它给归属于许多智能体的事实额外权重。移除归属标签，或在固定行序的情况下随机重新分配标签，可使经典配置下的准确率提高 13 到 24 分。在自然讨论中，证据在任何记忆发挥作用之前就已经丢失：完整转录文本的准确率比完全没有笔记还低。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；多智能体系统（cs.MA）；社会与信息网络（cs.SI） |
| 引用为： | arXiv:2610.37624 [cs.AI] |
| （或 arXiv:2610.37624v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37624 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anouar Imel [查看电子邮件]
[v1]
2026年10月27日星期二 17:49:39 UTC（2,194 KB）
来源：arXiv cs.MA · arxiv.org