arXiv cs.AI· Yuan Liu, Haoyue Peng, Fanliang Hu, Lei Huang, Wenli Cai·· 3 天前AI 评分34
ECMR:面向多智能体 LLM 推理的证据感知审议控制
ECMR: Evidence-Aware Deliberation Control for Multi-Agent LLM Reasoning
AI 导读
ECMR 是一种证据感知控制器,可在冻结的角色条件 LLM 上动态决定提议、质疑、验证、仲裁、多样化、纠正角色或停止。在 MedQA、CaseHOLD、FinQA 共 9,000 条记录的留出评测中,ECMR-Full 将汇总准确率从 62.1% 提升至 84.9%,假共识率从 40.7% 降至 17.0%,证据支持率从 58.0% 升至 88.7%。
正文 · AI 翻译
摘要:多智能体大语言模型(LLM)系统通常在推理前就确定一种审议协议。固定协议无法对已解决和未解决的实例分配不同的计算量,并且可能将重复的支持误认为独立的确认。我们将这种失败称为语义虚假共识:一个自信的群体答案,其依据是狭窄、重复或相关的理由。我们提出了 ECMR,一种在冻结的角色条件化 LLM 之上的证据感知控制器。在每一步,ECMR 汇总答案集中度、支持多样性与独立性、矛盾、角色行为、验证历史和剩余预算,然后选择是提议、质疑、验证、仲裁、多样化、纠正角色还是停止。我们将这一决策形式化为有限时域预算控制,并推导出状态条件化、风险触发验证和角色纠正能够提高成本调整后效用的充分条件。在对来自 MedQA、CaseHOLD 和 FinQA 的 9,000 条记录进行的声明式留出评估中,ECMR-Full 将汇总准确率从 62.1% 提高到 84.9%,将虚假共识率从 40.7% 降低到 17.0%,并将证据支持率从 58.0% 提高到 88.7%。状态打乱损失了 11.7 个准确率点,而轮数仅减少 0.7,同时更难的轨迹从提前停止转向仲裁。ECMR-Full 使用最大的 token 预算,从而获得最强的绝对可靠性,而非普遍更优的 token 效率。
| 评论: | 32 页,包括参考文献和技术附录 |
| 主题: | 人工智能(cs.AI);多智能体系统(cs.MA) |
| 引用为: | arXiv:2610.17869 [cs.AI] |
| (或 arXiv:2610.17869v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.17869 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Wenli Cai [查看电子邮件]
[v1]
2026年10月13日星期二 07:30:30 UTC(10,694 KB)
来源:arXiv cs.AI · arxiv.org