跳到正文
arXiv cs.AI· Pei Liu·· 11 小时前AI 评分31

单智能体与多智能体 LLM 在财务审查任务上的对比:多智能体未必更好

The More the Better? A Comparison of Single- and Multi-Agent LLM Setups on a Financial Review Task

AI 导读

一项受控实验在 300 份合成信贷评估备忘录上对比单智能体与多智能体 LLM 的审查表现:三个同模型智能体各查两项要求时,在三个单智能体有漏检的模型上多检出 0.08 至 0.10 的带解释缺陷,但四个模型的误报均上升,平衡准确率变化不超过 0.02,token 消耗为 2.2 至 2.4 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:从业者指南认为,当工作被分配给多个智能体时,大语言模型能更好地审阅文档。我们在一项金融任务中,通过单智能体与多智能体设置的受控比较,检验了该观点的一种狭义形式:依据要求审阅信用评估备忘录。一个智能体在一次调用中检查六项要求。由同一模型上的三个智能体组成的团队检查同一份备忘录,每人检查两项要求,使用相同的措辞,不设角色,也没有后续阶段。300 份合成备忘录中每项要求的标签均已知,因此漏检和误报可分别测量。在四个模型上以 Bonferroni 校正后的水平检验两项主要预测。在“每项要求只判定一次”的指令下,团队在单智能体存在漏检的三个模型上多捕获了 0.08 至 0.10 的带解释缺陷,其中两个模型达到校正水平。它在全部四个模型上都增加了更多误报,其中三个模型达到校正水平。平衡准确率(一项探索性指标)变化不超过 0.02,而团队使用的 token 数为 2.2 至 2.4 倍。向每个智能体展示其未被分配的要求,可减少两个 Claude 模型上增加的误报,其中一个达到校正水平。在探索性比较中,对单智能体采样三次并在任一次抽样中标记,在这些模型上比团队获得更高的平衡准确率,且团队的结果取决于指令。
主题: 人工智能(cs.AI);计算工程、金融与科学(cs.CE)
引用为: arXiv:2610.27488 [cs.AI]
  (或本版本的 arXiv:2610.27488v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2610.27488

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Pei Liu [查看邮箱]
[v1] 2026年10月20日 星期二 01:55:24 UTC(98 KB)

来源:arXiv cs.AI · arxiv.org