arXiv cs.AI· Reza Yousefi Maragheh, Jayesh Uddhav Kudase, Aysenur Inan, Ramin Giahi, Kai Zhao, Parth Parikh, Jianpeng Xu, Jason Cho, Evren Korpeoglu, Sushant Kumar·· 11 小时前AI 评分31
MAREval：用多智能体框架评估推荐系统自然语言解释
MAREval: A Multi-Agent Framework for Evaluating Natural Language Recommendation Explanations
AI 导读
MAREval 是一个基于大语言模型的结构化多智能体框架，用于评估推荐系统的自然语言解释。它由 planner agent（采用 Chain of Debate 提示策略）、moderator agent 和 arbitrator agent 组成，并结合 Monte Carlo 采样提升稳健性。
正文 · AI 翻译
摘要：评估推荐系统中的自然语言解释对于培养用户信任、透明度和参与度至关重要。然而，现有评估方法如人工评估虽然准确，但资源消耗大，难以满足现代推荐平台所需的规模。此外，使用单智能体 LLM 的自动化方法存在提示敏感性和输出不一致的问题。为应对这些挑战，我们提出 MAREval，一个使用大语言模型评估推荐解释的结构化多智能体框架。MAREval 协调 (i) 一个规划智能体，采用新颖的辩论链（CoD）提示策略来协调智能体角色并强制执行逻辑一致的评估计划；(ii) 一个主持人智能体，通过缓解提示漂移来规范讨论；(iii) 一个仲裁智能体，汇总多轮评估的输出，以及 (iv) 一种蒙特卡洛采样方法，提高鲁棒性和与人类判断的一致性。我们在公开（TopicalChat）和专有推荐数据集上进行了全面评估，证明 MAREval 优于最先进的基线。在公开基准和专有电商数据集上的综合实验表明，MAREval 相比强大的单智能体和多智能体基线，提升了与人类判断的一致性。稳定性分析表明，重复试验间的变异性显著降低。在大型人工标注门控中，MAREval 达到了生产质量阈值，而先前评估器未能达标，在线 A/B 测试显示参与度和收入指标有统计显著提升。这些结果确立了 MAREval 作为在真实系统中对推荐解释进行人类对齐评估的可扩展且可靠的解决方案
| 学科： | 人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.36389 [cs.AI] |
| （或 arXiv:2610.36389v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.36389 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Reza Yousefi Maragheh [查看邮箱]
[v1]
2026年10月26日星期一 23:14:07 UTC（6,766 KB）
来源：arXiv cs.AI · arxiv.org