arXiv cs.CL· Shengyue Guan, Jindong Wang, Jiang Bian, Bin Zhu, Jian-guang Lou, Haoyi Xiong·· 14 小时前AI 评分34
综述：多轮对话中 LLM 智能体的评估方法
Evaluating LLM-based Agents for Multi-Turn Conversations: A Survey
AI 导读
一篇综述用类 PRISMA 框架系统梳理近 250 篇文献，提出两套互相关联的分类体系：一套界定多轮对话 LLM 智能体"评估什么"，涵盖任务完成、回复质量、用户体验、记忆与上下文保持、规划与工具集成；另一套说明"如何评估"，将方法分为标注评估、自动指标、人机混合策略与 LLM 自评判，并覆盖 BLEU、ROUGE 等传统指标。
正文 · AI 翻译
摘要：本综述考察了多轮对话场景下基于大语言模型（LLM）的智能体的评估方法。我们采用受 PRISMA 启发的框架，系统回顾了近 250 篇学术文献，梳理了来自各类发表渠道的最新研究进展，并为我们的分析奠定了坚实基础。本研究通过构建两套相互关联的分类体系，提供了一种结构化的方法：一套界定\emph{评估什么}，另一套阐释\emph{如何评估}。第一套分类体系识别了多轮对话中基于 LLM 的智能体的关键组成部分及其评估维度，包括任务完成度、回复质量、用户体验、记忆与上下文保持，以及规划与工具集成。这些组成部分确保以整体且有意义的方式评估对话智能体的性能。第二套分类体系聚焦于评估方法。它将各类方法归类为基于标注的评估、自动化指标、将人工评估与定量度量相结合的混合策略，以及利用 LLM 的自我评判方法。该框架不仅涵盖了源自语言理解的传统指标（如 BLEU 和 ROUGE 分数），还纳入了能够反映多轮对话动态交互特性的先进技术。
| 评论： | 配套仓库：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2503.22458 [cs.CL] |
| （或 arXiv:2503.22458v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2503.22458 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | ACM Transactions on Intelligent Systems and Technology 17(4), 1-40 (2026) |
| 相关 DOI： | https://doi.org/10.1145/3793671
链接到相关资源的 DOI |
提交历史
来自：Shengyue Guan [查看邮箱]
[v1]
2025 年 3 月 28 日星期五 14:08:40 UTC（1,847 KB）
[v2]
2026 年 1 月 5 日星期一 15:14:04 UTC（1,107 KB）
[v3]
2026 年 10 月 25 日星期日 13:10:49 UTC（1,107 KB）
来源：arXiv cs.CL · arxiv.org