arXiv cs.CL· Yilin Jiang, Fei Tan, Xuanyu Yin, Guanchu Wang, Xia Hu, Yutao Yue·· 3 天前AI 评分36
如何测量并减少 LLM 智能体的不可用回复
Measuring and Reducing Unusable Replies of LLM Agents
AI 导读
研究提出"回复可用性"指标，用读者模型从请求者视角判断智能体回复能否被理解和使用，其与五名标注者多数意见的一致率处于个体标注者区间内。在七个家族八个模型的 480 条回复中，54% 失败，最佳模型仍有 30% 失败，失败多因指向请求者未见材料或使用智能体自造标签。明确回复要求可将失败率从 0.52 降至 0.43，再用次级模型改写回复可降至 0.36，并经人工盲评确认。
正文 · AI 翻译
摘要：人们将多步骤工作委托给 LLM 智能体，并且只阅读智能体交回的回复。当前的评估对任务完成情况和报告忠实度进行评分，却未考虑请求者能否理解并使用该回复。我们将这一属性称为回复可用性，并用一个读者模型来测量它：该模型站在请求者的立场，检验回复能否从请求者已看到的内容中被理解、是否使用请求者的语言，以及是否回答了请求。它与五名标注者多数意见的一致程度处于单个标注者之间的一致范围内。在来自七个家族的八个模型中，480 条回复中有 54% 未通过，而最佳模型仍有 30% 未通过。未通过的回复大多指向请求者未曾见过的材料，或使用智能体在工作过程中自创的标签。为回复明确陈述要求可将失败率从 0.52 降至 0.43，同时减少错误和遗漏；而一个重写回复的次级模型可将其降至 0.36，人类标注者在盲测比较中证实了这一点。因此，回复可用性可以与任务成功一同评分，并可通过追加一条消息或调用一次次级模型来改进。
| 评论： | 17 页，4 幅图，12 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.19659 [cs.CL] |
| （或 arXiv:2610.19659v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19659 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yilin Jiang [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 06:35:49 UTC（168 KB）
来源：arXiv cs.CL · arxiv.org