arXiv cs.CL· Abdulrahman AlRabah, Xiaocheng Yang, Dilek Hakkani-T\"ur, Abdussalam Alawini·· 11 小时前AI 评分34
PredActBench：在受控工具噪声下评测工具增强对话智能体
PredActBench: Benchmarking Tool-Augmented Dialogue under Controlled Tool Noise
AI 导读
研究团队推出 PredActBench，用于评测在预测工具存在误差时工作的对话智能体，并以教育场景为测试床，同时发布含 60 门课程真实期末成绩与合成周度分数的 PredAct-CS 数据集。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体越来越多地通过调用外部工具来支持决策。现有的 LLM 工具调用研究假设这些工具完全可靠。然而，在许多应用中，工具是具有不可忽视误差的统计预测器。我们提出 PredActBench，一个以教育为试验平台、用于评估与不完美预测工具协同工作的对话智能体的基准。首先，我们构建了一个基准，其中 LLM 与带噪声的预测器协同工作以引导用户的决策。其次，我们将先前用于信任校准的两个指标——相对 AI 依赖（Relative AI-Reliance）和相对自我依赖（Relative Self-Reliance）——扩展到多轮对话。第三，我们在 OULAD 以及我们发布的 PredAct-CS 数据集（包含 60 门课程的真实最终成绩和合成周成绩）上评估了 13 个 LLM，并开展了一项涉及 13 名教师和助教的人类研究。我们发现，当工具带有噪声时，SOTA 模型很少让用户看到预测器的不确定性，我们最强的基线 GPT-5.5 仅达到 57.2 的 F1。因此，用户会过度依赖错误的预测和缺乏依据的论断，这表明仅靠任务准确率不足以支撑 AI 决策支持，智能体必须在工具可能出错时向用户说明。我们发布 PredActBench，以支持开发帮助用户校准其依赖程度的 LLM 智能体。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.02372 [cs.CL] |
| （或 arXiv:2608.02372v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.02372 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Abdulrahman AlRabah [查看邮箱]
[v1]
2026年8月3日星期一 15:15:55 UTC（2,894 KB）
[v2]
2026年11月1日星期日 19:33:14 UTC（3,456 KB）
来源：arXiv cs.CL · arxiv.org