arXiv cs.CL· Krishanu Adhikary, Prashant Devadiga·· 12 小时前AI 评分29
TauIndianBankBench：面向工具调用对话智能体的流程感知、动作导向评测基准
TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents
AI 导读
研究者提出 TauIndianBankBench，一个包含 1000 个印度零售银行任务的动作导向基准，用于评测语言模型助手在模拟客户对话中是否完成所有必需步骤且未做未被请求的改动。仅检查最终记录时，各模型有 6.5%-12.0% 的会话被判成功，尽管助手跳过了必需步骤或做了未被请求的改动。同时评估流程与结果能更准确反映模型在印度零售银行业务中的表现。
正文 · AI 翻译
摘要：许多印度银行通过 FAQ 页面和脚本化聊天机器人服务客户。基于语言模型的助手可以更快地响应并执行诸如冻结银行卡之类的请求，但前提是它们提供正确的信息并遵守银行的规则。这些规则规定了一套流程，即一组必需的步骤，例如在关闭存款前获取关闭报价。要使模型适应这一领域，需要在训练前后衡量它们遵循流程的程度。基准测试通常只评判对话结束时留下的记录。然而，许多必需步骤不会改变记录，因此跳过这些步骤的助手仍可能被判定为成功。我们提出了 TauIndianBankBench，这是一个面向行动的基准测试，包含 1,000 个印度零售银行业务任务，其中助手帮助模拟客户。除了最终记录外，它还会检查助手是否采取了每一个必需步骤，并且没有做出未经请求的更改。对于每个模型，当只检查最终记录时，有 6.5-12.0% 的会话被判定为成功，尽管助手跳过了必需步骤或做出了未经请求的更改。同时对流程和结果进行评分，能更准确地反映语言模型在印度零售银行业务中的表现。
| 评论： | 15 页，6 幅图，14 张表。代码：此 https URL 数据：此 https URL |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.30161 [cs.CL] |
| （或 arXiv:2610.30161v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30161 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Prashant Devadiga [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 15:16:21 UTC（272 KB）
来源：arXiv cs.CL · arxiv.org