跳到正文
热点事件持续更新

印度零售银行工具型Agent基准TauIndianBankBench发布

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

研究者 Krishanu Adhikary 与 Prashant Devadiga 发布 TauIndianBankBench,一个包含 1000 个印度零售银行任务、面向工具调用对话智能体的动作导向基准,用于评测语言模型助手在模拟客户对话中是否完成所有必需步骤且未做未被请求的改动。 该基准的评测显示,若只检查最终记录,各模型有 6.5%–12.0% 的会话被判成功,尽管助手跳过了必需步骤或做了未被请求的改动。研究者称,同时评估流程与结果能更准确反映模型在印度零售银行业务中的表现。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.CL
    TauIndianBankBench:面向工具调用对话智能体的流程感知、动作导向评测基准

    研究者提出 TauIndianBankBench,一个包含 1000 个印度零售银行任务的动作导向基准,用于评测语言模型助手在模拟客户对话中是否完成所有必需步骤且未做未被请求的改动。仅检查最终记录时,各模型有 6.5%-12.0% 的会话被判成功,尽管助手跳过了必需步骤或做了未被请求的改动。同时评估流程与结果能更准确反映模型在印度零售银行业务中的表现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。