τ-bench-LILT：评估对话智能体在多语言真实工具使用任务上的表现

{\tau}-bench-LILT: Evaluating Conversational Agents on Realistic Multilingual Tool-Use Tasks

AI 导读

τ-bench-LILT 是 τ³-bench 的多语言扩展版本，覆盖德语、韩语、土耳其语和波斯语，涉及航空、零售、电信和银行四个领域。该基准对客户数据库、用户模拟器提示词和任务均做了本地化处理，在八个智能体模型上的评测显示，韩语和波斯语零售领域的 pass^4 相比英语最多下降 61 分。代码与数据已开源。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：对使用工具的对话智能体的前沿评估几乎完全以英语进行，这给在其他语言和地区部署智能体的组织留下了关键空白。我们提出 ${\tau}$-bench-LILT，这是 ${\tau^3}$-bench 的多语言扩展，涵盖德语、韩语、土耳其语和波斯语，涉及航空、零售、电信和银行领域。我们对基准的每一层都进行了原生本地化：客户数据库填充了符合文化背景的记录，用户模拟器提示词由母语专家通过对比标注迭代优化，任务则根据本地化数据库更新，并反映目标地区的真实任务。对八个智能体模型的评估显示，与英语相比，韩语和波斯语零售领域的下降幅度最大，pass^4 最多下降 61 分。代码和数据发布于此 https URL。

评论：	17 页，14 张图
主题：	计算与语言（cs.CL）
ACM 分类：	I.2.7; I.2.11
引用为：	arXiv:2611.07203 [cs.CL]
	（或 arXiv:2611.07203v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.07203 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Kaden Uhlig [查看邮箱]
[v1] 2026 年 11 月 4 日星期三 22:47:38 UTC（9,520 KB）

来源：arXiv cs.CL · arxiv.org