arXiv cs.CL· Chihiro Yano, Jun Hirako, Hiroaki Yamagiwa, Ryota Hirobuchi·· 3 天前AI 评分22
J-tau：面向工具-智能体-用户交互的全本地化日语基准
J-tau: A Fully Localized Japanese Benchmark for Tool-Agent-User Interaction
AI 导读
研究者发布 J-tau，首个公开的日语基准，用于评估交互式客服场景中使用工具的 LLM 智能体。该基准通过机器翻译、实体适配和人工审核对 tau-bench 进行本地化，并修复了原基准的无效任务与分数聚合错误两个缺陷。实验显示 J-tau 的评估错误少于直接机器翻译版本。
正文 · AI 翻译
摘要：我们提出了 J-tau，这是首个公开可用的日语基准，用于评估在交互式客户支持场景中使用工具的 LLM 智能体。虽然 tau-bench 被广泛用于评估 LLM 智能体，但它以英语为中心，无法评估其他语言的智能体。现有多语言扩展没有提供公开的日语版本，并且主要依赖机器翻译，导致地址和货币等区域特定实体与目标地区不一致。为了在日语中实现可靠的评估，我们通过机器翻译、实体适配和人工审核，对 tau-bench 进行了细致的本地化。在此过程中，我们还发现并修复了原始 tau-bench 中的两个缺陷：无效任务以及会夸大某些模型结果的分数聚合错误。实验表明，J-tau 产生的评估错误少于简单机器翻译的对应版本，并且我们的修复解决了这两个缺陷。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19638 [cs.CL] |
| （或 arXiv:2610.19638v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19638 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Chihiro Yano [查看电子邮件]
[v1]
2026年10月14日星期三 06:07:40 UTC（498 KB）
来源：arXiv cs.CL · arxiv.org