多语言工具调用基准τ-bench-LILT发布

Kaden Uhlig 等作者发布 τ-bench-LILT，这是对话智能体工具调用基准 τ³-bench 的多语言扩展，覆盖德语、韩语、土耳其语和波斯语，涉及航空、零售、电信和银行四个领域。该基准对客户数据库、用户模拟器提示词和任务做了本地化处理，代码与数据已开源。 作者在八个智能体模型上的评测显示，韩语和波斯语零售领域的 pass^4 相比英语最多下降 61 分，表明现有模型在多语言真实工具使用任务上表现明显弱于英语。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。