arXiv cs.CL· Mohammed Nayeem Khan, Sarun Kumar K S·· 10 小时前AI 评分26
PolyRoute：覆盖 12 种语言与代码混合文本的类型化决策路由基准，含基线系统与排行榜
PolyRoute: A Twelve-Language and Code-Mixed Benchmark for Typed-Decision Routing, with Baselines and a Leaderboard
AI 导读
PolyRoute 是一个覆盖 12 种语言、9 种书写系统的类型化决策路由基准，包含 322 条母语支持消息、156 条代码混合或罗马化消息（Hinglish、Spanglish、Arabizi）及 967 条可选母语训练数据，标签由 Qwen3.8-27B 生成并经盲审二遍校验，gemma4-31b 在 97.2% 的测试项上与其一致。
正文 · AI 翻译
摘要：类型化决策编码器在一次前向传播中回答关于文本的问题，但其在英语之外的行为很少用固定标准来衡量。我们发布 PolyRoute：12 种语言和 9 种书写系统中的 322 条母语支持消息，156 条代码混合或罗马化消息（Hinglish、Spanglish、Arabizi），967 条可选母语训练行，以及一个三方部门路由决策协议。标签来自 Qwen3.8-27B 并经过盲审第二遍（保留 91% 的候选）；独立模型 gemma4-31b 在 97.2% 的测试项上一致，任意测试文本与任意训练文本之间的最大字符 5-gram 相似度为 0.33。13 个系统的排行榜显示，英语根检查点为 61.2%，发布的多语言检查点为 77.3%，最佳微调为 96.6%；TF-IDF 配合逻辑回归达到 91.9%。在四种保留语言上，三个多语言系统分别得分 77%、90% 和 93%。在代码混合文本上，英语根（85%）名义上领先于发布的多语言检查点（79%；p=0.134）。该划分仅能分辨约 4 个百分点以上的差异。所有文本和标签均由 LLM 生成。
| 评论： | 25 页，18 幅图，26 张表 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.13843 [cs.CL] |
| （或 arXiv:2611.13843v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13843 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sarun Kumar [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 10:04:27 UTC（1,905 KB）
来源：arXiv cs.CL · arxiv.org