arXiv cs.CL· Madhu Sudhan Rao Beesetty, Surbhi Sharma, Devesh Maheshwari, Lokesh Meesala·· 10 小时前AI 评分31
研究揭示罗马化印度语言生成评测盲区：自动指标高分难掩模型实际失败
The Invisible Gap: Romanized Indic Generation Fails Where Automatic Metrics Succeed
AI 导读
研究显示 BGE-M3、BERTScore 等自动指标会系统性误判罗马化印地语、泰卢固语和卡纳达语生成质量：在 72 条诊断样本上母语者给 GPT-5.5 的评分比 Claude Opus 4.8 高 1.43 分（12 分制），而全数据集 BGE-M3 均值仅差 0.004。
正文 · AI 翻译
摘要：数亿印度人使用罗马化拉丁字符与数字系统交流——输入“aap kaise hain”而非本地文字——然而罗马化印度语言生成在 NLP 基准和评估框架中却缺席。我们证明自动指标（BGE-M3、BERTScore）会系统性地误判罗马化印地语、泰卢固语和卡纳达语生成的质量。我们在 142 个 OpenAssistant 查询-回复对上评估了四个 LLM（Claude Opus 4.8、GPT-5.5、Gemini 2.5-flash、Qwen3.5-35B）。在 72 条回复的诊断子集上，母语者在 12 分制评分表上给 GPT-5.5 的评分比 Claude Opus 4.8 高 1.43 分，而二者在全数据集上的 BGE-M3 均值仅相差 0.004。出现了两种不同的模型特定失败模式：Gemini 产生文字溢出（16.9% 的泰卢固语回复泄漏本地文字），而 Qwen 退化为纯英文输出（16.2% 的卡纳达语回复）。我们引入一种失败感知评估策略，对空输出、文字损坏的回复和指令崩溃赋零分——揭示了仅靠指标无法检测的失败。我们的结果表明，评估罗马化印度语言生成需要一个协同组合：语义相似度、文字合规性、失败覆盖率和母语者可接受性。
| 评论： | 11 页，2 幅图，5 张表。所有作者贡献相同 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.09085 [cs.CL] |
| （或 arXiv:2611.09085v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.09085 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Madhu Sudhan Rao Beesetty [查看邮箱]
[v1]
2026 年 11 月 6 日星期五 07:17:32 UTC（1,488 KB）
来源：arXiv cs.CL · arxiv.org