研究揭示罗马化印度语生成评测盲区

Madhu Sudhan Rao Beesetty 等作者提出面向罗马化印度语生成的失败感知评测策略，对空输出、文字系统损坏的回答和指令崩溃直接判零分，以捕捉自动指标无法发现的失败。 该研究称，BGE-M3、BERTScore 等自动指标会系统性误判罗马化印地语、泰卢固语和卡纳达语的生成质量：在 72 条诊断样本上，母语者给 GPT-5.5 的评分比 Claude Opus 4.8 高 1.43 分（12 分制），而全数据集上 BGE-M3 的均值仅差 0.004。 这一结果指向自动指标高分与模型实际表现之间的落差，作者据此主张在评测中加入失败感知的判零规则。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。