arXiv cs.CL· Jiaming Yu, Xiaotian Xie, Jian Ma, Yingjie Li·· 12 小时前AI 评分26
法语输入变体如何影响 LLM 准确率与可靠性：一项基准测试
Small Edits, Shifting Decisions: Benchmarking LLM Accuracy and Reliability on French Input Variants
AI 导读
研究者构建了覆盖 7 类任务的法语表层变体基准，含 4,200 组 original-low-high 三元组、共 12,600 条输入，评测两个 LLM 家族的六个模型。
正文 · AI 翻译
摘要：法语用户在日常输入中可能会省略撇号和变音符号，或出现键盘输入错误。这些常见变体对语言模型性能和预测可靠性的影响仍未得到充分理解。为填补这一空白，我们构建了一个受控的法语表层变体基准，涵盖七种任务类型，包含 4,200 个原始-低-高三元组（12,600 个输入实例）。每个高强度变体保留所有低强度编辑，并增加进一步改动。我们评估了来自两个 LLM 系列的六个模型。结果表明，准确率随扰动强度增加而下降，Brier 分数和负对数似然（NLL）随扰动强度增加而上升。较大模型在高强度下的准确率损失较小，但 Brier 分数和 NLL 的增加并不随规模一致减小。在预定义的高强度设置下，键盘输入错误造成的准确率损失和预测概率质量损失最大。最后，在原始输入上拟合的校准温度可有效迁移到表层变体。将校准与输入恢复相结合，可在保持恢复后准确率的同时，使 Brier 分数和 NLL 较任一单独方法进一步改善。我们的基准为在常见法语表层变体下联合评估任务准确率和预测可靠性提供了统一框架。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33493 [cs.CL] |
| （或 arXiv:2610.33493v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33493 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yingjie Li [查看电子邮件]
[v1]
2026年10月24日星期六 06:46:00 UTC（179 KB）
来源：arXiv cs.CL · arxiv.org