arXiv cs.CL· Ryszard Staruch, Filip Grali\'nski·· 10 小时前AI 评分27
通过重复惩罚在推理阶段调节 LLM 语法纠错的精确率-召回率权衡
Precision--Recall Trade-off on the Inference Level for LLMs in Grammatical Error Correction
AI 导读
研究发现，重复惩罚参数可在不修改模型架构、训练流程或提示词的情况下，于推理阶段可控地调节 LLM 语法纠错（GEC）的精确率-召回率权衡。在标准 GEC 基准上的实验显示，这种基于重复惩罚的解码方式在概念上与序列到序列 GEC 模型此前提出的 Align-and-Predict Decoding（APD）相关，且实现简单，适用于暴露推理阶段解码惩罚参数的现有 LLM。
正文 · AI 翻译
摘要：大型语言模型（LLM）近期被用于语法错误纠正（GEC），通过完全微调和基于提示的方法均取得了强劲性能。作为概率序列模型，LLM 暴露了可直接修改 token 生成行为的推理时参数；然而，这些参数在控制 GEC 特定权衡方面的潜力尚未得到系统研究。在本工作中，我们研究了语法错误纠正的解码策略。我们表明，重复惩罚参数能够在推理时可控地调整精确率—召回率权衡，而无需修改模型架构、训练过程或提示。通过在标准 GEC 基准上的实验，我们证明基于重复惩罚的解码能够在推理时控制精确率—召回率平衡，这在概念上与先前为序列到序列 GEC 模型提出的方法（如 Align-and-Predict Decoding（APD））相关，同时保持简单且广泛适用于暴露推理时解码惩罚的现有 LLM。
| 评论： | 17 页，2 幅图，13 张表 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.41698 [cs.CL] |
| （或 arXiv:2610.41698v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41698 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ryszard Staruch [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 13:04:17 UTC（94 KB）
来源：arXiv cs.CL · arxiv.org