arXiv cs.CL· Mengsay Loem, Kentaro Imajo, Ryota Ozaki, Masanori Hirano·· 10 小时前AI 评分20
Khmer PFGen-Bench：面向低资源语言高棉语开放生成的无评判基准
Khmer PFGen-Bench: Building a Judge-Free Benchmark for Open-Ended Generation in a Low-Resource Language
AI 导读
Khmer PFGen-Bench 是首个针对高棉语多句开放问答的无 LLM 评判基准，改编自日语的 PFGen-Bench，用关键词规则和 n-gram 统计对 LLM 生成的参考答案打分。研究发现后训练模型给出的参考更有效但多样性更低，混合不同模型家族可在相同参考数量下提升多样性；使用九个家族的后训练模型参考时，模型排名在不同参考集间稳定，且与母语者评分一致。
正文 · AI 翻译
摘要：开放式生成的基准测试通常依赖大语言模型（LLM）评判器，而这类评判器在低资源语言中的可靠性尚不确定。我们提出 Khmer PFGen-Bench，据我们所知，这是首个针对直接用高棉语（一种低资源语言）构成的问题的多句回答的无评判器基准。Khmer PFGen-Bench 改编了 PFGen-Bench 的评分器，后者是一个针对日语的基准，使用关键词规则和来自 LLM 生成参考的 n-gram 统计对回答进行评分。这种评分要求参考既有效又多样，而 LLM 在高棉语中可能无法生成这样的参考，因此我们研究如何构建此类参考。我们发现，经过后训练的模型相比其基础变体可以给出更有效但多样性更低的参考，并且在相同参考数量下，混合模型家族可增加多样性。使用来自九个家族的后训练模型的参考，该基准产生的模型排名在不同参考集之间保持稳定，并与母语者的评分一致。这些发现为在其他低资源语言中构建无评判器基准提供了指导。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09222 [cs.CL] |
| （或 arXiv:2611.09222v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.09222 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mengsay Loem [查看邮箱]
[v1]
2026年11月6日星期五 09:39:50 UTC（650 KB）
来源：arXiv cs.CL · arxiv.org