高棉语无评判开放生成基准发布
热点事件持续更新
高棉语无评判开放生成基准发布
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Mengsay Loem 等人发布 Khmer PFGen-Bench,据其称这是首个直接以高棉语提问、针对多句开放问答且不使用 LLM 评判的基准。它改编自日语的 PFGen-Bench,用关键词规则和 n-gram 统计对 LLM 生成的参考答案打分,而非依赖模型评判。 研究发现,后训练模型给出的参考更有效但多样性更低;混合不同模型家族可在相同参考数量下提升多样性。使用九个家族的后训练模型参考时,模型排名在不同参考集间保持稳定,且与母语者评分一致。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 13:00
Khmer PFGen-Bench:面向低资源语言高棉语开放生成的无评判基准报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- arXiv cs.CLKhmer PFGen-Bench:面向低资源语言高棉语开放生成的无评判基准
Khmer PFGen-Bench 是首个针对高棉语多句开放问答的无 LLM 评判基准,改编自日语的 PFGen-Bench,用关键词规则和 n-gram 统计对 LLM 生成的参考答案打分。研究发现后训练模型给出的参考更有效但多样性更低,混合不同模型家族可在相同参考数量下提升多样性;使用九个家族的后训练模型参考时,模型排名在不同参考集间稳定,且与母语者评分一致。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。