arXiv cs.CL· Amr Sobhy·· 11 小时前AI 评分18
FrenchNews-7：跨出版商法语新闻编辑部版面分类基准
FrenchNews-7: Benchmarking Cross-Publisher French News Editorial Desk Classification
AI 导读
FrenchNews-7 是一个跨出版商法语新闻编辑部版面分类基准，结合多媒体语料、基于 URL 的七类分类体系和微调后的 CamemBERT 分类器。在留出出版商设置下，基于全文的 CamemBERT-base 整体召回率达 0.799，超过 GPT-OSS-120B、Mistral Small 3.2、Llama-3.3-70B 三个零样本 LLM 基线。
正文 · AI 翻译
摘要：我们提出 FrenchNews-7，这是一个跨出版方的法国法语新闻编辑部分类基准，结合了大型多来源语料库、由 URL 推导出的七类分类体系，以及一个微调后的 CamemBERT 分类器。标签通过混合流程分配，该流程将出版方 URL 路径片段与针对结构模糊案例的 LLM 标注相结合，并通过评分者间研究（2 名人类 + 2 个 LLM；成对 $\kappa \geq 0.766$，人类—人类 $\kappa = 0.806$）进行审核。我们在分布内和留出出版方两种设置下评估了词汇、多语言和法语专用的训练分类器，并在留出池上额外与零样本 LLM 基线（GPT-OSS-120B、Mistral Small 3.2、Llama-3.3-70B）进行比较。最强的模型——基于全文的 CamemBERT-base——优于仅使用标题的输入，能泛化到未见过的媒体机构，并在总体召回率（0.799）上超过全部三个零样本 LLM 基线，差距集中在边界模糊的编辑部类别 Economie 和 Societe 上。跨出版方评估揭示了不均衡的边界稳定性：Sport、Culture & Loisirs 和 International 迁移干净，而 Economie（召回率 = 0.517）与同一批文章上的盲评人类一致性（0.55，$n = 40$）在统计上无法区分，Societe（精确率 = 0.577）吸收了边界模糊性，两者都表明这是编辑惯例而非可恢复的分类器提升空间。微调后的 CamemBERT-base 模型、带标签的清单、参考收集脚本以及可靠性分级指导表可在 此 https URL（模型）和 此 https URL（数据集）获取。
| 评论： | 16 页，5 张图。已被 AACL-IJCNLP 2026（主会议）接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.18097 [cs.CL] |
| （或 arXiv:2608.18097v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.18097 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Amr Sobhy [查看电子邮件]
[v1]
2026 年 6 月 8 日星期一 16:54:07 UTC（140 KB）
[v2]
2026 年 10 月 15 日星期四 19:55:54 UTC（231 KB）
来源：arXiv cs.CL · arxiv.org