arXiv cs.CL· Alexander Nemecek, Osama Zafar, Debargha Ganguly, Vikash Singh, Vipin Chaudhary, Erman Ayday·· 10 小时前AI 评分31
语言模型水印的跨语言公平性审计
Auditing Cross-Lingual Fairness in Language Model Watermarking
AI 导读
研究提出一套评估框架，用于审计大语言模型水印方案在跨语言场景下的公平性，包含按部署环境经验校准的检测阈值、区分校准失败与检测失败的阈值无关指标、三种互不重叠的质量测量范式，以及基于类型学语系划分的广义熵分解。
正文 · AI 翻译
摘要：针对大语言模型输出的水印方案，几乎完全是在英文文本上、使用各方案自身的检测阈值和一组有限的质量指标来评估的。多语言部署会暴露出一些评估设计上的选择，这些选择在英文上无关紧要，却会决定跨语言的结论。我们提出了一个包含四个组成部分的评估框架：按部署情境经实证校准的检测阈值；一种独立于阈值的配套测量，用以区分校准失败与检测失败；三种互不重叠的质量测量范式（分布层面、配对语义层面和参考困惑度层面）；以及在类型学语系划分上对跨语言差异的广义熵分解。将该框架应用于六种水印方案、三个开放权重生成器、横跨四种文字系统和八个类型学语系的十一种语言，以及基础版和指令微调版两种情形，揭示出单语言、单范式评估无法显现的失效模式。与形状匹配的零假设相比，检测差异在类型学划分上主要体现为语系间差异，这表明检测差距是语言属性的结构性结果，而非特定语言的特异现象；质量差异很大，但并未可靠地呈现语系结构。
| 评论： | 已被 NeurIPS 2026 Evaluations & Datasets Track 接收 |
| 主题： | 计算与语言（cs.CL）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.20047 [cs.CL] |
| （或 arXiv:2608.20047v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.20047 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alexander Nemecek [查看邮箱]
[v1]
2026年8月20日 星期四 13:48:12 UTC（308 KB）
[v2]
2026年11月10日 星期二 06:11:46 UTC（320 KB）
来源：arXiv cs.CL · arxiv.org