arXiv cs.CY· Alexander Nemecek, Yuqiao Xu, Joseph Falkenburg, Erman Ayday·· 11 小时前AI 评分31
无需 Tokenizer 仍有差距:同形字与不可见字符水印的跨语言公平性研究
No Tokenizer, Still a Gap: Cross-Lingual Fairness of Homoglyph and Invisible-Character Watermarking
AI 导读
研究在 24 种文字体系的 40 种语言变体上测量同形字与不可见字符水印,发现隐藏容量相差 3.3 倍,其中 96% 由文字体系解释。拉丁文字内部资源水平无显著差异(ρ=+0.095,p=0.78),跨文字体系则随资源水平上升(ρ=+0.54)。普通复制粘贴会剥离不可见字符并拉大差距:检测器约需 2 个英文或波斯文码点,而老挝文需 93 个。
正文 · AI 翻译
摘要:同形异义字符和不可见字符水印是基于编辑的水印。它们不改变模型生成文本的方式,而是在文本写好后在其中隐藏信号。它们把一些字符替换为同形异义字符——这些字符看起来相同或非常相似,但具有不同的 Unicode 码点——或者插入不显示的字符,全程无需访问写出该文本的模型。由于分词器切分文本的方式,生成时水印在低资源语言上效果较差。由于这类水印作用于单个字符,从不接触分词器,因此我们追问它们是否能避开这一差距。在 24 种文字系统的 40 种语言变体中,我们测量了容量(每个字符可承载的隐藏比特数)、其中有多少能在常规处理和定向移除后存活,以及带密钥的检测器需要多少文本。容量相差 3.3 倍,文字系统解释了其中 96\% 的差异。在拉丁文字系统内,资源水平没有可检测的差异($\rho=+0.095$,$p=0.78$),但跨文字系统时容量随资源水平上升($\rho=+0.54$,95\% CI $[+0.14,+0.83]$),因为低资源语言往往使用同形异义字符较少的文字系统。普通的复制粘贴会剥离不可见字符,从而扩大差距:此时检测器需要约 2 个英文或波斯文码点,但需要 93 个老挝文码点。移除分词器并未消除这种不平等,而只是改变了其来源。
| 评论: | 19 页 |
| 主题: | 计算与语言(cs.CL);密码学与安全(cs.CR);计算机与社会(cs.CY) |
| 引用为: | arXiv:2610.36432 [cs.CL] |
| (或 arXiv:2610.36432v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.36432 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Alexander Nemecek [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 00:27:01 UTC(169 KB)
来源:arXiv cs.CY · arxiv.org