跳到正文
arXiv cs.CY· Alexander Nemecek, Yuqiao Xu, Joseph Falkenburg, Erman Ayday·· 11 小时前AI 评分31

无需 Tokenizer 仍有差距:同形字与不可见字符水印的跨语言公平性研究

No Tokenizer, Still a Gap: Cross-Lingual Fairness of Homoglyph and Invisible-Character Watermarking

AI 导读

研究在 24 种文字体系的 40 种语言变体上测量同形字与不可见字符水印,发现隐藏容量相差 3.3 倍,其中 96% 由文字体系解释。拉丁文字内部资源水平无显著差异(ρ=+0.095,p=0.78),跨文字体系则随资源水平上升(ρ=+0.54)。普通复制粘贴会剥离不可见字符并拉大差距:检测器约需 2 个英文或波斯文码点,而老挝文需 93 个。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:同形异义字符和不可见字符水印是基于编辑的水印。它们不改变模型生成文本的方式,而是在文本写好后在其中隐藏信号。它们把一些字符替换为同形异义字符——这些字符看起来相同或非常相似,但具有不同的 Unicode 码点——或者插入不显示的字符,全程无需访问写出该文本的模型。由于分词器切分文本的方式,生成时水印在低资源语言上效果较差。由于这类水印作用于单个字符,从不接触分词器,因此我们追问它们是否能避开这一差距。在 24 种文字系统的 40 种语言变体中,我们测量了容量(每个字符可承载的隐藏比特数)、其中有多少能在常规处理和定向移除后存活,以及带密钥的检测器需要多少文本。容量相差 3.3 倍,文字系统解释了其中 96\% 的差异。在拉丁文字系统内,资源水平没有可检测的差异($\rho=+0.095$,$p=0.78$),但跨文字系统时容量随资源水平上升($\rho=+0.54$,95\% CI $[+0.14,+0.83]$),因为低资源语言往往使用同形异义字符较少的文字系统。普通的复制粘贴会剥离不可见字符,从而扩大差距:此时检测器需要约 2 个英文或波斯文码点,但需要 93 个老挝文码点。移除分词器并未消除这种不平等,而只是改变了其来源。
评论: 19 页
主题: 计算与语言(cs.CL);密码学与安全(cs.CR);计算机与社会(cs.CY)
引用为: arXiv:2610.36432 [cs.CL]
  (或 arXiv:2610.36432v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.36432

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Alexander Nemecek [查看邮箱]
[v1] 2026 年 10 月 27 日星期二 00:27:01 UTC(169 KB)

来源:arXiv cs.CY · arxiv.org