OpenAI 在欧盟默认给 ChatGPT 和 Codex 文本加水印 textGrain
OpenAI's New ChatGPT Watermark Breaks If You Edit One Word in Four
OpenAI 将在欧盟默认对 ChatGPT 和 Codex 输出文本加注名为 textGrain 的水印,其他地区除非开发者通过 API 主动开启否则不启用。
textGrain 仅面向欧盟推出以赶上 AI 法案截止期限;替换 25% 的词语后检测率降至 17%
根据该公司的技术报告,在 1% 的误报率下,OpenAI 的检测器能在约 80% 的 200 token ChatGPT 输出和约 95% 的 400 token 输出中找到自己的水印。将每十个词中的一个替换为同义词,400 token 段落的检测率便从报告的约 92% 基线降至 66%。替换四分之一则骤降至 17%。这些数字,而非围绕它们的公告,才是真正的重点:正如 Ars Technica 报道,OpenAI 将在欧盟默认开始标记 ChatGPT 和 Codex 文本,而在其他所有地方除非开发者通过 API 选择启用,否则该功能保持关闭。
这种标记被称为 textGrain。OpenAI 在一篇题为“textGrain: Entropy-Calibrated Watermarking for Language Model Text”的论文中描述了该机制,论文与耶鲁大学和宾夕法尼亚大学的研究人员合著。大型语言模型通常通过对词汇表上的概率分布进行采样来选择下一个词。textGrain 则相反,在每个 token 处求解一个以 Gumbel 噪声和密钥为种子的 Kullback-Leibler 正则化最优传输问题,从而将选择推向与该密钥相关的任何合理词汇。“熵预算”限制了模型每个 token 允许牺牲的多样性,这就是为什么 OpenAI 可以声称该方案是“无偏的”:在许多生成结果和许多密钥上取平均,token 的边缘分布与无水印时一致,因此即使任何单个响应被引导,总体输出质量也不会改变。OpenAI 自己的基准比较报告称,textGrain 在其测试的指标上达到或超过 Google DeepMind 的 SynthID-Text,这是一项自我报告的结果,尚无独立复现。
检测的工作原理是向检测器提供与生成器相同的密钥,然后对 token 序列进行统计检验,以检查观察到的词汇选择是否比随机情况更符合密钥偏差。token 越多意味着统计功效越大,这就是为什么 400 token 的段落比 200 token 的段落检测可靠得多。这也意味着该检验在任何短文本上都会退化:两句话的回复、一个标题、从较长文章中摘出的单个改写段落,都处于信号本就微弱的区间,更不用说在任何人编辑一个词之前。
为什么是欧盟而不是其他地方
推动这一举措的截止期限是欧盟 AI 法案第 50 条,根据欧盟委员会自己的指南,其透明度义务于 2026 年 8 月 2 日生效,对已部署系统的过渡期持续到 2026 年 12 月 2 日。第 50(2) 条要求生成式系统的提供者标记合成的音频、图像、视频和文本输出,使其可被机器检测;第 50(4) 条另行要求发布 AI 生成文本的部署者在涉及公共利益的事项上告知公众时将其标注为 AI 生成,而提供者根据 50(2) 嵌入的标记本身并不能免除部署者的这一义务。根据该法案第 99 条,违反第 50 条的罚款最高可达 1500 万欧元或公司全球年营业额的 3%,以较高者为准,正如该条款的合规指南所阐述的那样。这一处罚,而非技术突破,才是此次发布的直接原因。
法律刻意对方法保持沉默。它并未强制要求使用 SynthID、C2PA 或 textGrain,只要求标记“在技术可行范围内有效、可互操作、稳健且可靠”。真正在实践中缩小了选择范围的是欧盟委员会于 2026 年 7 月敲定的《行为准则》,截至该月底已有约 190 家公司签署,包括 Google、Meta、Microsoft、Mistral、Anthropic 和 OpenAI。该准则也是让提供商可以将检测器访问权限限制给经过审查的研究人员、而非公众的依据,这正是 OpenAI 正在利用的漏洞:其帮助页面列出了三位初始接收者——康奈尔大学的 John Thickstun、苏黎世联邦理工学院的 Martin Vechev 和 INSAIT,以及 Kempelen 智能技术研究所的研究人员,其他人则需通过申请流程获取。
OpenAI 曾经构建过又搁置的方法
OpenAI 并非首次为文本添加水印。正如 TechCrunch 在 2024 年 8 月报道的,该公司已经构建了一个 ChatGPT 文本水印,《华尔街日报》称其在足够长的段落上有效率达 99.9%,但 OpenAI 却将其束之高阁。内部调查发现,69% 的 ChatGPT 用户认为该工具会产生对 AI 辅助作弊的误判,30% 的用户表示如果 OpenAI 推出该功能,他们会减少使用 ChatGPT,或转向不添加水印的竞争对手。OpenAI 自己的发言人称,这种方法“很容易被恶意行为者通过翻译或用另一个模型改写来规避”,并指出存在不成比例地标记非英语母语者的风险。textGrain 并未解决这些技术担忧中的任何一个;上面的同义词替换数据正是同一失败模式换了个名字。改变的是,如今监管机构对不推出某种方案施加了成本。
| 从 | 到 | 方式 |
|---|---|---|
| 下一词元概率 (来自语言模型) | KL 正则化词元选择 (Gumbel 噪声最优传输) | 候选词 |
| 密钥 + 上下文 | KL 正则化词元选择 (Gumbel 噪声最优传输) | 偏置选择 |
| 熵预算 (限制质量损失) | KL 正则化词元选择 (Gumbel 噪声最优传输) | 限制偏置 |
| KL 正则化词元选择 (Gumbel 噪声最优传输) | 带水印的 ChatGPT/Codex 文本 | |
| 带水印的 ChatGPT/Codex 文本 | 检测器(相同密钥)(访问权限仅限经过审查的研究人员) | |
| 密钥 + 上下文 | 检测器(相同密钥)(访问权限仅限经过审查的研究人员) | 共享密钥 |
| 检测器(相同密钥)(访问权限仅限经过审查的研究人员) | 对词元的统计检验 | |
| 对词元的统计检验 | 发现水印 / 未发现水印 |
竞争对手的做法有何不同
Anthropic 出于不同的设计选择,达到了同样的监管截止日期。其水印于 2026 年 8 月发布,是 Google DeepMind 的 SynthID-Text 的改编版本,适用于所有地方的 Claude,而不仅仅是欧盟。Anthropic 自己的解释直言不讳地说明了原因:“我们在发布时就在全球范围内应用水印,因为我们还没有一种持久的方式按地区来限定它。”相比之下,OpenAI 已将地区限定内置于 ChatGPT 和 Codex 中,并在全球范围内默认关闭 API,这意味着欧盟用户的水印状态取决于他们使用哪个产品界面,而不是简单意义上的司法管辖区。Anthropic 的检测 API 也处于私密预览阶段,仅限监管机构、执法部门、媒体和事实核查组织以及研究人员使用,这与 OpenAI 使用的同样狭窄的访问模式相同。Google DeepMind 自己的 SynthID-Text 工作于 2024 年 10 月发表在《自然》杂志上,仍是三者中唯一拥有大规模实地数据的:该论文报告称,在近 2000 万条实时 Gemini 响应中测量了质量,未检测到性能下降。由苏黎世联邦理工学院安全、可靠和智能系统实验室的研究人员对 SynthID-Text 进行的独立审计发现,即使对于不复杂的攻击者来说,该方案也比其他最先进的水印更容易被清除,这一发现与任何声称具有相当或更好鲁棒性的 textGrain 说法明显相关。
对于非文本媒体,两家公司都依赖 C2PA,即内容来源与真实性联盟的签名元数据开放标准,再加上 Google 的 SynthID 用于像素或音频层面的信号本身。这种分工之所以存在,是因为没有人拥有一种像文件元数据签名那样难以剥离的文本水印方法,而元数据签名本身也并不难剥离:根据欧盟《实践准则》报道中引用的研究人员,普通的重新编码会移除 C2PA 来源数据,而基于扩散的重新生成会移除不可察觉的图像水印。
我们不会在发布时将文本水印设为全球默认。
OpenAI 自己公告中的这句话就是整个政策的一句话概括。该公司表示打算最终开源 textGrain,这引发了一个问题:公布该方法是否会消除目前因攻击者不知道所使用的确切传输和密钥方案而带来的保护。一种其鲁棒性部分依赖于代码闭源的水印,与一种在代码开源后被证明鲁棒的水印是不同的;OpenAI 尚未公布开源版本的结果,因为它还不存在。
从现在到 2026 年 12 月 2 日过渡截止日期之间,值得追踪的数字不是 OpenAI 自我报告的检测率。而是是否有任何欧盟监管机构、新闻编辑室或独立实验室运行自己的对抗性测试,就像苏黎世联邦理工学院的团队已经对 SynthID-Text 所做的那样,以及一旦由 OpenAI 以外的人进行测量,textGrain 的数字是否站得住脚。
来源:Hacker News · rews.cc