跳到正文
RadarAI· O'Reilly Radar(热点 RSS)·· 1 小时前AI 评分58

Claude 文本水印如何工作:作者用交互玩具拆解 SynthID-Text 机制

AI 导读

Andrew Stellman 在 O'Reilly Radar 撰文拆解 Claude 文本水印机制,指出 Anthropic 已在所有 Claude 界面为文本加水印,方法基于 Google DeepMind 2024 年发表于 Nature 的 SynthID-Text。

正文 · AI 翻译

O'Reilly Radar· Andrew Stellman·2026-11-20 19:43· 41 分钟前AI 评分66

Claude 会给你的文字加水印,而你(目前)无法检测

AI 导读

作者讲解 Anthropic 已在所有 Claude 界面为文本加水印(基于 Google DeepMind 2024 年发表于 Nature 的 SynthID-Text),但目前只有 Anthropic 及其批准的机构能检测水印。

正文 · 原文

我喜欢把 AI 当作写作工具。但正如我在《Why Does AI Write Like Yoda?》一文中所写,这并不是因为 AI 擅长写作。事实上,它写得很糟,我会对它生成的每一处内容进行编辑,所以最终结果与它最初生成的内容相比基本面目全非。不幸的是,AI 平均而言是个相当糟糕的写手,但这并不能阻止人们用 AI 写各种最终会被人读到的东西,于是我们就有了大量粗制滥造的内容。

水印就是为此而生的。如果 AI 生成的文本带有机器可以识别的隐藏信号,那么有人就可以用它来构建粗劣内容过滤器,给大规模生产 AI 文本并塞进互联网每个角落的行为增加一点阻力,也许还能为人类在互联网上保留一些空间。(Anthropic 和 OpenAI 给出了更官方的理由:欧盟《人工智能法案》现在要求他们以机器可读的方式标记 AI 生成的内容。我不知道他们对粗劣内容作何感想。)

结果是,Claude 现在写出的几乎所有内容都带有隐藏水印。粗劣内容过滤器需要一种检测水印的方法。而遗憾的是,就目前而言,只有大型 AI 公司及其批准的少数机构才能检测水印。

Anthropic 的关于标记 AI 生成内容的支持页面现在显示,其所有最新模型以及部分旧模型,在全球所有可以使用 Claude 的界面上都会为文本添加水印。(Bruce Hopkins 在 Radar 上报道了 Anthropic 的公告。)Google 自 2024 年起就在其 Gemini 应用中使用文本水印,10 月 OpenAI 宣布将在欧盟的 ChatGPT 和 Codex 文本中添加水印。但这些公司都不允许公众用其检测器检查文本。(Google 的 synthid.com 允许任何人检查图像、视频和音频中的水印,包括用 ChatGPT 生成的图像,但不允许你检查任何 AI 实验室生成的文本。)

我读过关于水印的文章,但对其工作原理并不真正了解。于是我做了任何优秀开发者大概都会做的事:尝试推理一番,基于我对大语言模型工作原理的了解,想出了一个我认为合理的水印工作方式。奇怪的是,结果证明我基本上是对的,这并不是因为我是个了不起的天才,而是因为水印其实相当简单,如果你了解 LLM 输出部分的工作原理,你大概自己就能设计出一个不错的水印系统。

我现在对模型工作原理如此感兴趣,是因为我的下一本 O'Reilly 书——深入探讨模型工作原理的《Be the Model》,我们计划明年年初出版。过去一年里,我花了很多时间认真思考如何解释 LLM 的内部机制,结果发现,你不需要理解模型内部的大部分部件就能明白水印是如何工作的。你只需要了解最末端的那一小部分。

那我们来做个实验。我先描述一下模型运作的相关细节,然后,在我解释水印技术如何工作之前,我想让你先猜一猜,看看你能猜得多接近。

你唯一需要了解的模型部分

模型内部会发生很多事情。你可能听说过 transformer 块,也可能知道什么是上下文窗口。这些都是整个机器的一部分。但模型的核心是一个预测下一个词的机器:你给它一堆文本作为上下文,它预测下一个词。对水印技术而言,重要的是输入这台机器的是什么,以及输出的是什么。

输入机器的是 token。我们都知道,支付 API 账单时,你按每百万 token 支付一定金额,但我们并不总是解释 token 是什么。还记得人们发现 AI 在数单词 strawberry 中有几个 r 时表现很差吗?部分原因是 AI 根本看不到字母。它只处理数字。

每个模型都有一个固定的 token 词汇表,包含它认识的每个单词和单词片段,每个 token 都有一个数字,称为 token ID。在输入机器时,分词器会将你的文本拆分成 token,并将每个 token 替换为其 ID。例如,如果你问 GPT-2(OpenAI 于 2019 年创建的早期 LLM)"how many r's are in strawberry",它的分词器会将单词 strawberry 转换为单个 token,编号 41236。模型得到的是这个数字,而不是字母 s-t-r-a-w-b-e-r-r-y,因此它没有任何实际字母可数。

常见单词通常有自己单独的 token。但不在词汇表中的单词会被拆分成更小的、在词汇表中的片段,这就是分词器能处理你提供的任何文本的方式。GPT-2 的词汇表中有一个前面带空格的 "strawberry" 的 token,但没有不带空格的 "strawberry" 的 token。因此,如果 strawberry 是文本的第一个词,前面没有空格,分词器会将其拆分成三个在词汇表中的片段:st、raw 和 berry。

GPT-2 的词汇表中有 50,257 个 token。如果你有 Python 并安装了 Hugging Face 的 transformers 库,可以用以下命令检查 GPT-2 的词汇表大小和 strawberry 的 token:

python3 -c "from transformers import AutoTokenizer; 
t=AutoTokenizer.from_pretrained('gpt2'); print(len(t)); 
print(t.tokenize(' strawberry'), t.tokenize('strawberry'))"

如果你没有 Python 或不想安装 transformers,可以打开 ChatGPT、Claude.ai 或 Gemini,把那条命令粘贴进去,它们(可能)会为你安装该库并运行。它应该会打印 50257,然后是 ['Ġstrawberry'] ['st', 'raw', 'berry']。Ġ 是这个分词器表示空格的方式。(如果你没有安装 PyTorch,会先看到相关警告,可以忽略。)

token ID 进入上下文窗口,它只是一个大的数字数组,然后 AI 开始工作。上下文窗口包含模型在做出下一个词预测时看到的所有 token。如果你在使用聊天功能,它通常包含到目前为止的整个对话(你之前的提示和 AI 之前的回复),以及聊天应用在后台添加的任何指令或文件。当你发送新消息时,它通常会被添加到上下文窗口的末尾,AI 回复中写的每个 token 也是如此,因此窗口会随着对话的进行不断增长(直到达到大小限制,此时应用必须压缩或丢弃较旧的部分)。

机器另一端输出的是整个词表中每个 token 的概率:即模型对每个 token 成为下一个 token 的可能性的估计,所有概率加起来为 100%。

模型的工作到概率为止,它从不挑选词。挑选下一个 token 是另一个名为推理运行时(inference runtime)或运行器(runner)的独立程序的工作。运行器可以每次都取最可能的 token,也可以掷骰子随机挑选一个 token,让每个 token 获得与其概率相符的机会。我们习惯认为 AI 是非确定性的:把完全相同的提示连续给同一个 AI 10 次,你会得到 10 个略有不同的答案,有时甚至截然不同。这种随机性完全在运行器中完成。给模型相同的上下文窗口,它就会产生相同的概率。然后运行器将它选中的 token 加入上下文窗口,再次运行模型以获取下一个 token。

你能猜出简单水印是如何工作的吗?

如果你想在 AI 的文本中隐藏一种日后可以检测到的模式,而你能触及的只有概率或运行器的掷骰子,你会怎么做?

以下是我的猜测。我会把 token 分成两组,然后调高其中一组的概率,调低另一组的概率。接着,由于我知道哪些 token 属于被偏袒的组,我可以做一些相当基础的统计分析,来判断它们是否出现得比应有的频率更高;如果确实如此,这段文本很可能带有水印。

事实证明,这是一种真实且广为人知的水印,称为绿名单(green list)方法,出自 John Kirchenbauer 及其马里兰大学同事 2023 年的论文“A Watermark for Large Language Models”。他们把被偏袒的组称为绿名单,把词表的其余部分称为红名单。在挑选之前,运行器会提高每个绿色 token 的概率。红色 token 从不被触碰,但每个的份额会下降,因为概率仍然必须加起来为 100%。

举个例子。假设一个小模型只知道五个词(cat、tree、the、by 和 sat),它刚读完 the 这个词,所以正在预测下一个词。第一列概率显示模型给这五个词各自的概率。现在假设 tree 和 by 在这个位置属于绿名单,因此运行器在挑选前提高了这两个词的概率。第二列概率显示提升后的概率:

下一个词提升前的概率提升后的概率
cat56.3%37.9%
tree20.7%37.9%
the12.6%8.4%
by7.6%13.9%
sat2.8%1.9%

Tree 现在与 cat 并列。模型产生的概率与之前相同,运行器在模型完成后提高了其中两个的概率。

不过,我的猜测漏掉了一个重要细节。每次 runner 挑选 token 时,绿色名单不可能都一样。如果每次都一样,那么同一批受偏好的词就会在整段文本中反复出现,任何读得足够多的人都能推断出是哪些词。因此,runner 会用一个密钥与紧邻其前的 token 混合,来确定每个 token 的绿色名单。要检查水印,就取出文本中的每个 token,用密钥和前一个 token 重建其绿色名单,再检查该 token 是否在名单上。如果绿色名单占词汇表的一半,那么普通文本中大约有一半的 token 会碰巧是绿色的。而在带水印的文本中,绿色 token 的比例会高得多。统计检验可以告诉你,碰巧得到这么多绿色 token 的可能性有多低。你不需要模型来检查,只需要密钥和分词器。

SynthID:Claude 实际使用的方法

Anthropic 表示,Claude 的水印是 SynthID-Text 的一个版本,该方法由 Google DeepMind 于 2024 年发表在 Nature 上,并用于其自家的 Gemini 应用。它和绿色名单一样在 runner 中起作用,但以不同的方式将模式植入文本。Anthropic 将其描述为一种“只改变用于在词之间进行挑选的随机性来源”的水印。所以我的猜测是一种真实存在的方法,但 Claude 用的是另一种。

基本思路是这样的。runner 不提高某些词的概率,而是掷几次骰子,从而得到下一个词的几个候选。然后它为每个候选掷一枚硬币。硬币是正面还是反面,取决于密钥、候选词以及紧邻其前的几个词,因此任何持有密钥的人之后都能掷出同样的硬币、得到同样的结果。runner 会写下硬币为正面那个候选词。如果所有候选都是同一个词,那就没什么可选的,因此水印只会进入模型真正有选择余地的位置。

要检查一段文本,持有密钥的检测器会逐词遍历,重新进行每一次掷硬币,并统计正面的次数。普通文本大约有一半时间是正面,而带水印的文本出现正面的频率更高。真正的检测器做的远不止计数,但思路就是这样。

这有点复杂,单凭描述很难想象。幸运的是,我有一个更好的办法让你理解水印是如何工作的。

成为水印

我提到过,我的新书 Be the Model 将于明年出版。它的出发点是:AI 工具已经变得极其精密,甚至像 ChatGPT 和 Claude.ai 这样的网页聊天工具也是如此。它们能为你运行 Python 代码,还能根据一条提示写出完整的交互式 HTML 页面。那为什么不把它们当作学习工具呢?

这就是这本书的主要理念之一。你将使用 AI 工具创建网页(我称之为“玩具”),让你能摆弄 LLM 的不同部分,从而对它们的工作原理获得直观感受。这些玩具让你能亲手完成模型所做的一部分工作,所以你通过成为模型来学习模型是如何工作的。

每个玩具都从一段简短提示和一张页面外观图开始。我想,对于这篇文章,你可以构建一个“成为水印”的玩具。我认为这其实是感受 SynthID 实际工作方式的好方法。

保存下面的图片,然后复制它下方的提示词,将两者一起粘贴到一个全新的 ChatGPT 或 Claude.ai 聊天中。(在书中,你不会拿到现成的提示词;大部分提示词都是你自己想出来的。)

等 AI 构建完成后,你会得到一个页面,上面有一则短故事和一个密钥 3 1 4 1 5。故事中的大多数单词都有一个下拉菜单,里面是近义词,比如 creek、pond、lake 和 pool。点击 Run,页面就会像检测器一样检查故事。它逐词遍历故事,并为每个词抛硬币。抛硬币的方法是:将该词及其前面四个词的 token ID 分别乘以密钥的五个数字,再求和,如果最后一位是 5 到 9,就算作正面。(在这个玩具示例中,一个词的 token ID 就是它在页面上所有单词的字母顺序列表中的位置。)在图片中,页面正在检查 creek。tabby、rested、by、the 和 creek 这五个词的 token ID 分别是 62、48、8、63 和 11。分别乘以密钥数字 3、1、4、1 和 5,得到 186 + 48 + 32 + 63 + 55 = 384,最后一位是 4,所以 creek 的结果是反面。然后页面统计正面的数量。初始故事在 32 次抛硬币中有 14 次正面,大约一半,因此页面显示“No watermark found.”

Be the watermark

构建一个白色背景的 HTML 页面,效果与附图一致。所有文字,包括按钮标签和密钥数字,都使用深色,与背景形成高对比度。一个词的 token ID 是它在故事和下拉菜单中所有不同单词的字母顺序列表中的位置(从 0 开始计数)。忽略大小写和标点。

故事开头是:On a sunny day, the tabby rested by the creek. A duck glided over the water. The dog ran to the beach and barked. The toad jumped onto a rock. The bird sang in the tree.

前四个词之后,每个属于以下某一组的词都会获得一个包含该组选项的下拉菜单:cat/kitten/kitty/tabby、sat/rested/waited/stayed、by/beside/near、pond/lake/pool/creek、duck/goose/swan、swam/paddled/floated/drifted/glided、across/over、dog/puppy/hound/pup、ran/raced/dashed/hurried/rushed、to/toward、shore/bank/beach、barked/yapped/growled/howled、frog/toad、jumped/hopped/leaped/sprang、onto/upon、rock/stone/log、bird/robin/sparrow/wren、sang/chirped/tweeted/whistled、in/from、tree/oak/elm/maple。展开下拉菜单时,每个选项都会显示在当前密钥下该位置的硬币是正面还是反面;收起下拉菜单时只显示单词本身。

抛硬币就是图片中的求和:密钥数字乘以该词及其前面四个词的 token ID。如果和的最后一位是 5 到 9,就是正面;0 到 4 是反面。从第五个词开始,逐词检查故事,为每个乘积和累加和添加动画,高亮当前词及其前面四个词,并统计正面数量。完整运行大约需要 10 秒。检查结束时,如果正面比例至少为 60%,就在正面计数旁动画显示一个写着“Watermark detected”的对勾徽章;否则显示“No watermark found.”。更改密钥或单词会清除正面计数。只使用 Step、Run 和 Reset 按钮。Reset 保留密钥和单词。

你的任务是充当水印。当你打开一个下拉菜单时,它会显示在当前密钥下,其中每个词在该位置会被判定为正面还是反面。把一些反面词换成正面词,然后再次运行检查。当至少 60% 的抛硬币结果为正面(32 次中的 20 次)时,页面会显示“检测到水印”徽章。每次你从下拉菜单中选择一个正面词,你都在做运行器的工作。唯一的区别是,运行器只能在它掷骰子得到的少数候选词中选择,所以有时没有正面词可选。

这比看起来要难一点,因为当你替换一个词时,它也会改变接下来四个词的抛硬币结果。每个词的抛硬币使用该词及其前面的四个词,所以你刚刚替换的词是接下来四个求和的一部分,其中任何一次抛硬币结果都可能不同。有几点需要知道:

  • 替换永远不会改变它之前那些词的抛硬币结果,所以从左到右操作会有帮助,这和运行器书写的方式相同。
  • 替换可能会让你在一个没有下拉菜单的词上失去正面结果,比如 the 或 water。修复这类词的唯一方法是改变它前面的一个词。
  • 如果你回头改变一个较早的词,你已经选过的一些词现在可能会得出不同结果,所以请再次检查下拉菜单。

看看你能否让页面为你的故事显示水印。

一旦你获得徽章,把密钥的最后一位数字改成 6,然后再次运行检查。你的正面计数可能会回落到一半左右,水印徽章会消失,即使水印仍然存在,因为页面正在用错误的密钥进行检查。(故事仍有可能碰巧通过错误密钥的检查。)

你还会注意到,前四个词“On a sunny day”没有下拉菜单,检查直到第五个词才开始。一次抛硬币需要一个词及其前面的四个词,所以前四个词前面没有足够的词来抛硬币。

如果你想查看某个特定词的数学计算,可以问构建该页面的 AI 它是如何计算该词被判定为正面还是反面的。它应该会带你了解 token ID、密钥数字和求和过程。如果动画感觉慢,你可以让它重做页面,使动画运行得更快。要恢复原始故事,请重新加载页面。

这个玩具的词汇表有 75 个词,其中 48 个词,比如 pool 和 puppy,不会出现在起始故事中。它们是下拉菜单中的近似等价词。真实模型的词汇表也是同样的运作方式,因为它是预先固定的,任何一段文本只使用其中一小部分。

这么短的故事也说明了为什么真实检测器在更长的文本上效果更好。对于 32 次互不影响的公平抛硬币,大约每 9 次会有一次得到至少 60% 的正面结果,所以这么短的故事上的徽章并不能证明什么。在数百个词的情况下,这种正面比例偶然出现的概率会变得非常小。

这个玩具比真实的东西简单得多。真实的 token ID 不是按字母顺序排列的。真实的 SynthID 使用大得多的密钥,用哈希函数而不是求和来混合密钥和词,并且对每个词进行多轮抛硬币而不是一轮。它的检测器对这些轮次赋予不同权重,并且针对每个密钥在水印文本和普通文本上进行训练,而不是仅仅计算正面次数。

为什么你暂时无法检查它

你刚刚做了AI公司所担心的事。有了密钥,你就能看出哪些词被标记为正面并替换它们,而同样的技巧反过来也成立:拥有密钥的人可以去除AI文本中的水印,或者故意写出大量正面标记的词,让某人写的东西看起来像是Claude写的。如果公司公开他们的密钥,任何人都可以轻松地为你常用的文本编辑器编写一个水印检测器,自动修改文本以去除水印,这就违背了初衷。

这很可能就是他们保密密钥的原因,也是为什么目前只有他们及其批准的少数机构能够检测水印。我不知道自己是否认同这一理由,但我能理解这个问题很复杂。与此同时,我正在申请访问Claude的检测器(这也是本文标题中“尚未”一词的由来)。

来源:O'Reilly Radar · oreilly.com

来源:RadarAI · aihot.news