Simon Willison 发布 ttok 1.0，默认 tokenizer 切换至 GPT-5/GPT-6

我发布了 ttok 0.4，运行了 uv tool upgrade ttok，把一个文件通过管道传给了新版本……然后意识到它默认使用的是 GPT-4 分词器，而它显然应该默认使用 GPT-5/GPT-6！

我觉得切换默认值是一个合理的借口，终于可以发布 1.0 了。

OpenAI 实际上还没有确认 GPT-6 使用与 GPT-5 系列相同的分词器——有一个关于此事的愤怒 issue——但我发现了 William Liu 的这个 commit，其中报告了他进行的一项实验，确认这些分词器很可能是相同的：

所有七个 GPT 模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）都报告了 44,794 个 token，并且在全部 31 个测试样本上彼此一致。GPT-6 在这个语料库上没有引入任何输入计数的变化。