跳到正文
The Decoder· Matthias Bastian·· 3 小时前AI 评分58

研究总结 AI 文本难读的六种语言模式

Researchers find six patterns that make AI text so exhausting to read

AI 导读

纽约大学与得克萨斯大学奥斯汀分校的研究者让 Claude、GPT-5.6、GLM-5、Kimi K2.5 以及 Llama、Olmo 等 14 个语言模型生成对话、编码会话和议论文,共分析 120 段对话、45 次编码会话和 980 篇议论文,并与电影字幕、StackExchange 和学生作文等人类文本对比。

正文 · AI 翻译

纽约大学和得克萨斯大学奥斯汀分校研究人员的一项研究用数据支持了这一点。研究团队让14个语言模型在闲聊、编程会话和议论文写作中生成文本。阵容包括Claude、GPT-5.6、GLM-5、Kimi K2.5,以及Llama和Olmo等较小的开源模型。研究人员总共分析了120段对话、45次编程会话和980篇文章,然后将它们与来自电影字幕、StackExchange和学生作文的人类撰写文本进行了比较。

让AI文本读起来费劲的六种模式

AI模型过度使用人类写作中很少出现的不寻常词语组合,比如“reader-patience budget”,并且它们把句子中相关的部分放得很远,加重了工作记忆的负担。Claude Opus 5生成了“A cat who can always get up and away is a much calmer cat”,其中主语和主要谓语被一个长从句隔开。

省略连接词的缩略指代也很常见。模型不写“the book that the professor wrote”,而是写“the book the professor wrote”,省了一个词,却让人一时搞不清各部分如何衔接。像“horror movie soundtrack generator”这样的名词堆叠迫使读者自己去判断哪个词修饰哪个词。

AI模型过度使用的六种语言结构,每种都附有研究数据集中的一个示例。| 图片:Clark, Martin & Mahowald (2026)

模型会在人类不会这样用的地方把名词变成动词。Claude Fable 5写出了“calendar it”,而人类会说“put it in the calendar”。它们还把有生动词用于无生命主语。Claude Opus 5生成了“The whole conversation is eating its own tail”,尽管对话没有尾巴,也不能吃东西。读者能明白意思,但需要多花一拍。

较小的模型写得更像人类

Llama和Olmo基础模型最接近人类文本。在Olmo系列中,分数从基础模型到指令变体再到推理模型Olmo Think稳步上升,后者达到了前沿水平,这表明后训练可能是原因。Claude Opus 5.5在21项比较中有19项胜过其前代Opus 5,表明有针对性的微调可以改善可读性。

每个模型在六项测量特征上与人类文本(虚线)的偏离程度因模型系列和使用场景而差异很大。| 图片:Clark, Martin & Mahowald (2026)

训练奖励信息密度而非清晰度

研究人员表示,人类语言在易于产出与易于理解之间取得平衡,但现代语言模型越来越多地接受数学、代码和逻辑推理等任务的训练,在这些任务中正确性会得到奖励,而清晰度不会。

研究人员认为,从RLHF(基于人类反馈的强化学习)转向RLVR(基于可验证奖励的强化学习)使人类完全退出了反馈回路,模型发展出一种“方言”,它非常擅长压缩信息和解决复杂问题,但对人类读者来说效果很差。

作为概念验证,研究人员训练了一个较小的语言模型,并加入惩罚项以奖励更简短的回答。在某些训练条件下,该模型几乎无一例外地偏好更简短的措辞,无论上下文如何,甚至将这种偏好泛化到训练中从未见过的句式。相比之下,人类会根据情境在较短和较长的变体之间做出选择。

类似的解释也来自行业内部。负责 Claude 微调的 Anthropic 员工 Jackson Kernion 最近解释了为什么 Opus 4.6 是 Anthropic 最后一个优秀的“写作模型”。针对数学、代码以及面向其他 AI 模型的技术解释来优化较新的模型,将 Claude 推向了一种对 AI 有效、但读起来对人类来说过于密集和不自然的风格。Kernion 称这是对“LLM 心理学”的适应。在 Opus 5.5 中,Anthropic 首次做出调整,解决句子清晰度和信息块过载的问题,而正如该研究所显示的,这一调整取得了成功。

来源:The Decoder · the-decoder.com