跳到正文
Hacker News· hovhannesian·· 10 天前AI 评分27

模型崩溃并非新事,也不专属于 AI

Model Collapse Isn't New, nor Is It Specific to AI

AI 导读

文章指出模型崩溃并非 AI 独有:2024 年 Nature 论文中 Ilia Shumailov 等人发现,用 AI 生成内容训练模型会引发不可逆缺陷,使原始内容分布的"尾部"消失。作者类比欧洲历史上单一权威垄断解释权的时期,认为当下人们主动选择便利的 AI 答案,同样在抹平差异。出路不是停用 AI,而是寻求第二意见、保留异见者并守住自己的原始目标。

正文 · AI 翻译

我们都听过那种老生常谈的抱怨,说AI只是对它训练过的开源代码进行重新混合。这是事实,而且已经被争论到烂了,但有些更安静的事情正在发生,而我认为这更重要。

你打开聊天窗口,输入“帮我做一个笔记应用”。AI会建议功能,然后是一个名字、一个配色方案、一个定价模型和一个发布策略。你挑选你喜欢的那些,并感觉自己像个架构师。

这没什么问题,直到你拉远视角,意识到你其实什么都没设计。你只是从别人写好的菜单里做选择。在某些情况下,你最初的目标已经被悄悄替换成了你可能需要、也可能不需要的东西。

而且这不会止步于你的产品。在一项针对1,506人的研究中,那些使用有倾向性的AI助手写作的人,不只是写作方式不同了。他们自己的观点也向AI的观点偏移了。1

当一个实体处理了世界上几乎所有信息时,它会形成一种非常具体的“正确”感:最佳实践、平衡的观点、最优答案。而且它不只是给你建议。它给所有人建议。

数百万人,一个神谕,一个答案。然后他们把它发布出去,它就变成了明天的训练数据。

研究人员已经测量了接下来会发生什么,至少在机器内部是这样。在2024年《自然》杂志的一篇论文中,Ilia Shumailov和他的同事发现,用AI生成的内容训练AI“会导致所得模型出现不可逆的缺陷,其中原始内容分布的尾部消失了。”他们称之为模型崩溃。2

“尾部”是那些罕见的东西:不寻常的、怪异的、百万分之一的。换句话说,正是推动进步的那些东西。

答案并没有错。在很多方面,它就是真相。问题就在这里。

它是一种平均化的真相。它是正确的。它是精致的。它是为了讨人喜欢而优化的。但是,它缺少现实生活的动力,它缺少那个变成发现的错误,那个世界上其他任何实体都未曾发现过的错误。

A three-panel comic. The best car: three identical race cars whose drivers say 'Same engine', 'Same tires', 'Same everything'. The heretic: an engineer holds up a sketch of a car with a tail while the team boss shouts 'A tail?! That's anti-aerodynamic!'. The tail: a car with a rear wing; airflow hits the wing ('a little less aerodynamics') while green arrows press the car into the track ('a lot more grip'), under a lap-time board where the tail car beats the best car.
每个人都得到了最好的车。没有人造出下一辆。 (教科书是对的。只是针对了错误的问题。)

我们以前见过这种情况,早在机器出现之前。

几个世纪以来,欧洲大部分地区都运行在一个单一的真理来源之上:一部神圣文本,以及一个解释它的机构。3你不需要自己去弄明白。你提问,然后收到答案,和其他所有人收到的答案一样。这不是对信仰的评判,信仰数千年来一直给人们带来意义、社群和道德指南针。这关乎当所有人都咨询同一个来源时,思考会发生什么。问题开始看起来像异端,变化开始看起来像错误。解释变得稳定、连贯,而且非常、非常缓慢。4尾部消失了。

神圣文本从来不是问题(互联网数据)。对它的解释垄断才是(AI版本的真理)。

然后某种东西打破了垄断。印刷机把文本交到了比任何机构所能监管的更多人的手中。人们自己阅读它,产生分歧并争论,其中一些人因此被烧死。尾部回来了,随之而来的是宗教改革、科学革命,以及我们今天所生活的这个混乱、嘈杂、自我纠正的世界。5

区别

这一次,在AI时代,情况有了转折。

没有人把这份神谕强加给我们。没有机构要求我们服从,也没有对异端的惩罚。你随时可以关掉这个标签页。

我们选择了它,因为它方便。

而便利是一种比强制更有效的权威。没有人会反抗能为自己节省时间的东西。当一切都不被禁止时,也就没有什么需要偷偷夹带。只有一个非常有用的答案。我们每个人都得到一个更好的答案,而合在一起,我们所有人得到的都是同一个答案。6

印刷机打破了一种强加于人的垄断。但对于一种我们所有人都自愿加入的新垄断,还没有人发明出对应的印刷机。还没有。

出路

出路不是停止使用AI。去用它,用它来创造,让它为你节省时间。

只是别让它成为房间里唯一的声音。

寻求第二种意见:
当AI给你答案时,去问一个人。更好的做法是,去问一个与你意见相左的人。

寻找局外人:
把你的想法展示给一个身处你的领域、你的信息流和你的行业之外的人。他们没有被和你相同的数据训练过。

身边留一个异端:
每个团队都需要那个说“那是最佳实践,所以我们来试试反着做”的人。他们大多数时候都会错。而他们对的那一次,就是发现。

守住你最初的目标:
在你打开聊天窗口之前,写下你真正想建造的东西。做完之后,对比一下。如果AI的版本胜出了,要确保它靠的是优点,而不是便利。

接受建议,但别把你的品味外包出去:
AI能告诉你什么是对的。只有你能决定什么是你的。

模型崩溃并不新鲜。人类以前就经历过,并找到了出路——靠的是那些固执、不合时宜、拒绝接受和所有人相同答案的人。

做一个不合时宜的人。


  1. Jakesch, M., Bhat, A., Buschek, D., Zalmanson, L., & Naaman, M. (2023). Co-Writing with Opinionated Language Models Affects Users' Views. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. https://doi.org/10.1145/3544548.3581196 ↩︎

  2. Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., & Gal, Y. (2024). AI models collapse when trained on recursively generated data. Nature, 631, 755–759. https://doi.org/10.1038/s41586-024-07566-y ↩︎

  3. Harari, Y. N. (2024). Nexus: A Brief History of Information Networks from the Stone Age to AI. Random House. 哈拉里认为,把一本圣书视为绝无谬误,并不能消除人的易错性。它只是把权威转移给了它的解释者,并将此与科学的自我纠错机制作了对比。 ↩︎

  4. 历史学家有理由告诫人们不要相信“黑暗时代”的神话。中世纪教会也保存了文本、创办了大学并支持了早期科学。这里的要点更狭窄:当单一来源垄断了解释权时会发生什么。参见 Numbers, R. L. (Ed.). (2009). Galileo Goes to Jail and Other Myths about Science and Religion. Harvard University Press. ↩︎

  5. Eisenstein, E. L. (1979). The Printing Press as an Agent of Change. Cambridge University Press. ↩︎

  6. Doshi, A. R., & Hauser, O. P. (2024). 生成式 AI 提升个体创造力,但降低新颖内容的集体多样性。Science Advances, 10(28), eadn5290. https://doi.org/10.1126/sciadv.adn5290 ↩︎

来源:Hacker News · rulr.dev