模型崩溃并非新事,也不专属于 AI
Model Collapse Isn't New, nor Is It Specific to AI
文章指出模型崩溃并非 AI 独有:2024 年 Nature 论文中 Ilia Shumailov 等人发现,用 AI 生成内容训练模型会引发不可逆缺陷,使原始内容分布的"尾部"消失。作者类比欧洲历史上单一权威垄断解释权的时期,认为当下人们主动选择便利的 AI 答案,同样在抹平差异。出路不是停用 AI,而是寻求第二意见、保留异见者并守住自己的原始目标。
我们都听过那种老生常谈的抱怨,说AI只是对它训练过的开源代码进行重新混合。这是事实,而且已经被争论到烂了,但有些更安静的事情正在发生,而我认为这更重要。
你打开聊天窗口,输入“帮我做一个笔记应用”。AI会建议功能,然后是一个名字、一个配色方案、一个定价模型和一个发布策略。你挑选你喜欢的那些,并感觉自己像个架构师。
这没什么问题,直到你拉远视角,意识到你其实什么都没设计。你只是从别人写好的菜单里做选择。在某些情况下,你最初的目标已经被悄悄替换成了你可能需要、也可能不需要的东西。
而且这不会止步于你的产品。在一项针对1,506人的研究中,那些使用有倾向性的AI助手写作的人,不只是写作方式不同了。他们自己的观点也向AI的观点偏移了。1
当一个实体处理了世界上几乎所有信息时,它会形成一种非常具体的“正确”感:最佳实践、平衡的观点、最优答案。而且它不只是给你建议。它给所有人建议。
数百万人,一个神谕,一个答案。然后他们把它发布出去,它就变成了明天的训练数据。
研究人员已经测量了接下来会发生什么,至少在机器内部是这样。在2024年《自然》杂志的一篇论文中,Ilia Shumailov和他的同事发现,用AI生成的内容训练AI“会导致所得模型出现不可逆的缺陷,其中原始内容分布的尾部消失了。”他们称之为模型崩溃。2
“尾部”是那些罕见的东西:不寻常的、怪异的、百万分之一的。换句话说,正是推动进步的那些东西。
答案并没有错。在很多方面,它就是真相。问题就在这里。
它是一种平均化的真相。它是正确的。它是精致的。它是为了讨人喜欢而优化的。但是,它缺少现实生活的动力,它缺少那个变成发现的错误,那个世界上其他任何实体都未曾发现过的错误。
我们以前见过这种情况,早在机器出现之前。
几个世纪以来,欧洲大部分地区都运行在一个单一的真理来源之上:一部神圣文本,以及一个解释它的机构。3你不需要自己去弄明白。你提问,然后收到答案,和其他所有人收到的答案一样。这不是对信仰的评判,信仰数千年来一直给人们带来意义、社群和道德指南针。这关乎当所有人都咨询同一个来源时,思考会发生什么。问题开始看起来像异端,变化开始看起来像错误。解释变得稳定、连贯,而且非常、非常缓慢。4尾部消失了。
神圣文本从来不是问题(互联网数据)。对它的解释垄断才是(AI版本的真理)。
然后某种东西打破了垄断。印刷机把文本交到了比任何机构所能监管的更多人的手中。人们自己阅读它,产生分歧并争论,其中一些人因此被烧死。尾部回来了,随之而来的是宗教改革、科学革命,以及我们今天所生活的这个混乱、嘈杂、自我纠正的世界。5
区别
这一次,在AI时代,情况有了转折。
没有人把这份神谕强加给我们。没有机构要求我们服从,也没有对异端的惩罚。你随时可以关掉这个标签页。
我们选择了它,因为它方便。
而便利是一种比强制更有效的权威。没有人会反抗能为自己节省时间的东西。当一切都不被禁止时,也就没有什么需要偷偷夹带。只有一个非常有用的答案。我们每个人都得到一个更好的答案,而合在一起,我们所有人得到的都是同一个答案。6
印刷机打破了一种强加于人的垄断。但对于一种我们所有人都自愿加入的新垄断,还没有人发明出对应的印刷机。还没有。
出路
出路不是停止使用AI。去用它,用它来创造,让它为你节省时间。
只是别让它成为房间里唯一的声音。
寻求第二种意见:
当AI给你答案时,去问一个人。更好的做法是,去问一个与你意见相左的人。
寻找局外人:
把你的想法展示给一个身处你的领域、你的信息流和你的行业之外的人。他们没有被和你相同的数据训练过。
身边留一个异端:
每个团队都需要那个说“那是最佳实践,所以我们来试试反着做”的人。他们大多数时候都会错。而他们对的那一次,就是发现。
守住你最初的目标:
在你打开聊天窗口之前,写下你真正想建造的东西。做完之后,对比一下。如果AI的版本胜出了,要确保它靠的是优点,而不是便利。
接受建议,但别把你的品味外包出去:
AI能告诉你什么是对的。只有你能决定什么是你的。
模型崩溃并不新鲜。人类以前就经历过,并找到了出路——靠的是那些固执、不合时宜、拒绝接受和所有人相同答案的人。
做一个不合时宜的人。
-
Jakesch, M., Bhat, A., Buschek, D., Zalmanson, L., & Naaman, M. (2023). Co-Writing with Opinionated Language Models Affects Users' Views. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. https://doi.org/10.1145/3544548.3581196 ↩︎
-
Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., & Gal, Y. (2024). AI models collapse when trained on recursively generated data. Nature, 631, 755–759. https://doi.org/10.1038/s41586-024-07566-y ↩︎
-
Harari, Y. N. (2024). Nexus: A Brief History of Information Networks from the Stone Age to AI. Random House. 哈拉里认为,把一本圣书视为绝无谬误,并不能消除人的易错性。它只是把权威转移给了它的解释者,并将此与科学的自我纠错机制作了对比。 ↩︎
-
历史学家有理由告诫人们不要相信“黑暗时代”的神话。中世纪教会也保存了文本、创办了大学并支持了早期科学。这里的要点更狭窄:当单一来源垄断了解释权时会发生什么。参见 Numbers, R. L. (Ed.). (2009). Galileo Goes to Jail and Other Myths about Science and Religion. Harvard University Press. ↩︎
-
Eisenstein, E. L. (1979). The Printing Press as an Agent of Change. Cambridge University Press. ↩︎
-
Doshi, A. R., & Hauser, O. P. (2024). 生成式 AI 提升个体创造力,但降低新颖内容的集体多样性。Science Advances, 10(28), eadn5290. https://doi.org/10.1126/sciadv.adn5290 ↩︎
来源:Hacker News · rulr.dev