Mistral CEO 称强大 AI 模型应回归公共所有
Mistral CEO 主张,LLM 预训练汲取了互联网上本为公共福祉免费开放的内容,AI 公司却将其训练成强大模型再高价卖回,因此强大模型应作为开放权重回归公共所有、供任何人免费下载使用。他认为对全部训练数据主张强版权并不可行,因为 LLM 与人类一样是学习后综合新内容而非完美复制原文。
有一种关于构建 LLM 伦理的思考方式值得更多关注:
在 LLM 的预训练过程中,我们将互联网上大量的人类集体作品提炼进模型的权重之中。当这些知识被创造时,我们并未意识到 LLM 会成为可能。这些内容被免费发布供他人阅读,本质上作为一种公共物品。这不仅包括我们所有的文字作品,还包括 GitHub 等平台上大量的开源代码。
一旦 LLM 被发现,AI 公司便能够轻易获取这些内容(数以万亿计的 token),训练出强大的模型,然后以数千亿美元的价格卖回给我们。他们拿走了我们为公共利益而免费发布的东西,然后将其变成万亿美元的公司,主要为自己谋利。尤其是基于 GitHub 训练的编程模型,非常有用且利润丰厚。
与此同时,我认为我们无法对所有训练数据提出强有力的版权主张。LLM 与人类类似,并不会完美复制源文本,而是从中学习,然后合成新的内容。如果我们想禁止 LLM 从中学习,我们就需要回答为什么人类被允许这样做。
有一种优雅的方式可以化解这一矛盾:我们应该将由此产生的模型归还给公共领域,公开释放,让任何人都能自由下载和使用。这样一来,数据就不会被重新利用为少数人的利润,而只是被转化为对社会更有用的形式。这就是开放权重模型背后的核心理念,这类模型正蓄势待发,并开始与专有 AI 实验室的模型相抗衡。
在 AI 行业工作多年、构建了许多 LLM 之后,我愈发坚信这是正确的观点。
尽管如今大多数人似乎并不这样思考,但我相信随着时间的推移,这将成为主流观点,而当前的 AI 发展状况在回顾时会显得很奇怪。前提是到那时模型还没有接管一切。
来源:RadarAI · aihot.news