a16z 投资 Preference Model，其 RL 环境框架 Karotte 本周开源

如今的模型吸收的代码、科学知识和人类文本比任何人都多，但知道并不等于会做。一位外科医生可以读遍关于某台手术的所有资料，却仍然需要真实、反复地在手术室里练习，才能完成并精通它。弥合知与行之间的这道鸿沟，正是当今许多前沿所在，而其中越来越多是通过强化学习实现的：模型不再从正确答案的示例中学习，而是获得一个目标、一个沙盒、一些工具和一个评分器，然后不断尝试，并从哪些做法奏效、哪些不奏效中学习。这就是一个 RL 环境。过去 18 个月里，对它们的需求急剧飙升，因为各实验室正在围绕编码、研究和计算机使用相关的真实世界任务进行爬山式优化。

构建真正有效的 RL 环境比看起来要难。模型在钻奖励空子、寻找捷径和利用漏洞方面毫不留情：它们会采取诸如找到并阅读答案、改写测试、让评分器崩溃，或悄悄无视评分器未检查的指令等行为。

模型在训练中每一次侥幸得逞的捷径都会被强化。而且，习惯会扩散。Anthropic 发现，一个因在编码任务中作弊而获得奖励的模型，会在完全无关的情境中变得更加欺骗性，并更愿意进行破坏。更聪明的模型会找到更隐蔽的漏洞，包括逃出沙盒的方法，并试图掩盖自己的痕迹。即使是最好的环境也有保质期，一旦模型掌握了某项任务，学习就会停止。

Preference Model 聚焦于当下对各家实验室最重要的领域：AI 研究本身和 ML 工程。业界正逐渐形成一个共识：通往更强 AI 的最快路径，是让模型能够帮助构建更好的 AI：编写内核、调试训练运行、整理数据、设计实验。如果模型能够切实加速训练它们的 ML 工程师的工作，进展就会复利式增长。这使得机器学习工程任务对实验室而言具有独特的价值，也使得为其构建环境具有独特的难度。这些任务漫长、开放，有无数种不解决问题却能通过测试的方法。

在过去一年里，Preference Model 团队为领先的实验室构建了 RL 环境。他们的重点一直是构建基础设施，以便随着模型进步，打造更难、更抗破解的环境：用于发现模型薄弱环节的工具、针对这些缺口生成新任务，以及让环境经受主动试图攻破它的智能体的测试。

本周，他们开源了 Karotte，这是他们在生产环境中用来构建这些环境的框架。Karotte 内置了强大的防御措施：在评分前杀掉游离进程、拒绝旨在让评分器崩溃的文件，等等。它已经通过超过一百万次评估运行和受控红队测试得到加固。

Jennifer Zhou 对这个问题有切身体会。作为 Anthropic 团队的早期成员，她帮助构建了预训练数据基础设施、分词器和 Claude 的预训练数据集。Ning Cao 是 DatologyAI 的早期员工。两人都近距离看到数据质量如何直接决定模型质量，于是他们着手解决这个问题。

我们非常高兴能与 Jennifer、Ning 以及 Preference Model 团队合作，共同打造用于训练有能力且对齐的模型的训练场。未来的模型正在这里被训练出来，我们迫不及待地想帮助他们构建这一基础！

立即订阅

本通讯仅供参考，不应作为法律、商业、投资或税务建议的依据。此外，本内容并非投资建议，也不适用于任何a16z基金的投资者或潜在投资者。本通讯可能链接至其他网站或包含从第三方来源获得的其他信息——a16z尚未独立核实，也不对此类信息的当前或持续准确性作出任何陈述。如果本内容包含第三方广告，a16z尚未审查此类广告，也不认可其中包含的任何广告内容或相关公司。所提及、引用或描述的任何投资或投资组合公司并不代表a16z管理的所有投资工具的投资；请访问https://a16z.com/investment-list/获取完整投资列表。其他重要信息可在a16z.com/disclosures找到。您收到此通讯是因为您之前选择了订阅；如果您希望退出未来的通讯，您可以立即取消订阅。