Musubi 发布开源决策模型 PolicyLM-1.7B，用于实时内容审核
How AI decision models could change content moderation
Musubi 发布轻量级决策模型 PolicyLM-1.7B，以开放权重形式开源，用于实时内容审核。该模型可将纯英文撰写的内容政策直接应用于消息，在 50 毫秒内给出二元判断，成本与速度接近主流社交平台的 AI 分类器，且政策变更时无需重新训练。Musubi 联合创始人兼首席 AI 官 Filip Jankovic 表示，这能让平台管理者以可扩展、可定制的方式主动为内容打标。
随着决策模型在整个行业中普及，一家名为 Musubi 的公司有了一个新想法，想将它们投入使用：内容审核。周二，Musubi 发布了一款专为实时审核打造的轻量级决策模型 PolicyLM-1.7B，并以开放权重的方式发布。
其思路是，把用通俗英语撰写的内容政策应用到消息上，耗时不到 50 毫秒。Musubi 的模型在设计上力求在成本和速度上与支撑大多数社交平台审核的 AI 分类器系统相近——但由于它具备现代 LLM 的灵活性，无需专门训练即可执行复杂的政策。更重要的是，当政策发生变化时，该模型无需重新训练，从而让制定政策的人员可以按需反复迭代。
在 Musubi 联合创始人兼首席 AI 官 Filip Jankovic 看来，这为平台管理者提供了一种主动为内容打标签的方式。
“产品团队只是想更好地了解其平台上正在发生的事情，尤其是在内容量呈指数级增长的情况下，”Jankovic 说。“能够以一种高度可扩展、可定制的方式为所有这些内容打标签，是非常有用的。”
自 9 月 TypeSafe AI 的 Jev 发布以来，决策模型已成为 AI 界的热门话题，随后不久 OpenAI 和 Amazon 也推出了相互竞争的决策模型。决策模型不输出文本，而是输出结果概率，不过在此例中，该模型输出的是二元判断：内容要么属于该类别，要么不属于。通过将模型的输出限制在一组预先确定的选择上，决策模型能够比大型语言模型运行得更快、成本更低，同时仍保持 transformer 架构的灵活性。
一个早期的用例是约束 AI 智能体的不当行为——因此将同样的技术应用于人类的不当行为也就顺理成章了。
值得注意的是，Jankovic 表示他对决策模型的兴趣早于 Jev，可以追溯到 2024 年一个名为 GLiNER（Generalist Model for Named Entity Recognition，命名实体识别通用模型）的项目，该项目采用了其中许多相同的技术。
尽管如此，Musubi 并不忌惮这种比较。如果说有什么不同的话，那就是该公司急于利用人们对决策模型的新兴趣来让内容审核受到关注。“如果 Jev 吸引了你的眼球，那么 PolicyLM-1.7B 就是同类型的模型，专为内容审核而训练，你可以自己运行，”产品公告中写道。
当你通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Russell Brandom 自 2012 年以来一直报道科技行业，重点关注平台政策和新兴技术。他此前曾在 The Verge 和 Rest of World 工作，并为 Wired、The Awl 和 MIT 的 Technology Review 撰稿。 可通过 russell.brandom@techcrunch.com 或 Signal 412-401-5489 联系他。
来源：TechCrunch · AI · techcrunch.com