Runway 详解如何用 LLM 缩小内容审核政策与实践的差距

Runway：新闻·2026-11-13 02:50· 36 分钟前AI 评分47

缩小政策与实践之间的差距

AI 导读

Runway 用 LLM 重构内容审核系统，让政策制定与执行更贴合创作场景。相比两年前只能依赖第三方分类器按"血液""武器"等固定类别打分，新系统可基于自有政策判断，政策更新最快只需数分钟，并能区分奇幻战斗与真实暴力。Runway 称审核在两个方向上都更准确：误拦减少、漏拦也减少，但仍存在第三方模型自带审核、LLM 误判和上下文缺失等限制。

正文 · 原文

人们来到 Runway 是为了讲述故事，而许多精彩的故事都涉及冲突、危险或暴力。在过去两年里，我们的审核机制不断演进，在继续拦截会造成真实伤害的内容的同时，允许了更多这类故事。

每个审核系统都包含两部分：划定界限的政策，以及执行政策的工具。我们始终致力于用现有最好的工具支持创作表达并防止伤害，这些目标从未改变。改变的是工具本身，而随着工具的进步，我们为创作工作划定并执行合理界限的能力也随之提升。

起点

两年前，我们依赖的是当时最优秀的通用工具之一，但它们并非为创作工作而打造。这些第三方分类器按"血液"或"武器"等固定类别对内容打分，我们只能选择使用哪些类别以及以什么分数拦截内容。这些分类器无法区分奇幻战斗与真实暴力，相似的内容也不总能得到相似的分数。为了确保拦截最有害的内容，我们不得不拦截比预期更多的内容。

暴力内容最能说明这一点。在可用的类别下，拦截暴力内容唯一可行的方式是拦截血液，而我们无法精确控制多少血液算过量。这意味着有一段时间，我们会拦截哪怕只有一小滴血或轻微划伤的内容，有时还会把番茄酱或红色颜料误认为血液而加以拦截。

我们的政策允许、但早期工具会拦截的内容示例。

变化之处

过去两年大语言模型（LLM）的进步从两个方面改善了我们的审核。

1. 我们可以制定专为 Runway 构建的政策。LLM 让我们能够围绕自己的政策决策构建审核系统，而不必遵循第三方的政策界限。我们可以针对人们实际使用 Runway 的方式编写政策，并随着使用模式的变化更快地更新（只需数小时甚至数分钟）。
2. 我们更擅长执行这些政策。LLM 能够纳入内容周围更多的上下文，并应用更细致的防护措施。这意味着我们的审核在两个方向上都更准确：我们拦截了更少本应允许的内容，也捕获了更多本不应允许的内容。

回到暴力内容，这些变化让我们能够在创作表达（我们希望允许）与有害内容之间划清界限，后者例如针对受保护群体的暴力内容或暴力极端袭击的重现（这两类我们都会拦截）。这种细致区分让用户能够在作品中加入剑斗、枪战、战斗场景和恐怖元素。这些性能提升也意味着我们能更准确地捕获涉及未成年人的性化内容或未经同意的私密影像（NCII）的生成尝试。

局限性

尽管取得了这些实质性改进，仍存在一些局限，向用户透明说明这些局限对我们而言很重要。

第三方模型。Runway 上可用的许多第三方模型会应用各自的审核机制。Runway 允许的提示词仍可能被该模型提供方拦截。我们最近推出了新的错误提示信息，让用户更清楚地了解审核是由第三方触发的，我们将持续对此进行完善。

自动化错误。LLM 仍会出错。例如，它们可能对含义模糊的词语过度执行审核，或漏掉以虚构形式包装的有害内容。我们正在持续迭代以解决这些错误，并分层设置防护措施，使最严重的危害得到最强保护。

缺失上下文。无论我们的审核系统多么强大，难免会有无法捕捉全部必要上下文的时候。即便是几乎所有人都认同应当拦截的内容，也可能存在正当的创作用途。例如，一部电影可能讲述一个角色发现自己被人制作了色情深度伪造内容的故事。这是一个值得讲述的故事，但对这一场景的请求可能与我们要防范的滥用行为看起来完全相同。当我们无法区分时，有时会为了防范真实伤害而拦截一个正当的用例。

帮助我们改进

如果你认为我们的判断有误，请点击被审核生成内容错误信息底部的“Send Feedback”按钮向我们报告。这有助于我们完善政策和系统，让更多故事得以创作。

来源：Runway：News · runwayml.com