Hugging Face 政策负责人：嵌入式 AI 评估器并非易事

TechCrunch：AI· Lucas Ropek·2026-10-20 06:49· 2 小时前AI 评分40

Hugging Face 政策负责人表示，嵌入式 AI 评估器并非简单解法

AI 导读

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器并非简单解法，评估结果的可复现性仍是核心难题，开放权重对此至关重要。

正文 · 原文

AI 实验室已将声誉押注在模型基准测试上——这被认为是一套中立且准确的评估体系，旨在衡量一款 AI 产品是否优于另一款。

然而，Hugging Face 首席政策官 Irene Solaiman 在上周 TechCrunch Disrupt 的一场讨论中表示，这些评估背后的方法复杂且仍在成熟过程中。如果行业未来要依赖这些测试，测试就需要整合为一门更一致的 science。

既然如此，我们能信任目前发布的这些测试吗？

“信任是一个分量很重的词，”Solaiman 说。“就我们能否信任结果而言，其中一个重要部分[是]你能否复现一项评估的结果？你是否拥有所需的模型访问权限——这正是开放权重发挥重要作用的地方，”她补充道。

模型评估中的可复现性长期以来一直是基准测试中较为棘手的问题之一——并且仍是行业内争论激烈的话题。

除了单项测试的有效性之外，还有一个附加问题：该测试与其他评估相比如何。

“它们是一门不断演进的 science——我们不知道如何有意义地将它们相互比较，”Solaiman 说。

“它们相对较快地开始失效，而我们也没有所需的那么繁荣的生态系统，”她补充道。“现在人们渴望嵌入式评估器生态系统，但决定谁能在哪些任务上成为有效评估者的资质标准需要更多的标准化。”

嵌入式评估器这一想法——即把所谓“中立”的第三方观察者安置在 AI 组织内部——在过去几个月里流行起来，因为 AI 实验室正在应对一连串安全事件，这些事件引发了对其技术潜在危害的担忧。Hugging Face 曾著名地成为其中一起事件的目标。

实验室没有推动积极的政府监管来识别和缓解模型安全问题，而是力推第三方解决方案。然而，这些评估器实际上会有多中立或多有效，仍存疑虑。Anthropic 决定聘请 Accenture 作为其首位评估器引发了大量反弹，一些批评者嘲讽这家咨询公司有资格完成手头任务的想法。

评估现在正从仅仅测试模型本身，转向测试模型周围的整个系统——包括 harness 和 agent。具体而言，harness——即用户用来访问模型的工具——与模型性能有很大关系，而一个较弱模型搭配更好的 harness 很容易胜过前沿模型，Soleiman 分享道。

“Agentic 评估真的很难，而且真的很昂贵，”Solaiman 说。“我们只是有更多针对模型的评估。……我们没有那么多针对 harness 的评估，而我们正在为整体 agent 开发更好的评估——因为很多人正是从中获得价值，”她补充道。

换句话说：目前的评估空间有点各自为政，如果基准测试要继续被视为对行业领袖有用的工具，那么可能需要一种更统一、全行业一致的做法——让所有人达成共识。

当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Lucas 是 TechCrunch 的高级撰稿人，负责报道人工智能、消费科技和初创企业。他此前在 Gizmodo 报道人工智能和网络安全。您可以通过发送邮件至 [email protected] 联系 Lucas。

来源：TechCrunch：AI · techcrunch.com