Harvey LAB-AA v1.1 为法律智能体基准引入幻觉门控评分

Artificial Analysis· @ArtificialAnlys · X·2026-10-09 02:33· 29 分钟前AI 评分49

AI 导读

Artificial Analysis 与 Harvey 联合发布 Harvey LAB-AA v1.1，为法律智能体基准 LAB 新增幻觉检查，要求正确回答不含重大错误陈述，并推出新指标 Hallucination-Gated All-Pass Rate。

正文

今天我们宣布与 Harvey 合作推出 Harvey LAB-AA v1.1。此次更新了法律智能体基准（LAB）的评分方法，新增幻觉检查，并要求正确回答不含重大错误陈述。LAB-AA v1.1 的新核心指标 Hallucination-Gated All-Pass Rate 仅在交付成果满足所有评分标准且不含重大幻觉时才计入任务通过。

我们将重大幻觉定义为会在实质性问题上误导读者的幻觉，例如错误的合同规定日期；而轻微幻觉是真实存在的错误，但不太可能对交付成果的法律解释产生实质性影响。轻微幻觉单独报告，不影响核心得分。

Grok 4.7 (xhigh) 以 9.4% 的 Hallucination-Gated All-Pass Rate 领先，而在发布时测试的模型中，超过 60% 原本通过的结果含有重大幻觉。

这是改进 Harvey LAB-AA 方法论的第一步。在未来的更新中，我们正与 Harvey 合作，更好地纳入律师所看重的全部因素，包括风格和语气等可用性特征。

关键要点：

➤ 排行榜榜首：来自 @SpaceXAI 的 Grok 4.7 (xhigh) 以 9.4% 的 Hallucination-Gated All-Pass Rate 领先，略微高于来自 @AIatMeta 的 Muse Spark 1.3 (max) 的 8.9% 和来自 @OpenAI 的 GPT-6 Astra (max) 的 8.6%

➤ 幻觉重塑排行榜：如果没有幻觉门槛，Muse Spark 1.3 (max) 将以 26.7% 的全通过率明显领先，但这些通过中有三分之二含有一个或多个重大幻觉，因此其 Hallucination-Gated All-Pass Rate 为 8.9%。GPT-6 Astra (max) 在幻觉门槛后几乎保留了全部通过结果（从 8.9% 到 8.6%），并从并列第 10 名升至第 3 名

➤ GPT-6 模型系列最有依据：GPT-6 Astra (max) 平均每个任务 0.03 个重大幻觉（全部 120 个任务共 4 个），GPT-6 Sol (max) 平均为 0.07。在 20 个任务的子集上比较六个检查器模型时，GPT-6 Astra 在每个检查器下均无重大幻觉，包括 Claude Opus 5.5 (high)。相比之下，Gemini 3.8 Flash (high) 平均每个任务有 13.96 个重大幻觉。

➤ 得分最高的模型并非最贵：Grok 4.7 (xhigh) 以每任务约 9.50 美元的成本位居排行榜榜首，不到最贵模型 Claude Fable 5.1 (max with fallback) 约 21.70 美元成本的一半。Muse Spark 1.3 (max) 以其成本展现出强劲性能，以每任务约 4.20 美元位列第二

感谢来自 @harvey 的 @nikogrupen 和 @ItsJulioPereyra 在 Harvey LAB 上的工作与合作。

来源：Artificial Analysis · x.com