Grok 4.7 在 Harvey LAB-AA v1.1 法律智能体基准幻觉门控通过率居首

今天我们与 Harvey 合作发布 Harvey LAB-AA v1.1。此次更新了法律智能体基准（LAB）的评分方法，新增幻觉检查，并要求正确回答不得包含重大错误陈述。LAB-AA v1.1 的新核心指标 Hallucination-Gated All-Pass Rate 仅在交付物满足所有评分标准且不含重大幻觉时才计入任务通过。 我们将重大幻觉定义为会误导读者对实质性要点产生错误理解的幻觉，例如错误的合同规定日期；而轻微幻觉是真实错误，但不太可能对交付物的法律解释产生实质性影响。轻微幻觉单独报告，不影响核心得分。 Grok 4.7 (xhigh) 以 9.4% 的 Hallucination-Gated All-Pass Rate 领先，且在发布时测试的模型中，超过 60% 原本通过的结果包含重大幻觉。 这是改进 Harvey LAB-AA 方法的第一步。在未来的更新中，我们正与 Harvey 合作，更好地纳入律师所看重的全部因素，包括风格和语气等可用性特征。 关键要点： ➤ 排行榜首位：来自 @SpaceXAI 的 Grok 4.7 (xhigh) 以 9.4% 的 Hallucination-Gated All-Pass Rate 领先，略高于 @AIatMeta 的 Muse Spark 1.3 (max) 的 8.9% 和 @OpenAI 的 GPT-6 Astra (max) 的 8.6% ➤ 幻觉重塑排行榜：如果没有幻觉门槛，Muse Spark 1.3 (max) 将以 26.7% 的全通过率明显领先，但其中三分之二的通过结果包含一个或多个重大幻觉，因此 Hallucination-Gated All-Pass Rate 为 8.9%。GPT-6 Astra (max) 在幻觉门槛后几乎保留了所有通过结果（从 8.9% 到 8.6%），并从并列第 10 名升至第 3 名 ➤ GPT-6 模型系列最有依据：GPT-6 Astra (max) 平均每任务 0.03 次重大幻觉（全部 120 个任务中共 4 次），GPT-6 Sol (max) 平均 0.07 次。在 20 个任务的子集上比较六个检查器模型时，GPT-6 Astra 在每个检查器下均无重大幻觉，包括 Claude Opus 5.5 (high)。相比之下，Gemini 3.8 Flash (high) 平均每任务 13.96 次重大幻觉。 ➤ 得分最高的模型并非最贵：Grok 4.7 (xhigh) 以每任务约 $9.50 的成本位居排行榜首位，不到最贵模型 Claude Fable 5.1 (max with fallback) 约 $21.70 的一半。Muse Spark 1.3 (max) 以其成本展现出强劲性能，以每任务约 $4.20 位居第二 感谢来自 @harvey 的 @nikogrupen 和 @ItsJulioPereyra 在 Harvey LAB 上的工作与合作。