OpenAI 的 GPT-6 Astra 在 Harvey LAB-AA v1.1 幻觉率评测中表现最佳

今天我们与 Harvey 合作发布 Harvey LAB-AA v1.1。此次更新改进了法律智能体基准（LAB）的评分方法，新增幻觉检查，并要求正确回答不得包含重大错误陈述。LAB-AA v1.1 的新核心指标——幻觉门控全通过率（Hallucination-Gated All-Pass Rate）——只有在交付成果满足所有评分标准且不含重大幻觉时，才将该任务计为通过。 我们将重大幻觉定义为会误导读者对实质性要点产生错误理解的幻觉，例如错误的合同规定日期；而轻微幻觉是真实存在的错误，但不太可能对交付成果的法律解释产生实质性影响。轻微幻觉单独报告，不影响核心得分。 Grok 4.7（xhigh）以 9.4% 的幻觉门控全通过率领先，而在发布时测试的各模型中，超过 60% 原本通过的结果都包含重大幻觉。 这是改进 Harvey LAB-AA 方法论的第一步。在未来的更新中，我们正与 Harvey 合作，更好地纳入律师所看重的全部因素，包括风格和语气等可用性特征。 主要结论： ➤ 排行榜首位：来自 @SpaceXAI 的 Grok 4.7（xhigh）以 9.4% 的幻觉门控全通过率领先，略微高于 @AIatMeta 的 Muse Spark 1.3（max）的 8.9% 和 @OpenAI 的 GPT-6 Astra（max）的 8.6% ➤ 幻觉重塑了排行榜：如果没有幻觉门控，Muse Spark 1.3（max）将以 26.7% 的全通过率明显领先，但这些通过结果中有三分之二包含一个或多个重大幻觉，因此其幻觉门控全通过率为 8.9%。GPT-6 Astra（max）在幻觉门控后几乎保留了全部通过结果（从 8.9% 到 8.6%），并从并列第 10 名升至第 3 名 ➤ GPT-6 模型家族最有依据：GPT-6 Astra（max）平均每个任务 0.03 个重大幻觉（全部 120 个任务中共 4 个），GPT-6 Sol（max）平均为 0.07。在 20 个任务的子集上比较六个检查器模型时，GPT-6 Astra 在每个检查器下都零重大幻觉，包括 Claude Opus 5.5（high）。相比之下，Gemini 3.8 Flash（high）平均每个任务有 13.96 个重大幻觉。 ➤ 得分最高的模型并非最贵：Grok 4.7（xhigh）以每个任务约 9.50 美元的成本位居排行榜首位，不到最贵模型 Claude Fable 5.1（max with fallback）约 21.70 美元成本的一半。Muse Spark 1.3（max）的性价比表现强劲，以每个任务约 4.20 美元位列第二 感谢来自 @harvey 的 @nikogrupen 和 @ItsJulioPereyra 在 Harvey LAB 上的工作与合作。