Artificial Analysis 澄清 Mercury 3 评测分数不可比

Artificial Analysis 澄清，Inception 在发布 Mercury 3 扩散大语言模型的公告中引用的评测分数，并非其 Intelligence Index，也不遵循其方法学，因此不能与 Artificial Analysis 上的分数直接对比。 Artificial Analysis 称，公告还引用了 AA-Omniscience 和 GDPval-AA v2 的分数。其中，AA-Omniscience 使用私有数据集（仅公开了 10% 的公共子集）；GDPval-AA v2 的分数要具备可比性，必须采用其评分方法和模型对比集。 因此，Inception 公告中展示的上述分数，不能作为与 Artificial Analysis Intelligence Index 或其他榜单分数横向比较的依据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。