跳到正文
Hacker News· algoth1·· 5 天前AI 评分22

Muse Wonder Full 在 Artificial Analysis 上成为 Fable 级新模型

Muse Wonder Full: A new Fable level model on artificial analysis

AI 导读

Muse Wonder Full 在 Artificial Analysis Intelligence Index v4.3.2 上达到 Fable 级水平,该指数涵盖 AA-Briefcase v1.1。

正文 · AI 翻译

智能

Artificial Analysis 智能指数

Artificial Analysis 智能指数 v4.3.2 包含 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1

无公开可用的 API

Artificial Analysis 智能指数 v4.3.2 包含:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。有关更多详细信息,包括每项评估的细分以及我们如何运行它们,请参阅智能指数方法论。

按开放权重 / 专有划分的 Artificial Analysis 智能指数

Artificial Analysis 智能指数 v4.3.2 包含 10 项评估:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1

无公开可用的 API

Artificial Analysis 智能指数 v4.3.2 包含:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。有关更多详细信息,包括每项评估的细分以及我们如何运行它们,请参阅智能指数方法论。

表示模型权重是否可用。如果商业使用受条件限制,模型会被标记为“商业使用受限”;如果许可证禁止商业使用,则标记为“非商业”。

智能指数 vs. 每项智能指数任务成本

Artificial Analysis 智能指数 · 每项 Artificial Analysis 智能指数任务的加权平均成本(美元)

最具吸引力的象限

帕累托线

每项智能指数任务的加权平均成本。每项评估的成本根据输入、缓存命中、缓存写入、推理和答案 token 价格计算,除以任务数量,并按其在智能指数中的权重加权。

Artificial Analysis 智能指数 v4.3.2 包含:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。有关更多详细信息,包括每项评估的细分以及我们如何运行它们,请参阅智能指数方法论。

能力指数

衡量模型在特定能力和行业上的表现

无公开可用的 API

智能评估

由 Artificial Analysis 独立衡量的智能评估 · 越高越好

无公开可用的 API

智能体知识工作,(Elo-500)/2000

智能体真实世界工作任务,(Elo-500)/2000

编程

GDP.pdf

专业文档推理,全部通过

物理推理

法律智能体工作,幻觉门控全部通过率

终端中的智能体科学研究工作流

开源仓库中的智能体软件工程

MLCR-AA

医学长上下文推理

虽然模型智能通常可跨用例迁移,但特定评估可能对某些用例更相关。

Artificial Analysis Intelligence Index v4.3.2 包含:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。详见Intelligence Index 方法论以了解更多细节,包括每项评估的细分以及我们的运行方式。

AA-Briefcase v1.1已更新

AA-Briefcase Elo

AA-Briefcase v1.1 是由 Artificial Analysis 开发的智能体知识工作基准。AA-Briefcase Elo 是一项综合指标,汇总了评分标准通过率、分析质量 Elo 和展示 Elo · 越高越好

无公开可用的 API

AA-Briefcase Elo 是一项综合指标,汇总了分析质量 Elo、展示 Elo 和评分标准通过率,其中评分标准表现通过合成的一对一对比转换为 Elo。Elo 及 95% 置信区间边界被限制在 0 以上。

AA-Omniscience

AA-Omniscience Index

AA-Omniscience Index(越高越好)衡量知识可靠性和幻觉。它对正确答案给予奖励,对幻觉进行惩罚,对拒绝回答不施加惩罚。分数范围为 -100 到 100,其中 0 表示正确与错误答案数量相当,负分表示错误答案多于正确答案。

无公开可用的 API

AA-Omniscience Index(越高越好)衡量知识可靠性和幻觉。它对正确答案给予奖励,对幻觉进行惩罚,对拒绝回答不施加惩罚。分数范围为 -100 到 100,其中 0 表示正确与错误答案数量相当,负分表示错误答案多于正确答案。

Intelligence Index 对比

Intelligence Index 与每项 Intelligence Index 任务成本对比

Artificial Analysis Intelligence Index · 每项 Artificial Analysis Intelligence Index 任务的加权平均成本(USD)

最具吸引力的象限

帕累托线

每项 Intelligence Index 任务的加权平均成本。每项评估的成本根据输入、缓存命中、缓存写入、推理和答案 token 价格计算,除以任务数量,再按其 Intelligence Index 权重加权。

Artificial Analysis Intelligence Index v4.3.2 包含:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1。详见Intelligence Index 方法论以了解更多细节,包括每项评估的细分以及我们的运行方式。

Token 使用量

每项 Intelligence Index 任务的输出 Token 数

运行一项 Artificial Analysis Intelligence Index 任务所用的加权平均输出 Token 数

无公开可用的 API

每项 Intelligence Index 任务所需的 Token 数。计算方法为:将每项评估的输出 Token 数乘以各基准在 Intelligence Index 中的相对权重,再除以任务数量(不含重复项)。

成本

每项 Intelligence Index 任务成本

每项 Artificial Analysis Intelligence Index 任务的加权平均成本(USD),按 Token 类型细分。越低越好

无公开可用的 API

每项 Intelligence Index 任务的加权平均成本。每项评估的成本根据输入、缓存命中、缓存写入、推理和答案 token 价格计算,除以任务数量,再按其 Intelligence Index 权重加权。

运行 Artificial Analysis Intelligence Index 的成本

运行 Artificial Analysis Intelligence Index 中所有评估的成本(美元)

无公开可用的 API

运行 Artificial Analysis Intelligence Index 中各项评估的成本,根据模型的输入、缓存命中、缓存写入、推理和回答 token 价格以及评估中使用的 token 数量计算(不含重复项)。

定价:缓存命中、输入和输出

价格(美元/百万 Token)

无公开可用的 API

缓存提示(此前已处理过)的每 token 价格,通常相比常规输入价格有显著折扣,以美元/百万 token 表示。此处显示的值为缓存命中价格;缓存写入和缓存存储单独计费,且因提供商而异——详见“各提供商的缓存定价”。

上下文窗口

上下文窗口

上下文窗口:token 上限 · 越高越好

无公开可用的 API

更大的上下文窗口与 RAG(检索增强生成)LLM 工作流相关,这类工作流通常涉及对大量数据进行推理和信息检索。

输入与输出 token 合计的最大数量。输出 token 通常有显著更低的上限(因模型而异)。

来源:Hacker News · artificialanalysis.ai