跳到正文
Hacker News· algoth1·· 6 小时前AI 评分58

Astra 6.2 与 Sol 6.2 在 SimpleBench 基准上表现不佳

Astra 6.2 and Sol 6.2 flop at Simple Bench

AI 导读

SimpleBench 是一个面向 LLM 的多选题文本基准,包含 200 多道覆盖时空推理、社交智能和语言对抗鲁棒性(陷阱题)的题目,九名普通(高中知识水平)参与者基线为 83.7%,高于所有受测模型,包括得分 81.9% 的 Claude Fable。

正文 · AI 翻译

我们推出 SimpleBench,这是一个面向 LLM 的多项选择文本基准,在该基准上,具备非专业化(高中)知识的个人表现优于 SOTA 模型。SimpleBench 包含 200 多道题目,涵盖时空推理、社交智能,以及我们称之为语言对抗鲁棒性(或称陷阱题)的内容。对于绝大多数基于文本的基准,LLM 的表现优于非专业人类,并且日益超过专家人类的表现。然而,在 SimpleBench 上,基于我们九名参与者的小样本,非专业人类基线为 83.7%,

优于所有受测 LLM,包括当今顶级模型 Claude Fable,其得分为 81.9%

. 尽管我们预计模型表现会随时间提升,但 SimpleBench 的结果证实,前沿 LLM 所利用的记忆知识和近似推理检索,目前并不总能足以回答基本问题。

如需深入了解我们的结果和方法,请查看完整技术报告 此处。

在 Simple Bench 应用上使用所有这些模型 - LMcouncil.ai

来源:Hacker News · simple-bench.com