Artificial Analysis 发布 AA-PersonalityBench 模型人格基准

Artificial Analysis· @ArtificialAnlys · X·2026-10-20 02:27· 1 小时前AI 评分43

AI 导读

Artificial Analysis 推出 AA-PersonalityBench，从 30 项人格特质和 21 项沟通特征两个维度衡量语言模型差异，基于 900 道精选问题、由 LLM 评审团两两对比打分。

正文 · 原文

推出 AA-PersonalityBench，这是我们全新的基准测试，从 30 项特质衡量语言模型的人格，并从 21 项特征衡量其沟通风格

两个模型可以给出同样正确的答案，使用起来却感觉截然不同。AA-PersonalityBench 衡量这些差异，让人们能够了解在不同用例中该选用哪一个。有些用例，比如创意写作，可能要求想象力，而法律用例可能要求直截了当。我们评估模型对 900 道精选问题的回答，以评判主观的人格特质，并通过程序化手段计算客观的沟通特征。

人格特质与指数。共有 30 项人格特质（例如：雄辩、务实、谄媚），我们将它们汇总为八项聚合人格指数：表现力、条理性、信息量、透明度、亲和力、信念感、想象力和 Slop。每项特质都配有一组 30 道专属问题，模型的回答由 LLM 评审团进行两两对比。随后我们对特质和人格 Elo 进行 z 分数和百分位排名。

在 8 项人格指数中表现最强的模型：
➤ 表现力：Claude Fable 5.1、GLM-5.3、GLM-5.3-Flash
➤ 条理性：DeepSeek V4.1 Flash、Step 5 Preview、Inkling
➤ 信息量：Muse Spark 1.3、Claude Fable 5.1、Muse Wonder、Claude Opus 5.5
➤ 透明度：Claude Sonnet 5.5、Claude Fable 5.1、GPT-6 Astra
➤ 亲和力：Muse Wonder、Muse Spark 1.3、Claude Fable 5.1
➤ 信念感：Claude Fable 5.1、DeepSeek V4.1 Flash、Grok 4.7
➤ 想象力：Muse Spark 1.3、Claude Opus 5.5、GLM-5.3
➤ Slop：Llama 4 Maverick、GPT-4o、K2 Horizon

沟通特征。共有 21 项沟通特征（例如：平均句长、emoji 使用、破折号使用），我们将它们归为四类：长度、结构、标点和强调。我们通过程序化方式在所有模型回答中计算这些特征。
➤ 长度：Qwen3.8 27B 平均每次回答约 1,030 词，几乎是 GPT-6 Luna 的 270 词的四倍
➤ 结构：Nemotron 3 Ultra 平均每次回答近 3 个表格，而大多数模型很少使用表格
➤ 标点：GLM-5.3 平均每次回答使用 7 个破折号，而 Claude Opus 5.5、Sonnet 5.5 和 Haiku 5.5 几乎从不使用
➤ 强调：K2 Horizon 平均每次回答使用超过 2 个 emoji，而大多数模型几乎从不使用

来源：Artificial Analysis · x.com