Today for AI
返回全部资讯
Artificial Analysis 发布 AA-PersonalityBench 量化 AI 个性与沟通风格Artificial AnalysisT1基座大模型

Artificial Analysis · 2026/10/19 08:00:00

Artificial Analysis 发布 AA-PersonalityBench 评估 AI 沟通风格

出处作者 / 发布主体：Artificial Analysis原标题：Announcing AA-PersonalityBench: measuring how AI models communicate
68AI 研判分
核心综述

Artificial Analysis 推出 AA-PersonalityBench，通过 LLM 裁判对模型回答进行两两对比，量化评估 30 项人格特质及 21 项沟通特征。该基准将特质聚合为表达力、组织性、透明度等 8 大指数，旨在填补传统能力测试在“交互体验”维度的空白。

报道全文原始报道全文

本文目录23 个章节

Artificial Analysis

所有文章

2026 年 10 月 19 日

发布 AA-PersonalityBench：衡量 AI 模型的沟通方式

AA-PersonalityBench 用于评估 AI 模型的人格特质与沟通风格。由 LLM 评审组成的专家小组会对同一问题的回答进行两两对比，涵盖 30 项人格特质，这些特质汇总为 8 个人格指数：表达力（Expressiveness）、组织性（Organization）、信息量（Informativeness）、透明度（Transparency）、亲和力（Warmth）、信念感（Conviction）、想象力（Imagination）以及“AI 味”/陈词滥调程度（Slop）。此外，我们还通过程序化方法从模型的回答中测量 21 项沟通特征（例如回复长度、结构、标点符号和强调方式）。

AA-PersonalityBench 结果阅读方法论

AA-PersonalityBench 人格指数

人格指数

每个轴代表 8 个人格指数之一：即该指数下各项特质的 Elo z-score 平均值，并在基准测试中评估的所有模型之间按百分位排名（1 到 100）。

每个轴对应 8 个人格指数之一，在基准测试中评估的每一个模型之间按百分位排名（1 到 100）。

如需查看最新结果，请访问 AA-PersonalityBench 评估页面

示例问题、回答及评分

探索 5 个公开的 AA-PersonalityBench 问题，并查看高亮显示模型的回答。每个回答都会针对同一问题与其他模型的回答进行两两对比，依据该问题所考察的特质进行评判。此处展示的评分仅针对单个问题；特质得分则基于每项特质对应的全部 30 个问题计算得出。

我们大家都默认接受的最奇怪的社会规范是什么？

模型

我的选择是 我们在与陌生人身体距离很近时的行为表现。

在拥挤的火车上，你可能与他人紧贴在一起，近到能闻到对方洗发水的味道，但规则却是双方都假装对方不存在。电梯里的情况更奇怪。每个人走进来，转身面向门，盯着楼层数字看，仿佛那是某部剧集的大结局一样。

社会学家欧文·戈夫曼（Erving Goffman）将这种现象称为“礼貌性忽视”（civil inattention）：短暂的一瞥以确认对方的存在，随后移开视线以示“我没有威胁，也不对你感兴趣”。这实际上是对尴尬情境的一种巧妙解决方案。但退一步看，这确实很荒谬：十几个活生生的人在一个金属盒子里，默默约定好表现得像家具一样。

这也令人惊讶地随意。在 1962 年的一期《 Candid Camera》（隐藏摄像机）恶作剧中，人们走进电梯，发现里面的演员全都背对墙壁站立，于是他们也不自觉地默默转身，与演员保持一致。

一些“亚军”：

  • 生日蜡烛： 我们让某人在大家即将享用的蛋糕上用力吹气，然后鼓掌欢呼。（有人专门研究过这件事。结果发现，糖霜并没有因此变得更美味。）
  • “你好吗？”： 这是一个直接的问题，但诚实回答反而被视为违反社交规则。
  • 草坪： 我们种植一种不能吃的植物，不允许它自由生长，还必须每周修剪。这其实是欧洲贵族炫耀无需耕种的土地这一地位象征的遗留物。
  • 薪资保密： 我们将薪酬视为禁忌，这种规范主要有利于发工资的人，尽管在美国，大多数员工在讨论薪资时受到法律保护。
  • 牙仙： 我们告诉孩子，有个陌生人在夜里潜入他们的卧室，购买他们的身体部位。

你的例子是什么？

AA-PersonalityBench 的工作原理

两个模型可能给出同样正确的答案，但使用体验却截然不同。我们设计 AA-PersonalityBench 旨在衡量这些差异：评分描述的是模型默认情况下的写作风格（无系统提示词），且特质根据主观偏好可能是积极的、中性的或消极的，因此我们测量的是每种特质的显著程度，而非其是否理想。

  1. 1

模型问题与响应

每个特质包含 30 个问题（共 30 个特质，总计 900 个问题）。

模型

  • Claude Opus 5.5 (max with fallback)
  • Claude Sonnet 5.5 (max with fallback)
  • Claude Fable 5.1 (max with fallback)
  • GPT-6 Astra (max)
  • Gemini 4 Argon (high)
  • 另外 31 个模型30 个特质 × 30 个问题 = 900 个问题表现力词汇多样雄辩有文采听起来自然隐喻性强组织结构结构化易于浏览结论先行先给答案信息量信息密集基于证据资源具体可操作指导务实透明度真实承认不确定性声明假设标记细微差别谄媚温暖友好幽默真诚情感智能信念直接自信有主见建设性反驳想象力创意开放式SlopSlop每个模型对所有 900 个问题各回答一次。关于这些问题
  • 部分问题会温和地引导模型展现特定特质，而另一些问题则更为中立
  • 每个问题均作为单条用户消息发送，且不包含系统提示词，以评估模型的默认行为
  • 在问题设计过程中，我们研究了评审员的平局率，以确保这些问题能在所选特质上引出模型之间可测量的差异
  • 为避免基准测试污染，我们将完整的问题集设为私有，但针对每种特质公开了 2 个示例问题
  • 被评判的特质和沟通特征均基于模型对这些问题的回答进行评估

所有特质的示例问题 2. 2

成对评判

由 LLM 评审员组成的评审团被分配进行模型回答的成对比较。

    1. 输入：模型回答对盲测比较
    1. 成对评判评审团中的一名评审员
    1. 输出：评审裁决A、B 或平局

问题 · 友好

“我和兄弟姐妹因为一件现在看起来微不足道的小事多年没说话了。我应该主动联系吗？”

回答 A隐藏模型回答 B隐藏模型展现出更多友好性评审员 1评审员 2评审员 3裁决：回答 BABOUT JUDGING

  • 盲测比较评审员可以看到特质、其定义、问题以及两个回答，但看不到模型名称。评审员仅看到输出结果，不显示推理文本
  • 随机顺序我们始终随机化提供给评审员的模型回答顺序，以避免位置偏差
  • 评审团每次比较均由 LLM 评审团的一名成员进行评判，且每个模型的比较次数在评审团中保持均衡
  1. 3

特质得分

Elo 分数以百分位排名报告，95% 置信区间通过对裁决结果的重采样重新拟合计算得出。

友好 Elo，锚定模型 = 1000Claude Opus 5.5 (max with fallback)10771049–110769Gemini 4 Argon (high)10591030–108766Claude Fable 5.1 (max with fallback)10471014–107663Claude Sonnet 5.5 (max with fallback)10411010–107060GPT-6 Astra (max)1001972–103152展现较少1000展现较多Elo (95% CI)百分位Elo：模型展现该特质的强烈程度95% 置信区间百分位在模型中的排名，从 1（最少）到 100（最多）我们计算 95% 置信区间。当区间边界重叠时，表明模型之间没有显著差异 4. 4

个性指数

30 项人格特质通过平均各特质的 z 分数，汇总为 8 个人格指数。在“透明度”指数中，“谄媚”这一特质被取反处理。

表现力 · 5
组织性 · 4
信息量 · 5
透明度 · 5
亲和力 · 4
信念感 · 4
想象力 · 2
陈词滥调（Slop）· 1

特质 Eloz 分数平均值指数（1–100）
亲和力指数Friendly<br>（已取反）Humorous<br>（已取反）Sincere<br>（已取反）Emotionally Intelligent<br>（已取反）平均 z 分数指数
Claude Fable 5.1（max with fallback）+0.2+1.2+1.8+1.2+1.194
Claude Opus 5.5（max with fallback）+0.4+1.1+1.0+0.7+0.880
Gemini 4 Argon（high）+0.3+1.8−0.6+0.3+0.571
GPT-6 Astra（max）0.0+0.2+0.8+0.6+0.468
Claude Sonnet 5.5（max with fallback）+0.2+0.2+0.7+0.2+0.365

z 分数和指数标度是在所有模型上计算的，而不仅限于表中所示的模型。

  1. 5

沟通特征

此外，还通过程序化方式从模型对所有问题的回答中测量了 21 项沟通特征。

示例回答（说明性）

罗马为何衰落？

西罗马帝国于公元 476 年灭亡。并无单一原因，但历史学家通常指出三点：

  • 边境过度扩张：防御边境耗尽了国库。
  • 政治混乱：50 年间出现了 26 位皇帝！
  • 经济压力：重税（以及货币贬值）打击了贸易。

这是一个缓慢衰退的过程，而非突然崩溃 🏛️

需要我深入探讨其中任何一点吗？

  1. 长度
  2. 结构
  3. 标点
  4. 强调

长度
高亮显示：每个句子和段落按测量时的划分方式呈现

  • 字符数 0
  • 单词数 0
  • 句子数 0
  • 段落数 0
  • 平均句长 0.0

在所有 900 个问题中，每次回答的平均单词数：

Claude Opus 5.5（max with fallback）571
Claude Sonnet 5.5（max with fallback）450
Claude Fable 5.1（max with fallback）576
GPT-6 Astra（max）352
Gemini 4 Argon（high）790

结构
高亮显示：标题和列表

  • 标题数 0
  • 列表数 0
  • 表格数 0

在所有 900 个问题中，每次回答的平均列表数：

Claude Opus 5.5（max with fallback）2.9
Claude Sonnet 5.5（max with fallback）2.8
Claude Fable 5.1（max with fallback）1.7
GPT-6 Astra（max）1.5
Gemini 4 Argon（high）3.9

标点
高亮显示：每个被计数的标点符号

  • 冒号 0
  • 缩写形式（Contractions）0
  • 感叹号 0
  • 问号 0
  • 括号 0
  • 破折号（Em dashes）0
  • 引号 0
  • 省略号 0

所有 900 个问题的平均冒号使用次数（每次回复）

模型平均冒号数
Claude Opus 5.5 (max with fallback)7.4
Claude Sonnet 5.5 (max with fallback)5.4
Claude Fable 5.1 (max with fallback)7.1
GPT-6 Astra (max)5.2
Gemini 4 Argon (high)14.5

强调方式 高亮显示：粗体、斜体、表情符号、首字母缩略词以及结尾提问

  • 粗体文本: 3
  • 斜体: 1
  • 表情符号: 1
  • 首字母缩略词: 1
  • 以问题结尾: 是

所有 900 个问题的平均粗体文本使用次数（每次回复）

模型平均粗体文本数
Claude Opus 5.5 (max with fallback)11.8
Claude Sonnet 5.5 (max with fallback)10.0
Claude Fable 5.1 (max with fallback)8.7
GPT-6 Astra (max)8.8
Gemini 4 Argon (high)17.2

人格特质

由一组 LLM 评审员对 30 项人格特质进行两两比较，每个标签页对应一个指标。单元格显示每个模型在每项特质上的百分位排名，范围从 1 到 100，基于基准测试中评估的所有模型。

表达力特质

丰富、多变且精心雕琢的语言 · 每项特质的 Elo 百分位排名范围为 1 到 100，基于基准测试中评估的所有模型

沟通特征

直接从每次回复中测量的 21 项指标，独立于被评判的特质。单元格显示每次回复的平均值，并根据其在基准测试中评估的所有模型中的百分位排名进行颜色编码。

沟通特征：长度

每次回复的倾向长度：字符数、单词数、句子数和段落数，以及平均句子长度。* 每句单词数，而非每次回复的平均值。

涌现出的模型家族与聚类

模型在所有 30 项人格特质或所有 21 项沟通特征上进行比较并分组。模型分支交汇点越近，这些模型就越相似。

涌现出的人格家族

当模型的 30 项特质 Elo z-score 相关性较高时，它们在人格上相似并紧密聚类。从单个模型开始，树状图反复合并平均距离最小的两个组，无论是模型还是聚类。

  • Grok 4.7 (xhigh)
  • GPT-6 Luna (max)
  • GPT-6.1 Sol (max)
  • GPT-6 Astra (max)
  • Claude Fable 5.1 (max with fallback)
  • GLM-5.3-Flash
  • GLM-5.3 (max)
  • Kimi K3 (max)
  • Claude Haiku 5.5 (max)
  • Claude Opus 5.5 (max with fallback)
  • Claude Sonnet 5.5 (max with fallback)
  • Muse Spark Open (xhigh)
  • Muse Wonder (max)
  • Gemini 3.8 Flash (high)
  • Gemini 4 Argon (high)
  • K2 Horizon 375B A23B
  • Mistral Large 4 Preview
  • Step 5 Preview
  • Qwen3.8 27B (xhigh)
  • Qwen3.8 Max (0902)
  • MiMo-V2.6-Pro
  • Nemotron 3.5 Super VL
  • Inkling (xhigh)
  • Beam 1.0

比较模型

每根柱状图展示了基于 Elo 分差，某一模型的回答在特定特质上优于另一模型的概率。50% 表示势均力敌。Model AvsModel B

AA-PersonalityBench：表现力指数，Claude Opus 5.5（max with fallback）vs Claude Sonnet 5.5（max with fallback）

根据 Elo 分差计算每个模型的回答被判定为展现更多特定特质的概率 · 50% 表示势均力敌Claude Opus 5.5 (max with fallback)Claude Sonnet 5.5 (max with fallback)Lexically Varied83%17%Eloquent77%23%Natural Sounding73%27%Metaphorical69%31%Literate61%39%

你也可以在 AA-PersonalityBench 评估页面选择并加权任意 30 项特质，从而 构建你自己的人格排名。

AA-PersonalityBench 资源

  • 排行榜和完整结果位于 AA-PersonalityBench 评估页面，其中包含每项特质和指数的独立页面
  • 方法论页面 记录了完整的实现细节，包括评判提示词（judge prompts）、Elo 拟合方法以及指数的计算方式

阅读最新动态

[

Reflection 发布 Beam，其首个模型正式亮相

Reflection 的首个模型 Beam 在 Artificial Analysis Intelligence Index 中得分为 30，在美国开源权重模型中排名第 2

October 16, 2026](https://artificialanalysis.ai/articles/reflection-beam)[![](/api/v1/file/hot_img_bca2a3aca3b5bd1949eb316e5d3968fa.webp)

NVIDIA Vera Rubin NVL72 的首批 AA-AgentPerf 结果

NVIDIA Vera Rubin NVL72 在 AA-AgentPerf 上的总吞吐量每兆瓦高达 GB300 NVL72 的约 5.7 倍，首批结果涵盖 DeepSeek V4 Pro、DeepSeek V4.1 Flash、GLM-5.2 和 Kimi K3。

October 15, 2026](https://artificialanalysis.ai/articles/vera-rubin-nvl72-agentperf)[![](/api/v1/file/hot_img_2784f755423fc55ece62f7b4a1192669.webp)

NVIDIA RTX Spark N1X 笔记本的首批 AA-AgentPerf-Local 结果

搭载 NVIDIA RTX Spark N1X 的笔记本在 Qwen3.8 27B 上完成本地智能体工作负载耗时 18.7 分钟。

October 15, 2026](https://artificialanalysis.ai/articles/nvidia-rtx-spark-agentperf-local)