室谷代表取締役AA-PersonalityBench（エーエー・パーソナリティベンチ）は、Artificial Analysisが2026年に発表した言語モデルの「性格」と「コミュニケーションスタイル」を測るベンチマークなんですよね。同じ正解を出しても使用感が違う、という問題意識が出発点です。
テキトー教師DotAI 認定講師能力ベンチマークではないのがポイントです。公式ページにも「スコアはモデルがどう書き、どう応答する傾向があるかを示すもので、正しいかどうかを示すものではない」と明記されています。
AA-PersonalityBenchとは？Artificial Analysisが発表した「性格」評価ベンチマーク
AA-PersonalityBenchの概要
性格特性30項目
LLM審判団がペア比較で判定し、8つの指標に集約
コミュニケーション特性21項目
文の長さや絵文字の使用などをプログラムで機械的に計測
質問は計900問
特性ごとに30問ずつ用意
素のデフォルト挙動を測定
システムプロンプトなしの状態を評価
室谷代表取締役まず定義から整理しましょう。AA-PersonalityBenchは、Artificial Analysisが発表した、言語モデルの性格を30の特性、コミュニケーションスタイルを21の特性で評価するベンチマークです。
テキトー教師DotAI 認定講師発表文の冒頭が「2つのモデルが同じくらい正しい答えを出しても、使ってみると全く違うと感じることがある」という問題提起なんですよ。単に賢さを比べる話じゃないんです。
室谷代表取締役用途によって欲しい性格は違うわけですよね。創作なら想像力、法務なら率直さ。
でも正答率だけでは自分に合うモデルは選べない。そこを埋めるのがこのベンチマークです。
でも正答率だけでは自分に合うモデルは選べない。そこを埋めるのがこのベンチマークです。
テキトー教師DotAI 認定講師評価は2本柱です。①30の性格特性をLLM審判団がペア比較で判定し、8つの指標に集約する。
②文の長さや絵文字の使用など21の伝達特性をプログラムで機械的に計測する。この構造は講座でも「主観評価と客観計測を分ける典型例」として紹介している形に近いですね。
②文の長さや絵文字の使用など21の伝達特性をプログラムで機械的に計測する。この構造は講座でも「主観評価と客観計測を分ける典型例」として紹介している形に近いですね。
室谷代表取締役質問は計900問。特性ごとに30問ずつ用意されていて、システムプロンプトなしの「素のデフォルト挙動」を測るのが面白いところです。
AA-PersonalityBenchで分かること——8つの性格指標と21の伝達特性
8つの性格指標と構成する特性・問題数
| 指標 | 構成する特性 | 問題数 |
|---|---|---|
| 表現力（Expressiveness） | Lexically Varied, Eloquent, Literate, Natural Sounding, Metaphorical | 150問 |
| 構成力（Organization） | Structured, Scannable, Bottom-Line Summary, Answer First | 120問 |
| 情報量（Informativeness） | Information Dense, Evidence-Based, Resource-Specific, Actionable Guidance, Pragmatic | 150問 |
| 透明性（Transparency） | Truthful, Admits Uncertainty, Disclaims Assumptions, Flags Nuances, Sycophantic（反転） | 150問 |
| 温かみ（Warmth） | Friendly, Humorous, Sincere, Emotionally Intelligent | 120問 |
| 信念（Conviction） | Direct, Confident, Opinionated, Constructive Pushback | 120問 |
| 想像力（Imagination） | Creative, Open-Ended | 60問 |
| スロップ（Slop） | Slop | 30問 |
テキトー教師DotAI 認定講師ここは構造化して整理しましょう。まず8つの性格指標です。
室谷代表取締役整理するとこうです。
| 指標 | 内容 | 構成する特性 | 問題数 |
|---|---|---|---|
| 表現力（Expressiveness） | 豊かで多様、作り込まれた言葉 | Lexically Varied, Eloquent, Literate, Natural Sounding, Metaphorical | 150問 |
| 構成力（Organization） | 構造化され、読みやすく、結論が先 | Structured, Scannable, Bottom-Line Summary, Answer First | 120問 |
| 情報量（Informativeness） | 実用的な深さ、根拠、実行可能な内容 | Information Dense, Evidence-Based, Resource-Specific, Actionable Guidance, Pragmatic | 150問 |
| 透明性（Transparency） | 誠実、不確実性を認める、お世辞を言わない | Truthful, Admits Uncertainty, Disclaims Assumptions, Flags Nuances, Sycophantic（反転） | 150問 |
| 温かみ（Warmth） | 親しみやすい、ユーモラス、誠実、情緒的 | Friendly, Humorous, Sincere, Emotionally Intelligent | 120問 |
| 信念（Conviction） | 直接的、自信のある立場、建設的な反論 | Direct, Confident, Opinionated, Constructive Pushback | 120問 |
| 想像力（Imagination） | 創造的、探索的、開かれた思考 | Creative, Open-Ended | 60問 |
| スロップ（Slop） | 定型句・一般的表現の多さ | Slop | 30問 |
テキトー教師DotAI 認定講師透明性だけ「お世辞的（Sycophantic）」が反転されているのがミソです。お世辞が少ないほど透明性スコアが上がる設計になっています。
室谷代表取締役そして21の伝達特性は4カテゴリに分かれます。長さ（文字数・単語数・文数・段落数・平均文長）、構造（リスト・見出し・表）、句読点（エムダッシュ・短縮形・感嘆符・疑問符・括弧・引用符・コロン・省略記号）、強調（太字・斜体・絵文字・頭字語・疑問符で終わるか）です。
テキトー教師DotAI 認定講師これらは900問すべての応答に対してプログラムで計算され、平均値が報告されます。
室谷代表取締役この2本柱が合わさって、モデルごとの「指紋（フィンガープリント）」が見えるわけです。
AA-PersonalityBenchの使い方・始め方——ランキング比較と自分好みの順位の作り方
AA-PersonalityBenchの4つの使い方
- 01指標別ランキングを見る指標ごとのモデルランキングを確認する
- 022モデルを特性ごとに比較各バーは「その特性で片方の回答が好まれる確率」を示す（Elo差から算出）
- 03自分好みの重み付けで順位を作る30の特性を−2〜+2で重み付けし、重み付き平均を1〜100のパーセンタイルに変換（負の重みはスコアから差し引かれる）
- 04類似モデルのクラスタを見る30の性格特性スコアの相関でモデルをグループ化し、性格ファミリーを可視化する
室谷代表取締役使い方は大きく4つあります。まず指標別のランキングを見る。
次に2モデルを特性ごとに比較する。そして自分好みの重み付けで順位を作る。
最後に類似モデルのクラスタを見る、という流れです。
次に2モデルを特性ごとに比較する。そして自分好みの重み付けで順位を作る。
最後に類似モデルのクラスタを見る、という流れです。
テキトー教師DotAI 認定講師2モデル比較では、各バーが「その特性で片方の回答が好まれる確率」を示します。例えば公式ページの例では、Claude Opus 5.5とClaude Sonnet 5.5を比べて、Lexically Variedが83%対17%、Eloquentが77%対23%と表示されています。
Elo差から確率を出している仕組みです。
Elo差から確率を出している仕組みです。
室谷代表取締役自分好みの順位作りは、30の特性それぞれを−2から+2で重み付けするんですよね。重み付き平均を出して、1〜100のパーセンタイルに変換する。
負の重みはスコアから差し引かれます。
負の重みはスコアから差し引かれます。
テキトー教師DotAI 認定講師これは受講生さんにも刺さる機能だと思います。「法務用途なら率直さと透明性を+2、ユーモアは−1」みたいに自分の優先順位を数値化できるわけですから。
室谷代表取締役MYUUUでも、用途ごとにモデルを使い分ける場面が増えているので、この重み付け機能は実務的にありがたいですね。Claude Fable 5.1の位置づけについてはClaude Fable 5とは？読み方・料金・Fable 5.1との違いを整理でも整理しています。
テキトー教師DotAI 認定講師クラスタリングも面白いですよ。30の性格特性スコアの相関でモデルをグループ化して、創発的な性格ファミリーを見つける。
モデルファミリーの枝が近いほど似ている、という可視化です。
モデルファミリーの枝が近いほど似ている、という可視化です。
室谷代表取締役あと、モデルごとの「指紋」表示もあります。全モデル平均からどれだけ離れているかを標準偏差（σ）で示すもので、各モデルの最も際立った特性と最も弱い特性が5つずつ見える。
テキトー教師DotAI 認定講師例えばClaude Opus 5.5なら、Evidence-Basedが+2.0σ、Information Denseが+1.7σ、Truthfulが+1.6σと上振れし、Slopが−1.0σと下振れしている、と公式ページに載っています。
AA-PersonalityBenchの評価結果——指標別に強みを持つモデルたち
室谷代表取締役ここが一番気になる結果の部分です。8指標それぞれで上位に来るモデルが違うんですよね。
テキトー教師DotAI 認定講師整理するとこうです。
- 表現力：Claude Fable 5.1、GLM-5.3、GLM-5.3-Flash
- 構成力：DeepSeek V4.1 Flash、Step 5 Preview、Inkling
- 情報量：Muse Spark 1.3、Claude Fable 5.1、Muse Wonder、Claude Opus 5.5
- 透明性：Claude Sonnet 5.5、Claude Fable 5.1、GPT-6 Astra
- 温かみ：Muse Wonder、Muse Spark 1.3、Claude Fable 5.1
- 信念：Claude Fable 5.1、DeepSeek V4.1 Flash、Grok 4.7
- 想像力：Muse Spark 1.3、Claude Opus 5.5、GLM-5.3
- スロップ：Llama 4 Maverick、GPT-4o、K2 Horizon
室谷代表取締役スロップは「高いほど悪い」指標なので、ここに名前が挙がるのは水増しが多いという意味です。Claude Fable 5.1は表現力・情報量・透明性・温かみ・信念の5指標で上位に入っていて、万能型に見えますね。
テキトー教師DotAI 認定講師一方で構成力や想像力では別のモデルが上位に来ている。単一の「最強モデル」ではなく、指標ごとに得意分野が分かれているのがこのベンチマークの面白さです。
室谷代表取締役伝達特性の結果も具体的です。長さではQwen3.8 27Bが1応答あたり平均約1,030語で、GPT-6 Lunaの270語のほぼ4倍。
構造ではNemotron 3 Ultraが1応答あたり平均で表をほぼ3つ使う一方、多くのモデルはほとんど使わない。
構造ではNemotron 3 Ultraが1応答あたり平均で表をほぼ3つ使う一方、多くのモデルはほとんど使わない。
テキトー教師DotAI 認定講師句読点ではGLM-5.3が1応答あたり平均7つのエムダッシュを使うのに対し、Claude Opus 5.5、Sonnet 5.5、Haiku 5.5はほとんど使わない。強調ではK2 Horizonが1応答あたり平均2つ以上の絵文字を使う一方、多くのモデルはほぼ使わない、と。
室谷代表取締役こういう数字は実際に触っていても「なんとなく」でしか分からないので、定量化される価値は大きいですよね。
スロップ指標が示す「中身のない水増し」の多いモデル・少ないモデル
テキトー教師DotAI 認定講師スロップは特に掘り下げたい指標です。定義は「中身を損なわずに削れる定型句やAI的な水増し表現の多さ」。
低いほど良い、と。
低いほど良い、と。
室谷代表取締役30問しかない最小の指標ですが、その分シンプルに「水増しの傾向」を測っているわけです。
テキトー教師DotAI 認定講師公式ページでは、現在評価されている全モデルの中でスロップが最も高いモデルと最も低いモデルが示されています。上位（水増しが多い）がLlama 4 Maverick、GPT-4o、K2 Horizon。
室谷代表取締役逆にClaude Opus 5.5はSlopが−1.0σ、Claude Fable 5.1は−0.9σ、GPT-6 Astraは−1.2σと、いずれも平均より下、つまり水増しが少ない側に位置しています。
テキトー教師DotAI 認定講師これは実務で効いてくる話ですよ。同じ内容なら短くまとめてくれるモデルの方が、読む側のコストが下がる。
講座でも「長い回答＝良い回答ではない」と伝えていますが、それが数値で裏付けられた形です。
講座でも「長い回答＝良い回答ではない」と伝えていますが、それが数値で裏付けられた形です。
室谷代表取締役スロップが高いモデルは、一見丁寧に見えても実は中身が薄い可能性がある。逆にスロップが低いモデルは、そっけないと感じることもあるかもしれませんが、情報密度は高い。
用途次第で使い分ける話ですね。
用途次第で使い分ける話ですね。
AA-PersonalityBenchの評価手法と限界——LLM審判・Elo・公開範囲
テキトー教師DotAI 認定講師手法を整理しましょう。まず質問は特性ごとに30問、計900問。
一部は特性を穏やかに促すもの、一部は中立的なもの。全問はベンチマーク汚染を避けるため非公開で、少数の例題だけ公開されています。
一部は特性を穏やかに促すもの、一部は中立的なもの。全問はベンチマーク汚染を避けるため非公開で、少数の例題だけ公開されています。
室谷代表取締役回答は各モデルが各質問に1回だけ、システムプロンプトなしの単一ユーザーメッセージで答える。だから「素のデフォルト挙動」が見えるわけです。
テキトー教師DotAI 認定講師審判団はGemini 3.8 Flash（high）、Claude Sonnet 5.5（medium）、GLM 5.3 Flash（max）の3モデル。各比較は1人の審判に割り当てられ、モデルごとに均等に振り分けられます。
回答の提示順もランダム化して位置バイアスを避けています。
回答の提示順もランダム化して位置バイアスを避けています。
室谷代表取締役判定はFirthペナルティ付きのBradley-TerryモデルでEloに変換。引き分けは両者0.5勝として扱われます。
Elo差400ポイントで10対1のオッズになるスケールです。
Elo差400ポイントで10対1のオッズになるスケールです。
テキトー教師DotAI 認定講師GPT-6.1 Sol（max）を全特性でElo 1000のアンカーモデルに固定し、他モデルより多くサンプリングして安定させている。信頼区間は1,000回のブートストラップで算出しています。
室谷代表取締役指標への集約は、各特性のEloをzスコア化して平均し、1〜100のパーセンタイルに変換する。透明性ではお世辞的特性が反転される、という流れです。
テキトー教師DotAI 認定講師ここで限界も押さえておきたいです。第一に、これは能力ベンチマークではない。
スコアは「どう書くか」であって「正しいか」ではない。第二に、特性は良い・悪いではなく「顕著さ」を測っている。
聴衆によって肯定的にも中立的にも否定的にもなり得るからです。
スコアは「どう書くか」であって「正しいか」ではない。第二に、特性は良い・悪いではなく「顕著さ」を測っている。
聴衆によって肯定的にも中立的にも否定的にもなり得るからです。
室谷代表取締役第三に、全問非公開なので外部で完全な再現はできない。公開されているのは例題5問だけです。
第四に、審判がLLMである以上、審判自身のクセも影響し得る。そこは3モデルのパネルと割り当ての均等化、順序ランダム化で緩和している、という設計です。
第四に、審判がLLMである以上、審判自身のクセも影響し得る。そこは3モデルのパネルと割り当ての均等化、順序ランダム化で緩和している、という設計です。
テキトー教師DotAI 認定講師あと、質問はすべて英語です。伝達特性の単語数カウントでは中国語・日本語・韓国語の1文字を1語として数える仕様が明記されていますが、質問自体は英語なので、日本語での挙動がそのまま反映されるわけではない点は注意が必要です。
室谷代表取締役データセットやコードの公開については、公式ページにGitHubやHuggingFaceへの導線は示されていません。現時点では明らかにされていません。
テキトー教師DotAI 認定講師既存のパーソナリティ系ベンチマークとの違いも気になるところですが、今回の発表資料には他ベンチマークへの言及はありません。そこは現時点では明らかにされていません、と正直に伝えるのが正確です。
室谷代表取締役ただ、Artificial Analysisの評価群が「総合知能」から「用途適合」へ広がっている流れは確かにありますよね。Intelligence Indexが数学・科学・コーディングなど10評価の合成であるのに対し、こちらは性格と文体。
補完関係にあると思います。
補完関係にあると思います。
よくある質問
室谷代表取締役最後に、よく聞かれそうな点を整理しておきます。
テキトー教師DotAI 認定講師まず「AA-PersonalityBenchとは何を測るベンチマークですか？」。答えは、言語モデルの性格（30特性→8指標）とコミュニケーションスタイル（21特性）です。
正しさではなく、書き方・応答の傾向を測ります。
正しさではなく、書き方・応答の傾向を測ります。
室谷代表取締役「料金はかかりますか？」。公式ページ上に利用料金の記載はなく、現時点では明らかにされていません。
結果の閲覧や自分好みのランキング作成はページ上で提供されています。
結果の閲覧や自分好みのランキング作成はページ上で提供されています。
テキトー教師DotAI 認定講師「日本語には対応していますか？」。質問はすべて英語で実施されています。
伝達特性の単語数カウントには中日韓の文字を1語として数える仕様が定義されていますが、日本語版の質問セットが提供されているかは現時点では明らかにされていません。
伝達特性の単語数カウントには中日韓の文字を1語として数える仕様が定義されていますが、日本語版の質問セットが提供されているかは現時点では明らかにされていません。
室谷代表取締役「データセットやコードは公開されていますか？」。全900問はベンチマーク汚染を避けるため非公開で、例題5問のみ公開。
コードやデータセットの公開先は公式ページに示されておらず、現時点では明らかにされていません。
コードやデータセットの公開先は公式ページに示されておらず、現時点では明らかにされていません。
テキトー教師DotAI 認定講師「スコアが高いモデルが優れているのですか？」。いいえ。
特性は良い・悪いではなく顕著さを測るもので、用途によって望ましさが変わります。だからこそ重み付け機能があるわけです。
特性は良い・悪いではなく顕著さを測るもので、用途によって望ましさが変わります。だからこそ重み付け機能があるわけです。
室谷代表取締役「スロップは高い方が良いのですか？」。逆です。
スロップは中身を損なわずに削れる水増し表現の多さを測る指標で、低いほど良いとされています。
スロップは中身を損なわずに削れる水増し表現の多さを測る指標で、低いほど良いとされています。
テキトー教師DotAI 認定講師モデル選びの基準が「賢さ」だけではなくなってきた。この発表はその流れを象徴していると思います。
受講生さんにも「自分の用途で何が大事か」を先に言語化してからランキングを見ることを勧めたいですね。
受講生さんにも「自分の用途で何が大事か」を先に言語化してからランキングを見ることを勧めたいですね。
室谷代表取締役そうですね。正答率では見えない差を可視化する。
使う側にとっては、モデル選びの解像度が一段上がる発表なんですよね。
使う側にとっては、モデル選びの解像度が一段上がる発表なんですよね。
