AA-PersonalityBenchとは？AIの「性格」を測る新ベンチマーク

室谷代表取締役

AA-PersonalityBench（エーエー・パーソナリティベンチ）は、Artificial Analysisが2026年10月19日に発表した、AIモデルの能力ではなく「性格」とコミュニケーションスタイルを測るベンチマークなんですよね。同じくらい正確な2つのモデルでも、使っていて全く違う印象になる。

その差を可視化するのが狙いだと。

テキトー教師DotAI 認定講師

これは単に「新しいベンチが出ました」という話じゃないんですよ。これまで正答率やコーディング能力ばかり見てきた評価軸に、初めて「書き方の癖」という軸を持ち込んだ。

講座でも受講生さんから『同じ正解でもモデルによって文章がぜんぜん違う』という声がずっとあったので、それが指標になったのは大きいですね。

室谷代表取締役

しかも今回の焦点が面白くて。知能指数の上位10モデルずつをオープンウェイトとプロプライエタリで比較したら、性格の面で明確な差が出たんですよ。

テキトー教師DotAI 認定講師

能力で選抜した上位同士でも性格は違う、というのがポイントですよね。まずはベンチマークの中身から整理しましょうか。

AA-PersonalityBenchとは？何を測るベンチマークなのか

室谷代表取締役

公式ページによると、AA-PersonalityBenchは『モデルがどう書くか』を測るもので、『正しいかどうか』を測る能力ベンチマークではないと明記されているんですよね。30の性格特性をLLM審判団がペア比較で判定して、8つの性格指数に集約する。

さらに21の通信特性を機械的に計測する、と。

テキトー教師DotAI 認定講師

ここ大事なんですよ。特性には良い・悪いではなく『その特性がどれだけ強く出ているか』を測る設計になっています。

たとえば『Opinionated（意見が強い）』は場面によって長所にも短所にもなる。だから優劣ではなく強度を見る、という思想ですね。

室谷代表取締役

質問は900問。特性ごとに30問ずつ用意されていて、システムプロンプトなしの素の挙動を見る。

つまりユーザーが何も指示しなかったときのデフォルトの文体が測られるわけです。MYUUUでもモデルを業務に組み込むとき、プロンプトで性格を矯正する前提で設計するんですが、その矯正前の素の状態が数値で見えるのはありがたいですよね。

テキトー教師DotAI 認定講師

質問セットはベンチマーク汚染を避けるため非公開で、特性ごとに2問ずつサンプルが公開されている。この設計は評価の妥当性を保つための定石ですね。

能力ベンチマークとの違い——『正しさ』ではなく『書き方の癖』を測る狙い

室谷代表取締役

従来のベンチって正答率が中心じゃないですか。でも実務で使うと、正解でも読みにくい、前置きが長い、結論が最後まで出てこない、みたいなストレスがあるんですよね。

そこを測るのがこのベンチの狙いだと。

テキトー教師DotAI 認定講師

まさに『同じくらい正確な2モデルでも使っていて全く違う印象になる』という問題意識です。能力評価だけでは説明できないユーザー体験の差を、性格という切り口で分解したわけですね。

室谷代表取締役

能力ベンチの代表例としてはArtificial Analysis Intelligence Index v5とは？9評価・非公開6割の新指標を解説で解説しているインテリジェンス指数があって、今回の比較もその上位10モデルずつを抽出する形で行われているんですよ。能力で上位に来たモデル同士でも性格はこんなに違う、という構図がよく分かります。

テキトー教師DotAI 認定講師

評価の土台が同じだからこそ、『能力は高いのに性格が合わない』というミスマッチを定量的に議論できるようになった。モデル選びの解像度が一段上がる話ですよね。

30の性格特性と8つの指標——評価の仕組みと方法論

室谷代表取締役

ここは整理しておきたいので、まず仕組みを箇条書きで見せますね。

テキトー教師DotAI 認定講師

お願いします。方法論は公式のmethodologyページにかなり細かく書かれていますから。

• 30の性格特性ごとに30問、合計900問を各モデルが1回ずつ回答（システムプロンプトなし）
• 審判団はGemini 3.8 Flash（high）、Claude Sonnet 5.5（medium）、GLM 5.3 Flash（max）の3モデル。1比較につき1名が担当し、モデルごとに担当が偏らないよう配分を調整
• 判定はブラインド方式でモデル名を伏せ、回答の提示順もランダム化して位置バイアスを排除
• 各特性の判定をFirthペナルティ付きBradley-TerryモデルでEloレーティング化。引き分けは双方0.5勝として扱う
• GPT-6.1 Sol（max）を全特性でElo 1000のアンカーモデルに固定し、他モデルより多めにサンプリングして基準を安定化
• 信頼区間は判定を1,000回リサンプリングして再フィットするブートストラップで算出

室谷代表取締役

8つの指数は、Expressiveness（表現力）、Organization（構成力）、Informativeness（情報量）、Transparency（透明性）、Warmth（温かみ）、Conviction（信念）、Imagination（想像力）、Slop（スロップ）なんですよね。各指数は所属特性のEloをzスコア化して平均し、評価対象の全モデルの中で1〜100のパーセンタイル順位に変換する、と。

テキトー教師DotAI 認定講師

特性の内訳も見ておくと理解が深まります。たとえばTransparencyはTruthful、Admits Uncertainty、Disclaims Assumptions、Flags Nuances、そしてSycophanticの5つ。

Sycophanticは指数への寄与が反転されるので、ご機嫌取りが少ないほど透明性スコアが上がる設計です。

室谷代表取締役

あと見落としがちなのが21の通信特性ですね。文字数、単語数、文数、段落数、平均文長、リスト、見出し、表、ダッシュ、短縮形、感嘆符、疑問符、括弧、引用符、コロン、省略記号、太字、斜体、絵文字、頭字語、そして最後が疑問符で終わるか。

これらはLLM審判ではなくプログラムで機械的に計測されるんですよ。

テキトー教師DotAI 認定講師

主観判定と客観計測を分けているのが設計として上手いんですよね。絵文字の使用量や文の長さは審判に聞くまでもなく数えられますから。

室谷代表取締役

ちなみにこのベンチの概要はAA-PersonalityBenchとは？Artificial Analysisが発表したAIの「性格」評価ベンチマークでも触れているので、あわせて読むと全体像がつかみやすいです。

オープンウェイト vs プロプライエタリ、知能上位10モデルずつの比較結果

室谷代表取締役

ここからが今回の本題で。知能指数の上位10モデルずつ、オープンウェイトとプロプライエタリを抜き出して比較したんですよね。

テキトー教師DotAI 認定講師

対象モデルも公式スレッドに明記されています。プロプライエタリ側はClaude Opus 5.5、GPT-6 Astra、GPT-6.1 Sol、Claude Sonnet 5.5（max）、Gemini 4 Argon、Claude Fable 5.1、GPT-6 Sol、Muse Wonder、Muse Spark 1.3、Claude Haiku 5.5の10モデル。

室谷代表取締役

オープンウェイト側はKimi K3.1 Pro、DeepSeek V4.1 Flash 1017、GLM-5.3、MiMo-V2.6-Pro、MiniMax-M3.1-Flash、Step 5 Preview、GLM-5.3-Flash、Muse Spark Open、Qwen3.8 27B、MiniMax-M3の10モデルですね。

テキトー教師DotAI 認定講師

そして指数別の平均スコアがこちらです。プロプライエタリが上回る項目と、オープンウェイトが上回る項目がはっきり分かれています。

室谷代表取締役

Slop以外のすべての指数でプロプライエタリが上回っていて、Slopだけはオープンウェイトが高い、つまり埋め草的な文章が多いという結果なんですよね。

テキトー教師DotAI 認定講師

ここで注意したいのは、Slopは低いほど良い指標だということ。オープンウェイトの49という数字は、プロプライエタリの30より“スロップが多い”方向に高い、という意味です。

Truthfulで32ポイント差——オープンウェイトが劣る特性と上回る特性

室谷代表取締役

個別の特性で一番差が大きかったのがTruthful、つまり誠実さで、プロプライエタリ平均79に対してオープンウェイト47。32ポイント差なんですよ。

テキトー教師DotAI 認定講師

これは全特性中で最大のギャップだと公式スレッドに明記されています。オープンウェイトが下回る特性を並べるとこうなります。

• Truthful:79 vs 47
• Pragmatic:79 vs 49
• Natural Sounding:77 vs 52
• Evidence-Based:76 vs 47
• Structured:73 vs 45
• Literate:70 vs 47

室谷代表取締役

逆にオープンウェイトが上回る特性はSlop（30 vs 49）、Bottom-Line Summary（47 vs 62）、Scannable（41 vs 53）の3つなんですよね。要するに結論先出しで読みやすく整理する方向には強いけれど、誠実さや根拠の提示、自然な文体では劣る、という構図です。

テキトー教師DotAI 認定講師

ただ、これは平均の話であって個別モデルはばらつくんですよ。公式ページのモデル指紋を見ると、Kimi K3.1 ProはTruthfulで+1.4σと平均より上に出ています。

つまりオープンウェイト全体の平均が低いからといって、個々のモデルが全部そうとは限らない。

室谷代表取締役

そこは誤読されやすいポイントですよね。グループ平均と個別モデルの成績は分けて読む必要がある。

結果の読み方と注意点——グループ平均であり個々のモデルはばらつく

室谷代表取締役

このベンチ、指標の性質を誤解すると危ないんですよ。さっきのSlopしかり、Sycophanticしかり、特性によって高い方が良い場合と低い方が良い場合が混在しているんですよね。

テキトー教師DotAI 認定講師

公式ページでも『特性は良い・中立・悪いのいずれにもなり得るため、望ましさではなく強度を測る』と明記されています。だからランキングの数字をそのまま『優劣』として読むのは間違いなんですよ。

室谷代表取締役

あと信頼区間の扱いも大事ですね。公式の方法論では、Eloの95%信頼区間が重なる場合は『明確に異なるとは言えない』とされています。

僅差の順位を過度に気にする必要はない、と。

テキトー教師DotAI 認定講師

それからこれは能力評価ではない、という大前提も忘れちゃいけない。どれだけ性格スコアが良くても、正答率が低ければ実務では使えない。

能力ベンチとセットで見るべきものなんですよね。

室谷代表取締役

発表元のArtificial Analysisは、インテリジェンス指数などで広く参照されている評価機関です。評価はすべて独立して実施されていると公式ページに明記されています。

ただ、審判もLLMである以上、判定のブレはゼロではない。だからこそブラインド比較や順序ランダム化、アンカー固定、ブートストラップによる信頼区間といった手当てが入っているわけです。

テキトー教師DotAI 認定講師

その辺の設計思想は信頼性を判断する材料になりますよね。

モデル選びへの実用的示唆——用途別に性格の違いをどう使うか

室谷代表取締役

で、これを実務にどう使うかですよ。公式ページには『Build Your Own Personality Ranking』という機能があって、30の特性を−2から+2の重みで自由に組み合わせて、自分専用のランキングを作れるんですよね。

テキトー教師DotAI 認定講師

これは用途別のモデル選びに直結しますね。たとえばカスタマー対応ならWarmthやFriendlyを重視、技術文書の作成ならStructuredやEvidence-Basedを重視、というように重みを変えれば、自分の業務に合ったモデルが見えてくる。

室谷代表取締役

MYUUUでも提案資料の作成にモデルを使うことが多いんですが、そこで欲しいのはStructuredでありEvidence-Basedなんですよ。逆に雑談やブレストならHumorousやCreativeの重みを上げる。

同じ『高性能モデル』でも、どの性格特性に重みを置くかで選ぶべきモデルは変わるわけです。

テキトー教師DotAI 認定講師

公式ページのモデル指紋も参考になります。たとえばClaude Opus 5.5はEvidence-Basedが+2.2σ、Information Denseが+1.7σ、Truthfulが+1.7σと、根拠重視の方向に強く出ている。

GPT-6 AstraはTruthfulが+1.5σ、Admits Uncertaintyが+1.5σと、不確実性を認める方向が強い。

室谷代表取締役

GLM-5.3はNatural Soundingが+1.9σ、Lexically Variedが+1.6σ、Eloquentが+1.5σと、文体の豊かさで光るんですよね。DeepSeek V4.1 Flash 1017はBottom-Line Summaryが+1.4σと結論先出し型。

Muse WonderはFriendlyが+1.8σ、Emotionally Intelligentが+1.7σで、対話の温かさ重視なんですよ。

テキトー教師DotAI 認定講師

Grok 4.7はDirectが+1.6σ、Sincereが+1.2σ、Answer Firstが+1.1σと、率直で結論先行型。MiMo-V2.6-ProはScannableが+1.6σと読みやすさ重視ですね。

室谷代表取締役

こういう指紋を見ると、モデルごとの個性がはっきり分かりますよね。ChatGPT側で性格を切り替えたい場合はChatGPTの性格は6種類＋標準、どこで設定する？おすすめプロンプト付きも参考になると思います。

テキトー教師DotAI 認定講師

あと通信特性も見逃せません。たとえば太字の平均使用回数はGemini 4 Argonが17.2回で最も多く、Claude Opus 5.5が11.8回、GPT-6 Astraが8.8回、Claude Fable 5.1が8.7回と続く。

同じ『読みやすい』でも、強調の付け方はかなり違うんですよね。

室谷代表取締役

うちの業務だと、Slopが低いモデルをそのまま顧客向け文章に使うと、定型句が多くて没個性になりがちなんですよ。だからSlopの数値を見て、必要ならプロンプトで文体を指定する。

このベンチはその判断材料になるわけです。

テキトー教師DotAI 認定講師

講座でも受講生さんに『まず能力で足切りして、次に性格で選ぶ』という二段階の選び方を勧めているんですよ。能力が足りないモデルはそもそも候補にならない。

その上で、自分の用途に合う性格のモデルを選ぶ。この順序が大事なんですね。

室谷代表取締役

まさにそれで、能力上位10モデル同士の比較だからこそ意味があるんですよね。能力で劣るモデルを性格だけで選んでも実務では使えない。

逆に能力が同じなら、性格で選ぶ余地が生まれる。

よくある質問

テキトー教師DotAI 認定講師

では最後に、よく聞かれる点を整理しておきますね。

室谷代表取締役

AA-PersonalityBenchとは何か、という基本からいきましょうか。

テキトー教師DotAI 認定講師

はい。AA-PersonalityBenchは、Artificial Analysisが2026年10月19日に発表した、AIモデルの性格とコミュニケーションスタイルを測るベンチマークです。

能力の正しさではなく、どう書くかを評価します。

室谷代表取締役

何を測るのかというと、30の性格特性をLLM審判団がペア比較で判定し、8つの性格指数に集約します。さらに21の通信特性を機械的に計測します。

テキトー教師DotAI 認定講師

能力ベンチマークとの違いは、正答率ではなく文体や癖を測る点です。特性は望ましさではなく強度で評価されます。

室谷代表取締役

評価の仕組みは、30特性×30問の900問を各モデルがシステムプロンプトなしで回答し、ブラインドのペア比較をBradley-TerryモデルでElo化するという流れです。信頼区間はブートストラップで算出されます。

テキトー教師DotAI 認定講師

ランキングの見方としては、8つの指数が1〜100のパーセンタイルで示されます。ただしSlopやSycophanticは低いほど良い方向に働くので、単純な優劣として読まないことが大切です。

室谷代表取締役

オープンウェイトとプロプライエタリの比較結果は、Truthfulで32ポイント差をはじめ、Slop以外のすべての指数でプロプライエタリが上回るというものでした。ただしこれはグループ平均で、個々のモデルはばらつきます。

テキトー教師DotAI 認定講師

モデル選びへの活用としては、公式ページの『Build Your Own Personality Ranking』で特性に重みを付けて自分専用のランキングを作れます。用途に合わせた重み付けが実用的ですね。

室谷代表取締役

発表元の信頼性については、Artificial Analysisはインテリジェンス指数などで参照される評価機関で、評価はすべて独立して実施されていると公式ページに明記されています。

テキトー教師DotAI 認定講師

なお、料金や提供範囲については今回の発表の範囲外なので、現時点では明らかにされていません。モデルの利用料金は各提供元の情報を確認してください。

室谷代表取締役

というわけで、能力一辺倒だったモデル評価に『性格』という軸が加わったのは大きいですよね。同じ正解でも使い心地は違う。

その違いを数値で見られるようになったことで、モデル選びの解像度が一段上がると思います。

テキトー教師DotAI 認定講師

そうですね。まず能力で足切りして、次に性格で選ぶ。

この二段階の視点を持っておくと、受講生さんたちのモデル選びももっと納得感のあるものになるはずです。