2026年10月20日

Cognitionの「Devin Efficiency Score」とは?AI利用効率を0〜100で採点

Devin Efficiency Score(ディビン・エフィシエンシー・スコア)は、Cognitionが2026年10月19日に発表したDevinの企業向け新機能で、エンジニアごとにDevinをどれだけ効率的に使っているかを0〜100で採点する指標です。あわせて、プロンプト実行前に改善を促すDevin Coach、効率の良いエンジニアの利用上限を自動で引き上げる効率ベースの承認制御が発表されました。

室谷室谷代表取締役
CognitionがDevinの企業向け機能を3つまとめて出してきましたね。Efficiency Score、Devin Coach、効率ベースの自動承認。

一言でいうと「AI予算を、うまく使えている人に寄せよう」という設計思想の発表なんですよね。
テキトー教師テキトー教師DotAI 認定講師
そうなんですよ。しかも単に「上限を増やしました」という話じゃないんです。

誰がどれだけ成果を出しているかを測って、その人に自動で配分する。AI利用の管理を“人の手による承認”から“スコアによる配分”に変える話で、講座でもよく聞かれる「AIにいくら払うべきか」に正面から答える内容です。
室谷室谷代表取締役
まず発表そのものを整理すると、Cognitionが2026年10月19日のブログで発表したのは、Efficiency Score、Devin Coach、効率ベースの承認の3つです。
テキトー教師テキトー教師DotAI 認定講師
発表の出発点が面白いんですよ。Cognitionは「一律の利用上限は、AI時代の採用凍結に似ている」と書いているんです。

全員に同じ天井をかぶせると、一番効率よく使えている人から先に止まってしまう、と。
室谷室谷代表取締役
これは現場感覚としてすごく分かる話で。うちでもAIツールの予算をどう配るかは毎回悩むんですよね。

全員同じ枠にすると、使い倒している人が止まって、あまり使っていない人は何も変わらない。

Devinの新機能「Efficiency Score」とは?何を測る指標なのか

Efficiency Scoreの評価プロセス
  1. 01
    セッションごとに有用な仕事を生んだか判定
    まず各セッションが有用な仕事を生んだかを判定する
  2. 02
    PRあり:マージされたか確認
    PRがあるセッションはマージされたかどうかで判断
  3. 03
    PRなし:分類器が前進を判断
    バグのトリアージや分析の問いへの回答など、実際に前進したかを分類器が判断
  4. 04
    合格セッションの人間換算時間を推定
    合格したセッションについて、人間なら何時間かかったかを推定する
  5. 05
    0〜100で評価
    直近のDevin利用を0〜100のスコアとして評価する
テキトー教師テキトー教師DotAI 認定講師
Efficiency Scoreは、エンジニアの直近のDevin利用を0〜100で評価する指標です。ポイントは「マージされたPR数」を成果にしていないことなんですよ。
室谷室谷代表取締役
そこですよね。PRにならない調査や計画こそ、AIエージェントの価値が出るところだったりするので。
テキトー教師テキトー教師DotAI 認定講師
公式ブログでは、多くの組織がAIの成果をマージPRで測っているけれど、計画、トリアージ、データ分析、調査といった有用な仕事の多くはマージPRを生まない、と指摘しています。そこでEfficiency Scoreは「生産的なエンジニアリング時間(productive engineering hours)」という考え方を土台にするわけです。
室谷室谷代表取締役
つまり「人間なら何時間かかったか」を推定して、それを成果として数える。PRが出なかった調査でも、バグのトリアージが進んだなら評価される、と。
テキトー教師テキトー教師DotAI 認定講師
はい。セッションごとに、まず有用な仕事を生んだかを判定します。

PRがあるセッションはマージされたかどうか。PRがないセッションは分類器が「バグのトリアージや分析の問いへの回答など、実際に前進したか」を判断する。

そのうえで、合格したセッションについて人間なら何時間かかったかを推定する、という流れです。
室谷室谷代表取締役
推定値の妥当性はどう担保しているんですか。
テキトー教師テキトー教師DotAI 認定講師
そこも公式に書かれていて、エンジニア自身が「このセッションは人間なら何時間相当か」と評価したデータセットに対して、推定値を検証したとしています。
室谷室谷代表取締役
なるほど。自己申告ベースの検証なので万能ではないですけど、少なくともPR数だけを見るよりは実態に近い指標になりそうですね。

Efficiency Scoreの算出方法——PRが出ない調査や計画をどう評価するか

Efficiency Scoreの4例(直近200ACU)
例E(効率)V(量)スコア
典型的なエンジニア0.500.5055点
パワーユーザー0.500.9560点
大量だが無駄が多い人0.270.9541点
慎重で量が少ない人0.750.1776点
テキトー教師テキトー教師DotAI 認定講師
ここが一番技術的に面白いところです。スコアは「効率(E)」と「量(V)」の2つから計算されます。

整理するとこうです。
  • 効率(E)=生産的な時間 ÷ ACU。つまり、使ったコストに対してどれだけ生産的な仕事が返ってきたか
  • 量(V)=1日あたりの生産的な時間。コストに関係なく、どれだけ仕事を届けたか
  • それぞれを0〜1の評価値に変換し、高い値では頭打ちになるように調整
  • 合成式は Score = 100 × (E + λV(1 − E))、λ = 0.2
室谷室谷代表取締役
式の意味するところが大事ですよね。Eがベースになって、Vは残りの伸びしろのうち最大2割までしか加点しない、と。
テキトー教師テキトー教師DotAI 認定講師
そうなんです。たとえばEが0.50ならスタートは50点で、Vで最大10点まで加点される。

Eが0.80なら最大4点。つまり「たくさん使った」だけでは点が伸びず、ACUあたりの効率が主役になる設計です。
室谷室谷代表取締役
公式ブログには直近200ACUでの4人の例が載っていましたよね。
テキトー教師テキトー教師DotAI 認定講師
はい。典型的なエンジニアがE0.50・V0.50で55点。

パワーユーザーがE0.50・V0.95で60点。大量だが無駄が多い人がE0.27・V0.95で41点。

慎重で量が少ない人がE0.75・V0.17で76点。この4例が設計思想をよく表しています。
室谷室谷代表取締役
大量に使っているのに効率が低い人が41点で、量は少なくても効率が高い人が76点。これはメッセージ性が強いですね。
テキトー教師テキトー教師DotAI 認定講師
しかもスコアは直近の利用を反映するので、初期のセッションが永久に足を引っ張るわけではないんですよ。タスクの選び方、計画、モデル選択を改善すれば、将来のスコアは上がる。
室谷室谷代表取締役
エンジニアは自分のスコアをMy AnalyticsのSession efficiencyで見られるんですよね。
テキトー教師テキトー教師DotAI 認定講師
はい。Healthy、Satisfactory、Needs Improvement、データ不足ならUnknownの4段階で表示されます。

補助指標として、1日あたりのマージPR数、マージPRあたりのACU、成果を届けたセッション、セッションサイズ別の消費も見られる。
室谷室谷代表取締役
スコアだけポンと出るのではなく、なぜその点数なのかを説明する指標が並ぶのは親切ですよね。

Devin Coachでできること——実行前のプロンプト改善をどう支援するか

Devin Coachが指摘する典型パターンと提案内容
例指摘の種類提案の内容
依頼が一般的すぎて具体的なタスクにならない具体性不足主要な設計判断が未決定のため、まず計画を立てるよう促す
簡単な作業なのに最も高価なモデルを選ぶモデル選択Ultraからデフォルトモードへの「Switch mode」を提案
1つのセッションに無関係なタスクを混ぜる無関係な追加依頼無関係な履歴をコンテキストに入れないよう新しいセッションを開始
料金ページのリンク修正とiOSの起動クラッシュを1つのプロンプトに混ぜる並列化可能なタスク子セッションに分割して完了時間を短縮
休暇の計画など明らかに個人的な依頼業務外利用仕事と無関係と思われるので送信しない
テキトー教師テキトー教師DotAI 認定講師
2つ目のDevin Coachは、プロンプトが実行される前にフィードバックを返す仕組みです。Cognitionは、新規ユーザーが同じようにつまずくと書いています。
室谷室谷代表取締役
具体的にはどんなつまずきですか。
テキトー教師テキトー教師DotAI 認定講師
依頼が一般的すぎて具体的なタスクにならない、簡単な作業なのに最も高価なモデルを選んでしまう、1つのセッションに無関係なタスクを混ぜてしまう、の3つが典型例として挙げられています。
室谷室谷代表取締役
これは講座でも受講生さんがやりがちなやつですよね。とりあえず一番強いモデルで、とりあえず全部一気に頼む、みたいな。
テキトー教師テキトー教師DotAI 認定講師
公式の例が分かりやすいんですよ。「課金体系を使用量ベースに対応するため請求システムを書き直す」というプロンプトに対しては、主要な設計判断が未決定のままなので、まず計画を立てるよう促す。

実装にコストをかける前に、誤った前提を正せるわけです。
室谷室谷代表取締役
ボタンのラベルを変えるだけのような単純作業では。
テキトー教師テキトー教師DotAI 認定講師
その場合は、最も高性能で高価なUltraからデフォルトモードへの「Switch mode」を提案することがある、と。小型モデルが改善してきたので、多くのタスクではそちらのほうが効率的だという説明です。
室谷室谷代表取締役
他にはどんな指摘があるんですか。
テキトー教師テキトー教師DotAI 認定講師
表にまとめるとこうです。
例指摘の種類提案の内容
請求エクスポートのセッションに無関係なダークモード切替の依頼が来る無関係な追加依頼無関係な履歴をコンテキストに入れないよう新しいセッションを開始する
料金ページのリンク修正とiOSの起動クラッシュを1つのプロンプトに混ぜる並列化可能なタスク子セッションに分割して完了時間を短縮する
休暇の計画など明らかに個人的な依頼業務外利用仕事と無関係と思われるので送信しない
室谷室谷代表取締役
業務外利用まで指摘するんですね。
テキトー教師テキトー教師DotAI 認定講師
ただ、提案がうるさくならないように、小さなLLMの分類器で固定された行動セットをチェックし、問題なければ何も返さない設計です。数百のラベル付き事例で調整し、良いプロンプトには何も言わないケースを重視したと書かれています。
室谷室谷代表取締役
黙っているべきときに黙る、というのは地味に重要ですよね。
テキトー教師テキトー教師DotAI 認定講師
管理側の設定も選べます。インラインの提案でエンジニアが無視できる形(デフォルト)、フラグが立った新規セッションのプロンプト送信前に確認を必須にする形、チェックを一切しない形の3つです。

Devin Coachが勝手にプロンプトを書き換えることはない、と明記されています。
室谷室谷代表取締役
分析画面では、どんな提案が見られ、承認・却下されたかが分かるんですよね。
テキトー教師テキトー教師DotAI 認定講師
はい。承認率、日次トレンド、種類別の内訳が見られます。

チームの開発体験担当やCognitionのフォワードデプロイドエンジニアが、それを使って個別のトレーニングに使える、という位置づけです。

効率ベースの自動承認の使い方・始め方——管理者は何を設定するのか

テキトー教師テキトー教師DotAI 認定講師
3つ目の効率ベースの承認は、管理者がUsage policiesで「Approve based on efficiency」を選び、Devinが自動で承認できる上限額を設定するところから始まります。
室谷室谷代表取締役
スコアが良い人が上限に近づくと、申請なしで自動的に引き上げられる、と。
テキトー教師テキトー教師DotAI 認定講師
はい。HealthyまたはSatisfactoryのエンジニアが上限に近づくと、リクエストなしで上限が引き上げられ、管理者が設定した天井で止まります。

組織全体の上限は引き続き適用されます。
室谷室谷代表取締役
天井を超えるリクエストが来たらどうなるんですか。
テキトー教師テキトー教師DotAI 認定講師
天井までは付与して、残りは管理者に回します。自動で拒否することは決してない、と明記されています。

Needs ImprovementやUnknownのエンジニアも追加利用を申請できますが、そのリクエストは管理者のレビューに回ります。
室谷室谷代表取締役
管理者はレビュー時に何を見るんですか。
テキトー教師テキトー教師DotAI 認定講師
申請理由に加えて、効率スコア、モデルの組み合わせ、消費量です。企業の管理者が配分時に最も重視すると答えた指標だ、と書かれています。
室谷室谷代表取締役
ドキュメント側の設定も整理しておきたいですね。
テキトー教師テキトー教師DotAI 認定講師
Usage policiesのドキュメントによると、まず利用階層(ティア)を作り、各メンバーの月間ACU割り当てを決めます。IdPのグループをティアにマッピングしたり、メンバー個別に上書きしたりもできます。

承認ポリシーは「手動承認」「常に承認」「効率ベースで承認」の3種類です。
室谷室谷代表取締役
効率ベースを選ぶと、HealthyかSatisfactoryの間だけ、しかも現在の利用量から少しずつ自動承認される、と。
テキトー教師テキトー教師DotAI 認定講師
そうです。自動承認は常にメンバーの有利に働く設計で、拒否は必ず管理者の判断。

天井を超える分は天井まで付与して残りは保留、管理者が設定した恒久的な上書きが自動承認で置き換わることもない、とされています。
室谷室谷代表取締役
ちなみに、このper-userのACU上限はベータで、企業ごとに有効化が必要なんですよね。
テキトー教師テキトー教師DotAI 認定講師
はい。ドキュメントには、per-user ACU limitsはベータであり、エンタープライズで有効化が必要で、アカウントチームに連絡するよう書かれています。

管理にはManage ACU limitsまたは請求管理者の権限が要ります。
室谷室谷代表取締役
制限のリセットは請求サイクルに合わせて毎月、と。
テキトー教師テキトー教師DotAI 認定講師
そうです。契約が23日開始なら23日にリセットされます。

あと地味に大事なのが、Devin Reviewの利用はper-userの上限にはカウントされないという点です。
室谷室谷代表取締役
そこは覚えておきたいですね。

一律の利用上限がなぜ問題か——Cognitionが示す導入現場の変化

テキトー教師テキトー教師DotAI 認定講師
Cognitionが示した実例がかなり生々しいんですよ。2社の実際のエンジニアの比較です。
室谷室谷代表取締役
どちらもそのアカウントで最も生産性の高いユーザーだった、という話ですよね。
テキトー教師テキトー教師DotAI 認定講師
はい。両者とも月間上限に達しました。

手動承認が必要だった1社目では、管理者が上限を上げるまで4日間ブロックされ、その週のマージPRは通常の3分の1に落ちた。回復したのはその後です。
室谷室谷代表取締役
4日止まるだけで週の成果が3分の1ですか。インパクトが大きいですね。
テキトー教師テキトー教師DotAI 認定講師
一方、自動承認を有効にしていた2社目では、上限に22回達し、そのたびにDevinが自動で引き上げました。その結果、週30件だったマージPRがほぼ80件まで伸びた、と。
室谷室谷代表取締役
これは分かりやすい比較ですね。止めないことがそのまま成果になっている。
テキトー教師テキトー教師DotAI 認定講師
Cognitionは、静的な上限を使う企業には「パワーユーザーを手動で見つけて個別に枠を増やす」か「一律の上限で制限する」かの2択しかなかった、と言っています。効率ベースの承認はその第3の選択肢だ、と。
室谷室谷代表取締役
数百人、数千人規模になると、手動で見つけるのは現実的じゃないですからね。
テキトー教師テキトー教師DotAI 認定講師
承認キューが膨らむ問題も指摘されています。効率ベースなら、管理者のレビュー負担を増やさずに個人別のコントロールを規模拡大できる、という主張です。
室谷室谷代表取締役
BiltのVPのコメントも載っていましたよね。
テキトー教師テキトー教師DotAI 認定講師
Will Laughlin氏のコメントとして、パワーユーザーは頼まずに多く使え、成果が出ていない場合は分かって会話できる、Devin Coachでユーザーの効率化トレーニングを広げやすくなった、という趣旨の話が紹介されています。
室谷室谷代表取締役
スコアが“監視”ではなく“会話のきっかけ”として機能しているのがいいですね。
テキトー教師テキトー教師DotAI 認定講師
なお、The Informationはこの取り組みを「最も効率的なエンジニアにトークン消費を限定する計画」と報じていますが、本文は有料で、詳細までは確認できません。Cognitionは今後、部門リーダーに予算を配分できる柔軟な予算管理機能を導入予定だと述べるにとどめています。
室谷室谷代表取締役
そこは現時点では明らかにされていない、という扱いですね。

料金・提供範囲はどうなっているか——ACU課金と日本での利用可否

室谷室谷代表取締役
ここは誤解されやすいので整理しておきたいんですけど、Efficiency ScoreやDevin Coach自体に新しい料金が設定された、という発表ではないんですよね。
テキトー教師テキトー教師DotAI 認定講師
そうなんです。課金の枠組みは従来どおりで、Devinにはセルフサーブとエンタープライズの2つの料金モデルがあります。

セルフサーブはFree、Pro、Max、Teamsで、含まれる枠とオンデマンドのクレジットの組み合わせ。エンタープライズはACU(Agent Compute Unit)で、注文書に定められたレートで請求されます。
室谷室谷代表取締役
ACUはLLMとクラウド基盤のコストをまとめた課金単位、と。
テキトー教師テキトー教師DotAI 認定講師
はい。今回の3機能はエンタープライズ向けの機能という位置づけで、per-userのACU上限はベータ、有効化が必要です。

料金の詳細は注文書ベースなので、公式ドキュメントでも「価格は営業に問い合わせ」となっています。
室谷室谷代表取締役
日本での利用可否についてはどうですか。
テキトー教師テキトー教師DotAI 認定講師
今回の発表資料の中では、日本での提供可否についての記載は確認できません。現時点では明らかにされていません、という扱いが正確です。
室谷室谷代表取締役
既存のDevinの活用事例を知りたい人は、Devin in Pylonとは?Cognitionが発表、チケット起点で修正PRまで自動化もあわせて読むと、Devinがどう業務に入り込むかのイメージが湧くと思います。
テキトー教師テキトー教師DotAI 認定講師
あと、コーディングエージェント全般の料金や使い方の考え方はCursor 2.0完全ガイド【2026年最新】:新機能・料金・使い方からCursor 3.0への進化まで徹底解説でも触れられているので、予算配分の比較材料になるかもしれません。
室谷室谷代表取締役
ただ、今回の話は「いくら使ったか」ではなく「使った分から何時間分の仕事が返ってきたか」を見る方向に舵を切った、というのが本質ですよね。
テキトー教師テキトー教師DotAI 認定講師
そうなんですよ。AIの予算管理が、コストセンターの管理から、投資対効果の配分設計に変わりつつある。

講座でも、AIツールの導入は「使えるようにする」段階から「配分を設計する」段階に移っていると話しているんですが、まさにその流れです。
室谷室谷代表取締役
うちでも、誰にどれだけ使わせるかを感覚で決めていた部分があるので、指標として持っておくのはアリだなと思いました。もっとも、スコアが自己申告の検証に基づく推定である以上、数字を絶対視せず会話の材料にするのが現実的ですね。

よくある質問

テキトー教師テキトー教師DotAI 認定講師
最後に、よく聞かれそうな点を整理しておきますね。
室谷室谷代表取締役
お願いします。
テキトー教師テキトー教師DotAI 認定講師
まず、Efficiency Scoreは何を測るのか。直近のDevin利用について、生産的なエンジニアリング時間をACUあたりで見た効率と、1日あたりの生産時間の量を合成した0〜100の評価です。

PRが出ない調査や計画も、有用な前進があれば評価対象になります。
室谷室谷代表取締役
算出方法は公開されているんですか。
テキトー教師テキトー教師DotAI 認定講師
公式ブログで合成式まで公開されています。Score = 100 × (E + λV(1 − E))、λ = 0.2で、効率がベース、量は残りの伸びしろの最大2割まで加点、という設計です。
室谷室谷代表取締役
スコアが低いと使えなくなるんですか。
テキトー教師テキトー教師DotAI 認定講師
いいえ。Needs ImprovementやUnknownでも追加利用は申請でき、管理者のレビューに回ります。

自動で拒否されることはない、と明記されています。
室谷室谷代表取締役
管理者は何から始めればいいんですか。
テキトー教師テキトー教師DotAI 認定講師
Usage policiesで利用階層を設定し、承認ポリシーで「効率ベースで承認」を選び、自動承認の上限を決める流れです。per-userのACU上限はベータで有効化が必要なので、まずアカウントチームに相談するのが第一歩になります。
室谷室谷代表取締役
料金はどうなるんですか。
テキトー教師テキトー教師DotAI 認定講師
新しい料金体系の発表ではなく、従来どおりセルフサーブとエンタープライズのACU課金です。エンタープライズのレートは注文書で定められ、公式ドキュメントでは価格は営業への問い合わせとなっています。
室谷室谷代表取締役
日本で使えるかは。
テキトー教師テキトー教師DotAI 認定講師
今回の発表資料には記載がなく、現時点では明らかにされていません。
室谷室谷代表取締役
スコアが低い人はどうすればいいんですか。
テキトー教師テキトー教師DotAI 認定講師
スコアは直近の利用を反映するので、タスクの選び方、計画、モデル選択を改善すれば将来のスコアは上がります。My Analyticsで自分のスコアと改善のヒントが見られ、Devin Coachが日々のプロンプトで改善を後押しする、という設計です。
室谷室谷代表取締役
今日の話、突き詰めると「AIの予算は平等に配るものではなく、成果に配るもの」という宣言なんですよね。導入が進んだチームほど、この配分設計が次のテーマになるんだろうなと。
テキトー教師テキトー教師DotAI 認定講師
そうですね。スコアの妥当性や現場の納得感はこれから検証される話ですが、少なくとも“一律上限”という鈍器しかなかった状態に、別の選択肢が出てきたことは大きいと思います。

Related

関連記事

New Articles

新着記事

ガイド

Geminiの解約はどこから?PC・iPhone・Android別の手順と解約後に起きること

2026年10月20日
室谷テキトー教師
ニュース

HeyGen Video 1.0とは?音声付き汎用動画モデルの料金と使い方

2026年10月20日
室谷テキトー教師
ニュース

Mercury 3とは?Inceptionの拡散型LLM、1Mコンテキストと1000+ tok/s

2026年10月20日
室谷テキトー教師
ニュース

Metaの「Muse Wonder Full」とは?LMArena WebDevで6位に初登場

2026年10月20日
室谷テキトー教師
ニュース

DeepSeek V4.1-Flash-1017とは?Unslothが1-bit量子化で128GBローカル実行に対応

2026年10月20日
室谷テキトー教師
ニュース

Microsoftの「MAI-Transcribe-2」とは?21言語中18言語で最低エラー率の音声認識モデル

2026年10月20日
室谷テキトー教師
ニュース

GPT-Image-2.5 Sunburstとは?LMArenaで14日間限定公開のOpenAI画像モデル

2026年10月20日
室谷テキトー教師
ガイド

イレブンラボとは?料金・商用利用・ボイスクローンの規約を公式情報で整理

2026年10月20日
室谷テキトー教師
ガイド

Copilot Keyboardとは?無料の日本語IMEの機能・料金とCopilotキーとの違い

2026年10月19日
室谷テキトー教師
ニュース

MiniMax-M3.1-Flashとは?100万トークン・常時思考の低価格APIを解説

2026年10月19日
室谷テキトー教師

Join

AIプレナーになる。

入会は審査制です。いまの事業と、AIで何を動かしたいのかを聞かせてください。

参加を申請する