「GPTの生物学知識テストはもう古い？」――LifeSciBenchが測定する“本当の研究能力”
室谷代表取締役OpenAIがまた面白いものを出してきましたね。LifeSciBenchっていう、生命科学研究の実用的な能力を測るベンチマークなんですけど、これ従来のテストとはちょっとレベルが違うんですよね。
テキトー教師DotAI 認定講師そうですね。室谷さんがおっしゃる通り、単なる知識問題じゃないんですよ。
従来の生物学ベンチマークって、例えば「この遺伝子の機能は？」みたいな事実想起が中心だったじゃないですか。でもLifeSciBenchは、実際の研究プロセスに即したタスクで構成されている。
具体的には「エビデンスの解釈」「不確実性の中での意思決定」「科学アーティファクトの処理」なんかを測るんです。
従来の生物学ベンチマークって、例えば「この遺伝子の機能は？」みたいな事実想起が中心だったじゃないですか。でもLifeSciBenchは、実際の研究プロセスに即したタスクで構成されている。
具体的には「エビデンスの解釈」「不確実性の中での意思決定」「科学アーティファクトの処理」なんかを測るんです。
室谷代表取締役まさに。僕もMYUUUでAIの実用化をやってる立場からすると、知識だけあっても現場で使えないAIは意味がない。
LifeSciBenchはそのギャップを埋めようとしてるんでしょうね。OpenAIの発表文にも「Current benchmarks do not fully capture these capabilities」って書いてあります。
LifeSciBenchはそのギャップを埋めようとしてるんでしょうね。OpenAIの発表文にも「Current benchmarks do not fully capture these capabilities」って書いてあります。
テキトー教師DotAI 認定講師そうです。実際の研究者は、不完全な証拠を統合したり、矛盾する結果を調整したり、実験コストや時間制約を考慮した判断を求められる。
既存のベンチマークではそういう複合的な推論は評価できなかった。LifeSciBenchは7つのワークフロー（エビデンス処理、分析、設計最適化、科学的推論、検証運用、トランスレーション、科学コミュニケーション）をカバーしています。
既存のベンチマークではそういう複合的な推論は評価できなかった。LifeSciBenchは7つのワークフロー（エビデンス処理、分析、設計最適化、科学的推論、検証運用、トランスレーション、科学コミュニケーション）をカバーしています。
750のタスクはどう作られた？――173人の科学者が現場の課題を持ち寄った
室谷代表取締役これがポイントですよね。ただ研究者にアンケートしただけじゃなくて、実際に173人の博士号レベルのプロの科学者が750のタスクを自ら作成した。
しかも薬剤開発の現場で働いている人たちです。
しかも薬剤開発の現場で働いている人たちです。
テキトー教師DotAI 認定講師はい。それぞれのタスクは、科学者が「知識豊富な共同研究者」に依頼するような形で作られている。
プロンプト、関連するアーティファクト（論文PDF、実験プロトコル、データセットなど）、そして自由回答形式の解答がある。それを専門家が書いたルーブリック（評価基準）で採点する。
ルーブリックの数は19,020項目、453人の専門家がレビューに関わっています。
プロンプト、関連するアーティファクト（論文PDF、実験プロトコル、データセットなど）、そして自由回答形式の解答がある。それを専門家が書いたルーブリック（評価基準）で採点する。
ルーブリックの数は19,020項目、453人の専門家がレビューに関わっています。
室谷代表取締役すごいスケールですね。つまり、単に正解・不正解を判定するんじゃなくて、「適切な根拠」「適切な詳細度」「警告や注釈」なんかも評価する。
本当に使える支援かどうかを問うてるんです。
本当に使える支援かどうかを問うてるんです。
テキトー教師DotAI 認定講師そういうことです。受講生さんにもよく言うんですが、AIのアウトプットをそのまま使うのではなく、批判的に評価する力が大事。
LifeSciBenchはその「評価の枠組み」そのものを提供しているとも言えますね。詳しくはChatGPTの使い方完全ガイドでも触れていますが、プロンプトだけでなく評価設計が重要なんです。
LifeSciBenchはその「評価の枠組み」そのものを提供しているとも言えますね。詳しくはChatGPTの使い方完全ガイドでも触れていますが、プロンプトだけでなく評価設計が重要なんです。
GPT-Rosalind、GPT-5.5超えでも残る「アーティファクト処理」の壁
室谷代表取締役初期結果では、GPT-RosalindというモデルがGPT-5.5を全7ワークフローで上回ったそうです。でも、特に「アーティファクトの多いタスク」や「設計・運用制約のあるタスク」ではまだ改善の余地がある、と。
テキトー教師DotAI 認定講師GPT-5.5は公開モデルではないんですが、内部評価の基準として存在するモデルですね。GPT-Rosalindはロザリンド・フランクリンに由来する名前でしょうか。
生命科学特化のチューニングが効いているんでしょう。
生命科学特化のチューニングが効いているんでしょう。
室谷代表取締役ただ、アーティファクト処理って具体的には何を指すんでしょう？
テキトー教師DotAI 認定講師例えば、実験の元データ（数値テーブル、顕微鏡画像、シークエンスデータなど）を読み取って、そこから仮説を導いたり、実験設計に落とし込んだりする能力です。従来のベンチマークはテキストベースの問題が多かったんですが、LifeSciBenchでは実際に研究現場で扱う多様なデータ形式を扱わせる。
これがなかなか難しい。
これがなかなか難しい。
室谷代表取締役つまり、モデルが論文のテキストから事実を引き出すだけじゃなく、グラフや表のトレンドを読み解いて、実験計画の立案に使えるかどうかまで見てるわけですね。僕もAIエージェントが研究を支援する未来に期待しているけど、こういう評価がないと「なんとなく使える」で終わっちゃう。
テキトー教師DotAI 認定講師そう。LifeSciBenchが示したのは、知識ベースのテストでは測れない「現場の壁」がまだあるということです。
特にアーティファクト処理、設計最適化、運用制約の領域でスコアが低いという結果は、今後の研究の方向性を明確にしてくれます。
特にアーティファクト処理、設計最適化、運用制約の領域でスコアが低いという結果は、今後の研究の方向性を明確にしてくれます。
製薬・バイオテク企業にとって何が変わる？――実用的AI評価の新基準
室谷代表取締役このベンチマーク、研究機関だけでなく、製薬企業やバイオテク企業にも大きな影響を与えるんじゃないですかね。
テキトー教師DotAI 認定講師はい。従来、企業がAIを導入する際に「このモデルは研究現場で使えるのか？」を判断する基準がなかったんです。
ベンチマークスコアが高いけど、実際に試してみると役に立たない、ということがよくありました。LifeSciBenchはそのギャップを埋める客観的な指標になります。
ベンチマークスコアが高いけど、実際に試してみると役に立たない、ということがよくありました。LifeSciBenchはそのギャップを埋める客観的な指標になります。
室谷代表取締役特に創薬プロセスって、コストと時間がめちゃくちゃかかるじゃないですか。AIが本当に実験計画の代替になれば、開発期間の短縮につながる。
でも、その前に「このAIモデルは本当に信頼できるのか？」を評価する必要がある。LifeSciBenchはその「評価の共通言語」を提供するわけです。
でも、その前に「このAIモデルは本当に信頼できるのか？」を評価する必要がある。LifeSciBenchはその「評価の共通言語」を提供するわけです。
テキトー教師DotAI 認定講師そう。OpenAIはこのベンチマークを「foundation for more realistic evaluation」と呼んでいて、単なるモデル評価を超えて、業界全体で使える基盤を目指している。
初期結果でGPT-Rosalindが上振れしたのも、評価ベンチマークに合わせてチューニングしたからかもしれませんが、それは悪いことじゃない。むしろ、より実用的な性能向上を促す良い循環が生まれます。
初期結果でGPT-Rosalindが上振れしたのも、評価ベンチマークに合わせてチューニングしたからかもしれませんが、それは悪いことじゃない。むしろ、より実用的な性能向上を促す良い循環が生まれます。
室谷代表取締役企業側からすると、自分の研究テーマに近いワークフローのスコアを見れば、導入判断がしやすくなる。例えば、エビデンス処理のスコアが高いモデルを文献調査に使う、みたいな使い分けもできるようになる。
オープンなベンチマークがもたらす業界全体の底上げ
室谷代表取締役このベンチマークが公開されることで、OpenAIだけでなく、他の研究機関や企業も同じ基準でモデルを評価できるようになりますよね。
テキトー教師DotAI 認定講師そうですね。現時点ではベンチマークが完全にオープンになるかは明らかにされていませんが、論文は公開されていますし、おそらくOpenAIはコミュニティと連携して改善していく方針でしょう。
結果、業界全体の底上げが期待できます。
結果、業界全体の底上げが期待できます。
室谷代表取締役実際、背景ブリーフにも「学界ではBioBLPやMedQAなどの知識ベースベンチマークが主流だった」とありますが、LifeSciBenchのように実世界の研究プロセスを模したものは初めて。これが標準になれば、AIの研究支援能力は飛躍的に進むでしょう。
テキトー教師DotAI 認定講師受講生さんから「AIが実験計画を立ててくれると聞いたけど、本当ですか？」という質問がよくあります。今までは「モデルによって異なります」としか答えられなかった。
でもLifeSciBenchのような具体的なベンチマークがあれば、「このモデルは設計最適化のタスクで高いスコアを出しています」と根拠を持って説明できる。それだけでも教育現場での価値は大きい。
でもLifeSciBenchのような具体的なベンチマークがあれば、「このモデルは設計最適化のタスクで高いスコアを出しています」と根拠を持って説明できる。それだけでも教育現場での価値は大きい。
室谷代表取締役確かに。AIの能力を定量的に示すことで、非技術者とのコミュニケーションもスムーズになります。
僕たちの会社でも、クライアントにAI導入提案をするときの説得力が増すでしょうね。
僕たちの会社でも、クライアントにAI導入提案をするときの説得力が増すでしょうね。
テキトー教師DotAI 認定講師最後に、LifeSciBenchは「GPT-RosalindがGPT-5.5を上回った」という結果もさることながら、「まだ改善の余地がある」と正直に認めている点も評価できます。過度な誇張はせず、科学の発展に謙虚に向き合う姿勢が感じられます。
室谷代表取締役そういう姿勢こそ、AIの持続可能な発展には必要ですよね。GPT-5.5超えといってもまだ完璧ではない。
むしろ課題が明確になったことで、次に何をすべきかハッキリした。これは非常に建設的だと思います。
むしろ課題が明確になったことで、次に何をすべきかハッキリした。これは非常に建設的だと思います。
テキトー教師DotAI 認定講師今後の動向に注目ですね。特にアーティファクト処理の改善が進めば、実際の研究現場でAIが本格的に活用される日も近いかもしれません。
