RoboColosseum（ロボコロッセウム）は、Hugging Faceが創設パートナーの一員として参画した、実機ロボットの評価をオープンに進めるイニシアチブです。100台以上の実機ロボットと140以上の実環境シーンを使い、試行記録であるロールアウトを失敗も含めてHub上で公開する点が特徴です。
室谷代表取締役いやあ、これは地味に見えてかなり大きいニュースなんですよね。Hugging Faceが「RoboColosseum」の創設パートナーになったと発表しました。
実世界でロボットモデルを評価するのは難しい、でも解決はできる、というメッセージから始まっているのが象徴的です。
実世界でロボットモデルを評価するのは難しい、でも解決はできる、というメッセージから始まっているのが象徴的です。
テキトー教師DotAI 認定講師そうですね。しかも単に「評価します」という話じゃないんですよ。
100台以上の実機、140以上の実環境シーン、そして失敗も含めたすべてのロールアウトをHubでオープンにする、という設計まで踏み込んでいる。これは評価のインフラを作る話です。
100台以上の実機、140以上の実環境シーン、そして失敗も含めたすべてのロールアウトをHubでオープンにする、という設計まで踏み込んでいる。これは評価のインフラを作る話です。
室谷代表取締役まず発表された内容を整理しましょうか。Hugging Faceの投稿によると、RoboColosseumはHugging Face、BitRobotNetwork、eaic_sg、DJiafeiによる共同の取り組みで、実機ロボット、実環境シーン、オープンなロールアウトデータ、そして10,000時間の無料評価枠が提供される、というものです。
テキトー教師DotAI 認定講師ここで大事なのは、主語がHugging Faceだという点です。Xで発表されたからといって「Xが発表した」ではなく、Hugging Faceが創設パートナーとして参画した、という構造で読む必要があります。
室谷代表取締役そこは誤解されやすいところですよね。あくまでHugging Faceがこのイニシアチブの立ち上げ側にいる、という話です。
RoboColosseumとは？Hugging Faceが創設パートナーとして参画した実機ロボット評価イニシアチブ
まとめ
RoboColosseumの要点
- Hugging Faceが創設パートナーとして参画したオープンなロボット評価イニシアチブ
- Hugging Face、BitRobotNetwork、eaic_sg、DJiafeiの4者が共同で名を連ねる
- シミュレーションではなく現実のロボットでAIモデルの実環境性能を測る
- 評価プロセスとデータをオープンにするのが骨格
- 発表冒頭は「実世界での評価は難しいが解決可能」という宣言
- Hugging Face Hub上でロールアウト（実機での試行記録、成功も失敗も含む実行ログ）を公開
- モデル公開の場と実機での動作記録の公開の場が同じになる設計
室谷代表取締役改めて定義からいきましょう。RoboColosseumは、Hugging Faceが創設パートナーの一員として参画した、オープンなロボット評価イニシアチブです。
共同の取り組みとしてHugging Face、BitRobotNetwork、eaic_sg、DJiafeiの4者が名前を連ねています。
共同の取り組みとしてHugging Face、BitRobotNetwork、eaic_sg、DJiafeiの4者が名前を連ねています。
テキトー教師DotAI 認定講師ポイントは「オープンなロボット評価」という言葉です。ロボットのAIモデルが実環境でどれだけうまく動くかを、シミュレーションではなく現実のロボットで測る。
そのプロセスとデータをオープンにしよう、というのがこのイニシアチブの骨格です。
そのプロセスとデータをオープンにしよう、というのがこのイニシアチブの骨格です。
室谷代表取締役発表の冒頭が「実世界でロボットモデルを評価するのは難しい、しかし解決可能だ」という一文なんですよね。つまり、難しさを認めた上で、それをみんなで解こうという宣言になっている。
テキトー教師DotAI 認定講師教育の現場でも似た構図があります。評価基準が閉じていると、みんなが同じものさしで語れない。
逆に基準と結果が開かれると、そこから学びが生まれる。RoboColosseumはロボット版の「開かれた評価基準づくり」を狙っているわけです。
逆に基準と結果が開かれると、そこから学びが生まれる。RoboColosseumはロボット版の「開かれた評価基準づくり」を狙っているわけです。
室谷代表取締役しかもHub、つまりHugging Faceが運営するモデル・データセットの共有プラットフォーム上でロールアウトを公開する。モデルを公開する場所と、そのモデルが実機でどう動いたかの記録を公開する場所が同じになる。
これは開発の流れを考えるとかなり自然な設計です。
これは開発の流れを考えるとかなり自然な設計です。
テキトー教師DotAI 認定講師ロールアウトというのは、モデルを実機で動かした1回ごとの試行記録のことです。成功も失敗も含む実行ログを指します。
ここをオープンにするのがRoboColosseumの肝ですね。
ここをオープンにするのがRoboColosseumの肝ですね。
RoboColosseumでできること——100台以上の実機・140以上の実環境シーン・オープンなロールアウト
RoboColosseumで提供されるもの
100台以上のロボット
評価対象となる実機を100台以上提供
140以上の実環境シーン
in-the-wild scenes(実世界の多様な現場環境)を140以上用意
オープンなロールアウトデータ
ロールアウトデータをオープンに提供
10,000時間の無料評価枠
無料で利用できる評価枠を10,000時間分提供
室谷代表取締役では具体的に何が提供されるのか。発表で挙げられているのは、100台以上のロボット、140以上の実環境シーン、オープンなロールアウトデータ、そして10,000時間の無料評価枠です。
テキトー教師DotAI 認定講師ロボットの機種名も列挙されています。Unitree G1、LeRobot SO-101、YAM、Franka、そして「など」と続きます。
複数の機種が評価の対象になり得る、という構成が見えますね。
複数の機種が評価の対象になり得る、という構成が見えますね。
室谷代表取締役ここで注意したいのは、発表には機種名が並んでいるだけで、それぞれの機種の形状や価格についての説明はないんですよ。だから「ヒューマノイドだから」「低コストアームだから」といった性格づけは、この発表の範囲では読み取れません。
現時点では明らかにされていません。
現時点では明らかにされていません。
テキトー教師DotAI 認定講師そうですね。事実として言えるのは、Unitree G1、LeRobot SO-101、YAM、Frankaといった機種が評価対象として列挙されている、というところまでです。
そこに余計な性格づけを足すと、発表の意図からずれてしまいます。
そこに余計な性格づけを足すと、発表の意図からずれてしまいます。
室谷代表取締役実環境シーンが140以上というのも大きいですよね。in-the-wild scenes、つまり実験室のような統制環境ではなく、実世界の多様な現場環境のことです。
テキトー教師DotAI 認定講師統制環境でうまく動いても、現場で動くとは限らない。これはロボットに限らず、AI全般に言えることです。
140以上のシーンを揃えるというのは、そのばらつきを評価に取り込むという宣言でもあります。
140以上のシーンを揃えるというのは、そのばらつきを評価に取り込むという宣言でもあります。
室谷代表取締役MYUUUでもクライアントの現場に入ってAIを組むことがありますけど、ラボで整えたデモが現場でそのまま動くことの方が少ないんですよね。環境の差はそれくらい効く。
だからシーン数を確保するのは、地味ですけど本質的な投資です。
だからシーン数を確保するのは、地味ですけど本質的な投資です。
テキトー教師DotAI 認定講師講座でも受講生さんに「デモと本番は別物」と伝えていますが、まさにそれを大規模にやろうとしている。100台以上の実機と140以上のシーンという規模は、個人や一研究室ではまず揃えられません。
実世界ロボット評価の何が難しいのか——発表が前提とする課題
まとめ
発表が前提とする課題の整理
- 発表は「実世界でのロボットモデル評価は難しいが、解決可能だ」と明言している
- 実機評価の難しさがボトルネックになっているという問題意識が前提にある
- 実機を動かす評価は、環境・機体・試行回数・記録の取り方など条件を揃えるのが大変で、揃わなければ結果を横並びで比べられない
- 失敗の扱いも難しい。成功した試行だけを集めれば見栄えは良くなるが実力は分からない。失敗も含めて記録・公開してこそ評価として意味が出る
- 発表が前提としているのは「実世界評価の難しさ」という枠組みまでで、従来の評価手法の具体的な制約(コストや再現性の詳細)についての記載は資料にはない
- 評価が難しいからこそ、実機・実環境・オープンなロールアウトデータを揃えて評価を民主化しようという設計思想が読み取れる
室谷代表取締役ここが今回の一番の論点なんですよね。発表は「実世界でのロボットモデル評価は難しいが、解決可能だ」と明言している。
つまり、実機評価の難しさがボトルネックになっているという問題意識が前提にあるわけです。
つまり、実機評価の難しさがボトルネックになっているという問題意識が前提にあるわけです。
テキトー教師DotAI 認定講師単に評価が面倒だという話じゃないんですよ。実機を動かす評価は、環境、機体、試行回数、記録の取り方など、条件を揃えるのが大変です。
条件が揃わなければ、結果を横並びで比べられない。
条件が揃わなければ、結果を横並びで比べられない。
室谷代表取締役しかも失敗の扱いが難しい。成功した試行だけを集めれば見栄えは良くなりますけど、それでは実力は分かりません。
失敗も含めて記録し、公開するからこそ、評価として意味が出てくる。
失敗も含めて記録し、公開するからこそ、評価として意味が出てくる。
テキトー教師DotAI 認定講師ただ、発表が前提としている課題は「実世界評価の難しさ」という枠組みまでで、従来の評価手法の具体的な制約、たとえばコストや再現性の詳細についての記載は資料にはないんですよね。そこは踏み込みすぎない方がいい。
室谷代表取締役そうですね。現時点で言えるのは、発表が実世界評価の難しさを出発点にしている、というところまでです。
具体的な従来手法の課題は明らかにされていません。
具体的な従来手法の課題は明らかにされていません。
テキトー教師DotAI 認定講師ただ、この枠組みだけで十分に議論の価値はあります。評価が難しいからこそ、実機・実環境・オープンなロールアウトデータを揃えて評価を民主化しよう、という設計思想が読み取れますから。
室谷代表取締役評価を民主化、という言葉はいいですね。一部の大きな組織だけが実機を何十台も持てるわけではないですから。
失敗も含めてオープンにする意味——ロールアウト公開と10,000時間の無料評価枠
室谷代表取締役今回の発表で一番おもしろいのはここですよ。すべてのロールアウトを、失敗も含めてHub上でオープンにする。
これ、普通はやりたがらないんですよね。
これ、普通はやりたがらないんですよね。
テキトー教師DotAI 認定講師そうですね。でも評価の透明性と再現性を考えると、失敗の公開は避けて通れません。
成功例だけを並べたランキングは、実は何も語っていない可能性がある。
成功例だけを並べたランキングは、実は何も語っていない可能性がある。
室谷代表取締役失敗の記録は、次の開発者にとっては宝なんですよ。この条件ではこう転ぶ、という情報があるだけで、試行錯誤の回数をかなり減らせます。
テキトー教師DotAI 認定講師講座で受講生さんの失敗事例を共有すると、他の受講生さんがすごく救われるんですよね。ロボット評価でも同じことが起きるはずです。
失敗も含めてオープンにする、というのは学習資源を共有するという意味でもあります。
失敗も含めてオープンにする、というのは学習資源を共有するという意味でもあります。
室谷代表取締役そして10,000時間の無料評価枠です。これは参加のハードルを下げる施策として効きますよね。
実機を持っていなくても、評価の枠にアクセスできる可能性があるわけですから。
実機を持っていなくても、評価の枠にアクセスできる可能性があるわけですから。
テキトー教師DotAI 認定講師ただし、この10,000時間の枠の詳細、たとえば料金体系や提供範囲、開始日、対象地域などは資料に記載がありません。現時点では明らかにされていません、と正直に伝えるのが正確です。
室谷代表取締役そこは慎重に。数字だけが独り歩きしがちなので、分かっているのは「10,000時間の無料評価枠がある」という事実までです。
テキトー教師DotAI 認定講師あと、失敗を含めて公開するという方針は、評価の文化を作る話でもあります。失敗を恥としない文化がないと、データは集まりませんから。
RoboColosseumの使い方・始め方——Hub上のデータと評価枠へのアクセス
室谷代表取締役じゃあ実際にどう使うのか。発表で示されているアクセス手段は、100台以上のロボット、140以上の実環境シーン、オープンなロールアウトデータ、10,000時間の無料評価枠です。
テキトー教師DotAI 認定講師整理するとこうです。
- 100台以上のロボット（Unitree G1、LeRobot SO-101、YAM、Frankaなど）
- 140以上の実環境シーン（in-the-wild scenes）
- オープンなロールアウトデータ（失敗も含む）
- 10,000時間の無料評価枠
室谷代表取締役ロールアウトデータはHub上でオープンになる、というのが発表の柱です。まずはデータを見に行くところから始まるわけですね。
テキトー教師DotAI 認定講師ただ、具体的な申し込み手順やクライアントの使い方、リーダーボードの有無といった詳細は、今回の発表資料には書かれていません。現時点では明らかにされていません。
室谷代表取締役そこは続報待ちですね。とはいえ、Hubでデータがオープンになるという方針が示されているだけで、開発者としては動きやすくなります。
Hugging Faceのアカウントを持っている人なら、まずデータを眺めるところから入れるはずです。
Hugging Faceのアカウントを持っている人なら、まずデータを眺めるところから入れるはずです。
テキトー教師DotAI 認定講師評価の枠に申し込むにしても、まず既存のロールアウトを見て「自分のモデルならどう動くか」を想像する。それが最初の一歩になりますね。
室谷代表取締役あと、この手の評価イニシアチブは、参加者が増えるほどデータの価値が上がります。最初の参加者は損をしなさそうな設計になっているか、そこは注目したいところです。
ロボット評価ベンチマークの今後——参加する意味と見えてくる論点
室谷代表取締役最後に、この発表が今後どう効いてくるか。実世界評価の難しさを、実機・実環境・オープンなロールアウトで解こうというのがRoboColosseumの狙いです。
テキトー教師DotAI 認定講師評価の透明性と再現性を重視した設計、と読めます。失敗も含めてオープンにするというのは、その表れですね。
室谷代表取締役ここで気をつけたいのは、他社との比較をこの発表から読み取ろうとしないことです。資料には他社動向の記載はありません。
参加主体としてHugging Face、BitRobotNetwork、eaic_sg、DJiafeiの4者が挙げられているだけです。
参加主体としてHugging Face、BitRobotNetwork、eaic_sg、DJiafeiの4者が挙げられているだけです。
テキトー教師DotAI 認定講師そうです。どのベンチマークが優れているか、といった話はこの発表の範囲外です。
あくまでRoboColosseumというイニシアチブが何を提供するかに集中した方が、記事としても正確です。
あくまでRoboColosseumというイニシアチブが何を提供するかに集中した方が、記事としても正確です。
室谷代表取締役その上で、参加する意味を考えると、実機を大量に持てない開発者にとっては評価の場が開かれるという価値があります。140以上の実環境シーンで試せるというのは、自前ではまず無理ですから。
テキトー教師DotAI 認定講師一方で、評価の設計がオープンになると、何を測るのかという議論も起きます。成功の定義、試行回数、環境の選び方。
こうした論点が今後見えてくるはずです。
こうした論点が今後見えてくるはずです。
室谷代表取締役現時点では明らかにされていない部分も多いですけど、方向性としては「実世界評価をみんなのものにする」という宣言ですよね。ロボットのAIが実現場で使われ始めるほど、この種の評価基盤の重要性は上がっていきます。
テキトー教師DotAI 認定講師教育の立場から言うと、評価データがオープンになることで、学ぶ側が実例から学べるようになるのが大きいですね。受講生さんが実機のロールアウトを見て学べる環境は、以前はなかなかありませんでしたから。
室谷代表取締役続報が出たら、また追いかけたいテーマです。まずはHubで公開されるロールアウトに注目ですね。
よくある質問
室谷代表取締役では、よく聞かれそうな点を整理しておきます。
テキトー教師DotAI 認定講師まず「RoboColosseumとは何か」という点。これはHugging Faceが創設パートナーの一員として参画した、オープンなロボット評価イニシアチブです。
実機ロボットでの評価をオープンに進める取り組みで、Hugging Face、BitRobotNetwork、eaic_sg、DJiafeiの共同の取り組みとして発表されています。
実機ロボットでの評価をオープンに進める取り組みで、Hugging Face、BitRobotNetwork、eaic_sg、DJiafeiの共同の取り組みとして発表されています。
室谷代表取締役「誰が作ったのか」も気になりますよね。発表ではHugging Faceが創設パートナーとして参画したとされており、共同の取り組みとして4者が名前を連ねています。
役割分担の詳細は現時点では明らかにされていません。
役割分担の詳細は現時点では明らかにされていません。
テキトー教師DotAI 認定講師「何が提供されるのか」については、100台以上の実機ロボット、140以上の実環境シーン、オープンなロールアウトデータ、10,000時間の無料評価枠です。機種名としてはUnitree G1、LeRobot SO-101、YAM、Frankaなどが挙げられています。
室谷代表取締役「失敗も公開されるのか」という点もよく聞かれます。はい、発表ではすべてのロールアウトを失敗も含めてHub上でオープンにすると明言されています。
これは評価の透明性と再現性を重視した設計と読めます。
これは評価の透明性と再現性を重視した設計と読めます。
テキトー教師DotAI 認定講師「どうやって使うのか」については、Hub上のデータと評価枠へのアクセスが示されていますが、具体的な申し込み手順やクライアントの詳細は現時点では明らかにされていません。続報を待つ必要があります。
室谷代表取締役「料金はかかるのか」という点については、10,000時間の無料評価枠があると発表されています。それ以上の料金体系や提供範囲の詳細は現時点では明らかにされていません。
テキトー教師DotAI 認定講師「日本から使えるのか」という点も気になりますが、対象地域についての記載は資料にありません。現時点では明らかにされていません、とお伝えするのが正確ですね。
室谷代表取締役というわけで、今回はHugging FaceのRoboColosseum参画発表を読み解きました。実世界評価の難しさをオープンなデータで解こうという方向性は、ロボットAIのこれからを考える上で要チェックです。
