カメラとロボットアームを組み合わせて自動ピッキングや軽作業をさせようとした際、カメラの角度がほんの数センチずれたり、部屋の照明が変わったりしただけで、ロボットが急に目標を見失って空振りしてしまった……なんて経験はありませんか？
ロボットに視覚を持たせるアプローチは近年大きく進化していますが、現実の物理環境における「ちょっとしたズレ」への弱さは、現場でロボットを動かすエンジニアにとって長年の大きな頭痛の種でしたよね。
結論から言えば、2026年9月にKAISTやETH Zurichの研究チームから発表された「GAM（Geometric Action Model）」は、従来のロボットAIが抱えていた「2D画像への依存」を根本から打破し、3次元の空間構造（幾何）を理解する基盤モデルをロボットの脳に据えることで、カメラのズレにも動じない圧倒的な頑健性と、わずか6.9msという超高速なリアルタイム推論を両立させた極めて画期的なモデルです。
以前当ブログで紹介したAIモデルとハードウェアの標準規格に関する考察でも触れましたが、ソフトウェアの推論と物理世界のハードウェア制御をいかにシームレスかつ高速に結合するかは、次世代ロボティクスにおける最重要テーマの一つと言えます。この記事では、GAMがなぜこれほど高い性能を発揮できるのか、その革新的なアーキテクチャとエンジニア目線での実務インパクトを分かりやすく紐解いていきますね！
なぜこれまでのロボットAIは「現実のズレ」に弱かったのか？
近年のロボティクス分野では、大規模言語モデル（LLM）と画像認識を統合したVLA（Vision-Language-Action）モデルや、動画生成モデルを応用した世界モデル（Video World-Action Model）が大きな脚光を浴びてきました。「机の上の赤いカップを掴んで」と自然言語で指示すれば器用に動いてくれるため、一見すると汎用ロボットが完成したかのように感じられますよね。
2Dピクセル空間に頼る従来VLAの限界
しかし、既存のVLAモデルには構造的な弱点が存在していました。それは、ロボットの「知覚」が基本的に2Dの画像フレーム、あるいは2D画像から抽出された潜在空間（2D Latent）に依存しているという点です。
私たち人間が手先を使って精密な作業を行うとき、網膜に映る平面の色彩だけでなく、「指先から物体までの距離」「物体の3次元的な厚みや傾き」「障害物の前後関係」といった3次元の立体空間（幾何情報）を無意識かつ正確に把握していますよね。ところが2D画像ベースのモデルでは、ピクセルの並びから間接的に奥行きを推測せざるを得ず、幾何学的な構造が潜在空間の奥底に「暗黙的（implicit）」に埋もれてしまっていたのです。
カメラや光のズレで崩壊する「分布外（OOD）問題」
この2Dピクセル依存が原因で、実環境では深刻な「分布外（OOD: Out-of-Distribution）問題」が発生します。学習時に固定されていた外部カメラが振動で少し傾いたり、作業者がカメラの位置をわずかに動かしたりすると、2D画像上のピクセル配置が劇的に変化してしまいます。するとモデルは「未知の環境」と判断してしまい、指先が数センチ空を切るような致命的な失敗を起こしてしまうわけです。
- 接触を伴う作業（Contact-rich manipulation）の難しさ: 物体を掴む、差し込むといった接触作業ではミリ単位の奥行き精度が求められますが、2D特徴量だけでは正確な接触面の距離感を維持できません。
- 拡散モデル（Diffusion）の推論速度の壁: 2D動画生成ベースの世界モデルは滑らかな予測ができる反面、複数回のデノイジングステップを要するため、1回の推論に数百ミリ秒から数秒かかり、高速なフィードバック制御には重すぎるという難点もありました。
こうした「3次元幾何の欠如」と「推論速度の課題」という二重の壁をスマートに打ち破るべく誕生したのが、今回登場したGAMなのです。
幾何基盤モデルを大胆に分割！GAMの革新的アーキテクチャ
GAMの最もユニークで素晴らしいアイデアは、「既存の事前学習済み幾何基盤モデル（GFM: Geometric Foundation Model）を、ロボットポリシーの共有基盤として直接活用した」という点にあります。ゼロから巨大な3Dモデルをロボット用に学習させるのではなく、すでに高度な立体知覚を持つモデルを大胆にカスタマイズしているのですね。
GFMの中間層で切り分ける「知覚エンコーダー」の再利用
GAMでは、3次元深度推定などで圧倒的な性能を持つ基盤モデル「Depth Anything 3（DA3-Giant）」などの幾何基盤モデルを採用しています。そして、このモデルを途上の中間層で文字通り「真っ二つ」に分割（Split）するという思い切ったアプローチを取りました。
分割された前半の浅い層（Shallow layers）は、マルチビューのRGBカメラ画像を入力とし、空間的な位置関係を豊かに保持した「幾何潜在トークン（3D Latent Tokens）」へと変換する観測エンコーダーとしてそのまま機能します。タスク専用のエンコーダーをスクラッチで学習させる必要がないため、基盤モデルが持つ堅牢な3D空間知覚をそのまま引き継ぐことができるわけです。
3次元世界状態の「Next-Token Prediction」と同時デコード
そして分割点に挿入されたのが、軽量な因果未来予測器（Causal Future Predictor）です。ここでは自然言語によるタスク指示文（「カップを持ち上げて」など）、ロボットの関節角度やグリッパー状態（プロプリオセプション）、これまでの行動履歴を入力として受け取ります。
この予測器が行うのは、まさに言語モデルでおなじみの「Next-Token Prediction（次の単語予測）」ですが、扱う対象はテキストではなく「未来の3次元幾何潜在トークン」です。「この指示を受け、今のロボットの姿勢から次の瞬間に世界が3次元的にどう変化するか」を予測するわけですね。
予測された未来トークンは、そのままGFMの後半の深い層（Deep layers）へと流し込まれます。すると、驚くべきことに以下の2つの出力が1回のフォワードパス（Feed-forward）で同時に生成されます。
- 未来のデプスマップ（3D幾何予測）: GFM本来のデプスヘッドによって、ロボットが動作した直後の世界の3次元深度情報が密に再構成されます。
- ロボットの制御行動（Action Chunk）: 深い層の出力に接続された軽量なアクションヘッドが、実際にモーターへ送る連続的な行動軌道（アクションチャンク）を一括で回帰予測します。
💡 あわせて読みたい
幾何予測とアクション決定を同じバックボーンの中で密結合させることで、ロボットは「物理世界の立体的な未来の姿」を確信しながら手先を動かせる仕組みになっているのですね。
推論遅延わずか6.9ms！過酷な外乱テストと実機実験の実力
アーキテクチャの美しさだけでなく、ベンチマークテストや実ロボットでの検証結果も極めて衝撃的なものとなっています。シミュレーション上の評価と実機実験の双方において、既存の大規模VLAベースラインを圧倒する結果が報告されました。
過酷な外乱テスト「LIBERO-Plus」で発揮された圧倒的耐性
ロボット学習の標準ベンチマーク「LIBERO」において、GAMは97.6%というほぼ上限に近い成功率をマークしました。しかし、本当に真価を発揮したのは、環境に激しい変化を加える「LIBERO-Plus」ベンチマークです。
LIBERO-Plusでは、カメラの視点、照明の明るさや向き、背景のテクスチャ、作業台のレイアウトなどがランダムに撹乱されます。従来の2Dベースのモデルはピクセルの変化に惑わされて成功率を大幅に落としてしまいましたが、GAMは総合で85.5%というトップの成功率を維持しました。とりわけカメラの位置や角度を乱した分割テスト（Camera Perturbation）では、他手法に対して+9.7%ポイント差をつける83.1%を記録し、幾何情報に根ざした知覚の強さを実証しています。
カメラを85cmずらしても動く！実機検証と爆速推論の恩恵
シミュレータだけでなく、実ロボットを使ったマニピュレーション実験でもその頑健さは際立っています。遠隔操作によるわずか約200回程度のデモデータでファインチューニングされた実機アームにおいて、外部カメラを意図的に85cm移動させ、45度傾けるという過酷な配置変更（OODテスト）を実施しました。
この状況下では、有名モデルである「π0.5」や「Spatial Forcing」などの従来型ポリシーが物体の位置を正しく捉えられず動作を崩壊させてしまったのに対し、GAMは物体とアームの3次元相対位置を正確に見極め、安定してタスクを完遂し続けました。
- CUDA Graphによる爆速推論: 単一のフィードフォワードネットワークとして構成され、KVキャッシュを活用することで、フォワード遅延はわずか6.9msを達成しています。
- 拡散モデル比で最大55倍の高速化: 反復計算を行うDiffusionベースのポリシーと比較して最大55倍も高速であり、100Hzを超える高速なリアルタイム制御ループにも余裕で組み込むことが可能です。
「正確に3次元を把握できるのに、推論がめちゃくちゃ速い」というのは、現場の組み込み開発やロボット制御に携わるエンジニアにとって夢のような特性ですよね。
実務での開発視点と今後のロボティクスへの示唆
GAMの登場は、単に「ベンチマークスコアが上がった」という学術的なトピックにとどまらず、現場のエンジニアリングにとっても非常に示唆に富む学びを与えてくれています。
「ゼロから作らない」既存幾何知覚の再利用という開発パラダイム
これまでロボットのポリシーを学習させようとすると、「大量の実機デモデータを集めてエンドツーエンドで学習させる」か、「CLIPのような2Dセマンティックモデルを特徴量抽出器として使う」のが主流でした。しかし、物理空間を動くロボットにとって本質的に必要なのは「言語的な意味」以上に「空間的な立体配置（幾何）」です。
GAMが示したのは、Computer Visionの領域で急速に進化している幾何基盤モデル（GFM）をバックボーンにし、そこに未来予測とアクションデコーダーを繋ぎ込むというアプローチの有効性です。この設計思想により、わずか200回程度の少量デモデータでも、実環境の光やカメラのズレに負けない強固な適応力を得られることが分かりました。これはデータ収集コストに悩む開発現場にとって極めて朗報と言えるでしょう。
現場導入に向けたリアルな課題と期待
もちろん、現時点での課題や注意すべきポイントもあります。GAMは1.4Bパラメータという基礎モデルとしては比較的軽量なサイズに収まっていますが、それでもロボットの小型オンボードPC（Jetson等のエッジデバイス）で動かすには一定のGPUリソースを要求します。
また、今回は単腕マニピュレータを中心としたタスクでの検証がメインですが、今後は双腕ロボットやヒューマノイドのような自由度の高い全身協調運動、あるいは透明体や鏡面体といった幾何推定が本質的に難しい材質を扱うケースでの検証が期待されます。それでも、「幾何をポリシーの基盤（Substrate）にする」という方向性は、今後のエンボディドAI（Embodied AI）開発の大きなスタンダードになっていくはずです。
まとめ
今回は、2D依存から脱却し3次元幾何基盤モデルをロボットの脳として再定義した注目の新手法「GAM（Geometric Action Model）」について詳しく解説しました。最後に要点を整理しておきましょう。
- 幾何基盤モデル（GFM）の再利用: Depth Anything 3などの事前学習済みモデルを中間層で分割し、浅い層を空間知覚エンコーダー、深い層を幾何デコーダーとして活用。
- 3次元世界のNext-Token Prediction: 中間に挟んだ因果未来予測器が、言語指示とロボット状態から「未来の3D幾何トークン」を予測し、アクションと未来デプスを同時出力。
- 外乱への圧倒的頑健性: カメラが85cm・45度ずれるような過酷な環境変化（LIBERO-Plusや実機OOD）でも高い成功率を維持。
- 6.9msの超高速推論: 1フォワードパスで完結し、Diffusionベースの制御モデルに比べて最大55倍の高速化を実現。
「2D画像に頼り切るのをやめて、最初から物理世界の立体感を理解しているモデルをベースにする」というアプローチは、言われてみれば納得のいく極めて自然で合理的なアプローチですよね。ロボットの環境適応や視点ズレに悩んでいる方は、公開されたGitHubリポジトリや論文をぜひチェックしてみてはいかがでしょうか！
あわせて読みたい
