AIニュース

NVIDIA Cosmos 3の新モデル公開|使い方と必要なGPU環境

NVIDIAは、フィジカルAI(現実世界で動くロボットや車などのAI)向けのプラットフォーム「Cosmos」に、対話型の世界シミュレーションに使えるCosmos 3 Nanoのモデルと開発ツールを加えました。NVIDIA Cosmos 3の使い方を調べている個人に向けて、2026年11月2日に公開されたNVIDIAの技術ブログと研究ページ、2026年10月22日のNVIDIAブログに書かれている内容だけをもとに、できること・必要なGPU環境・現実的な使いどころを整理します。

要点

  • Cosmosは、フィジカルAI向けのワールドファウンデーションモデル(世界の成り立ちを学んだ基盤モデル)と開発ツールのプラットフォームと説明されている
  • Cosmos Frameworkは、ワールドモデルの学習やマルチモーダルデータ処理、最適化、推論のためのエージェントスキルとレシピを提供する
  • 自動運転・ロボット・手術の場面向けに、Cosmos 3 Nanoのシミュレーションレシピと公開チェックポイントが用意されている
  • 公開チェックポイントはPyTorchとvLLM-Omniに対応し、NVIDIA HopperとBlackwellのGPUでテストされている
  • 生成タスクのCosmos3-NanoはBF16で58GiBのGPU VRAMが必要とされており、動かす場所の見積もりが先に必要になる

何が発表されたか

プラットフォームの全体像

Cosmosは、フィジカルAI向けのワールドファウンデーションモデルと開発ツールのプラットフォームです。その中でCosmos Frameworkは、ワールドモデルの学習、マルチモーダルデータ処理、最適化、推論のためのエージェントスキルとレシピを提供します。Cosmos NIM microservicesは、アプリケーションのAPIを通じたGPU活用の提供に対応するとされています。

Cosmos Frameworkの対応範囲はCosmos 3の外へ広がり、NVIDIA Alpamayo、GR00T、Qwen、pi0.5、そのほかの互換するHugging Faceのモデルを支えると書かれています。学習では、パラメータを絞って適応させるLoRAと、全パラメータを更新するフルのsupervised fine-tuning(SFT)のどちらも選べます。強化学習はオンラインとオフラインの両方の道筋をカバーし、新たに対応したパイプラインとしてDPOやGRPOなどが挙げられています。

シミュレーション向けのCosmos 3 Nano

新しいCosmos 3 Nanoのシミュレーションレシピと例のチェックポイントにより、開発者はエージェントから実行できるスキルを使えるようになります。モデルの取得はhf download nvidia/Cosmos3-Nano-Transfer-Autoのようなコマンドで行い、技術ブログではFrameworkの設定後にリポジトリのルートから4GPUの例を実行する手順が示されています。

自動運転向けの2つのチェックポイントは、プロンプトと、車線・物体・路面標示・交通標識・道路の境界を表すWorld Scenario Map(WSM)のコントロールを受け取ります。Cosmos3-Nano-Transfer-Autoは30fpsの入出力に対応し、480pまたは720pで最大400フレームまで生成できます。プロンプトを変えれば、道路のレイアウトや車両の軌跡をそのままにして、昼間の走行を雨の夜に変えられると書かれています。参照用の実行では、720pの動画7本(30FPSで297フレーム)と99回のLiDARスイープが出力されます。Cosmos3-Nano-Sim-Autoはその因果的で数ステップに蒸留された派生版で、自己回帰のストリーミング生成ができます。

ロボット向けのCosmos3-Nano-Sim-Transferは、深度動画とプロンプトを、照明やテクスチャ、背景を変えたRGB動画に変換します。Cosmos3-Nano-Sim-Bimanualは、シーンとロボットの動作から次の視覚的な観測を生成し、YAMとAgiBotの身体での双腕シミュレーションに対応します。手術向けのCosmos3-H-Embodied-NanoはCosmos3の上に作られ、Open-H-Embodimentでポストトレーニングされており、ロボットの動作から手術動画を生成します。Cosmos3-H-Dreamsはそれを蒸留した因果的で数ステップのモデルで、実際のロボットの運動学からフレームを生成します。

研究ページでは、Cosmos3-Nano-Sim-Transferが評価した4つのモダリティすべてでより強い空間制御を示し、エッジF1が59.2%高いと記載されています。Cosmos3-Nano-Sim-Bimanualについては、AgiBot-WorldとAgiBot-GEARでDreamDojoの2Bと14Bより動画品質と参照フレームのPSNRが高いとされています。また同ページでは、Transfer AutoとSim Autoによる4つの運転シーンを、11台の同期カメラとWSMのオーバーレイ、操作できるLiDARで見られます。

推論を速くするCosmos NIM

Cosmos NIMは、量子化や投機的デコード、キャッシュ、トークンの枝刈り、KVキャッシュを意識したルーティングで推論を速くします。投機的デコードはH200で平均およそ2〜3倍の実測の高速化をもたらすとされています。2026年10月22日のNVIDIAブログでは、Cosmosプラットフォームが6つの異なるオープンモデルのリーダーボードで上位5位に入っていること、Cosmos Data Factoryが5つのクラウドネイティブなブループリントを提供しGitHub、Microsoft Azure、Nebius、CoreWeaveから利用できることも書かれています。

個人の仕事や学びにどう使えるか

自動運転やロボットの開発に関わるエンジニアであれば、実車やロボットを動かす前の段階で、同じ道路レイアウトのまま天候や時間帯だけを変えた映像を作り、知覚や運転のモデルの学習と評価に回すという使い方が、出典に示された機能の範囲に収まります。双腕ロボットの検証では、方針や人の操作に応じて次の観測が返るSim-Bimanualの流れが近いです。

製造や検査に関わる人にとっては、2026年10月22日のブログにあるCosmos Data Factoryのブループリントの話が参考になります。基板や金属、ガラスの欠陥画像を生成する用途が挙げられており、現場で集めにくいデータを補う発想そのものが学びになります。

学び直し中の人や企画職の人なら、まずは研究ページのデモで、同期した複数カメラとLiDARの出力がどう並ぶのかを見るところから始められます。手を動かす前に用語と出力の形を押さえるだけでも、社内の技術的な会話についていきやすくなります。

会社・チームで使うときのポイント

Cosmos NIMを動かすには、Linux上でNVIDIAのドライバ、Docker、NVIDIA Container Toolkitを入れる必要があり、コンテナはnvcr.io/nim/nvidia/cosmos3:2.0.0として示されています。性能プロファイルは、1件を早く終わらせるlatencyと、時間あたりの処理数を優先するthroughputから選びます。latencyは1・2・4・8GPU、throughputは2・4・8の互換GPUが必要なので、手配するGPUの数は使い方から逆算するのが安全です。法人でAIの導入や研修を考えているなら、株式会社デジライズに相談できます。

使う前の注意点

必要なGPUメモリはモデルとタスクで変わります。生成タスクのCosmos3-Nanoは、BF16で58GiB、FP8で44GiB、FP8とオフロードの併用で31GiBと示されています。推論(Reasoning)のCosmos3-EdgeはBF16で16GiB、FP8で14.5GiBです。技術ブログの例が4GPU構成で書かれていることも含め、一般的なノートPCで同じ手順を再現できる前提では考えないほうがよいでしょう。

公開チェックポイントがテストされているのはNVIDIA HopperとBlackwellのGPUです。また、Cosmos Frameworkの使い方を解説するライブストリームは2026年11月5日に案内されていました。ライセンスの条件や日本での利用範囲、課金の有無など、ここに書かれていない点は、使う前にNVIDIAの公式ドキュメントやモデルカードで最新の提供範囲を確かめてください。社内で試す場合は、どのGPUをいくつ使うのかと、生成した合成データの扱いを先に決めておくと手戻りが減ります。

まとめ

Cosmos 3の新しいシミュレーション向けモデルは、プロンプトと空間的なコントロールから映像やLiDARの観測を作り、実機の前にモデルを試す道具として公開されました。個人がすぐ手元で動かすにはGPUの要件が重いので、まずは出典のモデルカードとデモで何ができるのかを把握するところから始めるのが現実的です。AIの使い方を体系的に学び直したい人は、デジライズAIスクールのコース一覧から、まず「デジライズAIスクールの使い方」で学び方の全体像をつかむとよいでしょう。

出典


この記事は、各社の公式の発表をもとに AI で下書きし、出典の本文との照合とGoogle 検索による事実確認(ファクトチェック)を通ったものだけを公開しています。