美國加利福尼亞州圣何塞 —— GTC —— 太平洋時間 2025 年 3 月 18日 ——NVIDIA 今日宣布推出全新 NVIDIA Cosmos™ 世界基礎模型 (WFM) 的重大更新，該模型引入了開放式、可完全定制的物理 AI 開發(fā)推理模型，讓開發(fā)者以前所未有的方式控制世界生成。
NVIDIA 還推出了兩款由 NVIDIA Omniverse™ 和 Cosmos 平臺提供支持的新藍圖，為開發(fā)者提供用于機器人和自動駕駛汽車后訓練的大規(guī)�？煽睾铣蓴�(shù)據(jù)生成引擎。
1X、Agility Robotics、Figure AI、Foretellix、Skild AI 和 Uber 是首批采用 Cosmos 的企業(yè)，可更快、更大規(guī)模地為物理 AI 生成更豐富的訓練數(shù)據(jù)。
“正如大語言模型改變了生成式和代理式 AI，Cosmos 世界基礎模型是物理 AI 的一項重大突破，”NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示。 “Cosmos 為物理 AI 帶來了一個開放式、可完全定制的推理模型，為機器人和物理工業(yè)領域的突破性發(fā)展帶來了機遇�！�
用于合成數(shù)據(jù)生成的 Cosmos® Transfer
Cosmos Transfer WFM 能夠吸收結構化視頻輸入，如分割圖、深度圖、激光雷達掃描、姿態(tài)估計圖和軌跡圖等，以生成可控、逼真的視頻輸出。
Cosmos Transfer 可簡化感知 AI 訓練，將 Omniverse 中創(chuàng)建的 3D 仿真或真值轉換為逼真視頻，用于大規(guī)�？煽睾铣蓴�(shù)據(jù)生成。
Agility Robotics 將是最早采用 Cosmos Transfer 和 Omniverse 進行大規(guī)模合成數(shù)據(jù)生成，用以訓練其機器人模型的公司之一。
Agility Robotics 首席技術官 Pras Velagapudi 表示：“Cosmos 為我們提供了一個在真實世界可采集的數(shù)據(jù)之外，擴展逼真訓練數(shù)據(jù)的機會。我們很期待看到使用新平臺解鎖的新性能，同時充分利用我們已有的基于物理學的仿真數(shù)據(jù)�！�
用于自動駕駛汽車仿真的 NVIDIA® Omniverse Blueprint借助 Cosmos Transfer 放大基于物理傳感器數(shù)據(jù)的變化。 借助該藍圖，F(xiàn)oretellix 可以通過為不同駕駛數(shù)據(jù)集改變天氣和光照等條件來豐富行為場景。 Parallel Domain 也正在使用該藍圖 將類似的變更應用于他們的傳感器仿真。
用于合成操作運動生成的 NVIDIA GR00T Blueprint 結合了 Omniverse 和 Cosmos Transfer，可大規(guī)模生成多樣化數(shù)據(jù)集，利用 OpenUSD 驅動的仿真，將數(shù)據(jù)采集和增強時間從數(shù)天縮短到數(shù)小時。
Cosmos Predict 用于智能世界生成
一月在CES上宣布的Cosmos Predict WFM 能夠通過文本、圖像和視頻等多模態(tài)輸入生成虛擬世界狀態(tài)。 新的 Cosmos Predict 模型將支持多幀生成，在給定開始和結束輸入圖像的情況下，預測中間行為或運動軌跡。 這些模型專為后訓練而打造，可使用 NVIDIA 開放的物理 AI 數(shù)據(jù)集進行定制。
借助 NVIDIA® Grace Blackwell NVL72 系統(tǒng)及其龐大的 NVIDIA NVLink™ 域的推理計算能力，開發(fā)者可以實現(xiàn)實時世界生成。
1X 正在使用 Cosmos Predict 和 Cosmos Transfer 來訓練其新型人形機器人 NEO Gamma。 機器人大腦開發(fā)商 Skild AI 正在利用 Cosmos Transfer 增強其機器人的合成數(shù)據(jù)集。 此外，Nexar 和 Oxa 正在使用 Cosmos Predict 來升級其自動駕駛系統(tǒng)。
用于物理 AI 的多模態(tài)推理
Cosmos Reason 是一個開放式、可完全定制的 WFM，具有時空感知能力，它使用思維鏈推理來理解視頻數(shù)據(jù)，并能夠預測交互結果，如一個人走進人行道或一個盒子從架子上掉下來。
開發(fā)者可以使用 Cosmos Reason 來提升物理 AI 數(shù)據(jù)標注和管理，增強現(xiàn)有世界基礎模型或創(chuàng)建新的視覺語言動作模型。 他們還可以對其進行后訓練，構建高級規(guī)劃器，以指導物理 AI 如何完成所需操作。
加速物理 AI 的數(shù)據(jù)管理和后訓練
基于其下游任務，開發(fā)者可以在 NVIDIA DGX™ Cloud 上使用原生 PyTorch 腳本或 NVIDIA NeMo™ 框架對 Cosmos WFM 進行后訓練。
Cosmos 開發(fā)者還可以使用 DGX Cloud 上的 NVIDIA NeMo Curator 來加速數(shù)據(jù)處理和管理。 Linker Vision 和 Milestone Systems 正將其用于管理海量視頻數(shù)據(jù)，訓練用于視覺智能體的大視覺語言模型，這些智能體基于 NVIDIA AI Blueprint 進行視頻搜索和總結。Virtual Incision 正在探索將其部署在未來的手術機器人中，而 Uber 和 Waabi 正在推動自動駕駛汽車的開發(fā)。
推動負責任的 AI 和內(nèi)容透明度
根據(jù) NVIDIA 一貫的可信 AI 原則，NVIDIA 在所有 Cosmos WFM 中都采用開放式護欄。 此外，NVIDIA 正在與 Google DeepMind 合作，將 SynthID 集成到水印中，幫助識別 Cosmos WFM NVIDIA NIM™ 微服務的 AI 生成結果。
供貨情況
Cosmos WFM 可在 NVIDIA API 目錄中預覽，現(xiàn)已列入 Google Cloud 上的 Vertex AI Model Garden 中。 Cosmos Predict 和 Cosmos Transfer 在 Hugging Face 和 GitHub 上公開提供。 Cosmos Reason 開放搶先體驗。
了解更多，請觀看 NVIDIA GTC 主題演講，注冊參加 NVIDIA 和行業(yè)領導者參加的 Cosmos 會議與培訓，包括 NVIDIA 生成式 AI 研究副總裁劉洺堉的“Cosmos 世界基礎模型簡介”。 
