合成資料生成 (SDG)

物理 AI 模型可讓自主系統感知、理解、互動並導航實體世界。合成資料對於訓練和測試物理 AI 模型非常重要。

世界基礎模型 (WFM)利用各種輸入資料，包括文字、影像、影片和動作資訊，以卓越的準確度生成和模擬虛擬世界。

WFM 特點在於具有卓越的泛化能力，針對各種應用程式進行最低限度的微調。它們可作為機器人和自動駕駛汽車的認知引擎，利用其對實際動態的全面理解。為了實現這種複雜程度，WFM 仰賴大量的訓練資料。

透過實體精確的模擬生成無限的合成資料，使 WFM 開發從中受益匪淺。這種方法不僅可加速模型訓練流程，還可提升模型在各種場景中泛化能力。領域隨機化技術可進一步增強此過程，允許操作許多參數，例如光線、背景、顏色、位置和環境，這些變化幾乎是不可能從實際資料中全面擷取。

機器人學習是一系列的演算法和教學法，可幫助機器人在模擬或實際環境中學習新技能，例如操作、運轉和分類。強化學習、模仿學習和擴散原則是用於訓練機器人的關鍵方法論。

機器人其中一項重要技能是操作，例如拾取東西、分類並組裝，就像在工廠中會看到的那樣。現實世界的人類示範通常會被用作訓練的輸入。然而，收集大量且多樣化的資料集則相當耗資。透過少數人類示範，開發人員可以在模擬環境中生成合成動作，加速機器人訓練流程。

為此，使用者可首先採用 GR00T-Teleop，利用 Apple Vision Pro (AVP) 收集少量人類示範。接著將錄製的示範用於 GR00T-Mimic 進而生成大量合成動作。然後，他們使用基於 NVIDIA Omniverse™ 和 NVIDIA Cosmos™ 打造的 GR00T-Gen，針對領域隨機化和 3D-真實增強，生成指數級龐大且多樣化的訓練資料集，用於模仿學習。

軟體迴圈 (SIL) 是指 AI 驅動式機器人和自動駕駛汽車的關鍵測試階段，控制軟體將在此階段於模擬環境中測試，而非實際硬體。

由模擬生成的合成資料可確保準確建模實際物理條件，包括感測器輸入、執行器動態和環境相互作用。這還提供了一種方法，可捕捉在現實世界中收集危險的罕見場景。這可確保模擬中的機器人軟體堆疊能夠與實體機器人一樣，讓其進行徹底的測試和驗證，而不需要實體硬體。

Mega 是一款 Omnivers Blueprint，可在數位孿生中大規模研發、測試和最佳化物理 AI 與機器人，然後再部署至真實世界的設施。

這些模擬機器人可透過在環境中感知和推理來執行任務。能夠規劃下一個動作，然後在數位孿生中採取模擬的行動。來自這些模擬的合成資料會回饋至機器人大腦。機器人大腦可以感知結果並決定下一步行動，而 Mega 則可繼續這個循環，精確追蹤數位孿生中所有素材的狀態和位置。

生成式模型可用於啟動和增強合成資料生成流程。文字轉 3D 模型支援建立 3D 素材以移入 3D 模擬場景。文字轉圖像生成式 AI 模型也可用於修改和增強現有圖像，無論是從模擬生成，還是透過程序化的方式進行影像修復或影像擴展在現實世界中收集。

文字轉文字的生成式 AI 模型，例如 Evian 2 405B 和 Nemotron-4 340B，可用於生成合成資料，為醫療照護、金融、網路安全、零售和電信業打造強大的 LLM。

Evian 2 405B 和 Nemotron-4 340B 提供開放式授權，讓開發人員有權在學術和企業應用中擁有和使用生成的資料。