World Models, Robotics, and the Future of 3D AI

Summary & Insights

What happens when AI stops just processing words and starts understanding the physical laws of the world? While Large Language Models (LLMs) act as horizontal engines for text, the vision behind World Labs and their new model, Atlas, is to create a “world model”—a general-purpose engine for visual and physical understanding. Rather than just predicting the next token in a sentence, these models aim to generate, reconstruct, and simulate 3D environments with a level of spatial intelligence that could transform everything from robotics to cinema.

Atlas differentiates itself from standard video generation by treating space as a grounded 3D context rather than a sequence of 2D pixels. This allows for “pixel-perfect” camera control, where a user can steer a virtual camera through a scene with precision, avoiding the “hallucinations” and distortions common in current AI video tools. The model supports three primary functions: generating entirely new worlds from prompts, reconstructing existing real-world spaces from as few as one to a hundred photos, and simulating physical interactions within those spaces.

The implications for robotics are particularly potent through a process called “real-to-sim-to-real.” By taking a few casual photos of a specific environment, developers can use Atlas to create a high-fidelity simulation of that exact space. They can then fine-tune a robotics foundation model within that simulation, allowing a robot to be perfectly adapted to a new factory or studio in a matter of minutes before it ever touches the physical floor. This removes the need for exhaustive manual data collection in every new environment.

Surprising Insights

Beyond the “Slot Machine”: Most generative AI feels like a slot machine where you pull a lever and hope for a good result; Atlas aims to replace this with “director-level” control, using 3D camera coordinates as a native input modality.
The “Bullet Time” Effect: Atlas can create high-fidelity “freeze-frame fly-around” shots (similar to The Matrix) using as few as three synchronized iPhone captures.
Gaussian Splatting vs. Direct Pixels: While previous versions relied heavily on Gaussian splatting (a way of representing 3D scenes), Atlas can bypass this bottleneck to generate beautiful 2D pixels directly, only lifting them into 3D when specifically required for a workflow.
The Innovator’s Dilemma in AI: The discussion suggests that some leading AI labs may be hesitant to pivot toward world models because they are so heavily invested in the current success of LLMs.

Practical Takeaways

For Creative Directors: Look beyond text prompts for AI video. The future of “AI cinematography” lies in spatial control—steering a camera through 3D coordinates to achieve specific shots that are nearly impossible to describe in words.
For Robotics Engineers: Reduce “onboarding” time for robots in new environments by implementing a real-to-sim pipeline. Use sparse photo reconstruction to create a digital twin of the workspace for rapid RL (Reinforcement Learning) fine-tuning.
For Game Developers: Explore “vibe-coding” for 3D environments. Instead of manually placing millions of assets in an engine, use world models to generate the base environment and then import those assets as explicit 3D meshes for final polish.

Điều gì sẽ xảy ra khi AI không chỉ dừng lại ở việc xử lý ngôn ngữ mà bắt đầu thấu hiểu các quy luật vật lý của thế giới? Trong khi các Mô hình Ngôn ngữ Lớn (LLM) đóng vai trò là những bộ máy xử lý văn bản đa năng, tầm nhìn của World Labs và mô hình mới của họ, Atlas, là tạo ra một “mô hình thế giới” (world model) — một bộ máy đa năng dành cho khả năng hiểu biết về thị giác và vật lý. Thay vì chỉ dự đoán token tiếp theo trong một câu, các mô hình này hướng tới việc tạo ra, tái thiết lập và mô phỏng môi trường 3D với mức độ thông minh về không gian có thể thay đổi mọi thứ, từ robot học cho đến điện ảnh.

Atlas tạo nên sự khác biệt so với các công cụ tạo video tiêu chuẩn bằng cách coi không gian là một bối cảnh 3D có căn cứ (grounded 3D context) thay vì một chuỗi các pixel 2D. Điều này cho phép kiểm soát camera “hoàn hảo đến từng pixel”, nơi người dùng có thể điều hướng camera ảo xuyên qua một khung cảnh với độ chính xác cao, tránh được hiện tượng “ảo giác” (hallucinations) và biến dạng thường gặp trong các công cụ video AI hiện nay. Mô hình này hỗ trợ ba chức năng chính: tạo ra những thế giới hoàn toàn mới từ các câu lệnh (prompt), tái thiết lập các không gian thực tế hiện có chỉ từ một đến một trăm bức ảnh, và mô phỏng các tương tác vật lý trong những không gian đó.

Những tác động đối với lĩnh vực robot học đặc biệt mạnh mẽ thông qua quy trình gọi là “real-to-sim-to-real” (từ thực tế sang mô phỏng rồi quay lại thực tế). Bằng cách chụp một vài bức ảnh ngẫu nhiên về một môi trường cụ thể, các nhà phát triển có thể sử dụng Atlas để tạo ra một bản mô phỏng độ trung thực cao của chính không gian đó. Sau đó, họ có thể tinh chỉnh mô hình nền tảng của robot trong môi trường mô phỏng, giúp robot thích nghi hoàn hảo với một nhà máy hoặc studio mới chỉ trong vài phút trước khi thực sự vận hành trên sàn thực tế. Điều này loại bỏ nhu cầu thu thập dữ liệu thủ công mệt mỏi trong mỗi môi trường mới.

Những hiểu biết bất ngờ

Vượt ra ngoài “Máy đánh bạc”: Hầu hết AI tạo sinh mang lại cảm giác như một chiếc máy đánh bạc, nơi bạn gạt cần và hy vọng vào một kết quả tốt; Atlas đặt mục tiêu thay thế điều này bằng quyền kiểm soát “cấp độ đạo diễn”, sử dụng tọa độ camera 3D như một phương thức nhập liệu gốc.

Hiệu ứng “Bullet Time”: Atlas có thể tạo ra các cảnh quay “đóng băng khung hình và bay xung quanh” với độ phân giải cao (tương tự như phim The Matrix) chỉ bằng ba lần chụp đồng bộ từ iPhone.

Gaussian Splatting đối lập với Pixel trực tiếp: Trong khi các phiên bản trước phụ thuộc nhiều vào Gaussian splatting (một cách biểu diễn cảnh 3D), Atlas có thể vượt qua rào cản này để tạo ra các pixel 2D tuyệt đẹp một cách trực tiếp, và chỉ chuyển đổi chúng sang 3D khi quy trình làm việc cụ thể yêu cầu.

Thế lưỡng nan của nhà đổi mới trong AI: Các cuộc thảo luận cho thấy một số phòng thí nghiệm AI hàng đầu có thể ngần ngại chuyển hướng sang các mô hình thế giới vì họ đã đầu tư quá nhiều vào thành công hiện tại của các LLM.

Bài học thực tiễn

Đối với Giám đốc sáng tạo: Hãy nhìn xa hơn các câu lệnh văn bản cho video AI. Tương lai của “điện ảnh AI” nằm ở khả năng kiểm soát không gian — điều phối camera thông qua các tọa độ 3D để đạt được những khung hình cụ thể mà gần như không thể mô tả bằng lời.

Đối với Kỹ sư Robot: Giảm thời gian “làm quen” của robot trong môi trường mới bằng cách triển khai quy trình real-to-sim. Sử dụng việc tái thiết lập từ ảnh thưa (sparse photo reconstruction) để tạo ra một “bản sao kỹ thuật số” (digital twin) của không gian làm việc nhằm tinh chỉnh RL (Học tăng cường) một cách nhanh chóng.

Đối với Nhà phát triển Game: Khám phá khái niệm “vibe-coding” (lập trình theo cảm hứng/phong cách) cho môi trường 3D. Thay vì đặt hàng triệu tài nguyên (assets) một cách thủ công vào engine, hãy sử dụng các mô hình thế giới để tạo môi trường cơ bản, sau đó nhập các tài nguyên đó dưới dạng lưới 3D (3D meshes) chi tiết để hoàn thiện cuối cùng.

當 AI 不再僅僅是處理文字，而開始理解世界的物理定律時，會發生什麼事？大型語言模型（LLMs）扮演著文字處理的橫向引擎，而 World Labs 及其新模型 Atlas 的願景則是打造一個「世界模型（world model）」——一個用於視覺與物理理解的通用引擎。這些模型不再只是預測句子中的下一個 token，而是旨在生成、重建並模擬 3D 環境，其具備的空間智能水平有望徹底改變從機器人技術到電影製作的一切。

Atlas 與標準影片生成的不同之處在於，它將空間視為一個具備基礎的 3D 上下文，而非一系列的 2D 像素。這實現了「像素級」的攝影機控制，使用者可以精確地操控虛擬攝影機在場景中移動，避免了目前 AI 影片工具中常見的「幻覺」與扭曲。該模型支持三大核心功能：根據提示詞生成全新的世界、利用少至 1 到 100 張照片重建現實世界的既有空間，以及模擬這些空間內的物理互動。

對於機器人技術而言，透過一種稱為「實體到模擬再到實體（real-to-sim-to-real）」的過程，其影響力尤為強大。開發者只需對特定環境拍攝幾張隨意的照片，即可使用 Atlas 建立該空間的高保真模擬環境。接著，他們可以在該模擬環境中微調機器人基礎模型，使機器人在接觸物理地面之前，就能在數分鐘內完美適應新的工廠或工作室。這消除了在每個新環境中進行繁瑣人工數據採集的必要。

驚人洞察

超越「老虎機」模式： 大多數生成式 AI 給人的感覺像是一台老虎機，你拉下槓桿並祈禱能得到好的結果；Atlas 旨在將其替換為「導演級」的控制，將 3D 攝影機坐標作為原生輸入模態。

「子彈時間」效果： Atlas 僅需三張同步的 iPhone 拍攝照片，即可創建高保真的「定格環繞」鏡頭（類似於電影《駭客任務》）。

高斯潑濺 (Gaussian Splatting) vs. 直接像素： 先前的版本嚴重依賴高斯潑濺（一種表示 3D 場景的方法），而 Atlas 可以繞過這一瓶頸直接生成精美的 2D 像素，僅在工作流有特定需求時才將其提升至 3D。

AI 的創新者困境： 討論指出，一些領先的 AI 實驗室可能對轉向世界模型感到猶豫，因為他們在目前 LLM 的成功上投入了過多資源。

實踐建議

給創意總監： 不要只依賴 AI 影片的文字提示。「AI 電影攝影」的未來在於空間控制——透過 3D 坐標操控攝影機，以實現那些幾乎無法用文字描述的特定鏡頭。

給機器人工程師： 透過實施「實體到模擬（real-to-sim）」流水線，縮短機器人在新環境中的「上手」時間。利用稀疏照片重建來創建工作空間的數位分身，以進行快速的強化學習（RL）微調。

給遊戲開發者： 探索 3D 環境的「氛圍編碼（vibe-coding）」。與其在引擎中手動放置數百萬個資產，不如使用世界模型生成基礎環境，然後將這些資產作為明確的 3D 網格（meshes）導入以進行最終打磨。

Que se passe-t-il lorsque l’IA cesse de simplement traiter des mots pour commencer à comprendre les lois physiques du monde ? Alors que les grands modèles de langage (LLM) agissent comme des moteurs horizontaux pour le texte, la vision de World Labs et de son nouveau modèle, Atlas, est de créer un « modèle de monde » — un moteur polyvalent dédié à la compréhension visuelle et physique. Plutôt que de simplement prédire le prochain jeton (token) d’une phrase, ces modèles visent à générer, reconstruire et simuler des environnements 3D avec un niveau d’intelligence spatiale capable de transformer tous les domaines, de la robotique au cinéma.

Atlas se distingue de la génération vidéo standard en traitant l’espace comme un contexte 3D ancré plutôt que comme une séquence de pixels 2D. Cela permet un contrôle de la caméra « au pixel près », où l’utilisateur peut diriger une caméra virtuelle à travers une scène avec précision, évitant ainsi les « hallucinations » et les distorsions courantes dans les outils vidéo d’IA actuels. Le modèle prend en charge trois fonctions principales : générer des mondes entièrement nouveaux à partir de prompts, reconstruire des espaces réels existants à partir d’un nombre réduit de photos (de une à cent), et simuler des interactions physiques au sein de ces espaces.

Les implications pour la robotique sont particulièrement puissantes grâce à un processus appelé « real-to-sim-to-real » (du réel vers la simulation, puis vers le réel). En prenant quelques photos informelles d’un environnement spécifique, les développeurs peuvent utiliser Atlas pour créer une simulation haute fidélité de cet espace exact. Ils peuvent ensuite affiner un modèle de fondation robotique au sein de cette simulation, permettant à un robot de s’adapter parfaitement à une nouvelle usine ou un nouveau studio en quelques minutes, avant même qu’il ne touche le sol physique. Cela élimine la nécessité d’une collecte manuelle et exhaustive de données dans chaque nouvel environnement.

Perspectives surprenantes

Au-delà de la « machine à sous » : La plupart des IA génératives ressemblent à une machine à sous où l’on tire un levier en espérant un bon résultat ; Atlas vise à remplacer cela par un contrôle de « niveau réalisateur », en utilisant les coordonnées de la caméra 3D comme modalité d’entrée native.

L’effet « Bullet Time » : Atlas peut créer des plans de « survol avec arrêt sur image » haute fidélité (similaires à ceux de Matrix) en utilisant seulement trois captures synchronisées d’iPhone.

Gaussian Splatting vs Pixels Directs : Alors que les versions précédentes s’appuyaient fortement sur le Gaussian splatting (une méthode de représentation de scènes 3D), Atlas peut contourner ce goulot d’étranglement pour générer directement de superbes pixels 2D, ne les convertissant en 3D que lorsque le flux de travail l’exige spécifiquement.

Le dilemme de l’innovateur dans l’IA : Les discussions suggèrent que certains laboratoires d’IA de premier plan pourraient hésiter à pivoter vers les modèles de monde, car ils sont massivement investis dans le succès actuel des LLM.

Points clés pratiques

Pour les directeurs artistiques : Ne vous limitez pas aux prompts textuels pour la vidéo IA. L’avenir de la « cinématographie IA » réside dans le contrôle spatial — diriger une caméra via des coordonnées 3D pour obtenir des plans spécifiques presque impossibles à décrire avec des mots.

Pour les ingénieurs en robotique : Réduisez le temps d’intégration (« onboarding ») des robots dans de nouveaux environnements en mettant en œuvre un pipeline real-to-sim. Utilisez la reconstruction photo parcimonieuse pour créer un jumeau numérique de l’espace de travail afin de procéder à un affinement rapide par RL (apprentissage par renforcement).

Pour les développeurs de jeux : Explorez le « vibe-coding » pour les environnements 3D. Au lieu de placer manuellement des millions d’assets dans un moteur, utilisez des modèles de monde pour générer l’environnement de base, puis importez ces assets sous forme de maillages (meshes) 3D explicites pour la finition finale.

Was passiert, wenn KI aufhört, lediglich Wörter zu verarbeiten, und beginnt, die physikalischen Gesetze der Welt zu verstehen? Während Large Language Models (LLMs) als horizontale Engines für Text fungieren, besteht die Vision hinter World Labs und ihrem neuen Modell „Atlas“ darin, ein „Weltmodell“ zu schaffen – eine Allzweck-Engine für visuelles und physisches Verständnis. Anstatt nur das nächste Token in einem Satz vorherzusagen, zielen diese Modelle darauf ab, 3D-Umgebungen mit einer räumlichen Intelligenz zu generieren, zu rekonstruieren und zu simulieren, die alles transformieren könnte – von der Robotik bis zum Kino.

Atlas unterscheidet sich von herkömmlicher Videogenerierung dadurch, dass es den Raum als fundierten 3D-Kontext und nicht als eine Abfolge von 2D-Pixeln behandelt. Dies ermöglicht eine „pixelgenaue“ Kamerasteuerung, bei der ein Nutzer eine virtuelle Kamera präzise durch eine Szene steuern kann, wodurch die „Halluzinationen“ und Verzerrungen vermieden werden, die in aktuellen KI-Videotools häufig vorkommen. Das Modell unterstützt drei Hauptfunktionen: die Generierung völlig neuer Welten aus Prompts, die Rekonstruktion bestehender realer Räume aus nur einem bis hundert Fotos sowie die Simulation physischer Interaktionen innerhalb dieser Räume.

Die Auswirkungen auf die Robotik sind besonders weitreichend durch einen Prozess namens „real-to-sim-to-real“. Indem Entwickler einige Schnappschüsse einer spezifischen Umgebung machen, können sie Atlas nutzen, um eine hochpräzise Simulation genau dieses Raumes zu erstellen. Anschließend können sie ein Basismodell für Robotik innerhalb dieser Simulation feinabstimmen. So kann ein Roboter in wenigen Minuten perfekt an eine neue Fabrik oder ein Studio angepasst werden, noch bevor er den physischen Boden berührt. Dies macht eine aufwendige manuelle Datenerfassung in jeder neuen Umgebung überflüssig.

Überraschende Erkenntnisse

Jenseits des „Spielautomaten“: Die meisten generativen KIs fühlen sich wie ein Spielautomat an, bei dem man einen Hebel zieht und auf ein gutes Ergebnis hofft; Atlas zielt darauf ab, dies durch eine Kontrolle auf „Regisseur-Niveau“ zu ersetzen, indem 3D-Kamerakoordinaten als native Eingabemodalität genutzt werden.

Der „Bullet-Time“-Effekt: Atlas kann hochauflösende „Freeze-Frame-Fly-Around“-Aufnahmen (ähnlich wie in The Matrix) mit nur drei synchronisierten iPhone-Aufnahmen erstellen.

Gaussian Splatting vs. direkte Pixel: Während frühere Versionen stark auf Gaussian Splatting (einer Methode zur Darstellung von 3D-Szenen) basierten, kann Atlas diesen Flaschenhals umgehen, um direkt ästhetische 2D-Pixel zu generieren und diese nur dann in 3D zu überführen, wenn es der Workflow explizit erfordert.

Das Innovator’s Dilemma der KI: Die Diskussion legt nahe, dass einige führende KI-Labore zögern könnten, auf Weltmodelle umzustellen, weil sie zu stark im aktuellen Erfolg von LLMs investiert sind.

Praktische Erkenntnisse

Für Creative Directors: Schauen Sie bei KI-Videos über Text-Prompts hinaus. Die Zukunft der „KI-Kinematografie“ liegt in der räumlichen Steuerung – dem Führen einer Kamera durch 3D-Koordinaten, um spezifische Einstellungen zu erzielen, die mit Worten kaum zu beschreiben sind.

Für Robotik-Ingenieure: Reduzieren Sie die „Onboarding“-Zeit für Roboter in neuen Umgebungen durch die Implementierung einer Real-to-Sim-Pipeline. Nutzen Sie spärliche Fotorekonstruktionen, um einen digitalen Zwilling des Arbeitsbereichs für ein schnelles RL-Fine-Tuning (Reinforcement Learning) zu erstellen.

Für Spieleentwickler: Experimentieren Sie mit „Vibe-Coding“ für 3D-Umgebungen. Anstatt Millionen von Assets manuell in einer Engine zu platzieren, nutzen Sie Weltmodelle, um die Basisumgebung zu generieren, und importieren Sie diese Assets anschließend als explizite 3D-Meshes für den finalen Feinschliff.

World Labs co-founder Justin Johnson joins MTS hosts Theo Jaffee and Sofia Puccini to discuss Atlas, World Labs’ latest world model, and the broader case for AI systems that understand and interact with the physical world.

Justin explains how Atlas approaches three core tasks: generating new worlds, reconstructing real environments from images, and simulating how objects or robots might behave within them. Underlying it is a bigger thesis: just as language models became general-purpose engines for working with text, world models could become a horizontal layer for visual and physical intelligence across industries from entertainment and gaming to construction and robotics.

They also explore how world models could change video games and creative tools, why precise spatial control matters, and the potential for “real-to-sim-to-real” robotics, where a few photos of a physical environment could eventually be enough to build a simulation and adapt a robot to that specific space.

Resources:

Follow Justin Johnson on X: https://x.com/jcjohnss

Follow Theo Jaffee on X: https://x.com/theojaffee

Follow Sofia on X: https://x.com/schisofrenia

Follow MTS on X: https://x.com/mtslive

Stay Updated:

Find a16z on YouTube: YouTube

Find a16z on X

Find a16z on LinkedIn

Listen to the a16z Show on Spotify

Listen to the a16z Show on Apple Podcasts

Follow our host: https://twitter.com/eriktorenberg

Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see a16z.com/disclosures.

Hosted by Simplecast, an AdsWizz company. See pcm.adswizz.com for information about our collection and use of personal data for advertising.