Summary & Insights
Pourquoi les humains passent-ils autant de temps à simuler des scénarios dans leur tête avant d’agir ? La réponse réside dans le « raisonnement contrefactuel » : la capacité d’imaginer des événements qui ne se sont pas produits ou ne peuvent se produire dans la réalité afin de déterminer la meilleure marche à suivre. Ce raccourci cognitif est le socle philosophique de l’acquisition de Scenics par World Labs, alors que l’équipe cherche à faire évoluer l’IA au-delà du langage pour atteindre l’« intelligence spatiale », en apprenant aux machines à percevoir, raisonner et interagir avec le monde physique tridimensionnel.
Le cœur de cette mission est le pipeline « real-to-sim-to-real » (du réel vers la simulation, puis retour au réel). Comme la collecte de données robotiques en conditions réelles est lente, dangereuse et coûteuse, World Labs construit des mondes numériques cohérents où les robots peuvent être entraînés et évalués à grande échelle. Grâce à leur modèle de base « Marble », ils peuvent générer des environnements 3D géométriquement cohérents et alignés avec la réalité. Cela permet aux développeurs d’effectuer des milliers d’itérations et des « randomisations systématiques » de l’éclairage, de la friction et de la géométrie en simulation, garantissant ainsi qu’une fois déployé dans le monde réel, le robot soit robuste et fiable.
Plutôt que de se précipiter vers le « grand défi » des environnements totalement non structurés, comme une maison familiale chaotique, l’équipe adopte une approche pragmatique. Ils se concentrent d’abord sur des environnements semi-structurés — tels que des entrepôts ou des laboratoires — où un certain contrôle existe, mais où une flexibilité reste nécessaire. En restant « agnostiques quant à l’incarnation » (embodiment agnostic), World Labs ne construit pas un robot spécifique ; ils bâtissent l’infrastructure essentielle que n’importe quelle entreprise de robotique peut utiliser pour entraîner son matériel, qu’il s’agisse d’un bras robotisé ou d’un humanoïde bipède.
Perspectives Surprenantes
- Le paradoxe de la simulation : Alors que certains experts soutiennent que la simulation s’écarte toujours de la réalité, l’équipe postule que la simulation est en fait plus critique pour la fiabilité, car elle permet un « raisonnement contrefactuel » que les données du monde réel ne peuvent tout simplement pas fournir.
- L’efficacité prime sur l’apparence : En robotique, une simulation n’a pas besoin d’être visuellement parfaite ; elle doit seulement capturer la « structure essentielle » du problème. Par exemple, un robot apprenant à marcher dans la neige n’a pas besoin que chaque flocon soit rendu, mais seulement de la physique correcte de la friction et de la résistance.
- Le goulot d’étranglement du « plus lent que l’humain » : La téléopération actuelle (des humains contrôlant des robots à distance pour collecter des données) est souvent plus lente que la tâche elle-même, créant un goulot d’étranglement massif en termes de données que seule la simulation synthétique peut résoudre.
- Scepticisme envers les humanoïdes : L’équipe considère la course vers les humanoïdes polyvalents comme potentiellement trop agressive, suggérant que des corps spécialisés pour des tâches plus restreintes et semi-structurées constituent une voie commerciale et technique plus viable.
Points Clés Pratiques
- Prioriser les « Evals » (évaluations) sur l’entraînement : Pour ceux qui développent l’IA ou la robotique, concentrez-vous massivement sur la boucle d’évaluation. La vitesse à laquelle vous pouvez distinguer un taux de réussite de 90 % d’un taux de 92 % détermine votre vitesse totale d’itération.
- Cibler les victoires en environnement semi-structuré : Lors du déploiement d’une nouvelle technologie, visez d’abord les environnements semi-structurés. Résoudre le problème d’un entrepôt contrôlé est une étape nécessaire avant de s’attaquer au chaos d’un domicile résidentiel.
- Bâtir une infrastructure agnostique : Si vous créez un outil pour autrui, efforcez-vous d’être « agnostique au modèle » et « agnostique à l’incarnation ». Fournir l’environnement (le « où ») plutôt que l’agent spécifique (le « quoi ») élargit votre marché potentiel total.
Warum verbringen Menschen so viel Zeit damit, Szenarien in ihrem Kopf zu simulieren, bevor sie handeln? Die Antwort liegt im „kontrafaktischen Denken“ – der Fähigkeit, Ereignisse durchzuspielen, die nicht eingetreten sind oder in der Realität nicht eintreten können, um den optimalen Handlungsweg zu finden. Diese kognitive Abkürzung bildet das philosophische Fundament für die Übernahme von Scenics durch World Labs. Das Team strebt danach, KI über die Sprache hinaus in Richtung „räumlicher Intelligenz“ zu bewegen und Maschinen beizubringen, die dreidimensionale physische Welt wahrzunehmen, zu analysieren und mit ihr zu interagieren.
Das Herzstück dieser Mission ist die „Real-to-Sim-to-Real“-Pipeline. Da das Sammeln von Robotik-Daten in der realen Welt langsam, gefährlich und kostspielig ist, baut World Labs konsistente digitale Welten auf, in denen Roboter in großem Maßstab trainiert und evaluiert werden können. Mithilfe ihres Basismodells „Marble“ können sie geometrisch konsistente 3D-Umgebungen generieren, die mit der Realität übereinstimmen. Dies ermöglicht es Entwicklern, Tausende von Iterationen und „systematische Randomisierungen“ von Beleuchtung, Reibung und Geometrie in der Simulation durchzuführen. So wird sichergestellt, dass ein Roboter robust und zuverlässig funktioniert, wenn er schließlich in der realen Welt eingesetzt wird.
Anstatt dem „großen Ziel“ vollkommen unstrukturierter Umgebungen – wie etwa einem chaotischen Familienhaushalt – hinterherzujagen, verfolgt das Team einen pragmatischen Ansatz. Sie konzentrieren sich zunächst auf semistrukturierte Umgebungen, wie etwa Lagerhallen oder Labore, in denen ein gewisses Maß an Kontrolle besteht, aber dennoch Flexibilität erforderlich ist. Da sie „embodiment agnostic“ (unabhängig von der physischen Form) bleiben, baut World Labs keinen spezifischen Roboter; sie schaffen die essenzielle Infrastruktur, die jedes Robotik-Unternehmen nutzen kann, um seine eigene Hardware zu trainieren – unabhängig davon, ob es sich um einen Roboterarm oder einen zweibeinigen Humanoiden handelt.
Überraschende Erkenntnisse
- Das Simulations-Paradoxon: Während einige Experten argumentieren, dass Simulationen immer von der Realität abweichen, vertritt das Team die Ansicht, dass Simulationen für die Zuverlässigkeit sogar entscheidender sind, da sie ein „kontrafaktisches Denken“ ermöglichen, das reale Daten schlichtweg nicht bieten können.
- Effizienz vor Optik: In der Robotik muss eine Simulation nicht visuell perfekt sein; sie muss lediglich die „essenzielle Struktur“ des Problems erfassen. Ein Roboter, der lernt, im Schnee zu laufen, benötigt beispielsweise keine gerenderten Schneeflocken, sondern lediglich die korrekte Physik von Reibung und Widerstand.
- Der „langsamer als der Mensch“-Engpass: Die aktuelle Teleoperation (Menschen steuern Roboter aus der Ferne, um Daten zu sammeln) ist oft langsamer als die tatsächlich auszuführende Aufgabe. Dies schafft einen massiven Datenengpass, den nur synthetische Simulationen lösen können.
- Skepsis gegenüber Humanoiden: Das Team betrachtet den aktuellen Drang zu universellen Humanoiden als potenziell zu aggressiv. Sie schlagen vor, dass spezialisierte Körper für engere, semistrukturierte Aufgaben ein nachhaltigerer Geschäfts- und Technikpfad sind.
Praktische Lehren
- Priorität auf „Evals“ statt auf Training: Wer KI oder Robotik entwickelt, sollte sich stark auf die Evaluationsschleife konzentrieren. Die Geschwindigkeit, mit der man zwischen einer Erfolgsquote von 90 % und 92 % unterscheiden kann, bestimmt die gesamte Iterationsgeschwindigkeit.
- Fokus auf Erfolge in semistrukturierten Umgebungen: Bei der Implementierung neuer Technologien sollten zuerst semistrukturierte Umgebungen ins Visier genommen werden. Die Lösung für ein kontrolliertes Lager ist ein notwendiger Zwischenschritt, bevor man sich an das Chaos eines Wohnhauses wagt.
- Agnostische Infrastruktur aufbauen: Wenn Sie ein Tool für andere entwickeln, streben Sie danach, „modellagnostisch“ und „embodiment-agnostisch“ zu sein. Die Bereitstellung der Umgebung (das „Wo“) statt des spezifischen Agenten (das „Was“) erweitert Ihren gesamten adressierbaren Markt.
Last week, World Labs announced its acquisition of SceniX, bringing together two teams working on one of AI’s biggest unsolved problems: how to give machines a true understanding of the physical world.
Martin Casado sits down with Fei-Fei Li, co-founder and CEO of World Labs, creator of ImageNet, and pioneer of spatial intelligence, alongside Yunzhu Li, co-founder of SceniX and assistant professor at Columbia University. They discuss why World Labs acquired SceniX, how simulation can unlock the next generation of robotics, and why training robots may require a fundamentally different approach than training language models.
The conversation explores real-to-sim-to-real pipelines, world models, robotics foundation models, evaluation, synthetic data, and why the future of AI depends not just on understanding language—but on understanding and interacting with the physical world.
Resources:
Follow Fei-Fei Li on X: https://x.com/drfeifei
Follow Yunzhu Li on X: https://x.com/YunzhuLiYZ
Follow Martin Casado on X: https://x.com/martin_casado
Stay Updated:
Find a16z on YouTube: YouTube
Find a16z on X
Find a16z on LinkedIn
Listen to the a16z Show on Spotify
Listen to the a16z Show on Apple Podcasts
Follow our host: https://twitter.com/eriktorenberg
Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see a16z.com/disclosures.
Hosted by Simplecast, an AdsWizz company. See pcm.adswizz.com for information about our collection and use of personal data for advertising.
