a16z Podcast
Summary & Insights
The development of fully autonomous vehicles has reached a critical juncture, with Waymo now providing over 500,000 fully autonomous rides each week across multiple cities. The key to this success lies in the complex system behind it, which involves a combination of sensors, AI, and software. Dmitry Dolgov, co-CEO of Waymo, explains that the company’s driver uses three main families of sensors: LiDAR, radar, and cameras, which work together to provide 360-degree coverage around the vehicle.
The data from these sensors is processed using AI, which builds a model of the world and makes decisions about how to drive. The system is designed to be highly reliable, with multiple layers of safety and validation. Dolgov notes that the core technology is now good enough to support fully autonomous operations, but there is still work to be done in specialization and validation before deploying in new cities. The company is working on expanding its operations globally, with plans to operate in London and Tokyo this year.
Surprising Insights
- The development of fully autonomous vehicles is not just a matter of scaling up existing technology, but rather a qualitative jump that requires tackling fundamentally different problems.
- The use of intermediate representations in the world, such as objects and road concepts, is crucial for achieving high levels of safety and performance.
- The company’s sixth generation hardware stack is simpler, more capable, and much lower cost than previous generations, with significant optimizations in all three sensing modalities.
- The sensor suite is designed to be complementary, with LiDAR providing high resolution, radar providing robustness to adverse weather conditions, and cameras providing valuable information in normal conditions.
- The company’s AI models are able to make use of subtle cues, such as the movement of a person’s feet under a bus, to detect and respond to pedestrians.
Practical Takeaways
- To achieve fully autonomous operations, it’s necessary to tackle the hardest parts of the problem, such as handling edge cases and achieving superhuman safety.
- The use of a foundational model, specialized teachers, and distillation can lead to significant performance gains and simplifications in the system.
- The development of custom hardware, such as the sixth generation vehicle, is crucial for improving the passenger experience and reducing costs.
- The operational infrastructure behind Waymo is complex and involves multiple layers of automation and human oversight.
- The company’s focus on global expansion and deployment in new cities will require continued investment in specialization and validation.
Sự phát triển của các phương tiện tự hành hoàn toàn đã đạt đến một bước ngoặt quan trọng, với Waymo hiện cung cấp hơn 500.000 chuyến đi tự hành hoàn toàn mỗi tuần trên nhiều thành phố. Chìa khóa cho sự thành công này nằm trong hệ thống phức tạp đằng sau nó, bao gồm sự kết hợp của cảm biến, trí tuệ nhân tạo (AI) và phần mềm. Dmitry Dolgov, đồng CEO của Waymo, giải thích rằng hệ thống lái xe của công ty sử dụng ba loại cảm biến chính: LiDAR, radar và camera, hoạt động cùng nhau để cung cấp phạm vi bao phủ 360 độ xung quanh xe.
Dữ liệu từ các cảm biến này được xử lý bằng AI, xây dựng mô hình thế giới và đưa ra quyết định về cách lái xe. Hệ thống được thiết kế để có độ tin cậy cao, với nhiều lớp an toàn và xác thực. Dolgov lưu ý rằng công nghệ cốt lõi hiện đủ tốt để hỗ trợ các hoạt động tự hành hoàn toàn, nhưng vẫn còn công việc phải làm trong chuyên môn hóa và xác thực trước khi triển khai tại các thành phố mới. Công ty đang làm việc để mở rộng hoạt động trên toàn cầu, với kế hoạch hoạt động tại London và Tokyo trong năm nay.
Những Thông Tin Bất Ngờ
- Sự phát triển của các phương tiện tự hành hoàn toàn không chỉ là vấn đề mở rộng quy mô công nghệ hiện có, mà là một bước nhảy vọt về chất lượng đòi hỏi phải giải quyết các vấn đề cơ bản khác nhau.
- Việc sử dụng các biểu diễn trung gian trong thế giới, chẳng hạn như các đối tượng và khái niệm đường bộ, là rất quan trọng để đạt được mức độ an toàn và hiệu suất cao.
- Thế hệ thứ sáu của bộ phần cứng của công ty đơn giản hơn, có khả năng hơn và chi phí thấp hơn nhiều so với các thế hệ trước, với các tối ưu hóa đáng kể trong cả ba phương thức cảm biến.
- Bộ cảm biến được thiết kế để bổ sung cho nhau, với LiDAR cung cấp độ phân giải cao, radar cung cấp khả năng chống chịu với điều kiện thời tiết bất lợi và camera cung cấp thông tin quý giá trong điều kiện bình thường.
- Mô hình AI của công ty có thể tận dụng các tín hiệu tinh tế, chẳng hạn như chuyển động của chân một người dưới xe buýt, để phát hiện và phản hồi với người đi bộ.
Những Bài Học Thực Tiễn
- Để đạt được hoạt động tự hành hoàn toàn, cần phải giải quyết các phần khó nhất của vấn đề, chẳng hạn như xử lý các trường hợp ngoại lệ và đạt được mức độ an toàn siêu nhân.
- Việc sử dụng mô hình nền tảng, các giáo viên chuyên môn và chưng cất có thể dẫn đến những cải thiện đáng kể về hiệu suất và đơn giản hóa hệ thống.
- Sự phát triển của phần cứng tùy chỉnh, chẳng hạn như thế hệ xe thứ sáu, là rất quan trọng để cải thiện trải nghiệm của hành khách và giảm chi phí.
- Cơ sở hạ tầng hoạt động đằng sau Waymo phức tạp và bao gồm nhiều lớp tự động hóa và giám sát của con người.
- Sự tập trung của công ty vào việc mở rộng toàn cầu và triển khai tại các thành phố mới sẽ đòi hỏi đầu tư liên tục vào chuyên môn hóa và xác thực.
全自動駕駛車輛的發展已經到達了一個關鍵的節點,Waymo 目前每週在多個城市提供超過 50 萬次全自動駕駛服務。這成功的關鍵在於其背後複雜的系統,結合了感測器、人工智慧和軟體。Waymo 的共同執行長 Dmitry Dolgov 表示,該公司的駕駛系統使用三種主要的感測器家族:LiDAR、雷達和攝影機,它們共同合作提供車輛周圍 360 度的覆蓋。
這些感測器的數據通過人工智慧進行處理,建立一個世界模型並做出駕駛決策。該系統的設計具有高度的可靠性,具有多層安全和驗證機制。Dolgov 指出,核心技術現在已經足夠成熟,可以支援全自動駕駛操作,但在部署到新城市之前,仍然需要在專業化和驗證方面進行工作。該公司正在全球範圍內擴展其業務,計劃今年在倫敦和東京開展業務。
令人驚訝的見解
- 全自動駕駛車輛的發展不僅僅是擴大現有技術的問題,而是一個需要解決根本不同問題的質量飛躍。
- 使用世界中的中間表示,例如物體和道路概念,對於實現高水平的安全性和性能至關重要。
- 該公司的第六代硬體堆疊比以前的世代更簡單、更強大、成本更低,在所有三種感測模式中都進行了顯著的優化。
- 感測器套件的設計是互補的,LiDAR 提供高解析度,雷達提供對惡劣天氣條件的強健性,攝影機在正常條件下提供有價值的資訊。
- 該公司的人工智慧模型能夠利用微妙的線索,例如巴士下某人的腳部運動,來檢測和響應行人。
實用心得
- 要實現全自動駕駛操作,需要解決問題中最困難的部分,例如處理邊緣情況和實現超人類的安全性。
- 使用基礎模型、專業教師和蒸餾可以帶來顯著的性能提升和系統簡化。
- 開發自定義硬體,例如第六代車輛,對於改善乘客體驗和降低成本至關重要。
- Waymo 背後的運營基礎設施複雜,涉及多層自動化和人工監督。
- 該公司對全球擴張和部署到新城市的關注將需要繼續投資於專業化和驗證。
El desarrollo de vehículos totalmente autónomos ha alcanzado un punto crítico, con Waymo proporcionando ahora más de 500.000 viajes totalmente autónomos cada semana en varias ciudades. La clave de este éxito radica en el complejo sistema detrás de él, que implica una combinación de sensores, inteligencia artificial (IA) y software. Dmitry Dolgov, co-CEO de Waymo, explica que el conductor de la empresa utiliza tres familias principales de sensores: LiDAR, radar y cámaras, que trabajan juntas para proporcionar una cobertura de 360 grados alrededor del vehículo.
Los datos de estos sensores se procesan utilizando IA, que construye un modelo del mundo y toma decisiones sobre cómo conducir. El sistema está diseñado para ser altamente confiable, con múltiples capas de seguridad y validación. Dolgov señala que la tecnología central ahora es lo suficientemente buena como para respaldar operaciones totalmente autónomas, pero todavía hay trabajo por hacer en especialización y validación antes de desplegar en nuevas ciudades. La empresa está trabajando en expandir sus operaciones a nivel global, con planes para operar en Londres y Tokio este año.
Perspectivas Sorprendentes
- El desarrollo de vehículos totalmente autónomos no es solo una cuestión de escalar la tecnología existente, sino más bien un salto cualitativo que requiere abordar problemas fundamentalmente diferentes.
- El uso de representaciones intermedias en el mundo, como objetos y conceptos de carretera, es crucial para lograr altos niveles de seguridad y rendimiento.
- La sexta generación de hardware de la empresa es más simple, capaz y mucho más económica que las generaciones anteriores, con optimizaciones significativas en las tres modalidades de detección.
- El conjunto de sensores está diseñado para ser complementario, con LiDAR proporcionando alta resolución, radar proporcionando robustez en condiciones climáticas adversas y cámaras proporcionando información valiosa en condiciones normales.
- Los modelos de IA de la empresa son capaces de hacer uso de señales sutiles, como el movimiento de los pies de una persona debajo de un autobús, para detectar y responder a los peatones.
Aportaciones Prácticas
- Para lograr operaciones totalmente autónomas, es necesario abordar las partes más difíciles del problema, como manejar casos extremos y lograr una seguridad sobrehumana.
- El uso de un modelo fundamental, maestros especializados y destilación puede llevar a importantes ganancias de rendimiento y simplificaciones en el sistema.
- El desarrollo de hardware personalizado, como el vehículo de sexta generación, es crucial para mejorar la experiencia del pasajero y reducir costos.
- La infraestructura operativa detrás de Waymo es compleja y implica múltiples capas de automatización y supervisión humana.
- El enfoque de la empresa en la expansión global y el despliegue en nuevas ciudades requerirá una continua inversión en especialización y validación.
I made sure to maintain the original structure and formatting of the text, including the headings and lists, to ensure that the translation is as faithful as possible to the original. Let me know if you have any further requests!
O desenvolvimento de veículos totalmente autônomos atingiu um momento crítico, com a Waymo agora fornecendo mais de 500.000 passeios totalmente autônomos por semana em várias cidades. A chave para esse sucesso reside no complexo sistema por trás disso, que envolve uma combinação de sensores, IA e software. Dmitry Dolgov, co-CEO da Waymo, explica que o motorista da empresa usa três principais famílias de sensores: LiDAR, radar e câmeras, que trabalham juntos para fornecer cobertura de 360 graus ao redor do veículo.
Os dados desses sensores são processados usando IA, que constrói um modelo do mundo e toma decisões sobre como dirigir. O sistema é projetado para ser altamente confiável, com múltiplas camadas de segurança e validação. Dolgov observa que a tecnologia central agora é boa o suficiente para suportar operações totalmente autônomas, mas ainda há trabalho a ser feito em especialização e validação antes de implantar em novas cidades. A empresa está trabalhando na expansão de suas operações globalmente, com planos de operar em Londres e Tóquio este ano.
Insights Surpreendentes
- O desenvolvimento de veículos totalmente autônomos não é apenas uma questão de escalar a tecnologia existente, mas sim um salto qualitativo que requer lidar com problemas fundamentalmente diferentes.
- O uso de representações intermediárias no mundo, como objetos e conceitos de estrada, é crucial para alcançar altos níveis de segurança e desempenho.
- A sexta geração de hardware da empresa é mais simples, mais capaz e muito mais barata do que as gerações anteriores, com otimizações significativas em todas as três modalidades de detecção.
- O conjunto de sensores é projetado para ser complementar, com LiDAR fornecendo alta resolução, radar fornecendo robustez a condições climáticas adversas e câmeras fornecendo informações valiosas em condições normais.
- Os modelos de IA da empresa são capazes de usar pistas sutis, como o movimento dos pés de uma pessoa sob um ônibus, para detectar e responder a pedestres.
Aplicações Práticas
- Para alcançar operações totalmente autônomas, é necessário lidar com as partes mais difíceis do problema, como lidar com casos extremos e alcançar segurança sobre-humana.
- O uso de um modelo fundamental, professores especializados e destilação pode levar a ganhos significativos de desempenho e simplificações no sistema.
- O desenvolvimento de hardware personalizado, como o veículo da sexta geração, é crucial para melhorar a experiência do passageiro e reduzir custos.
- A infraestrutura operacional por trás da Waymo é complexa e envolve múltiplas camadas de automação e supervisão humana.
- O foco da empresa na expansão global e implantação em novas cidades exigirá investimento contínuo em especialização e validação.
Note that I translated “Surprising Insights” to “Insights Surpreendentes” and “Practical Takeaways” to “Aplicações Práticas”, as these are more natural translations in Portuguese. Let me know if you have any further requests!
Waymo is now delivering hundreds of thousands of fully autonomous rides each week — but getting there required more than better models. It meant building a complete system for training, evaluating, and deploying a driver in the real world.
In this episode — originally aired on the Cheeky Pint podcast — Waymo Co-CEO Dmitri Dolgov joins John Collison to break down how self-driving actually works today: from sensor fusion across LiDAR, radar, and cameras, to simulation, “critic” models, and the role of AI in decision-making.
They also explore why full autonomy is fundamentally different from driver-assist, what it takes to scale globally, and how recent advances in AI are reshaping the path forward.
Resources:
Follow Dmitri Dolgov on X – https://x.com/dmitri_dolgov
Follow John Collison on X – https://x.com/collision
Stay Updated:
Find a16z on YouTube: YouTube
Find a16z on X
Find a16z on LinkedIn
Listen to the a16z Show on Spotify
Listen to the a16z Show on Apple Podcasts
Follow our host: https://twitter.com/eriktorenberg
Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see a16z.com/disclosures.
Hosted by Simplecast, an AdsWizz company. See pcm.adswizz.com for information about our collection and use of personal data for advertising.
-
How Discord Became a Developer Platform
In 2009 Discord cofounder and CEO, Jason Citron, started building tools and infrastructure for games. Fast forward to today and the platform has over 200 million monthly active users. In this episode, Jason, alongside a16z…
-
Securing the Black Box: OpenAI, Anthropic, and GDM Discuss
Human nature fears the unknown, and with the rapid progress of AI, concerns naturally arise. Uncanny robocalls, data breaches, and misinformation floods are among the worries. But what about security in the era of large…
-
Can AI Advance Science? DeepMind’s VP of Science Weighs In
In recent years, the AI landscape has seen huge advancements, from the release of Dall-E 2 in April 2022 to the emergence of AI music and video models in early 2024. While creative tools often…
-
Next-Gen Gaming: AI Souls, Real-time Culture, Personalized Avatars
Over 3,700 companies applied to a16z’s SPEEDRUN. In this episode, we meet the founders pushing the boundaries of what games can be. From the fusion of traditional gaming elements with modern tech-twists, a16z General Partner…
-
Why America Must Lead in AI Investment with Senator Young (R-IN)
Senator Todd Young (R-IN) speaks with a16z General Partner Martin Casado about the importance of open innovation and American leadership in AI, and why we need to support AI research at all levels — from…
-
Game On: Marc Andreessen & Andrew Chen Talk Creative Computers
The gaming industry stands as a pioneer of cutting-edge technologies, ushering in innovations like GPUs, virtual and augmented reality, physics engines, and immersive multiplayer experiences. In this episode, a16z cofounder Marc Andreessen and Andrew Chen,…
-
Inside the Department of Defense and its Vision for the Future
From air-defining radar and electronic systems that helped the Allies win World War II, the origins of Silicon Valley are deeply rooted in government and defense. In today’s episode, we get the chance to revisit…
-
Politics & the Future of Tech with Marc Andreessen and Ben Horowitz
“If America is going to be America in the next one hundred years, we have to get this right.” – Ben Horowitz This week on “The Ben & Marc Show”, a16z co-founders Ben Horowitz and…
-
The Real Price of Healthcare with Mark Cuban
From judging inventions on “Shark Tank” to reshaping the image of NBA ownership, Mark Cuban is known for many things. In this chat with a16z General Partner David Ulevitch, he discusses the importance of entrepreneurship…
-
Devoting Your Life to Reinventing a Broken System
At the a16z LP Summit, we brought hundreds of our limited partners and portfolio founders together in Las Vegas. The event was truly overflowing with stories of how founders are challenging the status quo and…
