Summary & Insights
Can a company realistically compete with NVIDIA if they aren’t at least five times better than the current industry standard? This is the daunting reality for AI hardware startups. Because NVIDIA controls the most efficient supply chains, has the best negotiations with manufacturers like TSMC, and dominates the software ecosystem, a marginal improvement in chip design isn’t enough. To win, a competitor can’t just be “better”—they need a disruptive technological leap that renders the current GPU paradigm obsolete.
The conversation shifts from hardware to the economics of the models themselves, specifically how companies like OpenAI are moving toward “router” systems. By dynamically routing queries between a high-cost “thinking” model and a low-cost “mini” model, OpenAI is attempting to solve the massive cost-of-goods problem associated with free users. This transition signals a move away from simple subscriptions toward a future of agentic monetization, where the AI earns a commission by performing real-world tasks, such as booking a flight or hiring a lawyer, rather than relying on intrusive ads.
Finally, the discussion touches on the systemic bottlenecks hindering AI scaling in the U.S. compared to China. While capital and chips are often the headline issues, the real constraint in America is physical infrastructure: power grid interconnections and a shortage of specialized electrical labor. This has led to desperate measures, such as hyperscalers buying into crypto-mining firms simply to acquire existing power permits. The race is no longer just about who has the smartest model, but who can physically plug their clusters into the grid the fastest.
Surprising Insights
- The “Value Capture” Gap: AI is creating trillions of dollars in GDP value (particularly in software development), but the model providers are capturing less than 10% of that value because the tools are becoming commoditized.
- Power over Chips: In the U.S., the primary bottleneck for AI deployment isn’t the availability of GPUs, but the lack of data center power and the shortage of electrical contractors to build the infrastructure.
- SRAM vs. DRAM Trade-offs: Many AI chip startups failed because they over-optimized for specific model shapes (using more SRAM) only for the industry to shift toward massive model sizes that required different memory architectures.
- The “Sailing” Sleep Schedule: Power users are so desperate to maximize their token quotas that some are adopting polyphasic sleep schedules—taking short naps throughout the day—to align with hourly rate-limit resets.
Practical Takeaways
- For AI Founders: Stop competing on “marginal” performance gains. If you are building in the infrastructure layer, seek a 5x efficiency leap or a disruptive architecture; otherwise, the NVIDIA ecosystem will absorb your advantage.
- For Enterprise Leaders: Focus on the “UI of feedback.” As agentic systems evolve, the value shifts from the model’s raw intelligence to the interface that allows humans to verify, steer, and provide feedback to the agent.
- For Investors: Look beyond the chip and the model to the “power play.” The most valuable entities in the next few years may be those that control the power permits and physical grid access required to actually run the hardware.
Liệu một công ty có thể thực sự cạnh tranh với NVIDIA nếu họ không tốt hơn ít nhất năm lần so với tiêu chuẩn hiện tại của ngành? Đây là thực tế đáng ngại đối với các startup phần cứng AI. Bởi vì NVIDIA kiểm soát các chuỗi cung ứng hiệu quả nhất, có thế mạnh đàm phán tốt nhất với các nhà sản xuất như TSMC và thống trị hệ sinh thái phần mềm, nên một sự cải tiến nhỏ trong thiết kế chip là không đủ. Để chiến thắng, một đối thủ không thể chỉ dừng lại ở mức “tốt hơn” — họ cần một bước nhảy vọt về công nghệ mang tính đột phá khiến mô hình GPU hiện tại trở nên lỗi thời.
Cuộc thảo luận chuyển từ phần cứng sang bài toán kinh tế của chính các mô hình, cụ thể là cách các công ty như OpenAI đang chuyển hướng sang hệ thống “router” (điều phối). Bằng cách điều phối linh hoạt các truy vấn giữa một mô hình “tư duy” chi phí cao và một mô hình “mini” chi phí thấp, OpenAI đang cố gắng giải quyết bài toán chi phí hàng hóa khổng lồ liên quan đến những người dùng miễn phí. Sự chuyển đổi này báo hiệu một bước đi từ mô hình đăng ký thuê bao đơn thuần sang tương lai của kiếm tiền thông qua tác nhân (agentic monetization), nơi AI kiếm hoa hồng bằng cách thực hiện các tác vụ trong thế giới thực, chẳng hạn như đặt vé máy bay hoặc thuê luật sư, thay vì dựa vào các quảng cáo gây phiền nhiễu.
Cuối cùng, cuộc thảo luận đề cập đến những điểm nghẽn hệ thống đang cản trở việc mở rộng AI tại Mỹ so với Trung Quốc. Trong khi vốn và chip thường là những vấn đề được lên tiêu đề, thì rào cản thực sự tại Mỹ lại là cơ sở hạ tầng vật lý: các kết nối lưới điện và sự thiếu hụt nhân lực điện chuyên môn. Điều này dẫn đến những biện pháp tuyệt vọng, chẳng hạn như các nhà cung cấp dịch vụ đám mây siêu quy mô (hyperscalers) mua lại các công ty khai thác tiền điện tử chỉ để sở hữu các giấy phép cấp điện hiện có. Cuộc đua giờ đây không còn là ai có mô hình thông minh nhất, mà là ai có thể kết nối các cụm máy chủ của họ vào lưới điện nhanh nhất.
Những góc nhìn bất ngờ
- Khoảng cách “Chiếm lĩnh Giá trị”: AI đang tạo ra hàng nghìn tỷ đô la giá trị GDP (đặc biệt là trong phát triển phần mềm), nhưng các nhà cung cấp mô hình chỉ chiếm được chưa đến 10% giá trị đó vì các công cụ đang dần trở thành hàng hóa phổ biến.
- Điện quan trọng hơn Chip: Tại Mỹ, điểm nghẽn chính đối với việc triển khai AI không phải là sự sẵn có của GPU, mà là sự thiếu hụt năng lượng cho trung tâm dữ liệu và thiếu các nhà thầu điện để xây dựng cơ sở hạ tầng.
- Sự đánh đổi giữa SRAM và DRAM: Nhiều startup chip AI đã thất bại vì quá tối ưu hóa cho các dạng mô hình cụ thể (sử dụng nhiều SRAM), để rồi ngành công nghiệp lại chuyển sang các kích thước mô hình khổng lồ đòi hỏi kiến trúc bộ nhớ khác.
- Lịch ngủ kiểu “đi biển”: Những người dùng quyền năng (power users) khao khát tối đa hóa hạn mức token đến mức một số người áp dụng lịch ngủ đa pha — ngủ ngắn nhiều lần trong ngày — để phù hợp với thời điểm reset giới hạn tốc độ (rate-limit) theo giờ.
Bài học thực tiễn
- Đối với những nhà sáng lập AI: Đừng cạnh tranh bằng những cải thiện hiệu suất “nhỏ lẻ”. Nếu bạn đang xây dựng ở lớp cơ sở hạ tầng, hãy tìm kiếm một bước nhảy vọt về hiệu quả gấp 5 lần hoặc một kiến trúc đột phá; nếu không, hệ sinh thái NVIDIA sẽ nuốt chửng lợi thế của bạn.
- Đối với các lãnh đạo doanh nghiệp: Hãy tập trung vào “UI của phản hồi”. Khi các hệ thống tác nhân (agentic systems) phát triển, giá trị sẽ chuyển dịch từ trí thông minh thô của mô hình sang giao diện cho phép con người xác minh, điều hướng và cung cấp phản hồi cho tác nhân đó.
- Đối với các nhà đầu tư: Hãy nhìn xa hơn con chip và mô hình để thấy “cuộc chơi năng lượng”. Những thực thể giá trị nhất trong vài năm tới có thể là những bên kiểm soát giấy phép cấp điện và quyền tiếp cận lưới điện vật lý cần thiết để thực sự vận hành phần cứng.
一家公司如果不能比目前的行業標準強上至少五倍，真的能與 NVIDIA 競爭嗎？這是 AI 硬體初創公司面臨的殘酷現實。由於 NVIDIA 掌控了最高效的供應鏈，與台積電（TSMC）等製造商擁有最佳的議價能力，並主導了軟體生態系統，因此僅僅在晶片設計上有所改良是不夠的。若想獲勝，競爭對手不能僅僅是「更好」，而需要一次顛覆性的技術飛躍，讓目前的 GPU 範式（paradigm）變得過時。
對話隨後從硬體轉向模型本身的經濟學，特別是像 OpenAI 這樣的公司如何向「路由器（router）」系統轉型。透過在高成本的「思考型」模型與低成本的「小型」模型之間動態路由查詢，OpenAI 試圖解決與免費用戶相關的巨大銷貨成本（COGS）問題。這一轉型標誌著從簡單的訂閱制，向「代理式獲利（agentic monetization）」的未來邁進——也就是 AI 透過執行現實世界的任務（例如預訂機票或聘請律師）來賺取佣金，而非依賴侵入式廣告。
最後，討論觸及了美國與中國相比，阻礙 AI 規模化擴展的系統性瓶頸。雖然資金和晶片通常是頭條新聞關注的焦點，但美國真正的限制在於物理基礎設施：電網互連以及專業電氣勞工的短缺。這導致了一些極端措施，例如超大規模雲端業者（hyperscalers）併購加密貨幣挖礦公司，僅僅是為了獲取現有的電力許可證。這場競賽不再僅僅是誰擁有最聰明的模型，而是誰能最快地將其集群物理地接入電網。
驚人的洞察
- 「價值獲取」差距： AI 創造了數兆美元的 GDP 價值（特別是在軟體開發方面），但模型提供商獲取的價值不到 10%，因為這些工具正逐漸商品化。
- 電力大於晶片： 在美國，AI 部署的主要瓶頸不是 GPU 的可用性，而是數據中心電力的缺乏以及建設基礎設施所需的電氣承包商短缺。
- SRAM 與 DRAM 的權衡： 許多 AI 晶片初創公司失敗的原因在於它們過度針對特定模型形狀進行優化（使用了更多 SRAM），結果行業轉向需要不同記憶體架構的超大型模型。
- 「航海式」睡眠時間表： 部分進階用戶為了最大化其 Token 配額，甚至採取多相睡眠法（polyphasic sleep）——全天分段短暫小睡——以對接每小時一次的速率限制（rate-limit）重置時間。
實務啟示
- 給 AI 創業者： 不要再競爭「邊際」的性能提升。如果你在構建基礎設施層，請追求 5 倍的效率飛躍或顛覆性架構；否則，NVIDIA 的生態系統將吞噬你的優勢。
- 給企業領導者： 關注「回饋的 UI」。隨著代理系統（agentic systems）的演進，價值將從模型的原始智能轉移到允許人類驗證、引導並向代理提供回饋的界面上。
- 給投資者： 將目光移出晶片和模型，關注「電力佈局」。未來幾年最具價值的實體可能是那些控制電力許可證和物理電網訪問權的人，因為這是實際運行硬體的必要條件。
Une entreprise peut-elle réalistement concurrencer NVIDIA si elle n’est pas au moins cinq fois plus performante que la norme actuelle de l’industrie ? Telle est la réalité redoutable à laquelle sont confrontées les startups de matériel informatique pour l’IA. Parce que NVIDIA contrôle les chaînes d’approvisionnement les plus efficaces, dispose des meilleurs accords de négociation avec des fabricants comme TSMC et domine l’écosystème logiciel, une amélioration marginale de la conception des puces ne suffit pas. Pour gagner, un concurrent ne peut pas se contenter d’être « meilleur » : il lui faut un saut technologique disruptif capable de rendre obsolète le paradigme actuel des GPU.
La conversation glisse ensuite du matériel vers l’économie des modèles eux-mêmes, et plus précisément vers la manière dont des entreprises comme OpenAI s’orientent vers des systèmes de « routage ». En acheminant dynamiquement les requêtes entre un modèle de « réflexion » coûteux et un modèle « mini » à bas coût, OpenAI tente de résoudre le problème massif du coût des marchandises associé aux utilisateurs gratuits. Cette transition signale un abandon des simples abonnements au profit d’un avenir de monétisation agentique, où l’IA gagnerait une commission en effectuant des tâches concrètes, comme réserver un vol ou engager un avocat, plutôt que de s’appuyer sur des publicités intrusives.
Enfin, la discussion aborde les goulots d’étranglement systémiques qui entravent la mise à l’échelle de l’IA aux États-Unis par rapport à la Chine. Alors que les capitaux et les puces font souvent la une, la véritable contrainte en Amérique est l’infrastructure physique : les interconnexions du réseau électrique et la pénurie de main-d’œuvre électrique spécialisée. Cela a conduit à des mesures désespérées, comme des hyperscalers rachetant des entreprises de minage de cryptomonnaies simplement pour acquérir des permis d’électricité existants. La course ne porte plus seulement sur celui qui possède le modèle le plus intelligent, mais sur celui qui peut physiquement brancher ses clusters au réseau le plus rapidement.
Perspectives Surprenantes
- L’écart de « capture de valeur » : L’IA crée des billions de dollars de valeur de PIB (particulièrement dans le développement logiciel), mais les fournisseurs de modèles n’en capturent que moins de 10 %, car les outils deviennent des commodités.
- L’énergie avant les puces : Aux États-Unis, le principal obstacle au déploiement de l’IA n’est pas la disponibilité des GPU, mais le manque d’énergie pour les centres de données et la pénurie d’entrepreneurs électriciens pour construire l’infrastructure.
- Arbitrages SRAM vs DRAM : De nombreuses startups de puces IA ont échoué car elles ont trop optimisé leurs produits pour des formes de modèles spécifiques (en utilisant plus de SRAM), alors que l’industrie s’est orientée vers des modèles massifs nécessitant des architectures de mémoire différentes.
- Le cycle de sommeil « navigateur » : Certains utilisateurs intensifs sont tellement désireux de maximiser leurs quotas de jetons qu’ils adoptent des cycles de sommeil polyphasiques — faisant de courtes siestes tout au long de la journée — pour s’aligner sur la réinitialisation horaire des limites de débit (rate-limits).
enseignements Pratiques
- Pour les fondateurs d’IA : Cessez de concurrencer sur des gains de performance « marginaux ». Si vous construisez dans la couche infrastructure, visez un bond d’efficacité de 5x ou une architecture disruptive ; sinon, l’écosystème NVIDIA absorbera votre avantage.
- Pour les dirigeants d’entreprise : Concentrez-vous sur « l’interface du feedback ». À mesure que les systèmes agentiques évoluent, la valeur se déplace de l’intelligence brute du modèle vers l’interface qui permet aux humains de vérifier, d’orienter et de fournir un retour à l’agent.
- Pour les investisseurs : Regardez au-delà de la puce et du modèle pour observer le « jeu de l’énergie ». Les entités les plus précieuses des prochaines années pourraient être celles qui contrôlent les permis d’électricité et l’accès physique au réseau, indispensables pour faire fonctionner le matériel.
Kann ein Unternehmen realistisch mit NVIDIA konkurrieren, wenn es nicht mindestens fünfmal besser ist als der aktuelle Industriestandard? Das ist die beängstigende Realität für KI-Hardware-Startups. Da NVIDIA über die effizientesten Lieferketten verfügt, die besten Verhandlungen mit Herstellern wie TSMC führt und das Software-Ökosystem dominiert, reicht eine geringfügige Verbesserung im Chipdesign nicht aus. Um zu gewinnen, darf ein Wettbewerber nicht einfach nur „besser“ sein – er benötigt einen disruptiven technologischen Sprung, der das aktuelle GPU-Paradigma obsolet macht.
Die Diskussion verlagert sich von der Hardware hin zur Ökonomie der Modelle selbst, insbesondere dazu, wie Unternehmen wie OpenAI auf „Router“-Systeme setzen. Durch das dynamische Routing von Anfragen zwischen einem kostspieligen „Thinking“-Modell und einem kostengünstigen „Mini“-Modell versucht OpenAI, das massive Problem der Warenkosten (Cost of Goods) im Zusammenhang mit Gratisnutzern zu lösen. Dieser Übergang signalisiert eine Abkehr von einfachen Abonnements hin zu einer Zukunft der „agentischen Monetarisierung“, bei der die KI eine Provision verdient, indem sie reale Aufgaben erledigt – wie etwa die Buchung eines Fluges oder die Beauftragung eines Anwalts –, anstatt auf aufdringliche Werbung zu setzen.
Schließlich befasst sich die Diskussion mit den systemischen Engpässen, die die KI-Skalierung in den USA im Vergleich zu China behindern. Während Kapital und Chips oft die Schlagzeilen beherrschen, liegt die eigentliche Einschränkung in Amerika in der physischen Infrastruktur: Stromnetzverknüpfungen und ein Mangel an spezialisierten Elektrofachkräften. Dies hat zu verzweifelten Maßnahmen geführt, wie etwa Hyperscalern, die Krypto-Mining-Firmen aufkaufen, nur um bestehende Stromgenehmigungen zu erwerben. Das Rennen dreht sich nicht mehr nur darum, wer das intelligenteste Modell hat, sondern wer seine Cluster physisch am schnellsten an das Netz anschließen kann.
Überraschende Erkenntnisse
- Die „Value Capture“-Lücke: KI schafft Billionen Dollar an BIP-Wert (insbesondere in der Softwareentwicklung), aber die Modellanbieter schöpfen weniger als 10 % dieses Wertes ab, da die Werkzeuge zunehmend zu einer Commodity werden.
- Strom über Chips: In den USA ist der primäre Engpass für den KI-Einsatz nicht die Verfügbarkeit von GPUs, sondern der Mangel an Strom für Rechenzentren und der Shortage an Elektroinstallateuren für den Aufbau der Infrastruktur.
- SRAM vs. DRAM Trade-offs: Viele KI-Chip-Startups scheiterten, weil sie zu stark auf spezifische Modellformen optimierten (unter Verwendung von mehr SRAM), nur damit die Branche zu massiven Modellgrößen überging, die andere Speicherarchitekturen erforderten.
- Der „Sailing“-Schlafplan: Power-User sind so verzweifelt, ihre Token-Kontingente zu maximieren, dass einige polyphasische Schlafpläne adaptieren – also kurze Nickerchen über den Tag verteilt machen –, um sich an die stündlichen Resets der Rate-Limits anzupassen.
Praktische Erkenntnisse
- Für KI-Gründer: Hören Sie auf, über „marginale“ Leistungssteigerungen zu konkurrieren. Wenn Sie in der Infrastrukturschicht bauen, streben Sie einen 5-fachen Effizienzsprung oder eine disruptive Architektur an; ansonsten wird das NVIDIA-Ökosystem Ihren Vorteil absorbieren.
- Für Unternehmensführer: Konzentrieren Sie sich auf das „UI des Feedbacks“. Da sich agentische Systeme weiterentwickeln, verschiebt sich der Wert von der rohen Intelligenz des Modells hin zur Schnittstelle, die es Menschen ermöglicht, den Agenten zu verifizieren, zu steuern und Feedback zu geben.
- Für Investoren: Schauen Sie über den Chip und das Modell hinaus auf das „Power Play“. Die wertvollsten Einheiten in den nächsten Jahren könnten diejenigen sein, die die Stromgenehmigungen und den physischen Netzzugang kontrollieren, die erforderlich sind, um die Hardware tatsächlich zu betreiben.
As read by George Hahn.
Resistance Infrastructure
Resources to help you Resist and Unsubscribe can be found here.
Learn more about your ad choices. Visit podcastchoices.com/adchoices