0
0
Aaron Levie on Why Open AI Wins
Aaron Levie on Why Open AI Wins
Summary & Insights

Is open-weight AI a threat to the industry’s giants, or is it the primary engine that will prevent the U.S. from falling behind in the global AI race? Aaron Levy, CEO of Box, argues that the current fear surrounding open-weight models is based on a backward understanding of economics. Rather than stealing market share from closed labs, open models expand the total number of AI use cases and force frontier labs to innovate faster. Levy suggests that the real economic value is shifting away from the models themselves and toward the infrastructure and “applied AI” layers that orchestrate these models.

The conversation delves deep into the geopolitical tension between the U.S. and China, specifically regarding “distillation”—the process of training a smaller model on the outputs of a larger one. Levy posits that it is logically tenuous to claim that training on the public internet is acceptable while training on AI-generated outputs is an ethical violation. He warns that attempting to block China’s progress through constraints may backfire, potentially catalyzing a separate, non-U.S. hardware stack that the West cannot influence or profit from.

On a practical level, the dialogue shifts to how AI is fundamentally changing the nature of software engineering. Contrary to the narrative that AI replaces developers, Levy describes a “virtuous cycle” at Box where AI allows the team to tackle projects that were previously deemed too complex or too small to justify the effort. By shrinking multi-year projects into manageable timelines and turning week-long tasks into two-hour wins, AI is actually increasing the company’s ambition and its need for talented human engineers.

Surprising Insights

  • The “Ambition Paradox”: AI isn’t shrinking engineering teams; it’s expanding the roadmap. By removing the “too hard” and “too small” barriers, companies can now execute dozens of projects that would have been ignored in a pre-AI environment.
  • Inference as the True Moat: The long-term moneymaker in AI isn’t the secret weights of a model, but the inference (the cost of running the model). Even open-source models drive revenue toward the infrastructure providers that host them.
  • Distillation as a Non-Issue: Levy argues there is no meaningful distinction between a model learning from a Reddit thread and a model learning from an Anthropic output; both are simply absorbing the “general knowledge of the world.”
  • The Risk of “Analysis Paralysis”: Enterprises are often hesitant to commit to a single model family because they leapfrog each other so quickly. This makes “model routing” a critical business value rather than just a technical feature.

Practical Takeaways

  • Implement Model Routing: Avoid vendor lock-in by building an orchestration layer that can route tasks to different models (e.g., using a “workhorse” model for cost-efficiency and a “frontier” model for complex orchestration).
  • Re-evaluate Your Backlog: Identify “impossible” projects that were previously too complex or “trivial” projects that were too small to prioritize. Use AI to compress the timelines of these tasks and clear the backlog.
  • Focus on the Applied Layer: For businesses, the most sustainable value is found in the “applied AI layer”—deeply integrating models into specific vertical workflows (legal, finance, healthcare) where raw horizontal intelligence is not enough.
  • Shift Engineering KPIs: Move away from measuring engineering success by hours spent on a task and instead focus on the volume of customer problems solved, as AI drastically reduces the cost of execution.

Liệu AI trọng số mở (open-weight AI) là một mối đe dọa đối với các gã khổng lồ trong ngành, hay chính là động cơ chính ngăn cản Hoa Kỳ tụt hậu trong cuộc đua AI toàn cầu? Aaron Levy, CEO của Box, lập luận rằng nỗi sợ hãi hiện nay xung quanh các mô hình trọng số mở dựa trên một sự hiểu biết lạc hậu về kinh tế học. Thay vì đánh cắp thị phần từ các phòng thí nghiệm đóng, các mô hình mở mở rộng tổng số các trường hợp sử dụng AI và buộc các phòng thí nghiệm tiên phong phải đổi mới nhanh hơn. Levy cho rằng giá trị kinh tế thực sự đang dịch chuyển từ chính các mô hình sang cơ sở hạ tầng và các lớp “AI ứng dụng” (applied AI) giúp điều phối các mô hình này.


Cuộc hội thoại đi sâu vào căng thẳng địa chính trị giữa Hoa Kỳ và Trung Quốc, đặc biệt là về vấn đề “chưng cất” (distillation) — quá trình huấn luyện một mô hình nhỏ hơn dựa trên đầu ra của một mô hình lớn hơn. Levy cho rằng thật thiếu logic khi khẳng định rằng huấn luyện trên internet công cộng là chấp nhận được, trong khi huấn luyện trên các đầu ra do AI tạo ra lại là vi phạm đạo đức. Ông cảnh báo rằng việc cố gắng ngăn chặn sự tiến bộ của Trung Quốc thông qua các hạn chế có thể phản tác dụng, tiềm ẩn nguy cơ thúc đẩy một hệ sinh thái phần cứng riêng biệt, không phụ thuộc vào Hoa Kỳ mà phương Tây không thể gây ảnh hưởng hoặc kiếm lời.


Ở góc độ thực tế, cuộc đối thoại chuyển sang cách AI đang thay đổi căn bản bản chất của kỹ thuật phần mềm. Trái ngược với quan điểm cho rằng AI thay thế lập trình viên, Levy mô tả một “vòng tuần hoàn tích cực” tại Box, nơi AI cho phép đội ngũ giải quyết những dự án từng bị coi là quá phức tạp hoặc quá nhỏ để xứng đáng với công sức bỏ ra. Bằng cách rút ngắn các dự án kéo dài nhiều năm thành các mốc thời gian có thể quản lý được và biến các tác vụ mất cả tuần thành những thành quả trong hai giờ, AI thực sự đang làm tăng tham vọng của công ty và nhu cầu về các kỹ sư tài năng.


Những hiểu biết bất ngờ



  • “Nghịch lý của Tham vọng”: AI không làm thu hẹp các đội ngũ kỹ thuật; nó đang mở rộng lộ trình phát triển. Bằng cách xóa bỏ rào cản “quá khó” và “quá nhỏ”, các công ty giờ đây có thể thực thi hàng chục dự án mà trước kỷ nguyên AI sẽ bị ngó lơ.

  • Suy luận là “con hào” thực sự: Nguồn thu lợi nhuận dài hạn trong AI không nằm ở các trọng số bí mật của một mô hình, mà ở quá trình suy luận (inference – chi phí vận hành mô hình). Ngay cả các mô hình mã nguồn mở cũng thúc đẩy doanh thu về phía các nhà cung cấp cơ sở hạ tầng lưu trữ chúng.

  • Chưng cất không phải là vấn đề: Levy lập luận rằng không có sự phân biệt đáng kể giữa việc một mô hình học từ một luồng thảo luận trên Reddit và một mô hình học từ đầu ra của Anthropic; cả hai đơn giản là đang hấp thụ “kiến thức chung của thế giới”.

  • Rủi ro “tê liệt vì phân tích”: Các doanh nghiệp thường do dự trong việc cam kết với một dòng mô hình duy nhất vì chúng vượt mặt nhau quá nhanh. Điều này khiến “điều phối mô hình” (model routing) trở thành một giá trị kinh doanh then chốt thay vì chỉ là một tính năng kỹ thuật.


Bài học thực tiễn



  • Triển khai Điều phối Mô hình: Tránh bị phụ thuộc vào một nhà cung cấp (vendor lock-in) bằng cách xây dựng một lớp điều phối có thể phân phối tác vụ cho các mô hình khác nhau (ví dụ: dùng một mô hình “công việc phổ thông” để tối ưu chi phí và một mô hình “tiên phong” cho các điều phối phức tạp).

  • Đánh giá lại danh sách tồn đọng (Backlog): Xác định các dự án “bất khả thi” từng quá phức tạp hoặc các dự án “tầm thường” từng quá nhỏ để ưu tiên. Sử dụng AI để nén thời gian thực hiện các tác vụ này và giải quyết danh sách tồn đọng.

  • Tập trung vào Lớp Ứng dụng: Đối với doanh nghiệp, giá trị bền vững nhất nằm ở “lớp AI ứng dụng” — tích hợp sâu các mô hình vào các quy trình làm việc chuyên biệt (pháp lý, tài chính, y tế), nơi mà trí tuệ đa năng thuần túy là không đủ.

  • Thay đổi KPI kỹ thuật: Ngừng đo lường thành công của kỹ sư bằng số giờ bỏ ra cho một tác vụ, thay vào đó hãy tập trung vào số lượng vấn đề của khách hàng được giải quyết, vì AI đã giảm thiểu đáng kể chi phí thực thi.


開放權重（open-weight）的 AI 是對產業巨頭的威脅，還是能防止美國在全球 AI 競賽中落後的首要引擎？Box 的執行長 Aaron Levy 主張，目前對開放權重模型的恐懼是基於對經濟學的過時理解。開放模型並非在搶奪封閉實驗室的市場份額，反而擴展了 AI 應用場景的總量，並迫使頂尖實驗室加快創新步伐。Levy 指出，真正的經濟價值正從模型本身轉移到能協調這些模型的基礎設施與「應用 AI（applied AI）」層級。


對話深入探討了美國與中國之間的地緣政治緊張局勢，特別是關於「蒸餾（distillation）」——即利用大型模型的輸出結果來訓練較小型模型的過程。Levy 認為，聲稱利用公開網路進行訓練是可以接受的，而利用 AI 生成的輸出進行訓練卻是違背倫理，在邏輯上是站不住腳的。他警告，試圖透過限制來阻礙中國進步可能會適得其反，甚至可能催生出一套西方無法影響也無法從中獲利的獨立非美硬體堆疊（hardware stack）。


在實務層面上，對話轉向了 AI 如何從根本上改變軟體工程的本質。與「AI 將取代開發者」的說法相反，Levy 描述了 Box 內部的一個「良性循環」：AI 使團隊能夠處理那些先前被認為過於複雜或規模太小而不足以投入精力的項目。透過將多年期的計畫縮減至可控的時間表，並將需要一週的任務轉化為兩小時內即可完成的成果，AI 實際上增加了公司的雄心，以及對優秀人類工程師的需求。


驚人之見



  • 「雄心悖論（The Ambition Paradox）」： AI 並沒有縮減工程團隊，而是在擴張路線圖。透過消除「太困難」和「太瑣碎」的障礙，公司現在可以執行數十個在 AI 時代之前會被忽略的項目。

  • 推論（Inference）才是真正的護城河： AI 的長期獲利點不在於模型的秘密權重，而是在於推論（運行模型的成本）。即便是由開源模型驅動，收入最終仍會流向託管這些模型的基礎設施提供商。

  • 蒸餾並非問題： Levy 主張，模型從 Reddit 討論串學習與從 Anthropic 的輸出結果學習之間沒有實質區別；兩者都僅是在吸收「世界的通用知識」。

  • 「分析癱瘓（Analysis Paralysis）」的風險： 企業往往猶豫是否要 commit（承諾）於單一模型系列，因為各模型迭代速度極快且互有勝負。這使得「模型路由（model routing）」成為關鍵的業務價值，而非僅僅是一項技術功能。


實務建議



  • 實施模型路由： 建立一個協調層（orchestration layer）以避免被單一供應商綁定，將任務路由至不同模型（例如：使用「工作馬（workhorse）」模型以兼顧成本效率，使用「頂尖（frontier）」模型處理複雜協調）。

  • 重新評估待辦清單（Backlog）： 找出先前因太複雜而「不可能」或因太小而「不優先」的項目。利用 AI 壓縮這些任務的時間表並清理待辦清單。

  • 專注於應用層： 對於企業而言，最永續的價值存在於「應用 AI 層」——將模型深層整合進特定的垂直工作流（如法律、金融、醫療），在這些領域中，單純的通用智能是不夠的。

  • 轉移工程 KPI： 停止以完成任務所花費的時數來衡量工程成功，轉而關注解決客戶問題的數量，因為 AI 已大幅降低了執行成本。


L’IA à poids ouverts (« open-weight ») représente-t-elle une menace pour les géants du secteur, ou est-elle le moteur principal qui empêchera les États-Unis de prendre du retard dans la course mondiale à l’IA ? Aaron Levy, PDG de Box, soutient que la peur actuelle entourant les modèles à poids ouverts repose sur une compréhension obsolète de l’économie. Loin de voler des parts de marché aux laboratoires fermés, les modèles ouverts élargissent le nombre total de cas d’utilisation de l’IA et obligent les laboratoires de pointe à innover plus rapidement. Levy suggère que la valeur économique réelle se déplace, s’éloignant des modèles eux-mêmes pour se concentrer sur l’infrastructure et les couches d’« IA appliquée » qui orchestrent ces modèles.


La conversation approfondit les tensions géopolitiques entre les États-Unis et la Chine, spécifiquement concernant la « distillation » — le processus consistant à entraîner un petit modèle sur les résultats d’un modèle plus vaste. Levy avance qu’il est logiquement ténu de prétendre que l’entraînement sur l’internet public est acceptable alors que l’entraînement sur des sorties générées par l’IA serait une violation éthique. Il avertit que tenter de bloquer les progrès de la Chine par des contraintes pourrait se retourner contre l’Occident, en catalysant potentiellement l’émergence d’une pile matérielle distincte, non américaine, sur laquelle l’Occident n’aurait aucune influence ni aucun profit à tirer.


Sur un plan pratique, le dialogue s’oriente vers la manière dont l’IA modifie fondamentalement la nature du génie logiciel. Contrairement au récit selon lequel l’IA remplacerait les développeurs, Levy décrit un « cercle vertueux » chez Box, où l’IA permet à l’équipe de s’attaquer à des projets précédemment jugés trop complexes ou trop insignifiants pour justifier l’effort. En transformant des projets pluriannuels en délais gérables et des tâches d’une semaine en victoires de deux heures, l’IA augmente en réalité l’ambition de l’entreprise et son besoin d’ingénieurs humains talentueux.


Perspectives Surprenantes



  • Le « Paradoxe de l’Ambition » : L’IA ne réduit pas les équipes d’ingénierie ; elle élargit la feuille de route. En supprimant les barrières du « trop difficile » et du « trop petit », les entreprises peuvent désormais exécuter des dizaines de projets qui auraient été ignorés dans un environnement pré-IA.

  • L’Inférence comme véritable rempart : La source de profit à long terme dans l’IA ne réside pas dans les poids secrets d’un modèle, mais dans l’inférence (le coût d’exécution du modèle). Même les modèles open-source génèrent des revenus pour les fournisseurs d’infrastructure qui les hébergent.

  • La distillation comme non-problème : Levy soutient qu’il n’y a pas de distinction significative entre un modèle qui apprend d’un fil Reddit et un modèle qui apprend d’une sortie d’Anthropic ; les deux absorbent simplement les « connaissances générales du monde ».

  • Le risque de la « paralysie par l’analyse » : Les entreprises hésitent souvent à s’engager envers une seule famille de modèles car elles se surpassent mutuellement très rapidement. Cela fait du « routage de modèles » (model routing) une valeur commerciale critique plutôt qu’une simple fonctionnalité technique.


Conseils Pratiques



  • Implémenter le routage de modèles : Évitez la dépendance exclusive envers un fournisseur (vendor lock-in) en construisant une couche d’orchestration capable de diriger les tâches vers différents modèles (par exemple, utiliser un modèle « bourreau de travail » pour l’efficacité des coûts et un modèle « de pointe » pour l’orchestration complexe).

  • Réévaluer votre backlog : Identifiez les projets « impossibles » qui étaient auparavant trop complexes ou les projets « triviaux » trop petits pour être priorisés. Utilisez l’IA pour compresser les délais de ces tâches et épurer votre backlog.

  • Se concentrer sur la couche appliquée : Pour les entreprises, la valeur la plus durable se trouve dans la « couche d’IA appliquée » — l’intégration profonde des modèles dans des flux de travail verticaux spécifiques (juridique, finance, santé) où l’intelligence horizontale brute ne suffit pas.

  • Modifier les KPI de l’ingénierie : Cessez de mesurer le succès de l’ingénierie par le nombre d’heures passées sur une tâche et concentrez-vous plutôt sur le volume de problèmes clients résolus, car l’IA réduit drastiquement le coût d’exécution.


Stellt Open-Weight-KI eine Bedrohung für die Branchenriesen dar oder ist sie vielmehr der primäre Motor, der verhindert, dass die USA im globalen KI-Wettlauf ins Hintertreffen geraten? Aaron Levy, CEO von Box, argumentiert, dass die aktuelle Angst vor Open-Weight-Modellen auf einem veralteten Verständnis der Ökonomie beruhe. Anstatt den geschlossenen Laboren Marktanteile zu stehlen, erweitern offene Modelle die Gesamtzahl der KI-Anwendungsfälle und zwingen die Frontier-Labs dazu, schneller zu innovieren. Levy legt nahe, dass sich der eigentliche wirtschaftliche Wert weg von den Modellen selbst hin zur Infrastruktur und den Schichten der „angewandten KI“ verschiebt, die diese Modelle orchestrieren.


Das Gespräch vertieft sich in die geopolitischen Spannungen zwischen den USA und China, insbesondere im Hinblick auf die sogenannte „Distillation“ – den Prozess, bei dem ein kleineres Modell mit den Ausgaben eines größeren trainiert wird. Levy vertritt die Ansicht, dass es logisch fragwürdig sei, zu behaupten, dass das Training mit dem öffentlichen Internet akzeptabel sei, während das Training mit KI-generierten Inhalten eine ethische Verletzung darstelle. Er warnt davor, dass der Versuch, Chinas Fortschritt durch Beschränkungen zu blockieren, nach hinten losgehen könnte und potenziell die Entwicklung eines separaten, nicht-US-amerikanischen Hardware-Stacks katalysiert, den der Westen weder beeinflussen noch monetarisieren kann.


Auf einer praktischen Ebene verlagert sich der Dialog darauf, wie KI die Natur des Software-Engineerings grundlegend verändert. Entgegen dem Narrativ, dass KI Entwickler ersetze, beschreibt Levy einen „positiven Kreislauf“ bei Box, in dem KI es dem Team ermöglicht, Projekte anzugehen, die zuvor als zu komplex oder zu geringfügig eingestuft wurden, um den Aufwand zu rechtfertigen. Indem mehrjährige Projekte in handhabbare Zeitrahmen geschrumpft und wochenlange Aufgaben in zwei-stündige Erfolge verwandelt werden, steigert KI tatsächlich die Ambitionen des Unternehmens und den Bedarf an talentierten menschlichen Ingenieuren.


Überraschende Erkenntnisse



  • Das „Ambitions-Paradoxon“: KI schrumpft die Engineering-Teams nicht, sondern erweitert die Roadmap. Durch den Wegfall der Barrieren „zu schwer“ und „zu klein“ können Unternehmen nun Dutzende von Projekten realisieren, die in einer Zeit vor der KI ignoriert worden wären.

  • Inferenz als der wahre „Moat“ (Wettbewerbsvorteil): Die langfristige Einnahmequelle bei KI sind nicht die geheimen Gewichte eines Modells, sondern die Inferenz (die Kosten für den Betrieb des Modells). Selbst Open-Source-Modelle lenken Umsätze hin zu den Infrastrukturanbietern, die sie hosten.

  • Distillation als Nicht-Problem: Levy argumentiert, dass es keinen bedeutsamen Unterschied gibt, ob ein Modell aus einem Reddit-Thread oder aus einer Ausgabe von Anthropic lernt; in beiden Fällen absorbieren sie einfach das „allgemeine Weltwissen“.

  • Das Risiko der „Analysis Paralysis“ (Analyseparalyse): Unternehmen zögern oft, sich auf eine einzige Modellfamilie festzulegen, da diese sich so schnell gegenseitig überholen. Dies macht das „Model Routing“ zu einem kritischen Geschäftswert und nicht nur zu einem technischen Feature.


Praktische Erkenntnisse



  • Model Routing implementieren: Vermeiden Sie einen Vendor Lock-in, indem Sie eine Orchestrierungsschicht aufbauen, die Aufgaben an verschiedene Modelle routen kann (z. B. ein „Workhorse“-Modell für Kosteneffizienz und ein „Frontier“-Modell für komplexe Orchestrierung).

  • Backlog neu bewerten: Identifizieren Sie „unmögliche“ Projekte, die zuvor zu komplex waren, oder „triviale“ Projekte, die zu klein für eine Priorisierung waren. Nutzen Sie KI, um die Zeitpläne dieser Aufgaben zu komprimieren und den Backlog abzuarbeiten.

  • Fokus auf die Anwendungsebene: Für Unternehmen liegt der nachhaltigste Wert in der „angewandten KI-Schicht“ – der tiefen Integration von Modellen in spezifische vertikale Workflows (Recht, Finanzen, Gesundheitswesen), in denen reine horizontale Intelligenz nicht ausreicht.

  • Engineering-KPIs anpassen: Gehen Sie weg von der Messung des Engineering-Erfolgs anhand der für eine Aufgabe aufgewendeten Stunden und konzentrieren Sie sich stattdessen auf die Anzahl der gelösten Kundenprobleme, da KI die Ausführungskosten drastisch senkt.


Box co-founder and CEO Aaron Levie joins MTS hosts Theo Jaffee and Sofia Puccini to make the case for open-weight AI, unpack the economics of open versus closed models, and explain why he believes more openness could strengthen rather than undermine the U.S. AI ecosystem.

Aaron argues that open models create more use cases, push closed labs to innovate faster, and don’t fundamentally change where the economics of AI ultimately accrue. They debate model distillation, America’s competition with China, why restricting access may simply accelerate competing AI ecosystems, and whether U.S. labs should begin releasing open-weight versions of previous-generation models.

They also get into what the latest frontier models mean for knowledge work, how AI has changed software engineering at Box, and why Aaron believes companies cutting engineers may simply not be ambitious enough. Finally, they discuss why enterprises are unlikely to bet on a single model and why the layer that routes between models, data, and workflows could become increasingly valuable.

 

Resources:

Follow Aaron Levie on X: https://x.com/levie

Follow Theo Jaffee on X: https://x.com/theojaffee

Follow Sofia Puccini on X: https://x.com/schisofrenia

Follow MTS on X: https://x.com/mtslive
 

Stay Updated:

Find a16z on YouTube: YouTube

Find a16z on X

Find a16z on LinkedIn

Listen to the a16z Show on Spotify

Listen to the a16z Show on Apple Podcasts

Follow our host: https://twitter.com/eriktorenberg

Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see a16z.com/disclosures.

Hosted by Simplecast, an AdsWizz company. See pcm.adswizz.com for information about our collection and use of personal data for advertising.

Leave a Reply

a16z Podcasta16z Podcast
Let's Evolve Together
Logo