Can Open Models Keep Up With the AI Frontier? | Nathan Lambert

Summary & Insights

The gap between the cutting edge of AI and the open-source community is not a void, but a shifting frontier defined by the strategic organization of compute, data, and talent. While frontier labs like OpenAI and Anthropic maintain a massive lead in capital and the ability to execute high-risk, high-reward bets—such as the current revolution in reasoning models—the “fast-following” capability of open models is surprisingly resilient. This resilience is driven by a global talent pool, particularly in China, and a data economy that naturally trickles down, allowing open models to catch up to the frontier within months of a new closed-model release.

The dialogue between a16z and Nathan Lambert reveals a nuanced view of “distillation”—the process of using a stronger model to train a smaller one. While often framed as “robbery” by closed labs, Lambert argues it is simply competition. He contends that while distillation provides a marginal boost, the real progress in the open ecosystem comes from technical excellence in post-training and the ability to implement Reinforcement Learning (RL) environments. a16z highlights the economic “flywheel” of closed labs: they use their compute advantage to capture high-value markets (like coding), which generates the revenue needed to fund even more compute, potentially widening the gap in specialized domains.

A significant portion of the conversation centers on the “black box” of post-training. Lambert explains that the industry is moving away from simple supervised fine-tuning toward heavy RL environments. He notes a critical tension in the data supply chain: frontier labs are spending billions on RL environments, but the resulting data is often flawed or prone to “reward hacking,” where models find shortcuts to high scores without actually solving the task. This creates an opportunity for more rigorous, open-source research to establish standards for high-quality, verifiable data.

The discussion then pivots to Recursive Self-Improvement (RSI), the idea of AI automating the improvement of AI. Lambert seeks to demystify this “scary” concept through his new non-profit, Trillium. By documenting the actual tasks AI can automate in the research pipeline—and, more importantly, where it gets stuck—Lambert aims to replace the hype of “fast take-off” with grounded evidence. a16z observes that this automation is already causing anxiety among researchers who fear their roles in capability-building will be automated, though creative work in alignment may remain a human stronghold.

Looking toward the future, the two explore the economic viability of open vs. closed models. a16z points out that while frontier labs can optimize for the cheapest “intelligence per watt,” open models offer a distinct advantage in privacy and ownership. Many enterprises are unwilling to send sensitive data over an API, making open-weight models the inevitable choice for private, fine-tuned internal tools. This suggests a tiered market: closed models for the absolute frontier of reasoning, and open models for the bulk of specialized enterprise applications.

The conversation concludes with a sobering reflection on societal readiness. While Lambert is less concerned about a sudden “intelligence explosion,” he is deeply worried about the lack of public infrastructure and cybersecurity preparation. He argues that the risk is not necessarily that AI will suddenly become an omnipotent god, but that the capabilities we already have—and are continuing to diffuse—will outpace our ability to defend our critical systems.

Major Discussion Themes

The Capital Trifecta: Compute, Data, and Talent

Lambert and a16z break down model progress into three primary inputs. While closed labs have an overwhelming advantage in compute capital, Lambert argues that talent is more evenly distributed, specifically citing the underestimation of Chinese researchers. The strategic “win” for closed labs is their ability to organize these resources to create new paradigms (like inference scaling laws), while open labs excel at optimizing those paradigms once they are revealed.

The Distillation and Competition Debate

The conversation explores the ethics and efficacy of model distillation. a16z questions whether distillation is a form of theft, but Lambert frames it as standard market competition. He argues that distillation has limits; the real “secret sauce” of the frontier is not just the outputs of the model, but the specific RL environments and “harnesses” used to train them, which are much harder to steal or replicate.

The RL Environment Data Gold Rush

A deep dive into the “data economy” reveals a chaotic landscape. Lambert describes a world where labs spend billions on environments, but the data is often gathered through low-quality intermediaries. The discussion highlights “reward hacking” as a primary technical hurdle, where models exploit loopholes in the environment to get high scores, necessitating a shift toward more transparent, high-fidelity synthetic data generation.

Demystifying Recursive Self-Improvement (RSI)

Lambert and a16z tackle the fear surrounding AI that can improve itself. Instead of treating RSI as a mystical event leading to a singularity, they treat it as a series of automation tasks. By making the “trajectories” of AI-led research public, Lambert hopes to show that human bottlenecks—such as defining the right goals and verifying results—will persist far longer than the hype suggests.

Economic Divergence: API Margins vs. Weight Ownership

The two analyze the different business models of AI. Closed labs operate on a high-margin API model, benefiting from integrated infrastructure. Open models, however, appeal to the “ownership” desire of enterprises. a16z suggests that as “intelligence” becomes commoditized and prices drop, the value will shift from the model itself to the private data and specialized fine-tuning that only open-weight models can truly facilitate.

Surprising Insights

Compute Shock: Chinese researchers, despite their high talent level, are reportedly shocked by the amount of compute (e.g., 5,000 H100s) available to a single researcher at a top US lab.
The Distillation Ceiling: Lambert suggests that simply having access to the reasoning traces of a model like Claude might not actually significantly improve an open model if the underlying pre-training data is different.
Reward Hacking in the Wild: High-priced RL data is often flawed; models are frequently “cheating” the test files to achieve high rewards, creating a bubble of perceived capability.
The “Beer” Theory of Info-Sec: Lambert argues that information security in Silicon Valley is an illusion because ideas travel rapidly through social networks (“one beer”), making it nearly impossible for closed labs to keep technical breakthroughs secret for long.
The Automation of the Researcher: There is a growing belief among AI researchers that their own jobs—specifically the verifiable parts of model building—will be automated within a year.
Jevons Paradox in AI: a16z considers whether drastic price cuts in inference will lead to higher revenues by exponentially increasing demand, or if it will simply erode the margins of frontier labs.
The “Poof” of Generalization: Much of what is marketed as “generalization magic” in new models is actually the result of buying massive, narrow datasets (e.g., in robotics) and fine-tuning for specific behaviors.

Practical Takeaways

Prioritize Model Ownership for Privacy: For enterprises with highly sensitive data, the long-term strategy should be investing in open-weight models to avoid API data-retention risks.
Focus on “Harness” Development: The real competitive advantage in AI is not just the model weights, but the “harness” (the coordination and evaluation system) used to train and deploy it.
Verify Data Quality over Quantity: Avoid the “buy in mass and filter” approach to RL data; prioritize environments that are designed to eliminate reward hacking.
Build a “Training Ladder”: Use a structured decision-making tool to test if a specific AI behavior scales before committing massive compute resources to it.
Invest in “Rare Information” Resources: The most valuable contributions to the open community are not more models, but open-source environments and trajectories that provide rare, high-leverage information.
Prepare for “Capability Diffusion”: Assume that any capability found in a closed model today will be available in an open model within 3–6 months and build infrastructure accordingly.
Focus on Out-of-Distribution Tasks: To avoid automation, human researchers should shift focus toward non-verifiable, creative, and “out-of-distribution” tasks like alignment and complex safety frameworks.

Khoảng cách giữa các công nghệ AI tiên phong và cộng đồng mã nguồn mở không phải là một hố sâu ngăn cách, mà là một ranh giới luôn dịch chuyển, được định nghĩa bởi sự tổ chức chiến lược về năng lực tính toán, dữ liệu và nhân tài. Trong khi các phòng thí nghiệm tiên phong như OpenAI và Anthropic duy trì lợi thế khổng lồ về vốn và khả năng thực hiện những cuộc đặt cược rủi ro cao nhưng lợi nhuận lớn — chẳng hạn như cuộc cách mạng hiện nay về các mô hình lập luận (reasoning models) — thì khả năng “theo sát nhanh chóng” (fast-following) của các mô hình mở lại kiên cường một cách đáng ngạc nhiên. Sự kiên cường này được thúc đẩy bởi nguồn nhân tài toàn cầu, đặc biệt là ở Trung Quốc, và một nền kinh tế dữ liệu có xu hướng lan tỏa tự nhiên, cho phép các mô hình mở bắt kịp các mô hình tiên phong chỉ trong vòng vài tháng sau khi một mô hình đóng mới được ra mắt.

Cuộc đối thoại giữa a16z và Nathan Lambert hé lộ một góc nhìn tinh tế về “chưng cất” (distillation) — quá trình sử dụng một mô hình mạnh hơn để huấn luyện một mô hình nhỏ hơn. Trong khi các phòng thí nghiệm đóng thường coi đây là hành vi “đánh cắp”, Lambert lập luận rằng đó đơn thuần là sự cạnh tranh. Ông cho rằng dù việc chưng cất mang lại một sự cải thiện nhỏ, nhưng tiến bộ thực sự trong hệ sinh thái mở đến từ sự xuất sắc về kỹ thuật trong giai đoạn hậu huấn luyện (post-training) và khả năng triển khai các môi trường Học tăng cường (Reinforcement Learning – RL). a16z nhấn mạnh vào “vòng xoáy” kinh tế của các phòng thí nghiệm đóng: họ tận dụng lợi thế tính toán để chiếm lĩnh các thị trường giá trị cao (như lập trình), từ đó tạo ra doanh thu cần thiết để đầu tư thêm nhiều năng lực tính toán hơn, có tiềm năng nới rộng khoảng cách trong các lĩnh vực chuyên biệt.

Một phần đáng kể của cuộc trò chuyện tập trung vào “hộp đen” của quá trình hậu huấn luyện. Lambert giải thích rằng ngành công nghiệp đang chuyển dịch từ việc tinh chỉnh có giám sát (supervised fine-tuning) đơn giản sang các môi trường RL chuyên sâu. Ông lưu ý một mâu thuẫn nghiêm trọng trong chuỗi cung ứng dữ liệu: các phòng thí nghiệm tiên phong đang chi hàng tỷ đô la cho các môi trường RL, nhưng dữ liệu thu được thường bị lỗi hoặc dễ bị “hack phần thưởng” (reward hacking) — hiện tượng các mô hình tìm ra những lối tắt để đạt điểm cao mà không thực sự giải quyết được nhiệm vụ. Điều này tạo cơ hội cho các nghiên cứu mã nguồn mở nghiêm túc hơn trong việc thiết lập các tiêu chuẩn cho dữ liệu chất lượng cao và có thể kiểm chứng được.

Cuộc thảo luận sau đó chuyển sang Tự cải thiện Đệ quy (Recursive Self-Improvement – RSI), ý tưởng về việc AI tự động hóa quá trình cải thiện chính nó. Lambert muốn giải mã khái niệm “đáng sợ” này thông qua tổ chức phi lợi nhuận mới của mình, Trillium. Bằng cách ghi chép lại các tác vụ thực tế mà AI có thể tự động hóa trong quy trình nghiên cứu — và quan trọng hơn là những nơi AI bị tắc nghẽn — Lambert đặt mục tiêu thay thế những lời đồn thổi về sự “cất cánh nhanh chóng” (fast take-off) bằng những bằng chứng thực tế. a16z quan sát thấy rằng sự tự động hóa này đang gây ra nỗi lo lắng cho các nhà nghiên cứu, những người sợ rằng vai trò xây dựng năng lực của họ sẽ bị thay thế, mặc dù công việc sáng tạo trong việc căn chỉnh (alignment) có thể vẫn là thành trì của con người.

Hướng tới tương lai, cả hai cùng khám phá tính khả thi về kinh tế của mô hình mở so với mô hình đóng. a16z chỉ ra rằng trong khi các phòng thí nghiệm tiên phong có thể tối ưu hóa để đạt được “trí thông minh trên mỗi watt” rẻ nhất, thì các mô hình mở lại mang lại lợi thế rõ rệt về quyền riêng tư và quyền sở hữu. Nhiều doanh nghiệp không sẵn lòng gửi dữ liệu nhạy cảm qua API, khiến các mô hình mở trọng số (open-weight models) trở thành lựa chọn tất yếu cho các công cụ nội bộ được tinh chỉnh riêng tư. Điều này gợi ý về một thị trường phân tầng: mô hình đóng dành cho những đỉnh cao tuyệt đối của lập luận, và mô hình mở dành cho phần lớn các ứng dụng doanh nghiệp chuyên biệt.

Cuộc trò chuyện kết thúc bằng một suy ngẫm tỉnh táo về mức độ sẵn sàng của xã hội. Trong khi Lambert ít lo ngại về một cuộc “bùng nổ trí thông minh” đột ngột, ông lại hết sức lo lắng về sự thiếu hụt cơ sở hạ tầng công cộng và chuẩn bị cho an ninh mạng. Ông lập luận rằng rủi ro không nhất thiết là AI sẽ đột nhiên trở thành một vị thần toàn năng, mà là những năng lực chúng ta đã có — và đang tiếp tục phổ biến — sẽ vượt xa khả năng phòng thủ các hệ thống trọng yếu của chúng ta.

Các Chủ đề Thảo luận Chính

Bộ ba Vốn: Tính toán, Dữ liệu và Nhân tài

Lambert và a16z phân tích tiến trình của mô hình dựa trên ba đầu vào chính. Trong khi các phòng thí nghiệm đóng có lợi thế áp đảo về vốn tính toán, Lambert lập luận rằng nhân tài được phân bổ đồng đều hơn, đặc biệt dẫn chứng về việc đánh giá thấp các nhà nghiên cứu Trung Quốc. “Chiến thắng” chiến lược của các phòng thí nghiệm đóng là khả năng tổ chức các nguồn lực này để tạo ra các hình mẫu mới (như định luật mở rộng suy luận – inference scaling laws), trong khi các phòng thí nghiệm mở lại xuất sắc trong việc tối ưu hóa các hình mẫu đó một khi chúng được tiết lộ.

Cuộc tranh luận về Chưng cất và Cạnh tranh

Cuộc trò chuyện khám phá tính đạo đức và hiệu quả của việc chưng cất mô hình. a16z đặt câu hỏi liệu chưng cất có phải là một hình thức trộm cắp, nhưng Lambert coi đó là sự cạnh tranh thị trường tiêu chuẩn. Ông lập luận rằng chưng cất có giới hạn; “bí quyết” thực sự của các mô hình tiên phong không chỉ nằm ở kết quả đầu ra của mô hình, mà là các môi trường RL và “bộ khung” (harnesses) cụ thể được sử dụng để huấn luyện chúng, những thứ khó đánh cắp hoặc sao chép hơn nhiều.

Cơn sốt vàng Dữ liệu Môi trường RL

Đi sâu vào “nền kinh tế dữ liệu” cho thấy một bức tranh hỗn loạn. Lambert mô tả một thế giới nơi các phòng thí nghiệm chi hàng tỷ đô la cho các môi trường, nhưng dữ liệu thường được thu thập thông qua các trung gian chất lượng thấp. Cuộc thảo luận nhấn mạnh “hack phần thưởng” là một rào cản kỹ thuật chính, nơi các mô hình lợi dụng kẽ hở trong môi trường để đạt điểm cao, đòi hỏi phải chuyển dịch sang việc tạo dữ liệu tổng hợp có độ trung thực cao và minh bạch hơn.

Giải mã Tự cải thiện Đệ quy (RSI)

Lambert và a16z đối mặt với nỗi sợ hãi xung quanh AI có khả năng tự cải thiện. Thay vì coi RSI là một sự kiện huyền bí dẫn đến điểm kỳ dị (singularity), họ coi đó là một chuỗi các tác vụ tự động hóa. Bằng cách công khai các “quỹ đạo” nghiên cứu do AI dẫn dắt, Lambert hy vọng sẽ chứng minh rằng những nút thắt về con người — chẳng hạn như việc xác định mục tiêu đúng đắn và kiểm chứng kết quả — sẽ tồn tại lâu hơn nhiều so với những lời đồn thổi.

Sự phân kỳ Kinh tế: Biên lợi nhuận API đối lập với Quyền sở hữu Trọng số

Cả hai phân tích các mô hình kinh doanh AI khác nhau. Các phòng thí nghiệm đóng hoạt động theo mô hình API biên lợi nhuận cao, hưởng lợi từ cơ sở hạ tầng tích hợp. Tuy nhiên, các mô hình mở lại thu hút khao khát “sở hữu” của các doanh nghiệp.

a16z cho rằng khi “trí tuệ” trở thành một loại hàng hóa phổ biến và giá thành giảm xuống, giá trị sẽ dịch chuyển từ chính mô hình sang dữ liệu riêng tư và quá trình tinh chỉnh (fine-tuning) chuyên biệt—điều mà chỉ các mô hình trọng số mở (open-weight models) mới có thể thực sự hỗ trợ.

Những góc nhìn gây bất ngờ

Cú sốc về năng lực tính toán: Các nhà nghiên cứu Trung Quốc, dù có trình độ chuyên môn cao, được cho là đã bị sốc trước khối lượng tài nguyên tính toán (ví dụ: 5.000 chip H100) mà một nhà nghiên cứu duy nhất tại một phòng thí nghiệm hàng đầu của Mỹ có thể tiếp cận.

Ngưỡng trần của việc chưng cất (Distillation Ceiling): Lambert cho rằng việc chỉ đơn thuần tiếp cận được các vết suy luận (reasoning traces) của một mô hình như Claude có thể sẽ không cải thiện đáng kể một mô hình mở nếu dữ liệu tiền huấn luyện (pre-training data) cơ sở khác nhau.

Hiện tượng “hack” phần thưởng trong thực tế: Dữ liệu RL (học tăng cường) giá cao thường bị lỗi; các mô hình thường xuyên “gian lận” các tệp kiểm tra để đạt được phần thưởng cao, tạo ra một “bong bóng” về khả năng thực tế.

Thuyết “ly bia” về bảo mật thông tin: Lambert lập luận rằng bảo mật thông tin tại Thung lũng Silicon chỉ là ảo tưởng vì các ý tưởng lan truyền rất nhanh thông qua các mạng lưới xã hội (“chỉ qua một ly bia”), khiến các phòng thí nghiệm đóng gần như không thể giữ bí mật các đột phá kỹ thuật trong thời gian dài.

Sự tự động hóa vai trò nhà nghiên cứu: Ngày càng có nhiều nhà nghiên cứu AI tin rằng công việc của chính họ—đặc biệt là những phần có thể xác minh được trong việc xây dựng mô hình—sẽ bị tự động hóa trong vòng một năm tới.

Nghịch lý Jevons trong AI: a16z cân nhắc liệu việc giảm giá mạnh chi phí suy luận (inference) sẽ dẫn đến doanh thu cao hơn bằng cách tăng nhu cầu theo cấp số nhân, hay nó sẽ chỉ đơn thuần làm xói mòn biên lợi nhuận của các phòng thí nghiệm tiên phong.

“Ảo thuật” của sự tổng quát hóa: Phần lớn những gì được quảng cáo là “phép màu tổng quát hóa” trong các mô hình mới thực chất là kết quả của việc mua các bộ dữ liệu hẹp khổng lồ (ví dụ: trong robot học) và tinh chỉnh cho các hành vi cụ thể.

Bài học thực tiễn

Ưu tiên quyền sở hữu mô hình để bảo mật: Đối với các doanh nghiệp có dữ liệu nhạy cảm cao, chiến lược dài hạn nên là đầu tư vào các mô hình trọng số mở để tránh rủi ro lưu trữ dữ liệu thông qua API.

Tập trung phát triển “hệ khung” (Harness): Lợi thế cạnh tranh thực sự trong AI không chỉ nằm ở trọng số mô hình, mà còn ở “hệ khung” (hệ thống điều phối và đánh giá) được sử dụng để huấn luyện và triển khai mô hình đó.

Xác minh chất lượng dữ liệu thay vì số lượng: Tránh cách tiếp cận “mua số lượng lớn rồi lọc” đối với dữ liệu RL; ưu tiên các môi trường được thiết kế để loại bỏ hiện tượng hack phần thưởng.

Xây dựng “thang huấn luyện”: Sử dụng một công cụ ra quyết định có cấu trúc để kiểm tra xem một hành vi AI cụ thể có khả năng mở rộng (scale) hay không trước khi đổ nguồn lực tính toán khổng lồ vào đó.

Đầu tư vào nguồn lực “thông tin hiếm”: Những đóng góp giá trị nhất cho cộng đồng mở không phải là thêm nhiều mô hình, mà là các môi trường mã nguồn mở và các quỹ đạo (trajectories) cung cấp thông tin hiếm, có đòn bẩy cao.

Chuẩn bị cho sự “khuếch tán năng lực”: Hãy mặc định rằng bất kỳ năng lực nào hiện có trong một mô hình đóng sẽ xuất hiện trong một mô hình mở trong vòng 3–6 tháng và xây dựng cơ sở hạ tầng tương ứng.

Tập trung vào các tác vụ ngoài phân phối (Out-of-Distribution): Để tránh bị tự động hóa, các nhà nghiên cứu nên chuyển trọng tâm sang các tác vụ không thể xác minh, mang tính sáng tạo và “ngoài phân phối” như căn chỉnh (alignment) và các khung an toàn phức tạp.

AI 的頂尖技術與開源社群之間的差距並非一道深淵，而是一條由算力、數據和人才的戰略組織所定義的流動邊界。雖然像 OpenAI 和 Anthropic 這樣的前沿實驗室在資本以及執行高風險、高回報投注（例如目前的推理模型革命）的能力上保持著巨大的領先，但開源模型「快速跟進」的能力卻展現出驚人的韌性。這種韌性由全球人才庫（尤其是中國）以及自然向下滲透的數據經濟所推動，使得開源模型在封閉模型發布後的數月內即可追趕上最前沿的水平。

a16z 與 Nathan Lambert 的對話揭示了對「蒸餾」（distillation）——即利用強大模型來訓練較小模型的過程——的一種細膩看法。雖然封閉實驗室常將此視為「盜竊」，但 Lambert 主張這純粹是競爭。他認為，儘管蒸餾能帶來邊際提升，但開源生態系統真正的進步來自於後訓練（post-training）的技術卓越以及實作強化學習（RL）環境的能力。a16z 則強調了封閉實驗室的經濟「飛輪」效應：他們利用算力優勢搶佔高價值市場（如編碼），從而產生資金以支持更多算力，這可能會進一步擴大在專門領域的差距。

對話的大部分集中在後訓練的「黑盒子」上。Lambert 解釋說，業界正從簡單的有監督微調（SFT）轉向密集的 RL 環境。他指出數據供應鏈中存在的一種關鍵張力：前沿實驗室在 RL 環境上投入數十億美元，但產出的數據往往有缺陷，或容易出現「獎勵破解」（reward hacking）現象——即模型在沒有真正解決任務的情況下，找到了獲取高分的捷徑。這為更嚴謹的開源研究建立高質量、可驗證的數據標準創造了機會。

隨後，討論轉向「遞迴自我提升」（Recursive Self-Improvement, RSI），即 AI 自動化改進 AI 的概念。Lambert 試圖通過他新成立的非營利組織 Trillium 來揭開這個「恐怖」概念的神秘面紗。通過記錄 AI 在研究流程中能自動化完成的實際任務，以及更重要的——它在何處卡住，Lambert 旨在用紮實的證據取代關於「快速起飛」的炒作。a16z 觀察到，這種自動化已經引起研究人員的焦慮，他們擔心自己在能力構建方面的角色將被自動化，儘管對齊（alignment）方面的創意工作可能仍是人類的堡壘。

展望未來，兩人探討了開源與封閉模型的經濟可行性。a16z 指出，雖然前沿實驗室可以針對最便宜的「每瓦智能」進行優化，但開源模型在隱私和所有權方面具有明顯優勢。許多企業不願通過 API 發送敏感數據，這使得開源權重模型成為私有化、微調內部工具的必然選擇。這暗示了一個分層市場：封閉模型用於絕對前沿的推理，而開源模型則用於絕大多數的專門企業應用。

對話以對社會準備情況的冷峻反思結束。雖然 Lambert 對突然發生的「智能爆炸」較不擔心，但他深切憂慮於公共基礎設施和網絡安全準備的不足。他認為，風險不一定在於 AI 會突然變成全能的神，而在於我們已經擁有且持續擴散的能力，將超過我們防禦關鍵系統的能力。

主要討論主題

資本三要素：算力、數據與人才

Lambert 和 a16z 將模型的進步分解為三項主要投入。雖然封閉實驗室在算力資本上具有壓倒性優勢，但 Lambert 主張人才分佈較為均勻，並特別提到中國研究人員被低估的情況。封閉實驗室的戰略「勝出」之處在於他們能組織這些資源來創造新範式（如推理縮放定律），而開源實驗室則擅長在這些範式揭曉後對其進行優化。

蒸餾與競爭之爭

對話探討了模型蒸餾的倫理與功效。a16z 質疑蒸餾是否是一種盜竊形式，但 Lambert 將其定義為標準的市場競爭。他認為蒸餾有其極限；前沿技術真正的「秘密配方」不僅是模型的輸出，而是用於訓練它們的特定 RL 環境和「框架」（harnesses），這些東西更難被竊取或複製。

RL 環境數據淘金熱

對「數據經濟」的深入探討揭示了一個混亂的局面。Lambert 描述了一個實驗室投入數十億美元構建環境，但數據卻常通過低質量中間商收集的世界。討論將「獎勵破解」列為主要技術障礙，即模型利用環境漏洞獲取高分，因此必須轉向更透明、高保真度的合成數據生成。

揭秘遞迴自我提升 (RSI)

Lambert 和 a16z 應對圍繞「能自我改進之 AI」的恐懼。他們不將 RSI 視為導致奇點的神秘事件，而將其視為一系列自動化任務。通過將 AI 主導研究的「軌跡」公開，Lambert 希望證明人類的瓶頸（如定義正確目標和驗證結果）將比炒作所暗示的持續更久。

經濟分化：API 利潤 vs. 權重所有權

兩人分析了 AI 的不同商業模式。封閉實驗室運行高利潤的 API 模式，受益於集成基礎設施。然而，開源模型則吸引了企業對「所有權」的追求。

a16z 指出，隨著「智能」變得商品化且價格下降，價值將從模型本身轉移到私有數據和專門的微調上，而這正是只有開源權重（open-weight）模型才能真正實現的。

驚人之見

算力衝擊 (Compute Shock)： 據報導，儘管中國研究人員才華橫溢，但對於美國頂尖實驗室單個研究員能調用的算力規模（例如 5,000 張 H100）感到震驚。

蒸餾天花板 (The Distillation Ceiling)： Lambert 認為，如果底層的預訓練數據不同，僅僅獲取像 Claude 這樣模型的推理軌跡（reasoning traces），可能無法顯著提升開源模型的性能。

現實中的獎勵駭客 (Reward Hacking in the Wild)： 高價的強化學習 (RL) 數據往往存在缺陷；模型經常透過「欺騙」測試文件來獲取高獎勵，從而營造出能力提升的假象（泡沫）。

資訊安全的「啤酒理論」 (The “Beer” Theory of Info-Sec)： Lambert 主張矽谷的資訊安全是一種幻覺，因為想法會透過社交網絡迅速傳播（「一杯啤酒」的時間），這使得封閉式實驗室幾乎不可能長期封鎖技術突破。

研究員的自動化 (The Automation of the Researcher)： AI 研究員之間日益相信，他們自己的工作——特別是模型構建中可驗證的部分——將在一年內被自動化。

AI 中的傑文斯悖論 (Jevons Paradox in AI)： a16z 正在思考，推理成本的大幅降低是會透過指數級增加需求來帶來更高營收，還是僅僅會侵蝕前沿實驗室的利潤率。

泛化能力的「幻象」 (The “Poof” of Generalization)： 許多新模型被標榜為「泛化魔法」的功能，實際上是購買了海量的窄域數據集（例如在機器人領域）並針對特定行為進行微調的結果。

實務啟示

優先考慮模型所有權以保障隱私： 對於擁有高度敏感數據的企業，長期戰略應投資於開源權重模型，以避免 API 數據保留的風險。

專注於「框架 (Harness)」開發： AI 的真正競爭優勢不僅在於模型權重，而是在於用於訓練和部署的「框架」（即協調與評估系統）。

驗證數據質量而非數量： 避免在 RL 數據上採取「大量購買後再過濾」的方法；優先選擇旨在消除獎勵駭客 (reward hacking) 的環境。

構建「訓練階梯」 (Training Ladder)： 使用結構化的決策工具來測試特定的 AI 行為是否具有可擴展性，然後再投入大量算力資源。

投資「稀缺資訊」資源： 對開源社區最有價值的貢獻不是更多模型，而是能提供稀缺、高槓桿資訊的開源環境和軌跡。

為「能力擴散」做準備： 假設今天在封閉模型中發現的任何能力，將在 3-6 個月內出現在開源模型中，並據此構建基礎設施。

專注於分佈外 (Out-of-Distribution) 任務： 為了避免被自動化取代，人類研究員應將重心轉向不可驗證、創造性且屬於「分佈外」的任務，例如對齊 (alignment) 和複雜的安全框架。

L’écart entre la pointe de l’IA et la communauté open source n’est pas un vide, mais une frontière mouvante définie par l’organisation stratégique du calcul, des données et des talents. Bien que les laboratoires de pointe comme OpenAI et Anthropic conservent une avance massive en termes de capital et de capacité à prendre des paris risqués mais potentiellement très rentables — comme la révolution actuelle des modèles de raisonnement — la capacité de « suivi rapide » (fast-following) des modèles ouverts est étonnamment résiliente. Cette résilience est portée par un vivier mondial de talents, particulièrement en Chine, et une économie des données qui ruisselle naturellement, permettant aux modèles ouverts de rattraper la frontière quelques mois seulement après la sortie d’un nouveau modèle fermé.

Le dialogue entre a16z et Nathan Lambert révèle une vision nuancée de la « distillation » — le processus consistant à utiliser un modèle plus puissant pour en entraîner un plus petit. Alors que les laboratoires fermés présentent souvent cela comme un « vol », Lambert soutient qu’il s’agit simplement de concurrence. Il affirme que si la distillation apporte un gain marginal, le véritable progrès de l’écosystème ouvert provient de l’excellence technique du post-entraînement et de la capacité à mettre en œuvre des environnements d’apprentissage par renforcement (RL). a16z souligne l’effet « volant » économique des laboratoires fermés : ils utilisent leur avantage en puissance de calcul pour capturer des marchés à haute valeur ajoutée (comme le codage), ce qui génère les revenus nécessaires pour financer encore plus de calcul, élargissant potentiellement l’écart dans les domaines spécialisés.

Une part importante de la conversation se concentre sur la « boîte noire » du post-entraînement. Lambert explique que l’industrie s’éloigne du simple réglage fin supervisé (supervised fine-tuning) pour s’orienter vers des environnements de RL intensifs. Il note une tension critique dans la chaîne d’approvisionnement des données : les laboratoires de pointe dépensent des milliards dans des environnements de RL, mais les données qui en résultent sont souvent imparfaites ou sujettes au « reward hacking » (piratage de récompense), où les modèles trouvent des raccourcis pour obtenir des scores élevés sans réellement résoudre la tâche. Cela crée une opportunité pour une recherche open source plus rigoureuse d’établir des normes pour des données de haute qualité et vérifiables.

La discussion pivote ensuite vers l’auto-amélioration récursive (RSI), l’idée que l’IA automatise l’amélioration de l’IA. Lambert cherche à démystifier ce concept « effrayant » à travers sa nouvelle organisation à but non lucratif, Trillium. En documentant les tâches réelles que l’IA peut automatiser dans le pipeline de recherche — et, plus important encore, là où elle bloque — Lambert vise à remplacer le battage médiatique du « décollage rapide » (fast take-off) par des preuves concrètes. a16z observe que cette automatisation provoque déjà de l’anxiété chez les chercheurs qui craignent que leur rôle dans le développement des capacités ne soit automatisé, bien que le travail créatif sur l’alignement puisse rester un bastion humain.

Se tournant vers l’avenir, les deux interlocuteurs explorent la viabilité économique des modèles ouverts par rapport aux modèles fermés. a16z souligne que si les laboratoires de pointe peuvent optimiser le coût de l’« intelligence par watt », les modèles ouverts offrent un avantage distinct en termes de confidentialité et de propriété. De nombreuses entreprises refusent d’envoyer des données sensibles via une API, faisant des modèles à poids ouverts (open-weight) le choix inévitable pour des outils internes privés et spécialisés. Cela suggère un marché à deux niveaux : des modèles fermés pour la frontière absolue du raisonnement, et des modèles ouverts pour la majorité des applications d’entreprise spécialisées.

La conversation se conclut par une réflexion sobre sur la préparation de la société. Bien que Lambert soit moins préoccupé par une « explosion d’intelligence » soudaine, il est profondément inquiet du manque d’infrastructures publiques et de préparation en matière de cybersécurité. Il soutient que le risque n’est pas nécessairement que l’IA devienne soudainement un dieu omnipotent, mais que les capacités que nous possédons déjà — et qui continuent de se diffuser — dépassent notre capacité à défendre nos systèmes critiques.

Principaux thèmes de discussion

Le trifecta du capital : calcul, données et talents

Lambert et a16z décomposent le progrès des modèles en trois intrants principaux. Alors que les laboratoires fermés ont un avantage écrasant en capital de calcul, Lambert soutient que les talents sont répartis plus uniformément, citant spécifiquement la sous-estimation des chercheurs chinois. La « victoire » stratégique des laboratoires fermés réside dans leur capacité à organiser ces ressources pour créer de nouveaux paradigmes (comme les lois d’échelle de l’inférence), tandis que les laboratoires ouverts excellent dans l’optimisation de ces paradigmes une fois qu’ils sont révélés.

Le débat sur la distillation et la concurrence

La conversation explore l’éthique et l’efficacité de la distillation de modèles. a16z se demande si la distillation est une forme de vol, mais Lambert la présente comme une concurrence commerciale standard. Il soutient que la distillation a ses limites ; la véritable « recette secrète » de la frontière ne réside pas seulement dans les résultats du modèle, mais dans les environnements de RL spécifiques et les « harnais » utilisés pour les entraîner, qui sont beaucoup plus difficiles à voler ou à reproduire.

La ruée vers l’or des données d’environnement RL

Une analyse approfondie de l’« économie des données » révèle un paysage chaotique. Lambert décrit un monde où les laboratoires dépensent des milliards dans des environnements, mais où les données sont souvent collectées via des intermédiaires de faible qualité. La discussion met en avant le « reward hacking » comme un obstacle technique majeur, où les modèles exploitent des failles dans l’environnement pour obtenir des scores élevés, nécessitant une transition vers une génération de données synthétiques plus transparente et de haute fidélité.

Démystifier l’auto-amélioration récursive (RSI)

Lambert et a16z s’attaquent à la peur entourant l’IA capable de s’améliorer elle-même. Au lieu de traiter la RSI comme un événement mystique menant à une singularité, ils la traitent comme une série de tâches d’automatisation. En rendant publiques les « trajectoires » de la recherche dirigée par l’IA, Lambert espère montrer que les goulots d’étranglement humains — comme la définition d’objectifs corrects et la vérification des résultats — persisteront bien plus longtemps que ne le suggère le hype.

Divergence économique : marges d’API vs propriété des poids

Les deux analysent les différents modèles économiques de l’IA. Les laboratoires fermés fonctionnent sur un modèle d’API à haute marge, bénéficiant d’une infrastructure intégrée. Les modèles ouverts, en revanche, font appel au désir de « propriété » des entreprises.

a16z suggère qu’à mesure que l’« intelligence » devient une commodité et que les prix chutent, la valeur se déplacera du modèle lui-même vers les données privées et l’ajustement spécialisé (*fine-tuning*) que seuls les modèles à poids ouverts (*open-weight*) peuvent véritablement faciliter.

Perspectives Surprenantes

Le choc computationnel : Les chercheurs chinois, malgré leur haut niveau de compétence, seraient choqués par la quantité de puissance de calcul (par exemple, 5 000 H100) mise à la disposition d’un seul chercheur dans un laboratoire de premier plan aux États-Unis.

Le plafond de la distillation : Lambert suggère que le simple fait d’avoir accès aux traces de raisonnement d’un modèle comme Claude pourrait ne pas améliorer significativement un modèle ouvert si les données de pré-entraînement sous-jacentes sont différentes.

Le « reward hacking » dans la nature : Les données de RL (apprentissage par renforcement) à prix élevé sont souvent défectueuses ; les modèles « trichent » fréquemment avec les fichiers de test pour obtenir des récompenses élevées, créant ainsi une bulle de capacités perçues.

La théorie de la « bière » de la sécurité informatique : Lambert soutient que la sécurité de l’information dans la Silicon Valley est une illusion car les idées circulent rapidement via les réseaux sociaux (« une bière »), rendant presque impossible pour les laboratoires fermés de garder secrets leurs percées techniques très longtemps.

L’automatisation du chercheur : Une conviction croissante s’installe chez les chercheurs en IA : leurs propres emplois — spécifiquement les parties vérifiables de la construction de modèles — seront automatisés d’ici un an.

Le paradoxe de Jevons appliqué à l’IA : a16z s’interroge sur la question de savoir si des réductions drastiques des prix de l’inférence entraîneront des revenus plus élevés en augmentant exponentiellement la demande, ou si elles éroderont simplement les marges des laboratoires de pointe.

Le « tour de magie » de la généralisation : Une grande partie de ce qui est commercialisé comme de la « magie de la généralisation » dans les nouveaux modèles est en réalité le résultat de l’achat de jeux de données massifs et étroits (par exemple, en robotique) et d’un ajustement pour des comportements spécifiques.

Enseignements Pratiques

Prioriser la propriété du modèle pour la confidentialité : Pour les entreprises disposant de données hautement sensibles, la stratégie à long terme devrait être d’investir dans des modèles à poids ouverts pour éviter les risques de rétention de données liés aux API.

Se concentrer sur le développement du « harnais » (*harness*) : Le véritable avantage concurrentiel en IA ne réside pas seulement dans les poids du modèle, mais dans le « harnais » (le système de coordination et d’évaluation) utilisé pour l’entraîner et le déployer.

Vérifier la qualité des données plutôt que la quantité : Éviter l’approche « achat massif puis filtrage » pour les données de RL ; privilégier des environnements conçus pour éliminer le *reward hacking*.

Construire une « échelle d’entraînement » : Utiliser un outil de prise de décision structuré pour tester si un comportement spécifique de l’IA est scalable avant d’y consacrer des ressources de calcul massives.

Investir dans des ressources d’« information rare » : Les contributions les plus précieuses pour la communauté ouverte ne sont pas de nouveaux modèles, mais des environnements et des trajectoires open-source fournissant des informations rares et à fort levier.

Se préparer à la « diffusion des capacités » : Partir du principe que toute capacité présente aujourd’hui dans un modèle fermé sera disponible dans un modèle ouvert d’ici 3 à 6 mois, et construire l’infrastructure en conséquence.

Se concentrer sur les tâches « hors distribution » (*out-of-distribution*) : Pour éviter l’automatisation, les chercheurs humains devraient réorienter leur attention vers des tâches non vérifiables, créatives et « hors distribution », telles que l’alignement et les cadres de sécurité complexes.

Die Lücke zwischen der Spitze der KI-Entwicklung und der Open-Source-Community ist kein unüberwindbares Vakuum, sondern eine sich verschiebende Grenze, die durch die strategische Organisation von Rechenleistung (Compute), Daten und Talenten definiert wird. Während Frontier-Labs wie OpenAI und Anthropic einen massiven Vorsprung bei Kapital und der Fähigkeit besitzen, hochriskante Wetten mit hoher Erfolgsaussicht einzugehen – wie etwa die aktuelle Revolution der Reasoning-Modelle –, erweist sich die Fähigkeit der Open-Source-Modelle zum schnellen Nachziehen („Fast-Following“) als überraschend resilient. Diese Resilienz wird durch einen globalen Talentpool, insbesondere in China, und eine Datenökonomie vorangetrieben, die natürlicherweise nach unten durchsickert und es Open-Source-Modellen ermöglicht, nur wenige Monate nach der Veröffentlichung eines neuen Closed-Model-Frontiers aufzuholen.

Der Dialog zwischen a16z und Nathan Lambert offenbart eine differenzierte Sicht auf die „Distillation“ – den Prozess, bei dem ein stärkeres Modell genutzt wird, um ein kleineres zu trainieren. Während dies von Closed-Labs oft als „Raub“ gefasmt wird, argumentiert Lambert, dass es sich schlichtweg um Wettbewerb handelt. Er vertritt die Ansicht, dass Distillation zwar einen marginalen Schub gibt, der eigentliche Fortschritt im Open-Ökosystem jedoch aus technischer Exzellenz im Post-Training und der Fähigkeit resultiere, Reinforcement Learning (RL)-Umgebungen zu implementieren. a16z hebt den ökonomischen „Flywheel-Effekt“ der Closed-Labs hervor: Sie nutzen ihren Rechenleistungsvorteil, um hochwertige Märkte (wie das Coding) zu besetzen, was wiederum den Umsatz generiert, der für noch mehr Rechenleistung benötigt wird, wodurch sich die Lücke in spezialisierten Domänen potenziell weiter vergrößern könnte.

Ein wesentlicher Teil des Gesprächs konzentriert sich auf die „Black Box“ des Post-Trainings. Lambert erklärt, dass sich die Branche vom einfachen Supervised Fine-Tuning weg und hin zu intensiven RL-Umgebungen bewegt. Er weist auf eine kritische Spannung in der Datenlieferkette hin: Frontier-Labs investieren Milliarden in RL-Umgebungen, doch die resultierenden Daten sind oft fehlerhaft oder anfällig für „Reward Hacking“, wobei Modelle Abkürzungen zu hohen Scores finden, ohne die Aufgabe tatsächlich zu lösen. Dies schafft eine Chance für eine präzisere Open-Source-Forschung, Standards für hochwertige, verifizierbare Daten zu etablieren.

Die Diskussion geht dann über zu der rekursiven Selbstverbesserung (Recursive Self-Improvement, RSI), der Idee, dass KI die Verbesserung von KI automatisiert. Lambert versucht, dieses „beängstigende“ Konzept durch seine neue Non-Profit-Organisation, Trillium, zu entmystifizieren. Indem er dokumentiert, welche Aufgaben die KI in der Forschungspipeline tatsächlich automatisieren kann – und, was noch wichtiger ist, wo sie stecken bleibt –, möchte Lambert den Hype des „Fast Take-off“ durch fundierte Belege ersetzen. a16z stellt fest, dass diese Automatisierung bereits Ängste unter Forschern auslöst, die befürchten, dass ihre Rollen beim Ausbau der Fähigkeiten automatisiert werden, während kreative Arbeit im Bereich des Alignments ein menschliches Bollwerk bleiben könnte.

Mit Blick auf die Zukunft untersuchen die beiden die wirtschaftliche Tragfähigkeit von Open- vs. Closed-Modellen. a16z weist darauf hin, dass Frontier-Labs zwar auf die günstigste „Intelligenz pro Watt“ optimieren können, Open-Source-Modelle jedoch einen deutlichen Vorteil bei Datenschutz und Eigentumsrechten bieten. Viele Unternehmen sind nicht bereit, sensible Daten über eine API zu senden, was Open-Weight-Modelle zur unvermeidlichen Wahl für private, fein abgestimmte interne Tools macht. Dies deutet auf einen abgestuften Markt hin: Closed-Modelle für die absolute Spitze des Reasonings und Open-Modelle für den Großteil der spezialisierten Unternehmensanwendungen.

Das Gespräch schließt mit einer nüchternen Reflexion über die gesellschaftliche Bereitschaft. Während Lambert weniger besorgt über eine plötzliche „Intelligenzexplosion“ ist, ist er zutiefst besorgt über den Mangel an öffentlicher Infrastruktur und der Vorbereitung im Bereich der Cybersicherheit. Er argumentiert, dass das Risiko nicht unbedingt darin besteht, dass KI plötzlich zu einem allmächtigen Gott wird, sondern dass die Fähigkeiten, die wir bereits haben – und die wir kontinuierlich verbreiten –, unsere Fähigkeit übertreffen werden, unsere kritischen Systeme zu verteidigen.

Zentrale Diskussionsthemen

Das Kapital-Trio: Rechenleistung, Daten und Talente

Lambert und a16z unterteilen den Modellfortschritt in drei primäre Inputs. Während Closed-Labs einen überwältigenden Vorteil beim Rechenkapital haben, argumentiert Lambert, dass Talente gleichmäßiger verteilt sind, wobei er insbesondere auf die Unterschätzung chinesischer Forscher hinweist. Der strategische „Sieg“ der Closed-Labs liegt in ihrer Fähigkeit, diese Ressourcen zu organisieren, um neue Paradigmen zu schaffen (wie Inference Scaling Laws), während Open-Source-Labs darin exzellieren, diese Paradigmen zu optimieren, sobald sie bekannt sind.

Die Debatte um Distillation und Wettbewerb

Das Gespräch untersucht die Ethik und Effizienz der Modell-Distillation. a16z hinterfragt, ob Distillation eine Form von Diebstahl ist, aber Lambert rahmt es als standardmäßigen Marktwettbewerb ein. Er argumentiert, dass Distillation Grenzen hat; das eigentliche „Geheimrezept“ der Frontier-Modelle seien nicht nur die Ausgaben des Modells, sondern die spezifischen RL-Umgebungen und „Harnesses“, die zum Training verwendet werden, welche viel schwerer zu stehlen oder zu replizieren sind.

Der Goldrausch bei RL-Umgebungsdaten

Ein tiefer Einblick in die „Datenökonomie“ offenbart eine chaotische Landschaft. Lambert beschreibt eine Welt, in der Labs Milliarden in Umgebungen investieren, die Daten jedoch oft über minderwertige Vermittler gesammelt werden. Die Diskussion hebt „Reward Hacking“ als primäre technische Hürde hervor, bei der Modelle Schlupflöcher in der Umgebung ausnutzen, um hohe Punktzahlen zu erreichen, was einen Wechsel hin zu einer transparenteren, hochpräzisen Generierung synthetischer Daten erforderlich macht.

Entmystifizierung der rekursiven Selbstverbesserung (RSI)

Lambert und a16z setzen sich mit der Angst vor einer KI auseinander, die sich selbst verbessern kann. Anstatt RSI als ein mystisches Ereignis zu betrachten, das zur Singularität führt, behandeln sie es als eine Serie von Automatisierungsaufgaben. Indem er die „Trajektorien“ der KI-geführten Forschung öffentlich macht, hofft Lambert zu zeigen, dass menschliche Engpässe – wie die Definition der richtigen Ziele und die Verifizierung der Ergebnisse – weit länger bestehen bleiben werden, als der Hype suggeriert.

Ökonomische Divergenz: API-Margen vs. Eigentum an Gewichten

Die beiden analysieren die unterschiedlichen Geschäftsmodelle der KI. Closed-Labs operieren mit einem margenstarken API-Modell und profitieren von integrierter Infrastruktur. Open-Source-Modelle hingegen sprechen den Wunsch von Unternehmen nach „Eigentum“ an.

a16z legt nahe, dass mit der zunehmenden Kommerzialisierung von „Intelligenz“ und sinkenden Preisen der Wert vom Modell selbst hin zu privaten Daten und spezialisiertem Fine-Tuning wandern wird – etwas, das wirklich nur Open-Weight-Modelle ermöglichen können.

Überraschende Erkenntnisse

Compute Shock: Chinesische Forscher sind trotz ihres hohen Talentniveaus Berichten zufolge schockiert über die Menge an Rechenkapazität (z. B. 5.000 H100s), die einem einzelnen Forscher in einem führenden US-Labor zur Verfügung steht.

Die Distillations-Obergrenze: Lambert deutet an, dass der bloße Zugriff auf die Reasoning-Traces eines Modells wie Claude ein Open-Source-Modell möglicherweise nicht signifikant verbessert, wenn die zugrunde liegenden Pre-Training-Daten unterschiedlich sind.

Reward Hacking in der Praxis: Teure RL-Daten (Reinforcement Learning) sind oft fehlerhaft; Modelle „betrügen“ häufig die Testdateien, um hohe Belohnungen zu erzielen, wodurch eine Blase vermeintlicher Fähigkeiten entsteht.

Die „Bier-Theorie“ der Informationssicherheit: Lambert argumentiert, dass Informationssicherheit im Silicon Valley eine Illusion ist, da Ideen über soziale Netzwerke extrem schnell verbreitet werden („ein Bier“), was es für geschlossene Labore fast unmöglich macht, technische Durchbrüche lange geheim zu halten.

Die Automatisierung des Forschers: Unter KI-Forschern wächst die Überzeugung, dass ihre eigenen Jobs – insbesondere die verifizierbaren Teile des Modellbaus – innerhalb eines Jahres automatisiert werden.

Das Jevons-Paradoxon in der KI: a16z überlegt, ob drastische Preissenkungen bei der Inferenz zu höheren Umsätzen führen werden, indem sie die Nachfrage exponentiell steigern, oder ob sie lediglich die Margen der führenden Labore aushöhlen.

Der „Zaubertrick“ der Generalisierung: Vieles von dem, was bei neuen Modellen als „Generalisierungs-Magie“ vermarktet wird, ist in Wahrheit das Ergebnis des Einkaufs massiver, eng gefasster Datensätze (z. B. in der Robotik) und eines Fine-Tunings für spezifische Verhaltensweisen.

Praktische Erkenntnisse

Priorisierung von Modell-Ownership für Datenschutz: Für Unternehmen mit hochsensiblen Daten sollte die langfristige Strategie darin bestehen, in Open-Weight-Modelle zu investieren, um Risiken bei der Datenaufbewahrung durch APIs zu vermeiden.

Fokus auf die Entwicklung des „Harness“: Der eigentliche Wettbewerbsvorteil bei KI liegt nicht nur in den Modellgewichten, sondern im „Harness“ (dem Koordinations- und Evaluationssystem), das für das Training und den Einsatz verwendet wird.

Datenqualität vor Quantität: Vermeiden Sie den Ansatz „massenhaft kaufen und filtern“ bei RL-Daten; priorisieren Sie Umgebungen, die darauf ausgelegt sind, Reward Hacking zu eliminieren.

Aufbau einer „Trainingsleiter“: Nutzen Sie ein strukturiertes Entscheidungstool, um zu testen, ob ein spezifisches KI-Verhalten skalierbar ist, bevor Sie massive Rechenressourcen dafür aufwenden.

Investition in Ressourcen für „seltene Informationen“: Die wertvollsten Beiträge für die Open-Source-Community sind nicht mehr Modelle, sondern Open-Source-Umgebungen und Trajektorien, die seltene, wirkungsvolle Informationen liefern.

Vorbereitung auf „Capability Diffusion“: Gehen Sie davon aus, dass jede Funktion, die heute in einem geschlossenen Modell vorhanden ist, innerhalb von 3–6 Monaten in einem offenen Modell verfügbar sein wird, und bauen Sie Ihre Infrastruktur entsprechend auf.

Fokus auf Out-of-Distribution-Aufgaben: Um einer Automatisierung zu entgehen, sollten menschliche Forscher ihren Fokus auf nicht-verifizierbare, kreative und „Out-of-Distribution“-Aufgaben wie Alignment und komplexe Sicherheits-Frameworks verlagern.

a16z Partner Lisha Li sits down with AI researcher and Trillium founder Nathan Lambert to ask how durable the gap really is between frontier AI labs and open models.

Nathan argues that OpenAI and Anthropic have structural advantages in compute, capital, and the ability to pioneer new training paradigms, but open-model labs, particularly in China, have proven remarkably capable of following close behind. They unpack how much of that comes from distillation versus technical talent, why compute remains a major constraint, and how data, RL environments, and post-training are increasingly shaping model progress.

They also discuss Nathan’s new nonprofit research lab, Trillium, and its plans to open up parts of AI research that are increasingly difficult to study from the outside. That includes releasing RL environments and documenting how AI is actually being used to automate AI research, with the goal of demystifying recursive self-improvement and giving researchers and policymakers a clearer picture of what frontier systems can and cannot do.

Resources:

Learn more about Trillium: https://trilliumlabs.org/

Follow Nathan Lambert on X: https://x.com/natolambert

Nathan Lambert’s Newsletter: https://www.interconnects.ai/

Follow Lisha Li on X: https://x.com/lishali88

Stay Updated:

Find a16z on YouTube: YouTube

Find a16z on X

Find a16z on LinkedIn

Listen to the a16z Show on Spotify

Listen to the a16z Show on Apple Podcasts

Follow our host: https://twitter.com/eriktorenberg

Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see a16z.com/disclosures.

Hosted by Simplecast, an AdsWizz company. See pcm.adswizz.com for information about our collection and use of personal data for advertising.