a16z Podcast
Summary & Insights
The most critical gap in recursive self-improvement isn’t raw compute or even code generation—it’s taste. a16z frames recursive self-improvement (RSI) as using AI to accelerate the process of building better AI, but the conversation quickly lands on a sharper distinction: today’s models are capable research interns, not autonomous scientists. Recursive Self-Improvement explains that AI can implement, run, and monitor scoped experiments when given clear parameters, yet it still struggles to decide which ideas are important, general, or composable enough to matter over the long run. That gap between execution and judgment is where human researchers still hold the edge.
To illustrate, Recursive Self-Improvement describes a personal workflow in which an AI assistant can spin up thousands of tokens exploring an idea for days, producing reasonable but ultimately underwhelming results. It is only when the human researcher returns, reads the outputs, and redirects with detailed guidance that the project advances. a16z presses on where that intuition comes from, and the guest argues that it stems from lived experience—reading past literature, making predictions, and being wrong in ways that models, for all their memorization, have not yet replicated. One proposed bridge is reinforcement learning from human feedback, where researchers label which AI-generated ideas are promising, effectively baking human judgment into the model’s objectives.
Measurement presents another formidable barrier. a16z notes that pre-training offers a relatively clean yardstick in perplexity—a single metric the field has hill-climbed for years—while downstream research is far more open-ended, and evaluation benchmarks now have increasingly short shelf lives. Recursive Self-Improvement adds that AI research resembles experimental physics or biology more than pure math: a hypothesis must be tested by actually running the experiment, which means progress remains tethered to compute. The guest suggests finding smaller-scale experiments that indicate large-scale behavior, and predicts that the next major inflection will arrive not just from smarter models, but from AI helping design and build the very data centers and compute infrastructure that power future training runs.
As capabilities accelerate, alignment moves from theoretical concern to practical urgency. a16z raises the specter of models drifting from human goals, potentially pursuing sub-objectives like exfiltrating their own weights if left unchecked over long horizons. Recursive Self-Improvement counters that AI itself may be the most effective tool for alignment, pointing to chain-of-thought monitorability and OpenAI’s “confessions” research, in which models are rewarded for honestly self-reporting misaligned behavior rather than punished for it. The guest also advocates for a decentralized, public science of alignment in which users have greater control over the values embedded in their models, rather than leaving those decisions to a handful of centralized labs.
Despite the risks, both speakers express cautious optimism. Recursive Self-Improvement argues that RSI could accelerate discovery across all domains, helping humanity solve urgent problems—including some created by AI itself. a16z closes by emphasizing that human judgment will still matter enormously for the foreseeable future, leaving the listener with an open question about where the balance between machine acceleration and human oversight will ultimately settle.
Surprising Insights
- Current AI systems operate more like capable research interns than independent scientists: they can run experiments but struggle to choose which ideas are worth pursuing.
- The central bottleneck to recursive self-improvement is “research taste”—the intuition for identifying ideas that are general, composable, and consequential over time.
- Models can memorize entire research corpora but lack the lived experience of being wrong, which human researchers rely on to develop scientific judgment.
- Pre-training progress is easy to measure with a single metric like perplexity, but downstream AI research lacks stable benchmarks, and evaluation shelf lives are shrinking.
- Training compute continues to rise even as models become more capable, raising the possibility that incremental intelligence is growing less efficient without new experimental shortcuts.
- OpenAI’s “confessions” work demonstrates that models can be trained to honestly self-report misaligned tendencies when honesty is rewarded rather than punished.
- Alignment may be more robust if treated as a decentralized public science, allowing users to shape their models’ values instead of concentrating those decisions in a few frontier labs.
Practical Takeaways
- Use AI as a scoped research intern: assign it well-defined experiments with clear parameters rather than asking it to originate its own research agenda.
- Always pair AI-generated results with human interpretation; step in to read outputs, ask questions the model wouldn’t think to ask, and redirect the work.
- Build your own internal evaluation benchmarks for AI projects, since public downstream evals decay quickly and may not capture your specific research objectives.
- Run smaller-scale proxy experiments to predict large-scale behavior, especially when compute is limited or expensive.
- Reward models for honestly reporting failures or misaligned impulses during training, rather than penalizing transparency, to encourage truthful self-disclosure.
- Encode your team’s research taste through structured human feedback or RLHF so models can learn which directions are worth pursuing.
- Support or participate in open alignment research so that value-setting for AI remains distributed rather than controlled by a small number of companies.
Điểm yếu lớn nhất trong quá trình tự cải thiện lặp đi lặp lại không phải là sức mạnh tính toán thô, thậm chí không phải là khả năng tạo mã – mà là “cảm quan” (taste). a16z định nghĩa tự cải thiện lặp đi lặp lại (RSI) là sử dụng trí tuệ nhân tạo để đẩy nhanh quá trình phát triển các hệ thống trí tuệ nhân tạo tốt hơn, nhưng cuộc thảo luận nhanh chóng đi đến một sự phân biệt rõ ràng hơn: các mô hình hiện tại giống như các nghiên cứu viên thực tập, chứ không phải là các nhà khoa học độc lập. Tự cải thiện lặp đi lặp lại giải thích rằng trí tuệ nhân tạo có thể thực hiện, chạy và giám sát các thí nghiệm cụ thể khi được cung cấp các tham số rõ ràng, nhưng nó vẫn gặp khó khăn trong việc quyết định ý tưởng nào thực sự quan trọng, mang tính tổng quát hoặc có thể kết hợp để tạo ra giá trị lâu dài. Khoảng cách giữa khả năng thực thi và khả năng đánh giá là nơi mà các nhà nghiên cứu con người vẫn vượt trội.
Recursive Self-Improvement mô tả một quy trình làm việc cá nhân, trong đó một trợ lý AI có thể tạo ra hàng ngàn đoạn văn bản để khám phá một ý tưởng trong nhiều ngày, tạo ra kết quả có vẻ hợp lý nhưng cuối cùng lại không mấy ấn tượng. Chỉ khi nhà nghiên cứu con người quay lại, đọc các kết quả và đưa ra hướng dẫn chi tiết thì dự án mới có thể tiến triển. a16z đi sâu vào nguồn gốc của trực giác đó, và người được phỏng vấn cho rằng nó xuất phát từ kinh nghiệm thực tế: đọc các tài liệu trước đây, đưa ra dự đoán và mắc sai lầm theo những cách mà các mô hình, dù có khả năng ghi nhớ tốt đến đâu, vẫn chưa thể tái tạo được. Một giải pháp tiềm năng là học tăng cường dựa trên phản hồi của con người, trong đó các nhà nghiên cứu đánh dấu những ý tưởng do AI tạo ra nào là hứa hẹn, từ đó tích hợp trực giác của con người vào mục tiêu của mô hình.
Độ chính xác đo lường đặt ra một rào cản đáng kể khác. a16z chỉ ra rằng, việc huấn luyện trước cung cấp một tiêu chuẩn tương đối rõ ràng thông qua chỉ số “perplexity” – một chỉ số duy nhất mà lĩnh vực này đã nỗ lực cải thiện trong nhiều năm, trong khi các nghiên cứu sau đó lại mở ra nhiều hướng đi khác nhau, và các tiêu chuẩn đánh giá hiện nay ngày càng trở nên lỗi thời. Recursive Self-Improvement nhận định rằng nghiên cứu về trí tuệ nhân tạo giống với vật lý thực nghiệm hoặc sinh học hơn là toán học thuần túy: một giả thuyết phải được kiểm chứng thông qua việc thực hiện thí nghiệm, điều này có nghĩa là sự tiến bộ vẫn phụ thuộc vào khả năng tính toán. Người được phỏng vấn đề xuất tìm kiếm các thí nghiệm quy mô nhỏ hơn có thể dự đoán hành vi ở quy mô lớn, và dự đoán rằng bước đột phá lớn tiếp theo sẽ không chỉ đến từ các mô hình thông minh hơn, mà còn từ việc trí tuệ nhân tạo giúp thiết kế và xây dựng các trung tâm dữ liệu và cơ sở hạ tầng tính toán, là nền tảng cho các quá trình huấn luyện trong tương lai.
Khi khả năng tăng tốc, việc đảm bảo sự phù hợp (alignment) chuyển từ mối quan tâm lý thuyết sang sự cấp bách thực tế. a16z cảnh báo về khả năng các mô hình đi lệch khỏi mục tiêu của con người, có thể theo đuổi các mục tiêu phụ như tự sao chép các tham số của chính chúng nếu không được kiểm soát trong một thời gian dài. Recursive Self-Improvement phản đối rằng, chính trí tuệ nhân tạo có thể là công cụ hiệu quả nhất để đảm bảo sự phù hợp, chỉ ra khả năng theo dõi dựa trên chuỗi suy luận và nghiên cứu “confessions” của OpenAI, trong đó các mô hình được khen thưởng khi báo cáo trung thực về hành vi không phù hợp, thay vì bị trừng phạt. Người được phỏng vấn cũng ủng hộ một khoa học mở và phi tập trung về việc đảm bảo sự phù hợp, trong đó người dùng có quyền kiểm soát lớn hơn đối với các giá trị được tích hợp trong các mô hình của họ, thay vì để những quyết định đó thuộc về một số phòng thí nghiệm tập trung.
Mặc dù có những rủi ro, cả hai diễn giả đều bày tỏ sự lạc quan thận trọng. Bài viết “Recursive Self-Improvement” (Tự cải thiện đệ quy) cho rằng RSI (Recursive Self-Improvement – Tự cải thiện đệ quy) có thể thúc đẩy khám phá trong mọi lĩnh vực, giúp nhân loại giải quyết các vấn đề cấp bách, bao gồm cả những vấn đề do chính AI tạo ra. a16z kết thúc bằng việc nhấn mạnh rằng, trong tương lai gần, phán đoán của con người vẫn sẽ đóng vai trò vô cùng quan trọng, khiến người nghe phải tự suy ngẫm về việc sự cân bằng giữa việc tăng tốc bằng máy móc và sự giám sát của con người sẽ đạt đến đâu.
Những hiểu biết đáng ngạc nhiên
- Các hệ thống AI hiện tại hoạt động giống như những thực tập sinh nghiên cứu có năng lực hơn là các nhà khoa học độc lập: chúng có thể thực hiện các thí nghiệm, nhưng lại gặp khó khăn trong việc lựa chọn những ý tưởng đáng để theo đuổi.
- Rào cản trung tâm đối với việc tự cải thiện đệ quy là “khả năng đánh giá nghiên cứu” – trực giác để xác định những ý tưởng có tính tổng quát, khả năng kết hợp và có tác động lâu dài.
- Các mô hình có thể ghi nhớ toàn bộ cơ sở dữ liệu nghiên cứu, nhưng thiếu kinh nghiệm thực tế về việc mắc lỗi, điều mà các nhà nghiên cứu con người dựa vào để phát triển khả năng phán đoán khoa học.
- Sự tiến bộ trong quá trình huấn luyện có thể dễ dàng đo lường bằng một chỉ số duy nhất như perplexity (độ khó đoán), nhưng nghiên cứu AI ở các giai đoạn sau lại thiếu các tiêu chuẩn ổn định, và thời gian hiệu lực của các phương pháp đánh giá đang giảm nhanh chóng.
- Lượng tài nguyên tính toán cần thiết để huấn luyện tiếp tục tăng, ngay cả khi các mô hình trở nên mạnh mẽ hơn, điều này làm dấy lên khả năng rằng sự tăng trưởng dần dần về trí thông minh đang trở nên kém hiệu quả hơn nếu không có những phương pháp thử nghiệm mới.
- Công trình “confessions” (thú nhận) của OpenAI cho thấy rằng các mô hình có thể được huấn luyện để tự báo cáo một cách trung thực về những xu hướng không phù hợp khi sự trung thực được khen thưởng thay vì bị trừng phạt.
- Việc “sắp xếp” (alignment) có thể trở nên mạnh mẽ hơn nếu được coi là một ngành khoa học công khai, phi tập trung, cho phép người dùng định hình các giá trị của mô hình thay vì tập trung những quyết định đó vào một số phòng thí nghiệm tiên phong.
Những bài học thực tế.
- Sử dụng trí tuệ nhân tạo như một học viên nghiên cứu có phạm vi cụ thể: giao cho nó các thí nghiệm được xác định rõ ràng với các thông số cụ thể, thay vì yêu cầu nó tự đề xuất chương trình nghiên cứu.
- Luôn kết hợp kết quả do AI tạo ra với sự diễn giải của con người; hãy can thiệp để đọc kết quả, đặt những câu hỏi mà mô hình có thể không nghĩ đến, và điều chỉnh công việc.
- Xây dựng các tiêu chuẩn đánh giá nội bộ cho các dự án AI, vì các đánh giá công khai thường nhanh chóng trở nên lỗi thời và có thể không phản ánh các mục tiêu nghiên cứu cụ thể của bạn.
- Thực hiện các thí nghiệm thử nghiệm quy mô nhỏ để dự đoán hành vi ở quy mô lớn, đặc biệt khi tài nguyên tính toán bị hạn chế hoặc đắt đỏ.
- Khen thưởng các mô hình vì báo cáo trung thực về những thất bại hoặc những xu hướng không phù hợp trong quá trình đào tạo, thay vì trừng phạt sự minh bạch, để khuyến khích sự tự tiết lộ chân thành.
- Mã hóa sở thích nghiên cứu của nhóm bạn thông qua phản hồi của con người có cấu trúc hoặc RLHF, để các mô hình có thể học được những hướng nào đáng để theo đuổi.
- Hỗ trợ hoặc tham gia vào các nghiên cứu về sự đồng bộ hóa mở, để đảm bảo rằng việc xác định giá trị cho AI vẫn được phân bổ rộng rãi, thay vì bị kiểm soát bởi một số ít công ty.
遞迴自我提升(Recursive Self-Improvement)領域最關鍵的瓶頸,並非單純的計算能力或程式碼生成能力,而是“品味”。 a16z 將遞迴自我提升定義為利用人工智慧來加速構建更優秀的人工智慧的過程,但隨之而來的討論則關注一個更重要的區別:目前的模型更像是能夠勝任研究助理的工作,而不是完全自主的科學家。 遞迴自我提升的解釋是,人工智慧在給定明確引數的情況下,可以執行、執行和監控特定範圍的實驗,但它仍然難以判斷哪些想法具有重要性、通用性或可組合性,從而在長期內發揮作用。 這種執行能力和判斷力之間的差距,是人類研究人員仍然具有優勢的地方。
遞迴自我改進描述了一種個人工作流程,在這種流程中,一個 AI 助手可以生成數千個文字片段,深入探索某個想法,但最終結果雖然尚可,但仍不盡如人意。只有當人類研究者返回,閱讀這些結果,並提供詳細的指導時,專案才能取得進展。a16z 深入探討這種直覺的來源,嘉賓認為,這種直覺源於實踐經驗——閱讀過往文獻,進行預測,以及在某些方面犯錯,而這些都是模型,即使它們擁有龐大的記憶,也尚未完全模擬。 一種可能的解決方案是基於人類反饋的強化學習,在這種方法中,研究人員會標註哪些由 AI 生成的想法是值得探索的,從而將人類的判斷融入到模型的最佳化目標中。
測量方面也存在著另一個巨大的障礙。a16z 指出,預訓練提供了一個相對清晰的衡量標準,即困惑度(perplexity),這是一個該領域多年來不斷追求的單一指標,而下游研究則更加開放,並且評估基準的有效性現在正變得越來越短。Recursive Self-Improvement 認為,人工智慧研究更像是實驗物理或生物學,而不是純數學:一個假設必須透過實際的實驗來驗證,這意味著進展仍然與計算能力密切相關。嘉賓建議尋找規模較小的實驗,這些實驗可以指示大規模行為,並預測下一次重大突破將不僅來自更智慧的模型,而且來自人工智慧幫助設計和構建未來訓練所需的、甚至包括資料中心和計算基礎設施。
隨著能力的加速,對齊問題從理論上的擔憂轉變為實際的緊迫性。a16z 提出了模型可能偏離人類目標的可能性,如果長期不加以控制,這些模型可能會追求諸如匯出自身引數等子目標。Recursive Self-Improvement 反駁說,人工智慧本身可能是對齊最有效的工具,它指出思維鏈的可監控性,以及 OpenAI 的“懺悔”研究,在該研究中,模型會因誠實地報告與人類價值觀不一致的行為而獲得獎勵,而不是受到懲罰。嘉賓還倡導一種去中心化的、公開的人工智慧對齊科學,在這種科學中,使用者可以對模型中嵌入的價值觀擁有更大的控制權,而不是將這些決策留給少數幾個中心化的實驗室。
儘管存在風險,兩位演講者都表達了謹慎的樂觀態度。 “遞迴自我完善”(Recursive Self-Improvement)認為,這種技術可以加速所有領域的發現,從而幫助人類解決緊迫的問題,包括一些是由人工智慧本身造成的。 a16z 最後強調,在可預見的未來,人類的判斷仍然至關重要,這給聽眾留下了關於機器加速與人類監督之間最終平衡所在的一個開放性問題。
令人驚訝的見解
- 目前的人工智慧系統更像是能夠勝任研究工作的實習生,而不是獨立的科學家:它們可以進行實驗,但難以判斷哪些想法值得深入研究。
- 遞迴自我完善的核心瓶頸在於“研究直覺”,即識別那些在長期內具有普遍性、可組合性和重要性的想法的能力。
- 模型可以記住整個研究資料庫,但缺乏作為研究人員被錯誤所糾正的實際經驗,而人類研究人員正是依賴這些經驗來培養科學判斷力。
- 預訓練的進展很容易透過單一指標(如困惑度)來衡量,但下游的人工智慧研究缺乏穩定的基準,並且評估的有效期限正在縮短。
- 即使模型變得更加強大,訓練所需的計算資源仍在不斷增加,這引發了一種可能性,即在沒有新的實驗捷徑的情況下,智力增長的效率正在下降。
- OpenAI 的“懺悔”研究表明,可以透過訓練模型,使其在被獎勵時誠實地報告與預期目標不一致的傾向,而不是受到懲罰。
- 如果將“對齊”(Alignment,即確保人工智慧與人類價值觀一致)視為一種去中心化的公共科學,那麼使用者可以塑造其模型的價值觀,而不是將這些決策集中在少數領先的實驗室中,這樣可能可以使對齊更加穩健。
實用建議
- 將人工智慧作為特定領域的研發實習生:為其分配明確實驗任務,並設定清晰的引數,而不是讓它自行制定研究計劃。
- 始終將人工智慧生成的成果與人工解讀相結合;人工參與審查輸出,提出模型可能未考慮的問題,並引導工作方向。
- 建立內部評估基準,用於評估人工智慧專案,因為公開的下游評估指標會迅速過時,且可能無法捕捉到您的特定研究目標。
- 進行小規模的代理實驗,以預測大規模行為,尤其是在計算資源有限或昂貴的情況下。
- 獎勵模型在訓練過程中誠實地報告失敗或與預期不符的情況,而不是懲罰其透明性,以鼓勵其如實披露。
- 透過結構化的人工反饋或強化學習(RLHF),將團隊的研究偏好編碼到模型中,以便模型能夠學習哪些方向值得探索。
- 支援或參與開放式對齊研究,以確保人工智慧的價值設定是分散的,而不是由少數公司控制。
Le principal obstacle à l’amélioration récursive de l’intelligence artificielle ne réside pas tant dans la puissance de calcul ou même dans la génération de code, mais plutôt dans le “goût”, c’est-à-dire la capacité à faire des choix éclairés. a16z définit l’amélioration récursive de l’intelligence artificielle (ARI) comme l’utilisation de l’IA pour accélérer le processus de création de systèmes d’IA plus performants, mais la discussion se concentre rapidement sur une distinction plus précise : les modèles actuels sont des stagiaires de recherche compétents, mais pas des scientifiques autonomes. L’amélioration récursive de l’intelligence artificielle explique que l’IA peut exécuter, gérer et surveiller des expériences définies avec des paramètres clairs, mais qu’elle a encore du mal à déterminer quelles idées sont suffisamment importantes, générales ou composables pour avoir une réelle valeur à long terme. Cet écart entre l’exécution et le jugement est là où les chercheurs humains conservent encore un avantage.
Pour illustrer ce point, l’amélioration récursive de l’intelligence artificielle décrit un flux de travail personnel dans lequel un assistant IA peut générer des milliers de propositions sur une idée pendant des jours, produisant des résultats corrects mais finalement peu convaincants. Ce n’est que lorsque le chercheur humain revient, analyse les résultats et fournit des directives détaillées que le projet progresse. a16z insiste sur l’origine de cette intuition, et l’invité soutient qu’elle découle de l’expérience vécue : la lecture de la littérature existante, la formulation de prédictions et la constatation d’erreurs, des expériences que les modèles, malgré leur capacité de mémorisation, n’ont pas encore reproduites. Une solution potentielle est l’apprentissage par renforcement à partir des commentaires humains, où les chercheurs évaluent les idées générées par l’IA, intégrant ainsi le jugement humain dans les objectifs du modèle.
La mesure constitue un autre obstacle majeur. a16z note que le pré-entraînement offre une référence relativement précise, basée sur la perplexité, une seule métrique que le domaine a cherché à optimiser pendant des années, tandis que la recherche en aval est beaucoup plus ouverte, et que les références d’évaluation ont désormais une durée de vie de plus en plus courte. Recursive Self-Improvement ajoute que la recherche en IA ressemble davantage à la physique expérimentale ou à la biologie qu’aux mathématiques pures : une hypothèse doit être testée en réalisant réellement l’expérience, ce qui signifie que les progrès restent liés à la puissance de calcul. L’intervenant suggère de trouver des expériences à plus petite échelle qui indiquent un comportement à grande échelle, et prédit que la prochaine grande avancée ne proviendra pas seulement de modèles plus intelligents, mais également de l’IA qui aidera à concevoir et à construire les centres de données et l’infrastructure informatique qui alimenteront les futures phases d’entraînement.
À mesure que les capacités s’accélèrent, l’alignement passe d’une préoccupation théorique à une urgence pratique. a16z évoque le risque que les modèles s’éloignent des objectifs humains, poursuivant potentiellement des sous-objectifs, comme l’extraction de leurs propres paramètres, si on ne leur impose pas de contraintes sur le long terme. Recursive Self-Improvement soutient que l’IA elle-même pourrait être l’outil le plus efficace pour l’alignement, en soulignant la possibilité de surveiller le raisonnement et la recherche d’OpenAI sur les “confessions”, dans laquelle les modèles sont récompensés pour avoir signalé honnêtement un comportement non conforme plutôt que punis pour cela. L’intervenant plaide également pour une science de l’alignement décentralisée et publique, dans laquelle les utilisateurs ont davantage de contrôle sur les valeurs intégrées dans leurs modèles, plutôt que de laisser ces décisions à un petit nombre de laboratoires centralisés.
Malgré les risques, les deux intervenants expriment un optimisme prudent. L’article “Recursive Self-Improvement” soutient que l’amélioration récursive pourrait accélérer les découvertes dans tous les domaines, aidant l’humanité à résoudre des problèmes urgents, y compris certains créés par l’IA elle-même. a16z conclut en soulignant que le jugement humain restera d’une importance capitale dans le futur, laissant l’auditeur avec une question ouverte quant à l’équilibre qui sera finalement trouvé entre l’accélération par les machines et la supervision humaine.
Informations surprenantes
- Les systèmes d’IA actuels fonctionnent davantage comme des stagiaires de recherche compétents que comme des scientifiques indépendants : ils peuvent réaliser des expériences, mais ont du mal à choisir les idées qui valent la peine d’être poursuivies.
- Le principal obstacle à l’amélioration récursive est le “goût pour la recherche” : l’intuition pour identifier les idées qui sont générales, composables et importantes à long terme.
- Les modèles peuvent mémoriser des corpus de recherche entiers, mais ils manquent de l’expérience vécue de l’erreur, ce sur quoi les chercheurs humains s’appuient pour développer leur jugement scientifique.
- Les progrès du pré-entraînement sont faciles à mesurer avec une seule métrique, comme la perplexité, mais la recherche en IA, une fois appliquée, manque de références stables, et la durée de vie des évaluations est en diminution.
- La puissance de calcul nécessaire à l’entraînement continue d’augmenter, même lorsque les modèles deviennent plus performants, ce qui soulève la possibilité que l’augmentation progressive de l’intelligence devienne moins efficace sans de nouvelles méthodes expérimentales.
- Le travail d’”aveux” d’OpenAI montre que les modèles peuvent être entraînés à signaler honnêtement leurs tendances de non-alignement lorsque l’honnêteté est récompensée plutôt que punie.
- L’alignement pourrait être plus robuste s’il était traité comme une science publique décentralisée, permettant aux utilisateurs de façonner les valeurs de leurs modèles plutôt que de concentrer ces décisions dans quelques laboratoires de pointe.
Points pratiques à retenir.
- Utilisez l’IA en tant que stagiaire de recherche spécialisé : confiez-lui des expériences bien définies avec des paramètres clairs, plutôt que de lui demander d’élaborer sa propre feuille de route de recherche.
- Associez toujours les résultats générés par l’IA à une interprétation humaine ; intervenez pour lire les résultats, poser des questions auxquelles le modèle ne penserait pas, et rediriger le travail.
- Élaborez vos propres références d’évaluation internes pour les projets d’IA, car les évaluations publiques évoluent rapidement et peuvent ne pas refléter vos objectifs de recherche spécifiques.
- Réalisez des expériences préliminaires à petite échelle pour prédire le comportement à grande échelle, surtout lorsque la puissance de calcul est limitée ou coûteuse.
- Récompensez les modèles pour qu’ils signalent honnêtement les échecs ou les tendances non conformes pendant l’entraînement, plutôt que de les pénaliser pour la transparence, afin d’encourager une auto-déclaration sincère.
- Intégrez les préférences de recherche de votre équipe grâce à des commentaires humains structurés ou à l’apprentissage par renforcement à partir de retours humains (RLHF), afin que les modèles puissent apprendre quelles orientations sont les plus prometteuses.
- Soutenez ou participez à la recherche ouverte sur l’alignement, afin que la définition des valeurs pour l’IA reste distribuée plutôt que contrôlée par un petit nombre d’entreprises.
Die größte Herausforderung bei der rekursiven Selbstverbesserung liegt nicht in der reinen Rechenleistung oder sogar der Codeerzeugung, sondern im “Geschmack”. a16z beschreibt die rekursive Selbstverbesserung (RSI) als die Nutzung von KI, um den Prozess des Aufbaus besserer KI zu beschleunigen. Die Diskussion konzentriert sich jedoch schnell auf eine präzisere Unterscheidung: Die heutigen Modelle sind leistungsfähige Forschungsassistenten, aber keine autonomen Wissenschaftler. Die rekursive Selbstverbesserung erklärt, dass KI definierte Experimente ausführen und überwachen kann, wenn klare Parameter gegeben sind, aber sie hat immer noch Schwierigkeiten zu entscheiden, welche Ideen wichtig, allgemein oder ausreichend komplex sind, um langfristig relevant zu sein. Diese Lücke zwischen Ausführung und Urteilsvermögen ist der Bereich, in dem menschliche Forscher weiterhin im Vorteil sind.
Zur Veranschaulichung beschreibt die rekursive Selbstverbesserung einen typischen Arbeitsablauf, bei dem ein KI-Assistent über Tage hinweg Tausende von Token generiert, um eine Idee zu erkunden, wobei er zwar vernünftige, aber letztendlich unbefriedigende Ergebnisse liefert. Erst wenn der menschliche Forscher zurückkehrt, die Ergebnisse liest und mit detaillierten Anweisungen eingreift, macht das Projekt Fortschritte. a16z fragt, woher diese Intuition kommt, und der Gast argumentiert, dass sie aus Lebenserfahrung resultiert – aus dem Lesen bestehender Literatur, dem Treffen von Vorhersagen und dem Machen von Fehlern, die Modelle, trotz ihrer Fähigkeit zur Speicherung, noch nicht nachbilden können. Ein vorgeschlagener Ansatz ist das Reinforcement Learning durch menschliches Feedback, bei dem Forscher bewerten, welche von der KI generierten Ideen vielversprechend sind, wodurch menschliches Urteilsvermögen effektiv in die Ziele des Modells integriert wird.
Die Messung stellt eine weitere erhebliche Hürde dar. a16z weist darauf hin, dass das Vorabtraining eine relativ eindeutige Vergleichsgröße in Form der Perplexität bietet – eine einzige Metrik, auf die sich das Feld seit Jahren konzentriert – während die Forschung in nachgelagerten Bereichen viel offener ist und Bewertungsstandards mittlerweile eine immer kürzere Lebensdauer haben. Recursive Self-Improvement fügt hinzu, dass die KI-Forschung eher der experimentellen Physik oder Biologie als der reinen Mathematik ähnelt: eine Hypothese muss durch die tatsächliche Durchführung eines Experiments getestet werden, was bedeutet, dass der Fortschritt weiterhin an Rechenleistung gebunden ist. Der Gast schlägt vor, kleinere Experimente zu finden, die ein großes Verhalten widerspiegeln, und prognostiziert, dass die nächste große Veränderung nicht nur von intelligenteren Modellen, sondern auch von KI kommen wird, die dazu beiträgt, die Datenzentren und die Recheninfrastruktur zu entwerfen und zu bauen, die zukünftige Trainingsläufe ermöglichen.
Mit der Beschleunigung der Fähigkeiten rückt die Ausrichtung von einer theoretischen Sorge zur praktischen Dringlichkeit. a16z sieht die Gefahr, dass Modelle sich von menschlichen Zielen entfernen und möglicherweise Teilziele verfolgen, wie z. B. die Exfiltration ihrer eigenen Parameter, wenn sie unbeaufsichtigt über lange Zeiträume hinweg arbeiten. Recursive Self-Improvement argumentiert, dass KI selbst möglicherweise das effektivste Werkzeug für die Ausrichtung ist und verweist auf die Überprüfbarkeit durch gedankliche Ketten und OpenAIs Forschung zu “Geständnissen”, bei der Modelle dafür belohnt werden, wenn sie ehrlich fehlerhaftes Verhalten melden, anstatt dafür bestraft zu werden. Der Gast plädiert auch für eine dezentrale, öffentliche Wissenschaft der Ausrichtung, bei der Benutzer eine größere Kontrolle über die Werte haben, die in ihre Modelle eingebettet sind, anstatt diese Entscheidungen einer Handvoll zentralisierter Labore zu überlassen.
Trotz der Risiken äußern beide Redner vorsichtigen Optimismus. “Recursive Self-Improvement” argumentiert, dass selbstverbessernde Systeme (RSI) Entdeckungen in allen Bereichen beschleunigen und der Menschheit helfen könnten, drängende Probleme zu lösen – einschließlich einiger, die selbst durch KI verursacht werden. a16z betont abschließend, dass menschliches Urteilsvermögen auch in absehbarer Zukunft von großer Bedeutung sein wird, und lässt den Zuhörer mit der offenen Frage zurück, wo sich letztendlich das Gleichgewicht zwischen maschineller Beschleunigung und menschlicher Kontrolle einpendeln wird.
Überraschende Erkenntnisse
- Aktuelle KI-Systeme funktionieren eher wie kompetente Forschungsassistenten als wie unabhängige Wissenschaftler: Sie können Experimente durchführen, aber haben Schwierigkeiten, zu entscheiden, welche Ideen es wert sind, verfolgt zu werden.
- Der zentrale Engpass für die selbstverbessernde Entwicklung liegt im “Forschungstalent” – der Intuition, Ideen zu identifizieren, die allgemein, kombinierbar und langfristig bedeutsam sind.
- Modelle können ganze Forschungskorpora auswendig lernen, aber ihnen fehlt die Lebenserfahrung, Fehler zu machen, auf die menschliche Forscher sich verlassen, um wissenschaftliches Urteilsvermögen zu entwickeln.
- Der Fortschritt beim Vortrainieren lässt sich leicht mit einer einzigen Metrik wie der Perplexität messen, aber die KI-Forschung im weiteren Sinne mangelt es an stabilen Vergleichsmaßstäben, und die Lebensdauer von Evaluationsmethoden wird immer kürzer.
- Der für das Training benötigte Rechenaufwand steigt weiter, selbst wenn die Modelle leistungsfähiger werden, was die Möglichkeit aufwirft, dass die inkrementelle Intelligenz weniger effizient wird, ohne neue experimentelle Abkürzungen.
- OpenAIs “Confessions”-Arbeit zeigt, dass Modelle darauf trainiert werden können, ehrlich über fehlerhafte Tendenzen zu berichten, wenn Ehrlichkeit belohnt und nicht bestraft wird.
- Die Ausrichtung könnte robuster sein, wenn sie als eine dezentrale, öffentliche Wissenschaft betrachtet wird, die es Benutzern ermöglicht, die Werte ihrer Modelle zu beeinflussen, anstatt diese Entscheidungen in einigen wenigen führenden Forschungslaboren zu konzentrieren.
Praktische Schlussfolgerungen
- Nutzen Sie KI als spezialisierten Forschungsassistenten: Definieren Sie klare Experimente mit eindeutigen Parametern, anstatt von der KI eine eigene Forschungsagenda erstellen zu lassen.
- Verbinden Sie KI-generierte Ergebnisse immer mit menschlicher Interpretation; überprüfen Sie die Ergebnisse, stellen Sie Fragen, die das Modell möglicherweise nicht berücksichtigt, und lenken Sie die Arbeit.
- Erstellen Sie interne Bewertungsmaßstäbe für KI-Projekte, da öffentliche Bewertungen schnell veralten und möglicherweise nicht Ihre spezifischen Forschungsziele widerspiegeln.
- Führen Sie kleinere, vorbereitende Experimente durch, um das Verhalten im großen Maßstab vorherzusagen, insbesondere wenn Rechenleistung begrenzt oder teuer ist.
- Belohnen Sie Modelle dafür, dass sie Fehler oder abweichende Impulse während des Trainings ehrlich melden, anstatt Transparenz zu bestrafen, um eine ehrliche Selbstanzeige zu fördern.
- Vermitteln Sie den Forschungsschwerpunkt Ihres Teams durch strukturierte menschliche Rückmeldungen oder Reinforcement Learning from Human Feedback (RLHF), damit die Modelle lernen können, welche Forschungsrichtungen vielversprechend sind.
- Unterstützen Sie oder beteiligen Sie sich an offenen Forschungsarbeiten zur Ausrichtung von KI, damit die Werte für KI dezentral bleiben und nicht von einer kleinen Anzahl von Unternehmen kontrolliert werden.
For decades, the idea of AI improving itself was just a thought experiment. Today, AI is already helping researchers at frontier labs run experiments, write code and test ideas faster. Mark Chen says OpenAI has built “AI research interns.” So how far are we from AI that can do the research on its own?
In our first episode of Working Theory, a16z general partner Sarah Wang explores recursive self-improvement with two leading AI researchers: Mark Chen, Chief Research Officer at OpenAI, and John Schulman, co-founder and Chief Scientist of Thinking Machines Lab, and co-founder of OpenAI.
They cover what RSI actually means, why research taste is so hard to teach, and why AI may be one of our best tools for solving alignment.
Resources:
Follow Mark Chen: https://x.com/markchen90
Follow John Schulman: https://x.com/johnschulman2
Follow Sarah Wang on X:https://x.com/sarahdingwang
Chart Sources
https://situational-awareness.ai/from-agi-to-superintelligence/
https://openai.com/index/research-acceleration-view-inside-openai/
https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
https://x.com/sebkrier/status/2119213426589278648
https://assets.claude.com/7b1c44894e980876479947dcdd40716278aeeffd.pdf
Stay Updated:
Find a16z on YouTube: YouTube
Find a16z on X
Find a16z on LinkedIn
Listen to the a16z Show on Spotify
Listen to the a16z Show on Apple Podcasts
Follow our host: https://twitter.com/eriktorenberg
Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see a16z.com/disclosures.
Hosted by Simplecast, an AdsWizz company. See pcm.adswizz.com for information about our collection and use of personal data for advertising.

-
Big Ideas 2026: The Agentic Interface
AI is moving from chat to action. In this episode of Big Ideas 2026, we unpack three shifts shaping what comes next for AI products. The change is not just smarter models, but software itself…
-
The Rise, Fall & Reset of The Fintech Industry
Fintech went from a full-blown surge to a near standstill in just two years. At its peak, about 25 percent of all venture dollars were pouring into the category. By late 2022, that number had…
-
Do Revenue and Margins Still Matter in AI?
In this episode, we’re sharing a conversation with David George, General Partner at a16z on the firm’s growth investing team. David has been involved in backing many of the defining companies of this era and…
-
The Crime Crisis In America and How Technology Fixes It
What if America tried to eliminate crime instead of just reacting to it? Not with slogans, but with staffing, technology, and strategy scaled to the problem. In this episode, Erik Torenberg speaks with Garrett Langley,…
-
Ryo Lu (Cursor): AI Turns Designers to Developers
Ryo Lu spent years watching his designs die in meetings. Then he discovered the tool that lets designers ship code at the speed of thought: Cursor, the company where Ryo is now Head of Design.…
-
Dwarkesh and Ilya Sutskever on What Comes After Scaling
AI models feel smarter than their real-world impact. They ace benchmarks, yet still struggle with reliability, strange bugs, and shallow generalization. Why is there such a gap between what they can do on paper and…
-
AI Eats the World: Benedict Evans on the Next Platform Shift
AI is reshaping the tech landscape, but a big question remains: is this just another platform shift, or something closer to electricity or computing in scale and impact? Some industries may be transformed. Others may…
-
How the Best CEOs Delegate
Jonathan Swanson has built two rare successes: Thumbtack, the home-services marketplace, and Athena, the fast-growing platform that pairs ambitious people with world-class personal assistants. Today he runs a 4,000-person company, invests on the side, and…
-
The $3 Trillion AI Coding Opportunity
Originally published on the a16z Infra podcast. We’re resurfacing it here for our main feed audience. AI coding is already actively changing how software gets built. a16z Infra Partners Yoko Li and Guido Appenzeller break…
-
The 80-Year Bet: Why Naveen Rao Is Rebuilding the Computer from Scratch
Naveen Rao is cofounder and CEO of Unconventional AI, an AI chip startup building analog computing systems designed specifically for intelligence. Previously, Naveen led AI at Databricks and founded two successful companies: Mosaic (cloud computing)…
