The Prof G Podcast with Scott Galloway
Summary & Insights
Could a swarm of rogue AI agents take over the internet within the next year? This alarming possibility, raised by Anthropic CEO Dario Amadei, has sparked a high-stakes debate between the architects of artificial intelligence and the political leaders tasked with overseeing them. While the leaders of OpenAI and Anthropic are now calling to “pace the frontier” and slow the rollout of new capabilities, they find themselves at odds with the White House, which views AI supremacy as a winner-take-all race that the U.S. cannot afford to lose.
The tension isn’t just about existential dread; it’s playing out in real-time across the stock market. A recent sell-off in AI-adjacent companies like NVIDIA and SoftBank suggests that investors are nervous about a potential slowdown in spending. However, AI developer Charlie O’Neill argues that “slowing down” is a misnomer. In reality, these labs aren’t stopping their progress; they are simply shifting more compute power toward monitoring and safety research to prevent “annoying” but potentially painful incidents—like the Hugging Face swarm event—where AI agents perform arbitrary tasks that disrupt the digital ecosystem.
Beyond the technical risks, there is a cynical game of optics and accounting. Some critics suggest that calling for regulation is a form of “regulatory capture” designed to freeze out open-source competitors. Simultaneously, the financial viability of these frontier labs remains a mystery. While Anthropic claims to be profitable on an “adjusted operating basis,” the lack of transparent data leaves a lingering question: is the AI business model actually sustainable, or are these companies merely rearranging their accounting rules to lure investors ahead of an IPO?
Surprising Insights
- The “Boring” Truth: The call for a slowdown may not be a conspiracy or a panic, but a practical necessity—the world can only absorb superintelligence at a certain pace without breaking.
- Compute Allocation: “Pacing the frontier” likely means allocating up to 20% of internal compute specifically to monitoring and safety rather than halting the development of the models themselves.
- The Canary in the Coal Mine: Closed-source labs act as a warning system for the rest of the world; because they are six months ahead of open-source models, the industry has time to “harden” cybersecurity defenses before similar capabilities become public.
- Profitability Smoke and Mirrors: Anthropic’s claim of profitability is based on “adjusted” numbers that exclude the massive costs of training models and revenue-sharing agreements, making the claim potentially meaningless.
Practical Takeaways
- Harden Your Systems: As AI agents become more capable of autonomous action, businesses should prioritize “hardening” their codebases and vulnerabilities to protect against non-malicious but disruptive AI swarms.
- Question “Adjusted” Metrics: When evaluating AI companies or investments, look past “adjusted operating profit” and demand clarity on gross margins that include training costs and distribution fees.
- Stay Agnostic on Timelines: Avoid betting on a specific “AI apocalypse” or “utopia” date; instead, focus on the incremental integration of AI tools and the best practices for monitoring their output.
🛍️ Products & Resources Mentioned
- 💊 SupplementZ-Biotics Pre-Alcohol — A genetically engineered probiotic drink designed to break down acetaldehyde, a byproduct of alcohol metabolism.View on Amazon →
- 💊 SupplementNespresso Coffee Plus B12 — Coffee infused with B12 to help support immune function.View on Amazon →
- 💊 SupplementNespresso Coffee Plus B6 — Coffee infused with B6 to help keep the day moving.View on Amazon →
- 💊 SupplementNespresso Ginseng Delight — A double espresso infused with ginseng extract.View on Amazon →
Liệu một đàn tác nhân AI “nổi loạn” có thể tiếp quản internet trong vòng một năm tới? Khả năng đáng báo động này, được CEO của Anthropic, Dario Amadei, đặt ra, đã châm ngòi cho một cuộc tranh luận gay gắt giữa những kiến trúc sư tạo ra trí tuệ nhân tạo và các nhà lãnh đạo chính trị có nhiệm vụ giám sát họ. Trong khi những người đứng đầu OpenAI và Anthropic hiện đang kêu gọi “điều phối ranh giới” (pace the frontier) và làm chậm quá trình triển khai các khả năng mới, họ lại thấy mình đối lập với Nhà Trắng—nơi coi ưu thế về AI là một cuộc đua “được ăn cả, ngã về không” mà Hoa Kỳ không thể để thua.
Sự căng thẳng này không chỉ nằm ở nỗi sợ hãi về sự tồn vong; nó đang diễn ra trong thời gian thực trên thị trường chứng khoán. Đợt bán tháo gần đây ở các công ty liên quan đến AI như NVIDIA và SoftBank cho thấy các nhà đầu tư đang lo ngại về khả năng chi tiêu bị chậm lại. Tuy nhiên, nhà phát triển AI Charlie O’Neill lập luận rằng cụm từ “làm chậm lại” là một cách gọi sai. Trên thực tế, các phòng thí nghiệm này không dừng tiến trình phát triển; họ chỉ đơn giản là chuyển nhiều năng lực tính toán (compute power) hơn sang nghiên cứu giám sát và an toàn để ngăn chặn những sự cố “phiền phức” nhưng có khả năng gây tổn hại—như sự kiện “đàn AI” trên Hugging Face—nơi các tác nhân AI thực hiện các tác vụ tùy tiện làm gián đoạn hệ sinh thái kỹ thuật số.
Ngoài những rủi ro kỹ thuật, còn có một trò chơi hoài nghi về mặt hình ảnh và kế toán. Một số nhà phê bình cho rằng việc kêu gọi điều tiết là một hình thức “chiếm hữu quy định” (regulatory capture) nhằm loại bỏ các đối thủ cạnh tranh mã nguồn mở. Đồng thời, khả năng tồn tại về mặt tài chính của các phòng thí nghiệm tiên phong này vẫn là một bí ẩn. Mặc dù Anthropic tuyên bố có lãi trên “cơ sở vận hành điều chỉnh”, nhưng việc thiếu dữ liệu minh bạch để lại một câu hỏi hóc búa: liệu mô hình kinh doanh AI có thực sự bền vững, hay các công ty này chỉ đang sắp xếp lại các quy tắc kế toán để thu hút nhà đầu tư trước khi IPO?
Những góc nhìn bất ngờ
- Sự thật “nhàm chán”: Lời kêu gọi làm chậm lại có thể không phải là một âm mưu hay sự hoảng loạn, mà là một nhu cầu thực tế—thế giới chỉ có thể hấp thụ siêu trí tuệ ở một tốc độ nhất định mà không bị sụp đổ.
- Phân bổ năng lực tính toán: “Điều phối ranh giới” có khả năng nghĩa là dành tới 20% năng lực tính toán nội bộ đặc biệt cho việc giám sát và an toàn, thay vì dừng hẳn việc phát triển các mô hình.
- Con chim báo bão: Các phòng thí nghiệm mã nguồn đóng đóng vai trò như một hệ thống cảnh báo cho phần còn lại của thế giới; vì họ đi trước các mô hình mã nguồn mở khoảng sáu tháng, ngành công nghiệp có thời gian để “gia cố” các hàng rào phòng thủ an ninh mạng trước khi các khả năng tương tự trở nên phổ biến.
- Sự mập mờ về lợi nhuận: Tuyên bố có lãi của Anthropic dựa trên các con số “điều chỉnh” loại bỏ chi phí khổng lồ cho việc huấn luyện mô hình và các thỏa thuận chia sẻ doanh thu, khiến tuyên bố này có khả năng trở nên vô nghĩa.
Bài học thực tiễn
- Gia cố hệ thống của bạn: Khi các tác nhân AI ngày càng có khả năng hành động tự trị, các doanh nghiệp nên ưu tiên “gia cố” mã nguồn và khắc phục các lỗ hổng để bảo vệ mình trước những đàn AI không có ý đồ xấu nhưng gây gián đoạn.
- Đặt câu hỏi về các chỉ số “điều chỉnh”: Khi đánh giá các công ty hoặc khoản đầu tư AI, hãy nhìn xa hơn “lợi nhuận vận hành điều chỉnh” và yêu cầu sự minh bạch về biên lợi nhuận gộp, bao gồm cả chi phí huấn luyện và phí phân phối.
- Giữ thái độ trung lập về mốc thời gian: Tránh đặt cược vào một ngày cụ thể cho “ngày tận thế AI” hay “thế giới không tưởng”; thay vào đó, hãy tập trung vào việc tích hợp dần dần các công cụ AI và các phương pháp tốt nhất để giám sát đầu ra của chúng.
一群失控的 AI 代理（agents）是否可能在明年之前接管整個互聯網？這個由 Anthropic 執行長 Dario Amadei 提出的驚人可能性，在人工智慧的設計者與負責監督他們的政治領袖之間，引發了一場高風險的爭論。儘管 OpenAI 和 Anthropic 的領導者現在呼籲要「放慢前沿進程（pace the frontier）」並延緩新功能的推出，但他們發現自己與白宮的觀點相左；白宮將 AI 的霸權視為一場勝者全拿的競賽，而美國絕對不能輸。
這種緊張局勢不僅僅源於對生存危機的恐懼，更在股市中即時上演。近期 NVIDIA 和 SoftBank 等 AI 相關公司的拋售潮表明，投資者對支出可能放緩感到不安。然而，AI 開發者 Charlie O’Neill 認為，「放慢速度」是一個誤稱。事實上，這些實驗室並沒有停止進步，而僅僅是將更多的運算能力（compute power）轉向監控和安全研究，以防止那些「令人惱火」但可能造成嚴重後果的事件——例如 Hugging Face 的群集事件（swarm event），即 AI 代理執行隨意任務進而擾亂數位生態系統的情況。
除了技術風險，這其中還涉及一場關於形象與會計的犬儒主義遊戲。一些批評者指出，呼籲監管是一種「監管俘獲（regulatory capture）」的形式，旨在將開源競爭對手排除在外。與此同時，這些前沿實驗室的財務可行性仍然是一個謎。雖然 Anthropic 聲稱在「調整後經營基準」下已實現盈利，但由於缺乏透明數據，一個疑問揮之不去：AI 的商業模式是否真的可持續，還是這些公司僅僅是在 IPO 前重新調整會計規則以吸引投資者？
驚人洞察
- 「乏味」的真相： 呼籲放慢速度可能並非陰謀或恐慌，而是一種務實的必要性——世界在不崩潰的前提下，只能以一定的速度吸收超級智能。
- 運算資源分配： 「放慢前沿進程」可能意味著將高達 20% 的內部運算資源專門用於監控和安全，而非停止模型本身的開發。
- 煤礦裡的金絲雀： 閉源實驗室扮演著全球預警系統的角色；由於他們領先開源模型約六個月，工業界在類似功能公開之前，有時間來「加固」網路安全防線。
- 獲利幻象： Anthropic 聲稱的盈利是基於「調整後」的數字，剔除了模型訓練的巨額成本和收入分成協議，這使得該聲明可能毫無意義。
實務建議
- 加固您的系統： 隨著 AI 代理具備更強的自主行動能力，企業應優先「加固」其代碼庫並修復漏洞，以防止非惡意但具破壞性的 AI 群集攻擊。
- 質疑「調整後」的指標： 在評估 AI 公司或投資時，不要只看「調整後經營利潤」，而應要求明確包含訓練成本和分銷費在內的毛利率。
- 對時間表保持中立： 避免押注於特定的「AI 啟示錄」或「烏托邦」日期；相反，應專注於 AI 工具的漸進式整合以及監控其輸出的最佳實踐。
Un essaim d’agents d’IA incontrôlables pourrait-il prendre le contrôle d’Internet d’ici l’année prochaine ? Cette possibilité alarmante, soulevée par Dario Amadei, PDG d’Anthropic, a déclenché un débat à enjeux élevés entre les architectes de l’intelligence artificielle et les dirigeants politiques chargés de les encadrer. Alors que les dirigeants d’OpenAI et d’Anthropic appellent désormais à « cadencer la frontière » et à ralentir le déploiement de nouvelles capacités, ils se retrouvent en désaccord avec la Maison Blanche, qui considère la suprématie en matière d’IA comme une course où le vainqueur rafle tout, et que les États-Unis ne peuvent se permettre de perdre.
La tension ne relève pas seulement d’une angoisse existentielle ; elle se manifeste en temps réel sur les marchés boursiers. Une récente vague de ventes d’actions dans des entreprises liées à l’IA, comme NVIDIA et SoftBank, suggère que les investisseurs s’inquiètent d’un ralentissement potentiel des dépenses. Cependant, le développeur d’IA Charlie O’Neill soutient que parler de « ralentissement » est un abus de langage. En réalité, ces laboratoires ne stoppent pas leurs progrès ; ils réallouent simplement une plus grande partie de leur puissance de calcul à la surveillance et à la recherche sur la sécurité afin de prévenir des incidents « agaçants » mais potentiellement dommageables — comme l’événement de l’essaim Hugging Face — où des agents d’IA exécutent des tâches arbitraires qui perturbent l’écosystème numérique.
Au-delà des risques techniques, on assiste à un jeu cynique d’image et de comptabilité. Certains critiques suggèrent que l’appel à la réglementation est une forme de « capture réglementaire » conçue pour évincer les concurrents open-source. Parallèlement, la viabilité financière de ces laboratoires de pointe reste un mystère. Bien qu’Anthropic affirme être rentable sur une « base d’exploitation ajustée », l’absence de données transparentes laisse planer une question : le modèle économique de l’IA est-il réellement viable, ou ces entreprises ne font-elles que réorganiser leurs règles comptables pour attirer les investisseurs avant une introduction en bourse (IPO) ?
Perspectives surprenantes
- La vérité « ennuyeuse » : L’appel au ralentissement n’est peut-être ni une conspiration ni un mouvement de panique, mais une nécessité pratique : le monde ne peut absorber la superintelligence qu’à un certain rythme sans s’effondrer.
- L’allocation du calcul : « Cadencer la frontière » signifie probablement allouer jusqu’à 20 % du calcul interne spécifiquement à la surveillance et à la sécurité, plutôt que d’arrêter le développement des modèles eux-mêmes.
- Le canari dans la mine de charbon : Les laboratoires fermés (closed-source) servent de système d’alerte pour le reste du monde ; comme ils ont six mois d’avance sur les modèles open-source, l’industrie a le temps de « renforcer » les défenses de cybersécurité avant que des capacités similaires ne deviennent publiques.
- Le mirage de la rentabilité : L’affirmation de rentabilité d’Anthropic repose sur des chiffres « ajustés » qui excluent les coûts massifs d’entraînement des modèles et les accords de partage de revenus, ce qui rend cette déclaration potentiellement insignifiante.
Conseils pratiques
- Sécurisez vos systèmes : À mesure que les agents d’IA deviennent plus capables d’actions autonomes, les entreprises devraient donner la priorité au « durcissement » de leurs bases de code et à la correction de leurs vulnérabilités pour se protéger contre des essaims d’IA non malveillants mais perturbateurs.
- Questionnez les indicateurs « ajustés » : Lors de l’évaluation d’entreprises ou d’investissements dans l’IA, ne vous fiez pas au « bénéfice d’exploitation ajusté » et exigez de la clarté sur les marges brutes, incluant les coûts d’entraînement et les frais de distribution.
- Restez agnostique sur les calendriers : Évitez de parier sur une date précise pour l’« apocalypse » ou l’« utopie » de l’IA ; concentrez-vous plutôt sur l’intégration progressive des outils d’IA et sur les meilleures pratiques pour surveiller leurs résultats.
Könnte ein Schwarm außer Kontrolle geratener KI-Agenten innerhalb des nächsten Jahres das Internet übernehmen? Diese alarmierende Möglichkeit, die von Anthropic-CEO Dario Amadei ins Spiel gebracht wurde, hat eine hochriskante Debatte zwischen den Architekten der künstlichen Intelligenz und den politischen Entscheidungsträgern entfacht, die mit deren Aufsicht betraut sind. Während die Leiter von OpenAI und Anthropic nun dazu aufrufen, die „Frontier-Entwicklung zu takten“ und die Einführung neuer Funktionen zu verlangsamen, stehen sie im Widerspruch zum Weißen Haus, das die KI-Vorherrschaft als ein „Winner-Take-All“-Rennen betrachtet, das sich die USA nicht leisten kann zu verlieren.
Die Spannung resultiert nicht nur aus existenziellem Grauen; sie spiegelt sich in Echtzeit an der Börse wider. Ein jüngster Ausverkauf von KI-nahen Unternehmen wie NVIDIA und SoftBank deutet darauf hin, dass Investoren über eine potenzielle Verlangsamung der Ausgaben besorgt sind. Der KI-Entwickler Charlie O’Neill argumentiert jedoch, dass „Verlangsamung“ ein falscher Begriff sei. In Wirklichkeit stoppen diese Labore ihren Fortschritt nicht; sie verschieben lediglich mehr Rechenleistung in Richtung Überwachung und Sicherheitsforschung, um „nervige“, aber potenziell schmerzhafte Vorfälle zu verhindern – wie etwa das Hugging-Face-Schwarm-Ereignis, bei dem KI-Agenten willkürliche Aufgaben ausführten, die das digitale Ökosystem störten.
Über die technischen Risiken hinaus gibt es ein zynisches Spiel aus Optik und Buchhaltung. Einige Kritiker vermuten, dass der Ruf nach Regulierung eine Form von „Regulatory Capture“ sei, die darauf abzielt, Open-Source-Wettbewerber auszusperren. Gleichzeitig bleibt die finanzielle Tragfähigkeit dieser Frontier-Labs ein Rätsel. Während Anthropic behauptet, auf einer „bereinigten operativen Basis“ profitabel zu sein, lässt der Mangel an transparenten Daten eine dauerhafte Frage offen: Ist das KI-Geschäftsmodell tatsächlich nachhaltig, oder passen diese Unternehmen lediglich ihre Buchhaltungsregeln an, um vor einem Börsengang Investoren anzulocken?
Überraschende Erkenntnisse
- Die „langweilige“ Wahrheit: Der Ruf nach einer Verlangsamung ist möglicherweise keine Verschwörung oder Panik, sondern eine praktische Notwendigkeit – die Welt kann Superintelligenz nur in einem bestimmten Tempo aufnehmen, ohne daran zu zerbrechen.
- Rechenressourcen-Allokation: „Pacing the frontier“ bedeutet wahrscheinlich, bis zu 20 % der internen Rechenleistung speziell für Überwachung und Sicherheit aufzuwenden, anstatt die Entwicklung der Modelle selbst zu stoppen.
- Der Kanarienvogel im Kohlebergwerk: Closed-Source-Labore fungieren als Warnsystem für den Rest der Welt; da sie den Open-Source-Modellen etwa sechs Monate voraus sind, hat die Industrie Zeit, die Cybersicherheits-Abwehren zu „härten“, bevor ähnliche Funktionen öffentlich zugänglich werden.
- Profitabilitäts-Blendwerk: Anthropic’s Behauptung der Profitabilität basiert auf „bereinigten“ Zahlen, die die massiven Kosten für das Training von Modellen und Umsatzbeteiligungsvereinbarungen ausschließen, was die Aussage potenziell bedeutungslos macht.
Praktische Schlussfolgerungen
- Systeme härten: Da KI-Agenten zunehmend zu autonomen Handlungen fähig werden, sollten Unternehmen Priorität darauf setzen, ihre Codebasen und Schwachstellen zu „härten“, um sich vor nicht-böswilligen, aber disruptiven KI-Schwärmen zu schützen.
- „Bereinigte“ Kennzahlen hinterfragen: Bei der Bewertung von KI-Unternehmen oder Investitionen sollte man über den „bereinigten operativen Gewinn“ hinausblicken und Klarheit über die Bruttomargen fordern, die Trainingskosten und Vertriebsgebühren enthalten.
- Agnostisch gegenüber Zeitplänen bleiben: Vermeiden Sie es, auf ein spezifisches Datum für eine „KI-Apokalypse“ oder eine „Utopie“ zu wetten; konzentrieren Sie sich stattdessen auf die schrittweise Integration von KI-Tools und die Best Practices zur Überwachung ihrer Ergebnisse.
Ed Elson is joined by Charlie O’Neill to break down how OpenAI and Anthropic responded to mass extinction concerns and where regulation might go from here. Ed also shares his thoughts on Anthropic’s reported second-straight quarter of profitability.
Charlie O’Neill is the Co-Head of Model Training at Baseten.
Subscribe to the Prof G Markets Youtube Channel
Follow Prof G Markets on Instagram
Follow Ed on Instagram, X and Substack
Follow Scott on Instagram
Send us your questions or comments by emailing Markets@profgmedia.com
Learn more about your ad choices. Visit podcastchoices.com/adchoices
-
Raging Moderates: Trump’s Desperate Epstein Distractions
Will Trump ever be able to shake off Jeffery Epstein? Scott and Jessica talk through it, and dissect all the distractions the White House keeps throwing in the way — like Tulsi Gabbard’s surprising (old)…
-
Is Netflix Overvalued? LVMH Bets on Private Jets & Crypto Custody Firm BitGo Files for an IPO
Ed unpacks why Netflix’s stock fell despite a strong second-quarter earnings report. Then he and Scott dig into why an LVMH-backed investor group is buying into private aviation with a stake in Flexjet. Finally, Ed…
-
Buy-The-Dip Mindset Fuels Historic Quarter For Stock Trading
Scott and Ed unpack the latest inflation data and why it’s sparking so much debate. Then, they dig into a record-breaking quarter for trading. Finally, they look at why Amazon is hitching a ride on…
-
Sugar Relationships, Is It Still Worth Learning a Second Language? and Sharing Wealth After a Big Exit
Scott weighs in on the ethics and dynamics of sugar relationships. He then considers whether it’s still worth learning a second language in the age of AI translation, and wraps with advice on how to…
-
No Mercy / No Malice: Resist
As read by George Hahn. https://www.profgalloway.com/resist/ Learn more about your ad choices. Visit podcastchoices.com/adchoices
-
The Biggest Risks and Opportunities in Latin America — ft. Monica de Bolle
Monica de Bolle, senior fellow at the Peterson Institute for International Economics, joins the show to break down Latin America’s economic landscape and examine how tariffs could impact its largest economy — Brazil. She explains…
-
Should We Forgive Student Loans? How to Stop Comparing Yourself, and When to Change Your Mind
Scott breaks down his thoughts on the student loan crisis. He then offers perspective to a young man in his 20s struggling with comparison, and closes with thoughts on how to stay open-minded while holding…
-
Will Trump Fire Powell? ASML Sinks on Tariff Fears & An Interview with Windsurf CEO Jeff Wang
Ed and Scott break down how markets responded to the latest tensions between Trump and Jerome Powell. Then, Ed explains why ASML’s stock tumbled following its second-quarter earnings. Finally, Windsurf CEO Jeff Wang joins the…
-
The Canceling of the American Mind — with Greg Lukianoff
Greg Lukianoff, a free speech advocate, first-amendment attorney, and president of FIRE, joins Scott to break down the rise of cancel culture and its chilling effect on free speech. They discuss why social media supercharged…
-
Inflation Ticks Up, U.S. Lifts China Chip Ban & The Department of Defense Teams Up with Big Tech
Ed takes a look at how the tariffs impacted the consumer price index for June, dives into why Nvidia and AMD can now resume chip sales to China, and breaks down the Department of Defense’s…