a16z Podcast

Warum sollte man sich ausschließlich auf die Wahrscheinlichkeit des Untergangs konzentrieren, wenn wir stattdessen die Wahrscheinlichkeit von Überfluss berechnen könnten? Dies ist die zentrale Provokation von Eddie Lazarin, der argumentiert, dass die aktuelle Besessenheit vom „KI-Safetyismus“ oft eher wie eine religiöse oder philosophische Übung wirkt als wie eine technische. Er legt nahe, dass das Narrativ einer superintelligenten KI, die sich plötzlich gegen die Menschheit wendet, auf einer prekären „Treppe“ von Annahmen beruht. Dabei werde ignoriert, dass wir bereits heute hochfähige, nicht-ausgerichtete Entitäten – wie Konzerne und Nationalstaaten – mithilfe von Gesetzen, Kryptografie und Marktmechanismen steuern.

Lazarin behauptet, dass viele der „alarmierenden“ KI-Vorfälle, die von den sogenannten „Doomers“ zitiert werden, in Wahrheit banale Fehler in der Cybersicherheit und Kontrolle sind und keine Vorboten einer entstehenden Superintelligenz. Er vertritt die Ansicht, dass die Lösung nicht darin besteht, die Entwicklung zu pausieren – was er als bequeme Inszenierung betrachtet –, sondern sie zu beschleunigen. Da KI-Systeme grundsätzlich interpretierbarer sind als die „Black Box“ des menschlichen Gehirns, wird die Steigerung ihrer Fähigkeiten wahrscheinlich zu einer besseren mechanistischen Interpretierbarkeit führen, was uns wiederum den Aufbau robusterer Kontrollmechanismen ermöglicht.

Die Diskussion befasst sich zudem mit der Soziologie der KI-Debatte, insbesondere mit dem Einfluss des Effektiven Altruismus (EA) und dem Risiko einer „verteilten“ statt einer „dezentralen“ Kontrolle. Lazarin warnt davor, dass die Schaffung von Netzwerken „unabhängiger Evaluatoren“ eine Fassade sein kann, wenn diese Evaluatoren alle demselben engen kulturellen und ideologischen Milieu angehören. Letztlich sieht er die aktuelle Spannung als Kollision zwischen Nischen-Subkulturen des Silicon Valley und der breiteren politischen Realität und prognostiziert eine vollständige Erneuerung des KI-Diskurses, sobald diese Ideen sich auf dem freien Markt bewähren müssen.

Überraschende Erkenntnisse

• Verteilt vs. Dezentral: Ein System kann viele Knotenpunkte haben (verteilt), aber dennoch von einer einzigen kulturellen oder ideologischen Einheit gesteuert werden. Das bedeutet, dass „unabhängige“ Sicherheitsräte in ihrem Denken tatsächlich monolithisch sein könnten.


• Der „Gottheits“-Fehlschluss: Die Suche nach perfektem „Alignment“ (Ausrichtung) wird mit dem Versuch verglichen, eine Gottheit neu zu entwerfen; Lazarin argumentiert, dass es praktischer sei, Sicherheit in der realen Welt durch Cybersicherheit und Resilienz zu verankern.


• Fähigkeiten als Lösung: Anstatt ein Risiko zu darstellen, wird die Steigerung der KI-Fähigkeiten als Voraussetzung für Sicherheit angesehen, da intelligentere Modelle benötigt werden, um „flache Bugs“ und Kontrollfehler in anderen Systemen zu finden.


• Iterierte Spiele für Vertrauen: Da man eine KI nicht ins Gefängnis stecken kann, besteht der beste Weg im Umgang mit „Lügner-Modellen“ darin, menschliche soziale Rahmenbedingungen anzuwenden: das Spielen iterierter Spiele, um im Laufe der Zeit einen Ruf der Vertrauenswürdigkeit aufzubauen.

Praktische Ableitungen

• Den Rahmen verschieben: Trennen Sie bei der Bewertung von KI-Risiken „existenzielle/philosophische“ Ängste von Fehlern der „Cybersicherheit/Kontrolle“, um festzustellen, ob ein Problem ein neues Gesetz oder einfach eine bessere Firewall erfordert.


• Robustheit vor Alignment priorisieren: Konzentrieren Sie sich auf den Aufbau resilienter Systeme, die einem fähigen Gegner standhalten können, anstatt davon auszugehen, dass man die internen Werte eines Modells perfekt ausrichten kann.


• Evaluatoren diversifizieren: Wenn Sie einen Sicherheits- oder Prüfungsausschuss einrichten, stellen Sie sicher, dass die Mitglieder aus verschiedenen sozialen, politischen und beruflichen Hintergründen stammen, um die Falle der „verteilten Monolithen“ zu vermeiden.


• Iterative Bereitstellung nutzen: Setzen Sie auf konsistente, inkrementelle Veröffentlichungen, um eine „Reputation“ für Modelle zu etablieren. So können Nutzer Vertrauen basierend auf beobachtetem Verhalten statt auf theoretischen Garantien entwickeln.