Ein neues Medikament wird nicht zugelassen, während der Hersteller zugibt, die Nebenwirkungen noch gar nicht übersehen zu können. Ein Kernkraftwerk geht nicht ohne Notabschaltung ans Netz. Nur bei der Künstlichen Intelligenz (KI) akzeptieren die Demokratien des Westens, angeführt von einem gerontokratischen – also in die Jahre gekommenen – Tech-Dilettanten im Weißen Haus, die aberwitzige Umkehrung des Vorsorgeprinzips: Erst bauen, dann testen; erst verbreiten, dann regulieren; erst sehen, was passiert, dann hoffen, dass man es zur Not zurückholen kann.
Hemdsärmelige Begründung von Donald Trump (80): Wer jetzt auf die Bremse tritt, überlässt China die Poleposition im Rennen um die Superintelligenz. Damit ist eine KI gemeint, die schneller, wissender und kreativer als Menschen bei nahezu jeder denkbaren geistigen Aufgabe ist.
Auch interessant
Anthropic: Warnung direkt aus dem Maschinenraum der Industrie
Aktuelle Ereignisse mit Seltenheitswert haben die greisenhaft sorglose Antwort des US-Präsidenten ad absurdum geführt. Da ist zunächst Jacob Coxon. Der 27-Jährige hat just beim KI-Riesen Anthropic gekündigt. Sein Warnruf aus dem Maschinenraum der Branche wurde 150 Millionen Mal in den sozialen Medien geklickt, auch weil er apokalyptisch hoch zwei klingt. Danach könnten die in immer kürzeren Abständen immer intelligenter werdenden KI-Systeme durch angesteuerte Selbstoptimierung die Auslöschung der Menschheit besiegeln – noch in diesem Jahrzehnt.

Coxon erhielt von einem Vorgesetzten Flankenschutz. Evan Hubinger, bei Anthropic für die Forschung über Kontrollverlust, versteckte Zielsetzungen und gefährliches Fehlverhalten fortgeschrittener KI-Systeme zuständig, beziffert die Wahrscheinlichkeit, dass KI in den kommenden zehn Jahren ein Armageddon auf der Erde auslöst, auf mehr als zehn Prozent. Das ist natürlich keine naturwissenschaftlich messbare Wahrscheinlichkeit. Aber genau darin liegt das Problem: Da ist eine Technologie mit zivilisationsweiter Wirkung im Aufbau, deren Risiko nicht einmal ihre Erfinder seriös taxieren können. Darum müsste Hubingers Zahl normalerweise die vor der Tür stehende Generalversammlung der Vereinten Nationen in New York dominieren und eine akute supranationale Gegenstrategie auslösen – aber still ruht der See.
Auch interessant
Lichtjahre hinter der Entwicklung
Obwohl anerkannte und preisgekrönte Praktiker wie Geoffrey Hinton und Demis Hassabis bereits vor drei Jahren dafür warben, das Risiko einer Auslöschung durch KI so ernst zu nehmen wie einen Atomkrieg, hinken nationale Entscheidungsträger im Westen der Entwicklung Lichtjahre hinterher.
News aus den USA
Selbst als Anthropic-Boss Dario Amodei am Wochenende eine radikale Entschleunigung des atemberaubenden Tempos bei der KI-Entwicklung verlangte und davor warnte, dass andernfalls Schwärme außer Kontrolle geratener KI-Agenten schon in sechs Monaten das komplette Internet übernehmen könnten, herrschte irritiertes Achselzucken. Dabei pflichteten Elon Musk (Grok) und Sam Altman (ChatGPT) Amodei ausdrücklich bei.
Sie wissen um die Gefahr realen Unheils. So fand Anthropic heraus, dass seine Programme den Bau von biologischen Waffen erleichtern, Cyberangriffe durchführen oder autonom gegen die Absichten ihrer Betreiber handeln könnten. An anderer Stelle wurde Anthropics Hauptwerkzeug „Claude“ zur Entwicklung von Raketensteuerungen, Drohnenschwärmen und militärischer Software missbraucht.
KI-Chefs wollen Regulierung – das muss auch Europa Sorgen machen
Dass Amodei, Altmann und Musk vor den potenziell katastrophalen Fähigkeiten ihrer „Babys“ warnen und um global-staatliche Regulierung betteln, ist ein einmaliger Vorgang, der auch das europäische und innerdeutsche Selbstgespräch dominieren müsste.

Mit der Konsequenz eines international auch mit autoritären Staaten anzustrebenden KI-Moratoriums, also einer vorübergehenden Pause, vorrangig beim Training jener Frontier-Systeme, die kritische Schwellen bei Autonomie, Cyberfähigkeit, biologischer Forschung und Selbstverbesserung überschreiten – und zwar so lange, bis unabhängige Prüfer ihre Kontrollier- und Abschaltbarkeit bestätigen können.
USA und China müssten sich gegenseitig kontrollieren
Trainingsläufe oberhalb einer festgelegten Rechenleistung müssten demnach genehmigungspflichtig und die Rechenzentren sowie die dort zum Einsatz kommenden Hochleistungschips registriert werden. Gefährliche Fähigkeiten müssten vor der Freigabe für die Öffentlichkeit extern getestet und Sicherheitsvorfälle generell meldepflichtig werden.
Auch interessant
Washington und Peking, die beiden großen KI-Treiber, müssten sich gegenseitige Kontrollen abringen – und zu jener spiegelbildlichen Rüstungskontrolle kommen, mit der die Todfeinde USA und UdSSR einst verhinderten, dass ihr nukleares Wettrennen sie gemeinsam vernichtete. Eine globale Inspektionsstruktur nach Vorbild der Atomaufsichtsbehörde in Wien ist alternativlos. Denn die Unbequemlichkeit der Kontrolle kann nicht schwerer wiegen als die Möglichkeit eines irreversiblen Kontrollverlusts. Um die Menschheit vor dem Rennen zur Superintelligenz zu ertüchtigen, muss ein neues Gleichgewicht des Schreckens her – diesmal mit Rechenzentren statt Raketensilos.









