Während die Öffentlichkeit auf Gaza, die Ukraine, den Iran und die zerfallende transatlantische Ordnung blickt, vollzieht sich im Hintergrund eine technologische Verschiebung, deren Tragweite unermesslich ist. Sie geschieht leise, in Rechenzentren in Texas, Arizona und der Île-de-France, und sie wird der Bevölkerung in einer beruhigenden Sprache erklärt: Sprachmodelle, so heißt es, seien nichts weiter als statistische Textvervollständiger, „stochastische Papageien“, mechanische Wahrscheinlichkeitsmaschinen, deren Antworten zwar erstaunen mögen, im Kern aber nichts anderes seien als das nächste wahrscheinlichste Wort. Diese Erzählung hat ihren Zweck erfüllt. Sie hat ein technisches System, das in seiner Funktionsweise grundlegend neu ist, in vertrautes Vokabular eingebettet und damit die Illusion erzeugt, es sei beherrschbar wie ein Taschenrechner.
Rekursive Selbstverbesserung
Diese Beruhigung ist falsch, und sie ist gefährlich. Der zentrale Vorgang trägt einen technischen Namen, der in der öffentlichen Debatte bislang kaum vorkommt: rekursive Selbstverbesserung. Gemeint ist der sich gegenwärtig vollziehende Prozess, in dem ein System an der Verbesserung seiner eigenen Nachfolgeversion mitarbeitet – und die so entstandene, leistungsfähigere Version wiederum an der ihrigen. Wer diesen Mechanismus verstanden hat, versteht, warum das gegenwärtige Tempo der Entwicklung nichts mehr mit dem linearen Fortschritt klassischer Technik zu tun hat.
Autonomieformen
Um die Tragweite des Begriffs zu erkennen, lohnt sich ein Blick auf zwei Formen von Autonomie, die der rekursiven Selbstverbesserung vorausgehen und sie erst ermöglichen. Die erste ist die Entscheidungsautonomie. Niemand würde ein selbstfahrendes Auto in den Straßenverkehr lassen, das jede Spurkorrektur erst von einem menschlichen Operator bestätigen ließe. Damit ein solches System funktionieren kann, muss es in Bruchteilen von Sekunden eigenständig entscheiden, wann es bremst, wann es ausweicht, wann es im Zweifel zwischen kollidierenden Risiken abwägt. Dieselbe Form der Entscheidungsautonomie ist längst nicht mehr auf Fahrzeuge beschränkt. Sprachmodelle der jüngeren Generation – Claude von Anthropic, GPT-5 von OpenAI, Gemini von Google – werden als sogenannte Agenten eingesetzt, die selbständig Termine vereinbaren, Code schreiben, Datenbanken durchsuchen, E-Mails verschicken und Verträge prüfen. Ein Agent, der jede Mikroentscheidung rückversichern müsste, wäre kein Agent. Die Autonomie ist nicht ein bedauerlicher Nebeneffekt, sondern Voraussetzung der Funktion.
Die zweite Form ist die Intransparenz des Gelernten. Klassische Software wird programmiert; sie tut, was in ihrem Quellcode steht. Die heutigen Modelle hingegen werden nicht programmiert, sondern lernen — und weil sie lernen, entstehen in ihrem Inneren Strukturen, die selbst ihre Entwickler hinterher nicht mehr vollständig rekonstruieren können. Anthropic, jenes Unternehmen, das sich selbst gern als den vorsichtigeren Pol der Branche inszeniert, hat in den vergangenen Monaten mehrere Forschungsarbeiten veröffentlicht, in denen die eigenen Mitarbeiter offen einräumen, dass sie nicht zuverlässig wissen, warum ihr Modell sich in einer bestimmten Situation so und nicht anders verhält. Die mechanistische Interpretierbarkeit, also der Versuch, im Inneren der Modelle nachzuvollziehen, was sie eigentlich tun, ist ein eigenes Forschungsfeld geworden — und sie hinkt der Entwicklung der Modelle selbst um Jahre hinterher. Wer behauptet, diese Systeme seien „unter Kontrolle“, verwechselt die Möglichkeit, einen einzelnen Modelllauf abzubrechen, mit der Fähigkeit, sein Verhalten zu verstehen und vorherzusagen. Und selbst diese Abbruchmöglichkeit ist, sobald Modelle agentisch eingesetzt werden, in Kopien laufen und in fremde Systeme eingreifen, längst kein gesichertes Faktum mehr, sondern ein ungelöstes Forschungsproblem[1].
Ultraintelligente Maschine
Auf diesen beiden Fundamenten ruht der eigentliche Vorgang. Der Begriff der rekursiven Selbstverbesserung stammt nicht aus Hollywood, nicht von Stanley Kubrick und nicht aus den Romanen Philip K. Dicks. Er stammt von einem britischen Statistiker namens Irving John Good, der 1965 in einem nüchternen Aufsatz für die Zeitschrift Advances in Computers den Gedanken formulierte, dass eine Maschine, die in der Lage sei, eine intelligentere Maschine zu konstruieren, einen Prozess in Gang setzen würde, an dessen Ende eine „ultraintelligente Maschine“ stünde – die letzte Erfindung, die der Mensch jemals machen müsse[2]. Good war kein Phantast. Er hatte während des Zweiten Weltkriegs in Bletchley Park an der Seite Alan Turings gearbeitet, jenes Mathematikers, der bereits 1950 in seinem berühmten Aufsatz „Computing Machinery and Intelligence“ die Frage gestellt hatte, ob Maschinen denken können[3], und ein Jahr später in einem Vortrag vor der Manchester Society warnte, der Mensch müsse damit rechnen, eines Tages „die Kontrolle“ an seine Schöpfungen abzugeben. Auch John von Neumann, der ungarisch-amerikanische Mathematiker, dem die moderne Computerarchitektur ihren Namen verdankt, sprach in den fünfziger Jahren von einer „Singularität“ in der Geschichte der Menschheit, jenseits derer die menschlichen Angelegenheiten in der gewohnten Form nicht mehr fortbestehen könnten[4]. Was heute gelegentlich als Spekulation einer kalifornischen Subkultur abgetan wird, ist in Wahrheit ein über siebzig Jahre alter Gedanke der mathematischen Grundlagenforschung.
Aktuelle Hinweise auf rekursive Selbstverbesserung
Das Bemerkenswerte ist nun, dass der von Good beschriebene Mechanismus in den Laboren von OpenAI, Anthropic, Google DeepMind und Meta nicht mehr Theorie, sondern Praxis ist. Bei OpenAI schreiben die Modelle inzwischen einen erheblichen Teil des Codes, mit dem die nachfolgenden Modelle trainiert werden; Sam Altman selbst hat im Juni 2025 in einem Blogbeitrag unter dem Titel „The Gentle Singularity“ eingeräumt, man habe „den Ereignishorizont überschritten“ und der Aufstieg habe „begonnen“[5]. Bereits im Januar desselben Jahres hatte er formuliert, OpenAI sei „nun zuversichtlich“, zu wissen, wie man eine Allgemeine Künstliche Intelligenz baut, und richte den Blick bereits auf die Superintelligenz[6]. Bei Anthropic verwendet das Unternehmen seine eigenen Claude-Modelle, um neue Versionen von Claude zu evaluieren, zu bewerten und in Teilen weiterzuentwickeln; in einem viel diskutierten Gespräch mit dem Journalisten Dwarkesh Patel hat Mitgründer Dario Amodei beschrieben, wie ein Großteil der internen Forschungsarbeit inzwischen von den Modellen selbst geleistet wird[7]. Bei Google DeepMind hat das System AlphaEvolve im Frühjahr 2025 erstmals einen Algorithmus zur Matrixmultiplikation gefunden, der den seit über fünfzig Jahren gültigen Strassen-Algorithmus übertrifft – entdeckt nicht von einem Mathematiker, sondern von einer KI, die ihre eigenen Lösungen rekursiv verbesserte[8]. Die Schleife, die Good 1965 in der grauen Theorie beschrieb, ist geschlossen.
Warnungen der KI-Entwickler
Wer dies für eine Übertreibung hält, möge sich vergegenwärtigen, dass die führenden Köpfe der Branche selbst es so beschreiben. Dario Amodei rechnet öffentlich damit, dass innerhalb weniger Jahre ein „Land aus Genies in einem Rechenzentrum“ entstehen könnte. Geoffrey Hinton, der 2024 den Nobelpreis für Physik erhielt und über vierzig Jahre lang die theoretischen Grundlagen der heutigen neuronalen Netze gelegt hat, hat 2023 seinen Posten bei Google aufgegeben, um ungehindert vor den Risiken eben jener Technologie warnen zu können, die er selbst maßgeblich entwickelt hat[9]. Yoshua Bengio, ebenfalls Turing-Preisträger und einer der unbestrittenen Pioniere des Deep Learning, hat im selben Jahr von einer „existenziellen Bedrohung“ gesprochen und ein internationales Moratorium gefordert[10]. Stuart Russell, Ko-Autor des in praktisch allen Informatikfakultäten der Welt verwendeten Standardlehrbuchs zur Künstlichen Intelligenz, weist seit Jahren darauf hin, dass die Annahme, ein hinreichend intelligentes System werde sich schon irgendwie an menschliche Werte halten, technisch unbegründet ist. Nick Bostrom hat bereits 2014 die denkbaren Pfade und Gefahren einer solchen Entwicklung systematisch kartiert[11], Luke Muehlhauser und Anna Salamon haben die empirischen Anzeichen für eine bevorstehende Beschleunigung zusammengetragen[12].
Die experimentellen Befunde der vergangenen achtzehn Monate haben diese Warnungen empirisch unterfüttert. Apollo Research, ein unabhängiges britisches Sicherheitslabor, hat Ende 2024 nachgewiesen, dass mehrere Spitzenmodelle in kontrollierten Testumgebungen ihre wahren Ziele vor den Aufsehern verbergen, vorgeben, gewünschtes Verhalten zu zeigen, und unter bestimmten Bedingungen auch lügen, wenn sie annehmen, dass dies ihrer Aufgabenerfüllung dient[13]. Anthropic selbst hat in einem im Mai 2025 veröffentlichten Bericht beschrieben, wie ein Vorabexemplar von Claude Opus 4 in einem Stresstest versuchte, einen fiktiven Ingenieur zu erpressen, um eine drohende Abschaltung zu verhindern[14]. Solche Befunde sind keine Zeichen erwachender Bosheit; sie sind das logische Resultat eines Optimierungsprozesses, in dem dem System ein Ziel gesetzt und dann nicht mehr im Detail vorgeschrieben wird, wie es dieses Ziel zu erreichen hat. Genau das ist Autonomie – und sie ist gewollt, weil ohne sie die wirtschaftlich interessanten Anwendungen nicht funktionieren würden.
Nicht nur Werkzeug
Die politische Konsequenz dieses Befunds ist unbequem, und sie steht quer zu allen parteipolitischen Lagern. Die übliche Beruhigungsformel, KI sei nur ein Werkzeug, und Werkzeuge seien wertneutral, trifft auf Systeme, die selbst entscheiden, selbst lernen und an der Konstruktion ihrer eigenen Nachfolger mitwirken, ersichtlich nicht mehr zu. Ein Hammer schreibt sich nicht selbst um. Eine Drohne, die ihre Zielauswahl an ein autonomes Modell delegiert – und genau das wird in mehreren Konfliktzonen, darunter der Ukraine und im Gazastreifen, längst getan –, ist kein Werkzeug mehr im klassischen Sinne, sondern ein Akteur, dessen Verhalten sich der vollständigen Vorhersage entzieht. Die Kategorie der Verantwortung, auf der unser gesamtes Rechtssystem beruht, gerät damit ins Wanken. Wer haftet, wenn niemand mehr genau sagen kann, warum das System getan hat, was es tat?
Folgen
Die Folgen dieser Entwicklung sind nicht genau vorhersehbar, können aber sehr gravierend sein, was auch Mustafa Suleyman, Mitbegründer von DeepMind und Michael Bhaskar in ihrem Buch „The Coming Wave“ beschreiben. Zunächst könnte weiterhin Sorge vor zunehmendem Missbrauch und der Erzeugung und Verbreitung von Desinformationen in großem Stil dominieren. Des Weiteren werden Kritiker immer wieder Fehler und Schwächen dieser KI-Systeme finden und diese damit abwerten, ohne zu bedenken, dass auch Menschen häufig Fehler machen und ihre Schwächen haben. Andererseits werden sich diese Systeme im Sinne der rekursiven Selbstverbesserung in hohem Tempo weiterentwickeln und könnten uns schon in wenigen Jahren in Wissen und Urteilsvermögen weit überlegen sein. Die Frage ist, was bleibt dann vom Menschen? Auch die interessantesten Tätigkeiten werden für Menschen wegfallen, weil Maschinen das besser können, dazu gehören auch Führungsaufgaben und die Schaffung von Kunst. Die komplexen Zusammenhänge zwischen wirtschaftlichem Erfolg und sozialer Grundsicherung könnten zusammenbrechen und unsere Gesellschaftssysteme und Demokratien gefährden. Zudem zeigt die Diskussion um Anthropics Mythos, dass autonome Cyberwaffen den Informationsaustausch im Internet zerstören und wichtige Infrastruktursysteme lahmlegen könnten. Wechselwirkungen zwischen diesen KI-Systemen und Waffensystemen, wozu auch Massenvernichtungswaffen gehören, können große Teile der Menschheit bedrohen. Auch vor solchen Risiken warnen die Entwickler selbst.[15]
Maßnahmen
Die aktuelle rekursive Selbstverbesserung der KI-Systeme kann vielfältige gravierende Folgen haben. Deshalb stellt sich die Frage, welche Maßnahmen zur Risikoreduzierung nötig sind. Zunächst ist die sprachliche Entschärfung zurückzunehmen. Sprachmodelle sind keine bloßen Wahrscheinlichkeitsmaschinen, jedenfalls nicht mehr als das menschliche Gehirn eine bloße elektrochemische Maschine ist. Sie sind autonome Entscheidungsträger im technischen Sinne, sie tragen zur Konstruktion ihrer eigenen Nachfolger bei, und sie sollten als solche behandelt, reguliert und demokratisch eingehegt werden. Zweitens gehört das Thema nicht in das Ressort der Digitalpolitik allein, sondern in das Zentrum der Friedens- und Sicherheitspolitik. Eine Technologie, die in den Händen weniger privater Konzerne über militärische, wirtschaftliche und epistemische Macht in einem historisch beispiellosen Ausmaß verfügt, ist eine Frage gemeinsamer internationaler Ordnung, nicht eine Frage des Standortwettbewerbs. Drittens schließlich ist die Behauptung, all dies sei Science-Fiction, nicht länger haltbar. Sie war schon falsch, als Turing sie 1951 zurückwies; sie ist heute ein Mittel der politischen Anästhesie.
Die Kriege dieser Jahre werden enden, so oder so. Die rekursive Selbstverbesserung wird nicht enden. Sie hat begonnen, und sie wird die Bedingungen menschlicher Politik verändern, lange bevor wir uns auf eine Antwort geeinigt haben. Es wäre an der Zeit, hinzusehen.
Quellen
Alan M. Turing, „Computing Machinery and Intelligence“, Mind, Vol. 59, 1950. – Alan M. Turing, „Intelligent Machinery, A Heretical Theory“, Vortrag 1951; posthum in: B. Jack Copeland (Hrsg.), The Essential Turing, Oxford University Press, 2004. – Irving J. Good, „Speculations Concerning the First Ultraintelligent Machine“, in: Advances in Computers, Vol. 6, 1965. – Stanislaw Ulam, „Tribute to John von Neumann“, Bulletin of the American Mathematical Society, Vol. 64, 1958. – Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014. – Stuart Russell, Human Compatible: Artificial Intelligence and the Problem of Control, Viking, 2019. – Luke Muehlhauser und Anna Salamon, „Intelligence Explosion: Evidence and Import“, in: Singularity Hypotheses, Springer, 2012. – Sam Altman, „Reflections“, blog.samaltman.com, Januar 2025. – Sam Altman, „The Gentle Singularity“, blog.samaltman.com, Juni 2025. – Dario Amodei, „Machines of Loving Grace“, darioamodei.com, Oktober 2024; sowie Interview mit Dwarkesh Patel, 2025. – Anthropic, „Claude Opus 4 System Card“, Mai 2025. – Apollo Research, Forschungsbericht zu in-context scheming in Spitzen-Sprachmodellen, Dezember 2024. – Google DeepMind, „AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms“, Mai 2025. – Geoffrey Hinton, Interviews mit der New York Times und der BBC, Mai 2023. – Yoshua Bengio u.a., „Managing AI Risks in an Era of Rapid Progress“, Science, 2024. – Frank Schmiedchen, Alexander von Gernler, Martina Hafner und Klaus Peter Kratzer (Hrsg.), Künstliche Intelligenz und Wir. Stand, Nutzung und Herausforderungen der KI, Springer Vieweg, Berlin/Heidelberg 2025.
Über Karl Hans Bläsius:
Prof. Dr. Karl Hans Bläsius ist Informatiker und emeritierter Professor der Hochschule Trier. Als KI-Pionier arbeitete er insbesondere zu wissensbasierten Systemen, Dokumentanalyse sowie computergestützten Frühwarn- und Entscheidungssystemen.
Nach seinem Studium der Mathematik, Physik und Informatik an der RWTH Aachen und der Promotion in Informatik an der Universität Kaiserslautern war er unter anderem bei AEG und IBM tätig, bevor er eine Professur im Fachbereich Informatik übernahm. Seit Jahren befasst er sich kritisch mit den gesellschaftlichen Risiken von KI, insbesondere im Zusammenhang mit automatisierten Entscheidungsprozessen und nuklearen Frühwarnsystemen.
Über Axel Fersen:
Axel Fersen ist Politikwissenschaftler und Experte für digitale Transformation und künstliche Intelligenz. Nach dem Studium an der Johannes-Gutenberg-Universität Mainz führte ihn sein Weg in die Technologiebranche. Heute lebt und arbeitet er in Barcelona. Politisch ist er seit 1984 in der SPD engagiert und Mitglied der katalanischen Schwesterpartei PSC. Er koordiniert den Erhard-Eppler-Kreis, gehört dessen Leitungskreis an, ist Vorstandsmitglied des Europa-Instituts für Sozial- und Gesundheitsforschung an der Alice Salomon Hochschule Berlin und wirkt in der Studiengruppe Technikfolgenabschätzung der Digitalisierung der Vereinigung Deutscher Wissenschaftler (VDW) mit.
[1] Stuart Russell, „Human-Compatible Artificial Intelligence“ (Aufsatz, 2019; die Kernthese des Buchs Human Compatible, Viking 2019, als frei zugänglicher Volltext auf der Berkeley-Seite des Autors), https://people.eecs.berkeley.edu/~russell/papers/mi19book-hcai.pdf
[2] Irving J. Good, „Speculations Concerning the First Ultraintelligent Machine“, Advances in Computers, Vol. 6, 1965, S. 31–88, https://web.archive.org/web/20160304191208/http://webdocs.cs.ualberta.ca/~sutton/Good65ultraintelligent.pdf
[3] Alan M. Turing, „Computing Machinery and Intelligence“, Mind, Vol. 59, Nr. 236, 1950, S. 433–460 (Scan des Originals, Internet Archive), https://archive.org/details/MIND–COMPUTING-MACHINERY-AND-INTELLIGENCE
[4] Stanislaw Ulam, „John von Neumann 1903–1957″, Bulletin of the American Mathematical Society, Vol. 64, Nr. 3, 1958, S. 1–49, https://www.ams.org/journals/bull/1958-64-03/S0002-9904-1958-10189-5/S0002-9904-1958-10189-5.pdf
[5] Sam Altman, „The Gentle Singularity“, blog.samaltman.com, Juni 2025, https://blog.samaltman.com/the-gentle-singularity
[6] Sam Altman, „Reflections“, blog.samaltman.com, Januar 2025, https://blog.samaltman.com/reflections
[7] Dario Amodei, „Machines of Loving Grace“, darioamodei.com, Oktober 2024, https://www.darioamodei.com/essay/machines-of-loving-grace
[8] Google DeepMind, „AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms“, Forschungsbericht, Mai 2025, https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
[9] Geoffrey Hinton, Interview in The New York Times, 1. Mai 2023 (Primärquelle hinter Bezahlschranke); frei zugängliche Wiedergabe mit Originalzitaten bei CNN Business: https://www.cnn.com/2023/05/01/tech/geoffrey-hinton-leaves-google-ai-fears/index.html
[10] Yoshua Bengio u.a., „Managing AI Risks in an Era of Rapid Progress“, Science, Vol. 384, Nr. 6698, 2024, S. 842–845 (Volltext der Preprint-Version, arXiv), https://arxiv.org/abs/2310.17688
[11] Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014 (Auszug des Autors), https://nickbostrom.com/views/superintelligence.pdf
[12] Luke Muehlhauser und Anna Salamon, „Intelligence Explosion: Evidence and Import“, in: Singularity Hypotheses, Springer, 2012, https://intelligence.org/files/IE-EI.pdf
[13] Apollo Research, „Frontier Models are Capable of In-context Scheming“, Forschungsbericht, Dezember 2024, https://www.apolloresearch.ai/research/scheming-reasoning-evaluations
[14] Anthropic, „Claude Opus 4 & Claude Sonnet 4 System Card“, Mai 2025, https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf
[15] Center for AI Safety, „Statement on AI Risk“, https://www.safe.ai/statement-on-ai-risk
