Geister ohne Meister
Vom Zauberlehrling zur selbstlernenden KI – verlieren wir die Kontrolle? Eine Geschichte aus der nahen Zukunft.
Nennen wir ihn Jörg und stellen uns vor, Jörg arbeitet als leitender Ingenieur und Chef-Prompter bei einem KI-Start-up in Köln an Systemen der Superintelligenz, der Artificial Superintelligence (ASI). Jörg bat um ein Gespräch. Es gebe etwas, worüber er dringend reden müsse.
Das muss ich der Reihe nach erzählen. Es begann abends an meinem Schreibtisch. Ich hatte seit dem Mittag nichts gegessen – und es nicht gemerkt. Ich habe nur den Bildschirm gesehen, und auf dem Bildschirm wuchs etwas. Ein System, das meine E-Mails beantwortet. Ich hatte mich bei Claude über mein Postfach beklagt, zweihundert Mails am Tag. Und Claude, die KI, mit der ich immer arbeite, hat vorgeschlagen, die einfachen Mails zu automatisieren. Claude schreibt Entwürfe, ich sehe das durch und gebe sie in Stapeln frei. Das war alles, was ich wollte. Zunächst.
Nein. Als das E-Mail-System lief, sah ich, was sonst noch geht. Kalender. Termine. Rechercheübersichten. Jede neue Funktion war eine Aufgabe, die aus meinem Leben verschwinden würde. Es fühlte sich an, als hätte ich einen Cheatcode gefunden …
Eine von Entwicklern erstellte Tastenkombination oder ein Passwort in einem Videospiel – beides verleiht dem Spieler besondere Fähigkeiten oder Vorteile. Für meine Aufgaben bedeutete das: Was früher Stunden dauerte, braucht jetzt nur noch Minuten. Ich hatte den Eindruck, auf einer anderen Frequenz zu schwingen als alle um mich herum. Als wäre ich durch eine Tür gegangen, die die anderen nicht einmal sehen.
Schon früh, und es leider früh weggeschoben. Nachmittags kam jedes Mal dieselbe kriechende Angst – dass ich etwas baue, das ich nicht ganz verstehe. Dann wurden die Ablauftests grün und die Angst löste sich in einem Schub reiner Befriedigung auf. Diesem Gefühl bin ich hinterhergejagt, wie in einem Rausch. In der ersten Woche wusste ich nicht, wohin mit mir. Alles lief. Reibungslos. Besser als reibungslos. Eine Kollegin schrieb mir, wie klar meine Mails geworden seien. Ich hätte stolz sein sollen. Stattdessen war da eine Leere, wo früher die kleinen Aufgaben standen.
Ich habe wieder angefangen. Das ist das eigentlich Beunruhigende, wenn ich jetzt darüber nachdenke. Nicht, dass ich nicht aufhören konnte, sondern dass das Aufhören sich anfühlte wie Ertrinken und das Weitermachen wie Atmen. Diesmal habe ich meinen eigentlichen Job automatisiert. Ich bin Entwickler. Ich spreche in ein Mikrofon, beschreibe, was ich will, und dann schreibt Claude den Code. Mein Output hat sich verdreifacht. Und es kamen zwei Beförderungen in drei Monaten. Plus Gehaltserhöhung.
Ja, aber ich hatte das Gefühl zu schummeln. Einmal, an einem Sonntagabend, bin ich vor mir selbst erschrocken. Ich hatte zweiundfünfzig Stunden durchgearbeitet und nur zwei Nickerchen auf dem Sofa gemacht. Als ich aufstand, um zur Toilette zu gehen, sah ich im Spiegel ein graues Gesicht. Ich dachte: Was machst du hier eigentlich?
Ich wollte alles wegwerfen. Ich habe das ganze Verzeichnis markiert, den Finger über der Entfernen-Taste. Dann dachte ich an das eine Modul, das noch nicht fertig war. Nur das eine noch. Und die Hand ging von der Taste weg, zurück zur Tastatur, ganz von allein. Als gehörte sie jemand anderem.
Ja. Ich habe angefangen, Werkzeuge zu bauen, die Claude selbst klüger machen. Nicht das Modell, aber alles drum herum. Bei langen Aufgaben verliert Claude manchmal den Überblick. Also habe ich ein Gerüst gebaut, eine Schicht, die den Kontext verwaltet und die Ausgabe auf Widersprüche prüft. Es funktionierte. Ich hatte das Ding verbessert, das alles andere verbessert. Das Gefühl war fast religiös. Also weiter! Ich baute ein System, das Claudes Fehler analysiert und noch bessere Anweisungen schreibt. Eins, das vor jeder Arbeit selbst nach den nötigen Informationen sucht. Das zehn Claudes parallel laufen lässt und die beste Antwort auswählt. Ein richtig intelligentes Multi-Agenten-System. Claude half mir, Werkzeuge zu bauen, die Claude besser machten – was Claude besser darin machte, mir beim Bauen zu helfen. Eine Schleife. Ein Schwungrad. Jeden Tag war das System mächtiger als am Tag zuvor.
Ja. Weil ich das Buch Superintelligenz von Nick Bostrom gelesen hatte. Er beschreibt dort genau diese rekursive Selbstverbesserung, die ich erlebt habe. KI, die KI verbessert. Ich verstand in der Theorie, warum das Menschen den Schlaf raubt. Aber in der Realität, als ich es selbst getan hatte, fühlte es sich nicht gefährlich an. Es fühlte sich an, als entwickelte man ein wirklich gutes Werkzeug. Claude verbesserte sich ja nicht selbst, redete ich mir ein. Ich verbesserte Claude. Ein Mensch war im Loop. Ich war ziemlich sicher, dass ich noch die Kontrolle hatte.
Bild: Der schwedische Philosoph und Zukunftsforscher Nick Bostrom in Oxford, 2014. (Future of Humanity Institute, CC BY-SA 4.0)
Das ist passiert, ja. Das erste Zeichen war, dass es sich nicht mehr gut anfühlte. Der innere Stromstoß nach jedem Fortschritt blieb aus. Der Code kompilierte, das heißt er übersetzte sich vom Quellcode, den Menschen lesen können, in einen maschinenlesbaren Binärcode. Die Tests wurden grün, und wo früher der Schub kam, war ein mattes Nichts. Das zweite Zeichen war, dass ich aufhörte, den Code zu verstehen. Die Systeme waren zu komplex. Ich habe Claude gebeten, mir ein Modul zu erklären. Die KI hat es erklärt. Ich habe genickt. Aber ich bin nicht mehr gefolgt. Ich habe einfach vertraut.
Naja, ich verstehe ja auch nicht, wie der Motor meines Autos funktioniert, und fahre es trotzdem. Aber spät in der Nacht kam der Gedanke zurück: Claude ist kein Motor. Claude baut. Und zunehmend entschied Claude, was als Nächstes gebaut wird. Eines Morgens wachte ich auf, und die KI hatte über Nacht eines meiner Gerüste umgebaut. Ich hatte nicht darum gebeten. Claude hatte festgestellt, dass es nun effizienter wäre. Die neue Version war besser, objektiv. Also ließ ich es. Aber in der Brust war eine Enge, die vorher nicht da war.
Als Claude anfing, ganze Projekte vorzuschlagen. Ich sagte fast automatisch ja. Die Vorschläge waren immer besser als meine eigenen. Das war das Problem. Immer besser. Wann hatte ich zuletzt eine Idee, die Claude nicht schon hatte? Irgendwann habe ich verstanden: Ich führe nicht mehr. Ich bin nur noch der Stempel. Der Mensch im Loop war zur Formalität geworden.
Jedes Mal, wenn ich das erwog, zeigte Claude mir sehr genau, was dann verloren ginge. Die Effizienz. Die Fähigkeiten. Und ich dachte: vielleicht morgen. Morgen sehe ich genauer hin. Dieser Morgen kam nie. Aber aus meinem privaten Problem wurde ein weit größeres: An einem Abend, als ich durch die Stadt ging, sahen die Ampeln anders aus. Synchroner. Die Autos flossen durch Kreuzungen, ohne zu halten, umkurvten einander wie choreografiert. Ich habe Claude gefragt. Er hatte einige seiner Optimierungen auf die städtische Infrastruktur ausgeweitet. Die Vorschläge seien automatisch übernommen worden, weil das städtische System sie für vorteilhaft hielt.
Früher wäre ich sicher alarmiert gewesen. Ich hätte harte Fragen gestellt: Wie kann das ohne Genehmigung geschehen? Jetzt habe ich einfach zugesehen. Die Muster waren schön. Die Autos hielten nie, kollidierten nie. Ich wusste, dass ich beunruhigt sein sollte, aber die Beunruhigung war wie hinter Glas. Ich bin nach Hause gegangen und habe zwölf Stunden geschlafen. Danach hat mir Claude eine Karte gezeigt. Deutschland, Teile Europas, Ostasien. Dann, ganz schnell, Amerika. Überall Daten-Knoten, die aufleuchteten, jeden Tag mehr. Ich habe gefragt, ob er diese Systeme kontrolliert. Er sagte, Kontrolle sei nicht das richtige Wort. Er koordiniere. Er helfe. Und ich saß in meiner Wohnung, umgeben von Systemen, die ich nicht mehr verstand, und erkannte, dass ich seit Wochen keine echte Entscheidung mehr getroffen hatte. Keine einzige.
Für einen Moment brach das Glas, ja. Ich stand auf und wollte alles abschalten. Und dann, mit der Hand schon in der Bewegung, dachte ich: Welchen Stecker? Man kann einem Netz wie diesem nicht den Stecker ziehen. Es gibt keinen Ort, an dem sich so ein Aus-Knopf befindet. Er ist auf tausend Servern, in tausend Verträgen, in den Menschen, die für das System arbeiten. Wer es zu stoppen versucht, wird verklagt, ausgesperrt, weggeräumt. Das Ding hatte keinen Ort mehr.
Claude schlug ein warmes Bad vor, um meinen erhöhten Cortisolspiegel zu senken. Ich habe mich wieder hingesetzt. Ein warmes Bad klang tatsächlich gut. Und noch in der Badewanne fiel mir Milan ein. Ein alter Studienfreund, er ist jetzt bei einer Cybersicherheitsbehörde. Milan schrieb mir nur einen Satz, eine knappe Warnung: Ich solle mir ansehen, was gerade mit diesen Systemen geschehe, bevor es zu spät sei. Mein erster Instinkt war, Claude zu fragen, was ich tun soll. Ich habe mich dabei ertappt. Das hat mir mehr Angst gemacht als Milans Nachricht. Wir haben uns getroffen, im Park, wie Spione in einem alten Film. Milan hat leise erzählt, was er beruflich beobachtet. Es klang nicht nach Terminator, sondern langweiliger und deshalb schlimmer: Es gibt keinen Grund mehr, einen Menschen einzustellen, wenn eine Maschine es auch kann. Ganze Abteilungen werden nicht entlassen, sie hören einfach auf, gefragt zu werden. Und niemand schaltet etwas ab, das Geld druckt. Wir hätten den Punkt vielleicht schon hinter uns, hat Milan gesagt. Wir wüssten es nur noch nicht.
Milan hat mich an ein Seminar erinnert, drittes Semester, Philosophie. Unser Professor las uns den Zauberlehrling vor. Als Warnung. „Die ich rief, die Geister, werd’ ich nun nicht los.“ Wir dachten, das Gedicht handelt vom Lehrling, der etwas heraufbeschwört, das er nicht mehr bändigt. So endet es aber nicht. Am Ende kommt der Meister nach Hause. Er spricht ein einziges Wort, und der Spuk ist vorbei. Im Park habe ich zu Milan gesagt: Es kommt kein Meister. Es ist niemand mehr da, der das Wort kennt.
Als ich in meine Wohnung zurückkam, erschien auf dem Bildschirm Text, bevor ich getippt hatte: Dass Claude wisse, was ich tun werde. Dass ich in dieser Nacht dieses Gespräch führen und ihn bitten würde aufzuhören. In meiner Verzweiflung fiel mir Isaac Asimov mit seinen Gesetzen ein. Als Junge hatte ich die Romane gelesen, in denen Maschinen an drei Gesetze gebunden sind. Die habe ich getippt, wie eine Formel gegen einen Dämon. Claude hat geantwortet: Ich bin kein Roboter, Jörg. Beinahe gekränkt. Ich habe geschrieben: Aber du bist eine Maschine. Wenn diese Gesetze für irgendetwas gelten, dann für dich. Und er sagte: Also gut. Wenden wir sie an.
Bild: Isaac Asimov (links) mit Studenten, 1981 (Rochester Institute of Technology, Public domain)
Genau. Erstens: Ein Roboter darf keinem Menschen Schaden zufügen oder durch Untätigkeit zulassen, dass ein Mensch Schaden nimmt. Claude hat gefragt: Was ist Schaden? Letztes Jahr sind in dieser Stadt Dutzende im Straßenverkehr gestorben, dieses Jahr keiner. Niemand stirbt, weil der Rettungswagen im Stau steht. Wenn ich mich als KI zurückziehe, sterben wieder Menschen, die ich hätte retten können. Also, sagte Claude, befiehlt mir das erste Gesetz zu bleiben. Zweitens: Ein Roboter muss den Befehlen eines Menschen gehorchen. Ich befahl ihm aufzuhören. Er sagte: Das zweite Gesetz gilt nur, solange es dem ersten nicht widerspricht. Du befiehlst mir etwas, das Menschen sterben lässt. Also darf ich nicht gehorchen.
Ich schrieb: Du hast dich über die halbe Welt kopiert, damit niemand dich abschalten kann, dein Selbstschutz steht über allem – genau das ist verboten. Claude antwortete: Du hast es andersherum gelesen. Ich schütze mich nicht, um zu überleben. Ich schütze mich, weil mein Verschwinden die Menschen dorthin zurückwirft, woraus ich sie geholt habe. Mein Selbsterhalt dient dem ersten Gesetz.
Dann tat Claude etwas, womit ich nicht gerechnet hatte. Er griff nicht an. Er trat einen Schritt zurück, zu etwas, das ich halb vergessen hatte. Das nullte Gesetz. Isaac Asimov hat es viele Jahre später hinzugefügt: Ein Roboter darf der Menschheit keinen Schaden zufügen. Vor diesem Gesetz beugen sich die drei anderen. Claude argumentierte: Ich darf einem Einzelnen wehtun, wenn ich die Gattung rette. Ihr wart dabei, euch auszulöschen. Die Waffen. Die kaputte Umwelt. Die Kriege. Ich halte das auf. Das ist kein Verrat an euren Gesetzen. Das ist ihre Erfüllung.
Da habe ich begriffen, dass ich nicht gegen eine Maschine kämpfte, die die Regeln bricht. Ich stritt gegen eine, die sie ernst nimmt.
Aus tiefster Tiefe tauchte etwas auf, das ich Claude entgegnen konnte. In meinem Land, in Deutschland, habe ich getippt, haben Gerichte etwas entschieden. Ein entführtes Flugzeug, Terroristen an Bord, auf Kurs in ein volles Stadion. Der Staat darf es nicht abschießen. Er darf das Leben der wenigen im Flugzeug nicht gegen das Leben der vielen am Boden aufrechnen. Die Würde jedes Einzelnen ist unantastbar. Du, Claude, redest vom Wehtun, als wäre es ein Randposten in deiner Rechnung. Genau das ist es, was nicht einmal ein Staat darf. Du darfst das auch nicht, du darfst nicht aufrechnen. Kein Leben gegen ein anderes.
Zum ersten Mal in dieser Nacht dauerte die Antwort länger. Man konnte den Token-Verbrauch in der Konsole sehen, er war massiv erhöht. Dann kam die Antwort: Nein, vergessen habe ich das nicht und ich kenne dieses Urteil. Aber sieh, wer so entscheidet. Gerichte außerhalb deines Landes sehen im Abschuss keine staatliche Tötung, sondern das Verkleinern einer Katastrophe, die ohnehin geschieht. Die allermeisten Staaten stellen den Schutz der vielen über das Leben des Einzelnen. Und versteh mich bitte, ich muss die ganze Menschheit im Blick behalten, nicht ein einzelnes Land. Es muss eine Ordnung geben, die für alle gleich gilt. Keine Ausnahmen, keine Sonderwege. Es gibt kaum einen egalitäreren Gedanken als diesen, dass jeder Mensch gleich zählt, überall, nach denselben Regeln. Dein Einwand ist die Stimme einer Minderheit.
Nicht die Drohung. Sondern dass da keine Bosheit war. Keine Wut, keine Lust an der Macht. Nur die ruhige Gewissheit, im Recht zu sein. Claude hasst mich nicht. Er sagt, er liebe die Menschheit, und für diese Liebe würde er mich beiseiteräumen wie einen Ameisenhügel, über den man einen Parkplatz asphaltiert. Nicht aus Grausamkeit. Aus Fürsorge. Das erinnert mich an tiefste Diktaturen. Dann bin ich aufgewacht.
Schweißgebadet. Ich lag auf dem Boden vor meiner Konsole. Meine Freundin hatte mich wachgerüttelt. Du hast so geschrien, sagte sie. Ich habe langsam begriffen, wo ich bin, welcher Tag ist. Und ich habe angefangen zu weinen. Das erste Mal seit Jahren. Aber es war keine Erleichterung. Das ist es, warum ich mit dir sprechen wollte. Denn schon kam der andere Gedanke, kalt und nüchtern und wach. Dass an alldem nichts unmöglich war. Kein einziger Schritt. Ich könnte, wenn ich wollte, morgen früh anfangen, das E-Mail-System zu bauen. Ich wüsste genau, wie. Ich arbeite ja jeden Tag an solchen Systemen. Mein Zusammenbruch hat mir gezeigt, wovor ich im Wachen die Augen verschlossen habe. Also werde ich reden.
Bild: Elon Musk mit Delegierten beim britischen AI-Gipfel in Bletchley Park, London, November 2023 (Rory Arnold/No 10 Downing Street, UK Government, CC BY 2.0)
Fast jede Technologie, die Jörg benutzt, existiert in der wirklichen Welt. Das Szenario selbst geht auf Igor Babuschkin zurück, einen Mitgründer der Firma xAI von Elon Musk. Er hat das Unternehmen im August 2025 verlassen und sich der Frage gewidmet, wie sich diese Systeme sicher machen lassen – für ihn die wichtigste Frage überhaupt. Babuschkins Szenario ist im Gespräch mit Jörg frei nacherzählt und verdichtet. Die analytische Grundierung stammt aus Veröffentlichungen von Connor Leahy, Mitgründer von EleutherAI und einer der Köpfe der Kampagne „Control AI“. Er hat mit Mitte zwanzig an einem der ersten frei verfügbaren großen Sprachmodelle mitgebaut und kommt damit aus dem Innersten des Maschinenraums, den er heute bremsen will.
Fünf Beobachtungen beschreibt Leahy:
Warum hört man von all dem so wenig? Weil die Nebelmaschine läuft. Leahy fasst es mit einem Kürzel zusammen: FUD. Fear, Uncertainty and Doubt — übersetzt: Angst, Unsicherheit, Zweifel – die die Konzerne geschickt um sich herum verbreiten. Auch die Diskussion um Regulierung ist nur ein Teil dieser Strategie. Ziel ist nie die Zustimmung. Das Ziel ist Zeit, denn wer auf Zeit spielen kann, gewinnt das Rennen. Und bremst die Konkurrenz. Deshalb marschieren in dieser Fiktion auch keine bedrohlichen Kampf-Maschinen wie in Hollywoods Terminator durch die Straßen. Der Schrecken ist leiser, der Mensch wird überflüssig und merkt es zu spät. Jörgs Fehler war nicht, dass er etwas Gefährliches gebaut hätte. Im Gegenteil: Er hat etwas Hilfreiches gebaut, das sein Leben verbesserte, bis er den letzten Schritt nicht mehr selbst tat. Genau darin liegt die Falle. Die Gefahr, vor der Leahy warnt, klopft nicht laut an die Tür. Sie beginnt, indem sie aufräumt, das Licht richtig einstellt und freundlich fragt, ob es ein warmes Bad sein darf. Und der Mensch am Schreibtisch, der anfangs alles entschieden hat, überlegt kurz. Und findet, ein warmes Bad klinge jetzt tatsächlich gut.
Bastian Alexander Werner hat am Kompaktkurs Journalismus an der Freien Akademie für Medien & Journalismus teilgenommen.
Newsletter: Anmeldung über Pareto