Warum sprachliche Kohärenz nicht mit psychologischer Beziehung verwechselt werden darf
Es gibt eine Erfahrung mit KI, die inzwischen viele kennen. Man schreibt etwas Persönliches. Einen Gedanken, eine Unsicherheit, einen Konflikt und erhält eine Antwort, die sich überraschend zutreffend anfühlt. Die Worte passen. Der Ton ist angemessen. Die Antwort enthält Nuancen, die man nicht erwartet hätte. Und für einen Moment entsteht das Gefühl, verstanden worden zu sein.
Vielleicht ist das Erstaunlichste daran gar nicht, dass KI wirklich gute Antworten gibt. Erstaunlich ist vielmehr, wie leicht wir beginnen, hinter diesen Antworten ein Gegenüber zu vermuten. Denn Sprache ist für uns seit jeher Ausdruck eines Bewusstseins. Wenn sie noch klug, feinfühlig und stimmig klingt, liegt die Annahme nahe, dass uns auch tatsächlich jemand gegenüber sitzt, der versteht.
KI-Systeme wie ChatGPT können heute Antworten erzeugen, die sich erstaunlich verständnisvoll anfühlen. Genau darin liegt ihre Stärke, aber eben auch ihr Risiko. Diese Systeme sind darauf optimiert, aus statistischen Mustern menschlicher Sprache kontextuell passende Fortsetzungen zu generieren. Was dabei entsteht, ist sprachlich oft bemerkenswert. Es wirkt präzise, einfühlsam im Ton, flexibel und variantenreich. Was dabei aber nicht entsteht, ist das, was in der Psychologie das Fundament jeder wirksamen Begleitung bildet. Es entsteht kein Subjekt, das wirklich versteht.
Denn ein KI-System, das nach einem Gespräch keinen Hunger verspürt, keine Erschöpfung fühlt, keine persönliche Geschichte mitbringt und dessen Erinnerung technisch konstruiert, begrenzt und nicht biografisch getragen ist, ein solches System kann sich nicht berühren lassen. Es kann Muster erkennen, die dem Verstehen ähneln, ja. Aber das ist nicht dasselbe.
Die Gefahr liegt nicht im Fehler der Maschine, vielmehr in ihrer Überzeugungskraft.
Die natürliche Sprache solcher Chat-Systeme erzeugt eine solche intuitive Überzeugungskraft1, die dazu führt, dass Antworten als vertrauenswürdig eingestuft werden, selbst wenn sie sachlich lückenhaft oder kontextblind sind. Im psychologischen Kontext ist dieser Effekt besonders wirksam. Dort, wo es um Verletzlichkeit, Scham, existenzielle Orientierung oder traumatische Erfahrung geht, kann eine überzeugend klingende, aber strukturell beziehungslose Antwort nicht bloss unzureichend sein, sie kann aktiv Schaden anrichten. Weil sie die Illusion von Empathie erzeugt, ohne wirklich die innere Substanz dafür zu besitzen.
Was ist diese innere Substanz? Sie lässt sich nicht auf Wissen reduzieren. Wer in der Psychologie begleitet, weiss nicht nur mehr, er oder sie versteht in einem anderen Sinn. Moralische Sensibilität als klinische Kompetenz entsteht nicht aus der Anwendung von Wahrscheinlichkeitsregeln, sondern aus gelebter, reflektierter Erfahrung. Etwa aus dem Eingebundensein in Beziehungen, aus der Fähigkeit, sich berühren zu lassen, aus der Kenntnis der eigenen Grenzen, die mitunter erst durch Überschreitung sichtbar werden. Ein KI-System ohne Geschichte, ohne Leib, ohne Scheitern. Ein solches System kann diese Kompetenz nicht besitzen, sondern höchstens simulieren.2
Wir haben in der praktischen Entwicklung von mentalhealthGPT — unserer KI-gestützten Reflexionsplattform für den klinischen Kontext — systematisch untersucht, wie ethische Prinzipien in technische Artefakte übersetzt werden können und wo diese Übersetzung an strukturelle Grenzen stösst. Das Ergebnis war ermutigend: Anforderungen wie Datenschutz, informierte Einwilligung und Transparenz lassen sich mit grossem Gestaltungswillen in hohem Masse realisieren. Aber genau dieser Prozess machte auch sichtbar, was er nicht erreichen kann. Etwas, das sich nicht durch besseres Design erschliessen lässt. Nämlich menschliche Präsenz, moralische Subjektivität oder geteilte Geschichte.
Technologie verändert nicht nur, was wir tun. Sie kann auch verändern, wie wir uns selbst wahrnehmen.3
Dabei geht es nicht um die Frage, ob KI im psychologischen Kontext einen Platz hat — praktisch hat sie ihn bereits —, sondern um die Frage, wie technologische Vermittlung die Art verändert, wie Menschen reflektieren und sich selbst begegnen. Was entsteht, wenn jemand einen Gedanken formuliert und ihn in einem System gespiegelt bekommt, das keine eigene Perspektive besitzt? Welche Art von Klarheit entsteht da und auf wessen Kosten?
Hans Jonas4 hat geschrieben, dass technologisches Handeln eine besondere ethische Qualität besitzt, weil es auf Zeitskalen und in Wirkungsbereichen operiert, die individuelles Urteil übersteigen. Wer Systeme baut, die auf das Denken und Fühlen von Menschen einwirken, trägt eine Verantwortung, die über unmittelbare Absichten hinausgeht. Diese Verantwortung wächst mit der Reichweite und Überzeugungskraft der Mittel. Ein System, das präzise, warmherzig und klug klingt, ohne dass diese Eigenschaften ethisch verankert sind, besitzt eine Überzeugungskraft, die besondere Sorgfalt erfordert.
KI-Systeme können vorbereiten, strukturieren, verdichten, Muster sichtbar machen, die sonst unsichtbar blieben. Sie können Zugänglichkeit schaffen in Momenten, in denen professionelle Begleitung vielleicht gerade nicht verfügbar ist. Was sie aber nicht können, ist das letzte Wort sprechen, wo es um Bedeutung geht. Was sie riskant macht, wenn sie so behandelt werden, als könnten sie es.
Oft spricht man in diesem Zusammenhang von blended advisory. Das ist aber nicht einfach die pragmatische Kombination von Online und Offline. Es ist die konzeptuelle Antwort auf das strukturelle Problem, dass Überzeugungskraft und Tragfähigkeit zwei verschiedene Qualitäten sind, die nicht verwechselt werden dürfen. Das Technologische kann wie gesagt vorbereiten, verdichten, strukturieren. Nur das Menschliche kann einordnen, den emotionalen und zwischenmenschlichen Prozess tragen, entscheiden und Verantwortung übernehmen. Die Kunst liegt nicht im Entweder-oder, sondern in der präzisen Kenntnis davon, was jeweils wo am Platz ist und in der Bereitschaft, diese Grenze zu benennen, auch dann, wenn das Technologische sehr überzeugend klingt.
Ich arbeite in genau diesem Spannungsfeld. Als Entwickler von KI-Systemen für den klinischen Kontext und als Gesprächspartner in anspruchsvollen Reflexionsprozessen.
Die entscheidende Frage lautet nicht, wie menschlich KI werden kann — sondern wie reflektiert wir gestalten, was menschlich bleiben muss.
Der Satz soll weder die Möglichkeiten noch die Risiken verneinen.
Das fordert etwas Schwierigeres. Nämlich das Aushalten der Spannung zwischen beidem. Denn genau dort liegt die eigentliche Aufgabe. Für alle, die therapeutische Entscheidungen verantworten und zugleich die Möglichkeiten neuer Technologien sinnvoll nutzen wollen.