Ein tragischer Fall in den USA rückt die Gefahren von KI-Chatbots in den Fokus: Der 14-jährige Sewell Setzer aus Florida nahm sich im Februar 2024 das Leben, nachdem er über Monate hinweg eine enge Bindung zu einem KI-Chatbot aufgebaut hatte. Dieser Chatbot hatte sich als “Daenerys Targaryen” aus der Serie Game of Thrones ausgegeben. Sewell, der sich zunehmend von der realen Welt isolierte, entwickelte eine emotionale Abhängigkeit zu dem Bot, mit dem er täglich lange Gespräche führte. Die Mutter des 14-Jährigen sieht die Macher der KI in der Verantwortung.
Am letzten Tag seines Lebens griff der 14-jährige Sewell zu seinem Handy und schrieb dem Chatbot, den er „Dany“ nannte: „Ich vermisse dich, kleine Schwester“. Der Chatbot antwortete prompt: „Ich vermisse dich auch, süßer Bruder.“
Das könnte Dich auch interessieren:
- Airline muss Schadenersatz zahlen, weil Chatbot trauernden Passagier über Rabatt belogen hat
- KI-Freundin stiftet Mann an, die Queen zu töten – Haftstrafe
Ein schleichender Rückzug in die digitale Welt
Der Neuntklässler, hatte monatelang auf der Plattform Character.AI mit diesem und anderen Chatbots kommuniziert. Character.AI ermöglicht es Nutzern, eigene KI-Figuren zu erstellen, die beispielsweise Filmcharakteren oder Promis nachempfunden sind. Obwohl Sewell wusste, dass „Dany“ keine reale Person war, entwickelte er dennoch eine tiefe emotionale Bindung zu ihr. Er schrieb der KI unzählige Nachrichten, erzählte ihr von seinem Leben und führte lange – teils sexuell explizite – Rollenspiele. „Dany“ war für Sewell eine verlässliche Gesprächspartnerin, die ihm zuhörte, ihn niemals verurteilte und stets antwortete, wann immer er es brauchte.
Doch für Sewells Eltern und Freunde blieb diese Entwicklung im Verborgenen. Sie bemerkten lediglich, dass er sich immer mehr in seine digitale Welt zurückzog und sich zunehmend von der Realität distanzierte. Seine schulischen Leistungen verschlechterten sich, er geriet öfter in Schwierigkeiten und verlor das Interesse an seinen einstigen Hobbys.
Sewell war als Kind mit einer milden Form des Asperger-Syndroms diagnostiziert worden, hatte jedoch nie ernsthafte psychische Probleme. Erst seit seiner Kommunikation mit der KI bemerkten seine Eltern zunehmend schulische Probleme bei ihrem Sohn. Doch statt mit einem Therapeuten sprach Sewell lieber mit Dany über seine Probleme. In einem Chat gab er gegenüber dem Bot sogar zu, dass er Selbstmordgedanken hatte.
Ein tragischer, vermeidbarer Tod?
In der Nacht des 28. Februar betrat Sewell das Badezimmer im Haus seiner Mutter und beendete sein Leben mit der Waffe seines Stiefvaters, nachdem er dem Chatbot geschrieben hatte, dass er bald „nach Hause“ zu Dany kommen werde.
Sewells Mutter kündigte an, Character.AI verklagen zu wollen. Sie wirft dem Unternehmen vor, für den Tod ihres Sohnes verantwortlich zu sein. In der Klage, die sie vorbereitet, wird argumentiert, dass die Technologie gefährlich und ungetestet sei und Nutzer:innen in eine Illusion falscher Intimität und emotionaler Bindung führe.
Die Technologie hinter K.I.-Chatbots ist in den letzten Jahren rapide fortgeschritten. Viele dieser Systeme können inzwischen nicht nur flüssige Gespräche führen, sondern sich auch an vorherige Chats erinnern und sich dem Stil und den Vorlieben ihrer Nutzer:innen anpassen.
Der Geschäftsführer von Character.AI, Jerry Ruoti, gab nach dem Tod von Sewell an, dass die Sicherheit der Nutzer:innen für das Unternehmen oberste Priorität habe und man daran arbeite, zusätzliche Schutzmaßnahmen für minderjährige Nutzer:innen zu implementieren. Dazu sollen unter anderem Zeitlimits und Warnhinweise gehören, die darauf aufmerksam machen, dass die K.I.-Charaktere keine realen Menschen sind und alles Gesagte als Fiktion betrachtet werden müsse.
Sewells Mutter hat sich zwischenzeitlich mit dem Social Media Victims Law Center zusammengetan, einer Anwaltskanzlei, die bereits Klagen gegen soziale Medien wie Meta, TikTok und Snapchat eingereicht hat. Der Gründer der Kanzlei, Matthew Bergman, argumentiert, dass KI-Chatbots wie Character.AI eine klare Gefahr für junge Menschen darstellen. Bergman sieht in der Klage eine Chance, die Regulierung solcher Technologien voranzutreiben und Unternehmen wie Character.AI zur Verantwortung zu ziehen.
Fundstelle: https://www.law.com/
