Ein US-Rechtsanwalt ist auf den Chatbot ChatGPT hereingefallen. Die KI listete ihm bei der Recherche für einen Fall eine ganze Liste an Präzedenzfällen auf. Dass diese nur erfunden waren, bemerkte aber erst die Gegenseite – peinlich! Darüber berichtete die New York Times.
Steven A. Schwartz von der Kanzlei Levidow, Levidow & Oberman vertrat vor einem Bezirksgericht im Bundesstaat New York einen Mandanten gegen die in Kolumbien ansässigen Fluggesellschaft Avianca. Auf einem Flug von El Salvador in die USA war der Mann von einem Serviervagen verletzt worden und verlangte nun Schadensersatz. Die Anwält:innen der Fluggesellschaft machten jedoch die Einrede der Verjährung geltend, da sich der Vorfall bereits 2019 ereignet hatte. Dagegen argumentierte Schwartz wiederum mit mehreren Präzedenzfällen.
Das ist ein im US-Recht üblicher Vorgang. Denn im Gegensatz zum deutschen Recht, handelt es sich beim anglo-amerikanischen Rechtssystem um Fallrecht („case law“). Das bedeutet, dass die Rechtsfindung weniger auf Gesetzestexten, sondern vielmehr auf Präzedenzfällen, beruht. Zwar sind einschlägige BGH-Urteile auch für deutsche Anwält:innen wichtig, im „common law“ geht es jedoch noch viel stärker darum, möglichst viele Gerichtsentscheidungen zu finden, welche die eigene Rechtsauffassung stützen und diese dann vor Gericht zu präsentieren.
Recherche mittels ChatGPT
Das Problem im vorliegenden Fall: Im Verfahren stellte sich heraus, dass die Fälle, die der Anwalt zur Argumentation anführte, allesamt erfunden waren. Vom Chatbot ChatGPT. Denn den hatte der Anwalt zur Recherche eingesetzt. Die Liste an Fällen, welche die KI ausspuckte, hatte Schwartz nicht noch einmal händisch überprüft. Die Gerichte, Aktenzeichen und Personenbezeichnungen klangen zwar real, waren aber allesamt frei erfunden. So beispielsweise „Petersen gegen Iran Air“ oder „Martinez gegen Delta Airlines“. Als die Anwält:innen der Fluggesellschaft den Quellenangaben nachgingen, fanden sie: nichts.
Auf Nachfrage übermittelte Schwartz der Gegenseite sogar zunächst mehrseitige Auszüge aus den vermeintlichen Gerichtsentscheidungen. Doch wie sich bei einer gründlichen Recherche herausstellte, waren auch die Zitate und Akteninhalte von der KI erfunden. Eine Blamage für den klägerischen Anwalt.
Wie konnte das geschehen? Bei ChatGPT handelt es sich weder um eine Suchmaschine, noch um ein Recherchetool. ChatGPT ist vielmehr ein Chatbot, der Antworten auf Fragen generiert, die einem Gespräch nahekommen sollen. Gefüttert wird die KI mit Wissen in Textform. Also beispielsweise aus Büchern oder Wikipedia-Einträgen. In der großen Wissensdatenbank der KI schlummern also auch echte Gerichtsakten und Präzedenzfälle. Aus diesem Lernmaterial hat die KI sodann neue, echt klingende Fälle „herbeifantasiert“ – inklusive real wirkender Namen. Die Fälle enthielten sogar vermeintlich echte Zitate aus den jeweiligen Entscheidungen und sogenannte „docket numbers“(ähnlich den deutschen Aktenzeichen).
KI „halluziniert“ Fälle
Und was wurde aus dem Flugfall? Schwartz räumte im Verfahren ein, dass er sich bei seiner Recherche von ChatGPT unterstützen ließ. Er versicherte unter Eid, dass er das Gericht damit nicht täuschen wollte, weil er sich auf die Zusammenfassungen von ChatGPT verlassen habe. Dabei habe er die KI sogar explizit gefragt, ob es sich bei den Fällen um reale Fälle handele. Dies hatte ihm ChatGPT daraufhin auch versichert. Das Problem: Weil die KI ihre Antworten aus dem gelernten Wissen „zusammenstückelt“ und die einzelnen Bestandteile tatsächlich existierten (nur eben nicht in dieser Zusammenstellung), erscheint das Ergebnis der KI selbst als korrekt. Dieser Vorgang wird auch als „Halluzination“ bezeichnet. So nennt man es, wenn eine KI, ohne auch nur die Spur eines Zweifels erkennen zu lassen, angebliche Fakten frei erfindet. Schwartz hatte dem Gericht also eine ganze Liste völlig nutzloser, weil erfundener, Präzedenzfälle geliefert.
Der zuständige Richter am Bezirksgericht war entsprechend „not amused“. Obwohl Schwartz die Verwendung von ChatGPT sofort eingeräumt hatte, bewertete das Gericht die Präsentation der erfundenen Fälle als Täuschung und veranlasste eine Anhörung. Anfang Juni soll darüber entschieden werden.
Bisher können Anwält:innen also aufatmen. ChatGPT und andere Chatbots sind (noch) nicht in der Lage, sie zu ersetzen. Und auch bei einfachen Rechercheanfragen ist Vorsicht geboten.
KI-Unterstützung auf dem Prüfstand
Es ist nicht das erste Mal, dass Jurist:innen versuchen, KI-Tools für ihre Zwecke einzuspannen. So hält Michelle Donelan, die britische Ministerin für Wissenschaft und Technologie, den Einsatz von ChatGPT bei der Formulierung von Gesetzestexten für möglich. Und auch deutsche Richter:innen und Anwält:innen testen, ob der Chatbot ihnen Schreibarbeit abnehmen kann. Dr. Benjamin Lotz warnt in seinem Artikel für LTO dabei explizit vor den oben genannten „Halluzinationen“.
Umgekehrt wurden aber auch bereits Jurist:innen mit den ethischen Grenzen von ChatGPT und Co. konfrontiert. So wurde in den USA ein Juraprofessor von ChatGPT fälschlicherweise auf einer Liste mit Professoren geführt, denen sexuelle Übergriffe auf Studentinnen vorgeworfen wurden. ChatGPT zitierte dabei laut The Washington Post als vermeintliche Quelle einen Zeitungsartikel, den es nie gab.
Und auch in der juristischen Ausbildung spielt ChatGPT bereits eine Rolle. So testeten Daniel Katz, Juraprofessor am Illinois Institute of Technology und Michael Bommarito, Lehrbeauftragter an der Michigan State University, ob ChatGPT das US-Juraexamen bestehen könnte. Das sog. „bar exam“ besteht aus rund 200 Multiple-Choice-Fragen, einem Essay sowie einem Fallbeispiel, welche die Forscher der KI vorsetzten. Mit erstaunlichen Ergebnissen (JURios berichtet).
Computer sagt nein
Ob und inwieweit ChatGPT Jurastudierenden – beispielsweise beim Verfassen von Hausarbeiten – Arbeit abnehmen kann, hat Lorenz Menkhoff in einem Selbstversuch für LTO getestet. Sein Ergebnis: Noch (!) scheitert ChatGPT am juristischen Gutachtenstil. Trotzdem müssen sich Juraprofessor:innen natürlich damit auseinandersetzen, wie sie mit dem Einsatz von ChatGPT an der Universität umgehen möchten.
Und was sagt ChatGPT selbst dazu? Fragt man den Chatbot, ob man ihm bei der juristischen Recherche und der Urteilsfindung vor Gericht vertrauen darf, antwortet die KI:
„Als Chatbot basiere ich auf dem GPT-3.5-Modell von OpenAI und bin darauf ausgelegt, Informationen und Antworten basierend auf dem mir bekannten Wissen bereitzustellen. Es ist jedoch wichtig zu beachten, dass ich als KI-Modell nicht über rechtliche Expertise verfüge und meine Antworten nicht als rechtliche Beratung oder als Grundlage für gerichtliche Entscheidungen dienen sollten. In rechtlichen Angelegenheiten ist es ratsam, auf qualifizierte Rechtsberatung von Anwälten oder Fachleuten zurückzugreifen, die über umfassendes Wissen im jeweiligen Rechtsgebiet verfügen. Rechtliche Urteilsfindung erfordert eine gründliche Analyse der Sachlage, Berücksichtigung von Rechtsprechung und Gesetzen sowie eine individuelle Bewertung der spezifischen Fakten und Umstände eines Falls. Diese komplexe Aufgabe erfordert Erfahrung und Fachwissen, die ein Chatbot allein nicht bieten kann.“
