Chatbot ChatGPT schneidet bei US-Juraexamen (Bar Exam) gut ab

Ende November 2022 veröffentlichte das US-Unternehmen OpenAI einen ausgeklügelten Chatbot namens „ChatGPT“. Viele Branchen sind deswegen in Aufruhr, denn der Chatbot kann Texte verfassen, die teils nicht mehr von menschlichen Texten zu unterscheiden sind. Doch taugt der Chatbot auch als Jurist? Das haben zwei Forscher getestet. Sie ließen ChatGPT das amerikanische Bar Exam ablegen – also die Prüfung, die angehende Anwält:innen für ihre Zulassung in den USA bestehen müssen.

ChatGPT ist ein “Large-Language-Modell”, also eine künstliche Intelligenz. Die KI wurde mit massenweise Texten aus dem Internet „gefüttert“ und damit trainiert. Dank ihres Algorithmus gibt der Chatbot auf viele Fragen verblüffend gute Antworten. Und das sogar in mehreren Sprachen. Doch taugt die KI auch für komplexe juristische Fragestellungen? Das wollten zwei US-Forscher herausfinden. Daniel Katz, Juraprofessor am Illinois Institute of Technology, und Michael Bommarito, Wissenschaftler und Lehrbeauftragter an der Michigan State University, kamen deswegen auf die Idee, die KI das US-Juraexamen schreiben zu lassen. Nach dem Jurastudium müssen Jurist:innen, die in den USA Anwält:innen werden wollen, das sogenannte Bar Exam bestehen. Das Examen ist also vergleichbar mit der zweiten juristischen Staatsprüfung in Deutschland.

200 Multiple-Choice-Fragen

Im Gegensatz zum deutschen Examen, in dem Fälle im Gutachtenstil gelöst werden müssen, besteht das Bar Exam aus drei Teilen. Rund 200 Multiple-Choice-Fragen, einem Essay sowie einem Fallbeispiel. Diese 200 Fragen setzten die Forscher dem Chatbot vor. Das Ergebnis: Die KI beantwortete rund 50 Prozent der Fragen richtig. Das hört sich jetzt erstmal enttäuschend an, liegt aber deutlich über der Rate zufällig richtiger Antworten. Diese liegt bei jeweils vier Antwortmöglichkeiten bei 25 Prozent. Um das Bar Examen zu bestehen, muss die KI also noch weiter trainiert werden. Denn dafür benötigt man 120 richtige Antworten, was 60 Prozent entspricht.

Im Vergleich zu den menschlichen Teilnehmer:innen schnitt die KI aber trotzdem nur 17 Prozent schlechter ab. Während der Chatbot in Strafrecht lediglich 36 Prozent der Fragen richtig beantwortete, schnitt die KI in Deliktsrecht und Beweismittelrecht sogar mit einer Note ab, die zum Bestehen gereicht hätte.

Neue Version könnte Bar Exam bestehen

Die Forscher hatten die KI in der Version 3.5 getestet. Die neue Version, 4.5, soll noch 2023 veröffentlicht werden und noch besser sein als ihre Vorgängerin. Katz und Bommarito gehen davon aus, dass die neue Version die Multiple-Choice-Fragen des Bar Examen bestehen wird.

Auch in Deutschland werden die Möglichkeiten und Risiken von ChatGPT in den sozialen Netzwerken diskutiert. Vor allem auf Twitter veröffentlichten verschiedene Jurist:innen Screenshots ihrer Fragen an die KI. So ließen sie den Chatbot beispielsweise Klageschriften verfassen oder den abstrakten und konkreten Anklagesatz im Strafrecht schreiben. Mit teils erstaunlichen Ergebnissen. Den Unterschied zwischen Mord und Totschlag muss die KI aber jedenfalls nochmal neu lernen!

Im Gegensatz zum Bar Examen besteht das deutsche Juraexamen jedoch nicht aus einzelnen Fragen. Es müssen vielmehr Fälle gelöst werden. Und das in einer sprachlich vorgegebenen Form – dem Gutachtenstil. Die erste und zweite juristische Staatsprüfung zu bestehen, dürfte der KI also deutlich schwerer fallen.

Auch interessant: Joshua Browder, Unternehmer und Gründer des sozialen Netzwerkes „DoNotPay“ twitterte, man wolle eine Million US-Dollar an die Person zahlen, die bei einer Verhandlung vor dem Supreme Court das wiedergibt, was von einem “robot lawyer” vorgegeben wird (JURios berichtet).


Fundstelle: https://the-decoder.com/

Ähnliche Artikel

Social Media

6,795FollowerFolgen
2,166FollowerFolgen
Download on the App Store
Jetzt bei Google Play

Letzte Artikel