Eine im Juni veröffentlichte Studie von Forschern der Stanford University und mehrerer US-amerikanischer Law Schools kommt zu einem bemerkenswerten Ergebnis: Juraprofessor:innen bewerteten die Antworten von KI-Systeme in der Vertragsrechtslehre deutlich besser als die Antworten anderer Professor:innen. In einem blinden Vergleich bevorzugten die Professor:innen die KI-Antworten in rund drei Vierteln aller Fälle.
Die Untersuchung mit dem Titel “Law Professors Prefer AI Over Peer Answers” analysiert die Leistungsfähigkeit großer Sprachmodelle (LLMs) in einem Bereich, der traditionell als besonders anspruchsvoll gilt: juristische Bewertung und Argumentation. Anders als in Mathematik oder Naturwissenschaften existiert im Recht häufig keine eindeutig „richtige“ Antwort. Entscheidend sind vielmehr juristische Argumentationsqualität, Abwägung konkurrierender Gesichtspunkte und die Fähigkeit, vertretbare Schlussfolgerungen zu entwickeln („es kommt darauf an“).
Blinder Wettbewerb zwischen Professoren und KI
An der Untersuchung nahmen 16 US-amerikanische Vertragsrechtsprofessor:innen von 14 Law Schools teil. Alle verwendeten dasselbe Lehrbuch im Unterricht. Die Wissenschaftler:innen entwickelten ein dreistufiges Verfahren. Zunächst formulierten die Professor:innen typische Fragen, wie sie Studierende während der Sprechstunde oder nach Vorlesungen stellen. Aus diesem Pool wurden 40 repräsentative Fragen ausgewählt. Diese verteilten sich auf vier Kategorien:
- Wissensfragen zu Fällen oder Gesetzestexten („Recall: Case/Code“)
- Wissensfragen zu juristischen Doktrinen („Recall: Doctrine“)
- Fallhypothesen („Hypotheticals“)
- Rechts- und rechtspolitische Grundsatzfragen („Policy“)
Anschließend beantworteten sowohl die Professor:innen als auch die KI-Systeme diese Fragen in kurzen, sprechstundenähnlichen Antworten. Zum Einsatz kamen auf der KI-Seite Googles Gemini 2.5 Pro sowie NotebookLM, das auf das im UNterricht verwendete Lehrbuch zum Vertragsrecht zugreifen konnte.
In der dritten Phase verglichen die Professor:innen anonymisierte Antwortpaare. Sie wussten nicht, ob eine Antwort von einem Kollegen oder von einer KI stammte. Insgesamt wurden 2.918 Einzelvergleiche durchgeführt. Die Gutachter:innen mussten jeweils entscheiden, welche Antwort sie lieber einem Studierenden geben würden. Zusätzlich konnten sie Antworten als pädagogisch schädlich markieren.
KI gewinnt rund drei Viertel aller Vergleiche
Das zentrale Ergebnis fiel eindeutig aus: KI-Antworten wurden deutlich häufiger bevorzugt als Antworten menschlicher Lehrender.
Gemini 2.5 Pro erreichte gegenüber den Professor:innen eine durchschnittliche Gewinnquote von 75,92 Prozent. NotebookLM kam auf 74,75 Prozent. Der durchschnittliche Wert der menschlichen Professor:innen lag dagegen lediglich bei 24,67 Prozent. Die Autor:innen der Studie betonen, dass Gemini 2.5 Pro in direkten Vergleichen gegen alle bis auf einen Professor besser abschnitt. NotebookLM übertraf sogar jeden menschlichen Teilnehmer, erzielte allerdings mit einem Professor ein statistisches Unentschieden.
Bemerkenswert ist zudem, dass sämtliche beteiligten Professor:innen im Durchschnitt die KI-Antworten bevorzugten. Die mittlere KI-Präferenzrate lag bei 75,81 Prozent. Selbst der kritischste Gutachter:innen entschied sich noch in 56 Prozent der Fälle für die KI-Antwort.
KI überzeugt auch bei Argumentation & Urteilskraft
Der Vorsprung der KI beschränkte sich dabei nach dem Ergebnis der Studie nicht nur auf reine Wissensabfragen. Über alle vier Fragekategorien hinweg erzielten die Modelle ähnliche Ergebnisse. Bei Gemini lagen die Gewinnquoten zwischen 74,24 Prozent bei Fallhypothesen und 77,17 Prozent bei Wissensfragen zu Fällen und Gesetzestexten. NotebookLM erreichte Werte zwischen 72,69 und 76,80 Prozent.
Besonders relevant ist dies für die juristische Ausbildung. Gerade hypothetische Fälle und rechtspolitische Fragen gelten als Bereiche, in denen juristische Urteilskraft und argumentative Qualität wichtiger sind als das bloße Wiedergeben von Fakten. Die Studie deutet darauf hin, dass moderne Sprachmodelle auch in diesen stärker wertungsabhängigen Aufgaben überzeugen können.
Weniger problematische Antworten als Menschen
Neben der Präferenzbewertung untersuchten die Forscher:innen auch die Frage, wie häufig Antworten als pädagogisch problematisch eingestuft wurden.
Die Ergebnisse fielen erneut zugunsten der KI aus. Gemini erhielt in 3,41 Prozent der Fälle ein „schädlich“-Label, NotebookLM in 3,64 Prozent. Zusammengenommen lag die Quote der KI-Systeme bei 3,53 Prozent. Bei den Professor:innen zeigte sich dagegen eine deutlich größere Streuung. Die individuellen Werte reichten von 1,00 bis 39,75 Prozent. Im Durchschnitt wurden 12,06 Prozent der menschlichen Antworten als potenziell lernschädlich eingestuft.
Nach Auffassung der Autor:innen deutet dies darauf hin, dass moderne Sprachmodelle nicht nur bevorzugte, sondern zugleich vergleichsweise selten problematische Antworten liefern.
Als möglicher Einwand gegen die Ergebnisse wurde angeführt, dass die Professor:innen lediglich allgemein eine Vorliebe für KI-Antworten entwickelt hätten. Diesen Einwand versuchten die Autor:innen ebenfalls empirisch zu prüfen. Die Analyse der Bewertungen zeigte, dass die Gutachter:innen bei identischen Antwortpaaren häufig zu denselben Ergebnissen gelangten. Die Übereinstimmung lag jedoch deutlich über dem Niveau, das zu erwarten gewesen wäre, wenn lediglich individuelle Vorlieben den Ausschlag gegeben hätten. Die Forscher:innen interpretieren dies als Hinweis auf einen geteilten professionellen Qualitätsmaßstab. Die KI-Antworten seien nicht deshalb erfolgreich gewesen, weil sie einzelnen Professor:innen besonders gefielen, sondern weil sie Kriterien erfüllten, die innerhalb der juristischen Fachgemeinschaft weithin geteilt werden.
Stil erklärt den Erfolg nur teilweise
Die Autor:innen untersuchten außerdem, ob der Vorsprung der KI lediglich auf formalen Eigenschaften beruhte. Hierfür analysierten sie unter anderem Antwortlänge, Struktur, Klarheit, Argumentationsnuancen, juristische Bezüge, Selbstsicherheit und pädagogische Unterstützung. Die Auswertung ergab, dass längere Antworten zwar tendenziell besser bewertet wurden. Andere Merkmale wie Lesbarkeit oder pädagogische Strukturierung erklärten die Ergebnisse jedoch nicht ausreichend.
Die tatsächlichen Gewinnquoten der KI lagen systematisch über den Werten, die allein aufgrund solcher sprachlichen Merkmale zu erwarten gewesen wären. Nach Ansicht der Autor:innen spricht dies dafür, dass nicht bloß Stil oder Form, sondern zumindest teilweise die inhaltliche Qualität der Antworten den Ausschlag gab.
