Eine neue Studie sorgt in der Rechtswelt für Aufsehen – und für ein leichtes Zucken in so mancher Partneretage: Künstliche Intelligenz schlägt menschliche Anwält:innen in vielen Bereichen ihres eigenen Fachs. Die Benchmark-Studie des US-Unternehmens Vals AI hat vier juristische KI-Produkte gegen echte Jurist:innen antreten lassen. Das Ergebnis ist – je nach Perspektive – beeindruckend oder beunruhigend: In den meisten Aufgaben schnitt die KI besser ab.
Durchgeführt wurde die Untersuchung von Vals AI, einem 2023 in San Francisco gegründeten Unternehmen für die Weiterentwicklung generativer KI. Die Gründer, die Stanford-Absolventen Rayan Krishnan und Langston Nashold, wollen mit der Studie zeigen, wie sich der juristische Berufsstand auf den KI-Wandel vorbereiten kann.
Das Fazit: Die Ergebnisse zeigen kein „Entweder-Oder“ zwischen Mensch und Maschine, sondern die Notwendigkeit von Synergien. KI kann Routineaufgaben beschleunigen, während Anwältinnen und Anwälte ihre Energie auf Strategie, Beratung und Mandantenkontakt konzentrieren sollten.
Sieben Disziplinen, ein Sieger: Die KI
Untersucht wurden sieben typische Aufgaben aus dem Kanzleialltag – darunter Dokumentenanalyse, Zusammenfassungen, rechtliche Einschätzungen und Recherchen. Als Datengrundlage dienten über 200 juristische Fragestellungen, die acht renommierte US-Kanzleien wie Reed Smith, McDermott Will & Emery oder Paul Hastings zur Verfügung stellten.
Im Ring standen vier KI-Produkte: Alexi, Counsel Stack, Midpage und ChatGPT von OpenAI. Auf der Gegenseite: erfahrene Jurist:innen, die dieselben Aufgaben ohne KI-Unterstützung lösten. Bewertet wurde nach drei Kriterien: Genauigkeit, Belegbarkeit und Angemessenheit.
Das vielleicht brisanteste Ergebnis: Bei fast allen Aufgaben erzielten die KI-Tools höhere Punktzahlen als die Anwält:innen. Die durchschnittlich gewichtete Gesamtpunktzahl lag bei den KI-Produkten zwischen 74 und 78 Prozent, während die Anwält:innen im Schnitt nur 69 Prozent erreichten. Besonders stark: Das Legal-Tech-Tool Counsel Stack, das in allen drei Bewertungskategorien – also Genauigkeit, Belegbarkeit und Angemessenheit – vorne lag.
Die Genauigkeit der KI-Produkte betrug im Mittel 80 Prozent, bei den menschlichen Jurist:innen waren es 71 Prozent. Damit zeigt sich ein klarer Vorsprung in einem Bereich, der eigentlich als juristische Paradedisziplin gilt. In der Kategorie Belegbarkeit, also der Qualität und Relevanz der verwendeten Quellen, lagen die spezialisierten Legal-KI-Produkte mit 76 Prozent klar vor ChatGPT (70 Prozent) und den Anwält:innen (68 Prozent).
Die Überraschung: KI erklärt besser
Besonders pikant ist das Ergebnis in der Kategorie Angemessenheit. Hier wurde bewertet, wie verständlich, strukturiert und mandantenfreundlich die Antworten waren. Das Ergebnis: Legal-KI-Tools erreichten 70 Prozent, ChatGPT 67 Prozent, während die Anwält:innen nur 60 Prozent erzielten. Mit anderen Worten: Die KI erklärte rechtliche Sachverhalte nicht nur präziser, sondern auch verständlicher. Ein Befund, der vor allem in einer Zeit, in der Mandant:innen schnelle, klare und digitale Kommunikation erwarten – und das zu einem kleinen Preis – für Diskussion sorgen dürfte.
Ganz ohne Lichtblick blieb die menschliche Seite allerdings nicht. In der Detailanalyse zeigt sich: Anwält:innen erzielten seltener sogenannte Nullwertungen – also völlig falsche oder unbeantwortete Fragen. Hier zeigt sich, dass KI zwar schnell, aber nicht immer zuverlässig arbeitet – und gelegentlich schlicht kapituliert. Und: In rund 50 der 200 geprüften Fälle schnitten die Juristinnen und Juristen besser ab als die KI. Besonders bei Aufgaben, die ein tieferes Kontextverständnis, internationale Bezüge oder menschliches Urteilsvermögen erforderten, zeigten sie ihre Stärken. Hier betrug ihr Vorsprung im Schnitt neun Prozentpunkte.
Die Zahlen der Studie sind eindeutig: KI-Tools liefern im Durchschnitt präzisere, belegbarere und verständlichere Antworten als Anwält:innen.
