Studie: KI als Berater scheitert am Menschen

Studie offenbart Defizite

Die Studie zeigt, dass moderne Sprachmodelle im „Prüfstand‑Modus“ zwar beeindruckend performen, im Zusammenspiel mit Laien aber bislang keinen Mehrwert für reale Gesundheitsentscheidungen liefern.

Getestet wurden Alltags‑Vignetten zu typischen Symptomen, in denen 1.298 Teilnehmende aus dem Vereinigten Königreich entscheiden mussten, welche Erkrankung vorliegen könnte und ob sie etwa abwarten, den Hausarzt kontaktieren oder eine Notfallversorgung aufsuchen sollten; die Probanden nutzten entweder eines von drei LLMs (GPT‑4o, Llama 3, Command R+) oder ihre üblichen Informationsquellen. Ohne Nutzerinteraktion identifizierten die Modelle in rund 95% der Fälle mindestens eine relevante Diagnose und empfahlen im Mittel in gut der Hälfte der Fälle den zutreffenden Versorgungsweg, lagen also deutlich über Zufallsniveau und vergleichbar mit anderen medizinischen Benchmarks.

Sobald reale Nutzer ins Spiel kamen, brach dieser Vorsprung jedoch weg: Mit LLM‑Unterstützung erkannten die Teilnehmenden relevante Erkrankungen nur in weniger als 34,5% der Fälle und wählten in unter 44,2% der Fälle die adäquate Handlungsoption – und waren damit nicht besser als die Kontrollgruppe mit klassischen Suchmaschinen bzw. eigenen Mitteln. Teilweise schnitten die LLM‑Nutzer bei der Identifikation relevanter und insbesondere „red‑flag“‑Diagnosen sogar schlechter ab als die Kontrollgruppe. In einer manuellen Auswertung von Interaktionen zeigte sich ein doppelter Bruch in der Informationskette: Nutzer gaben unvollständige oder fehlerhafte Angaben ein, während die Modelle zwar oft korrekte Optionen nannten, diese aber nicht so präsentierten, dass Laien die entscheidenden Hinweise erkennen, einordnen und priorisieren konnten.

Normativ lässt sich daraus ablesen, dass LLM‑Leistung auf Prüfungsfragen kein hinreichender Proxy für einen sicheren Einsatz in der direkten Laienberatung ist und dass die Risiken einer Fehleinschätzung (insbesondere bei Notfällen) regulatorisch ernst zu nehmen sind. Die Autor:innen kommen zu dem Ergebnis, dass gegenwärtige Systeme nicht reif für eine Rolle als „digitaler Hausarzt“ oder Triage‑Assistent für die Allgemeinbevölkerung sind; nötig wären speziell gestaltete, auf reale Interaktion, Transparenz und Fehlertoleranz optimierte Werkzeuge, flankiert von klaren Hinweisen, dass sie ärztliche Versorgung nicht ersetzen. Für Gesundheitssysteme und Gesetzgeber deutet die Studie damit eher auf einen vorsichtigen Einsatz als Informations‑ bzw. Bildungsinstrumente hin, verbunden mit strengen Evaluations‑, Haftungs‑ und Aufklärungsanforderungen.

Unsere KI-Politik

In unserer Kanzlei setzen wir natürlich KI ein – und zwar um unsere Arbeit zu unterstützen, ohne dabei den persönlichen Kontakt und die individuelle Betreuung unserer Mandanten zu beeinträchtigen. Weil von Anfang an klar war, wie wichtig das Thema ist, haben wir bereits seit 2023 eine klar definierte und kommunizierte KI-Politik: Bei der direkten Kommunikation mit Ihnen verzichten wir bewusst auf KI-gestützte Tools wie virtuelle Assistenten, Toolboxen wie OpenClaw oder automatisierte E-Mails. Stattdessen legen wir größten Wert auf den direkten, menschlichen Austausch mit Ihnen als unserem Mandanten. Darum haben Sie es auch direkt mit unseren Anwälten zu tun und nicht mit Pseudo-KI in Form von Chatbots oder KI-Anrufsystemen.

KI kommt bei uns ausschließlich im Rahmen von Rechtschreib-Tools wie Languagetool, im Rahmen redaktioneller Arbeit auf unserer Webseite sowie bei der Recherche zum Einsatz – wobei wir auf eine eigene, seit 25 Jahren kontinuierlich gepflegte Datenbank mit juristischen Fachinformationen und Entscheidungen zurückgreifen. Zum Einsatz kommt in der Recherche Mistral, bevorzugt lokal via OLLAMA mit selbst programmierten Schnittstellen sowie im Rahmen von Devonthink. Auf keinen Fall erstellen wir Schriftsätze mithilfe von generativer KI oder übergeben Daten/Informationen aus Mandaten an (generative) KI-Modelle, denn wir sind überzeugt, dass die Überzeugungsarbeit gegenüber Staatsanwälten und Richtern nur durch persönliche, sorgfältige Kommunikation gelingt.

Unsere Kanzlei arbeitet nicht „auf Masse“, sondern konzentriert sich auf anspruchsvolle Fälle, die eine individuelle und tiefgehende Bearbeitung erfordern. Unsere Stärke liegt in unserer Expertise, die wir durch ständige Fachpublikationen, anspruchsvolle Fortbildungen – sowohl besucht als auch selbst gegeben – sowie Schulungen in Kommunikationswissenschaft und Krisenmanagement kontinuierlich ausbauen. RA Jens Ferner ist Autor in einem StPO-Kommentar und mehreren Fachzeitschriften

Schalten Sie Ihr Hirn ein!

Ich kann es nicht nur bei Möchtegern-Mandanten sondern vor allem in meinem sozialen Umfeld beobachten: Gerne wird ein LLM nach einer rechtlichen Einschätzung gefragt – und gibt auch brauchbare Antworten. Allerdings nehmen die Betroffenen im Regelfall nur ihre eigene Sichtweise, ihr eigenes Erleben und scheitern vollends daran sich selbst kritisch zu hinterfragen – oder zumindest vom LLM hinterfragen zu lassen. LLM ist dabei am Ende in verstärktem Maße wie Social Media selbstverstärkend, heisst man wird in seinen schon vorhandenen Ansichten bestärkt und wird nur immer überzeugter von seiner Meinung.

Wenn diese Menschen dann zum Anwalt gehen, sind die Gespräche freudlos: Man ist schon verhärtet, kommunikationsfeindlich und absolut uneinsichtig (weswegen ich diese Mandate auch nicht annehme – es führt zu nichts). Der Umgang mit der Tatsache, dass Wahrheit in Streitigkeiten ein Relativ und kein Objektiv ist, aus dem die Juristerei die prozessuale Wahrheit geformt hat, überfordert Laien seit jeher und ist die Hauptursache schlecht geführter Prozesse. Daneben tritt das Problem der Kommunikation, da in unseren Prozessen – gleich ob Zivilprozess oder Strafprozess – die Überzeugung gilt: Anders als im Fernsehen können Sie sich den Mund fusselig reden … … wenn der Boden einmal verbrannt ist, war es das. Ein guter Anwalt weiß, wo Grenzen sind, und erarbeitet alternative Lösungsszenarien. Ein LLM dagegen kann nur stoisch erklären, wie es doch „wirklich richtig Richtig“ ist und lässt Sie volle Kanne in den Abgrund rennen. Deswegen spreche ich in unserer FAQ auch von „Pay or Pray“: Natürlich können Sie KI nutzen. Ihr grundlegender Fehler ist nur halt die Annahme, Sie würden bei Gericht irgendwas gewinnen, weil die juristische Bewertung Ihrer wahrgenommenen Realität das ausschlaggebende Kriterium ist. Das ist es nicht und gute Anwälte wissen das.