Im Kontext der Richtlinie über die Verarbeitung von Fluggastdaten (PNR-RL bzw. Richtlinie (EU) 2016/681) konnte sich der EuGH erstmals zu den grundrechtlichen Voraussetzungen des Einsatzes von KI durch eine Behörde äußern.
In diesem Zusammenhang warnt der Europäische Gerichtshof (EuGH) davor, dass die Art und Weise, wie künstliche Intelligenz (KI) funktioniert, oft nicht nachvollziehbar ist. Dies kann es schwierig machen, festzustellen, warum ein KI-Programm bestimmte Ergebnisse liefert. In solchen Fällen könnte der Einsatz von KI die Möglichkeit einer Person einschränken, einen wirksamen Rechtsbehelf nach Artikel 47 der Charta einzulegen, insbesondere um geltend zu machen, dass die Ergebnisse nicht diskriminierend sind. Dies steht im Zusammenhang mit der Gewährleistung eines hohen Schutzniveaus gemäß der PNR-Richtlinie.
Die Behörden müssen daher sicherstellen, dass der Einsatz von KI sowohl automatisch als auch individuell überprüft wird und rechtmäßig und insbesondere nicht diskriminierend ist. Bei KI-Anwendungen, die selbst bei wenigen Fehlern erhebliche Auswirkungen auf die betroffene Person haben können, ist eine manuelle Überprüfung der Ergebnisse unerlässlich.
Hintergrund: Die Fluggastdaten-Richtlinie
Bei der bezeichneten Richtlinie handelt es sich um eine EU-Richtlinie über die Verwendung von Fluggastdatensätzen (Passenger Name Record, PNR) zur Verhütung, Aufdeckung, Ermittlung und Verfolgung von terroristischen Straftaten und schwerer Kriminalität.
Sie regelt die Übermittlung von PNR-Daten von den Fluggesellschaften an spezielle Stellen in den EU-Mitgliedstaaten, die sogenannten Passenger Information Units (PIU). Diese PIUs sind verpflichtet, die Daten zu analysieren, um Personen zu identifizieren, die für terroristische Straftaten oder schwere Kriminalität infrage kommen. Die PNR-Zentralstellen können diese Daten dann an andere Behörden weitergeben, wenn dies für die Zwecke der Richtlinie erforderlich ist. In Deutschland wurde die Richtlinie durch das Gesetz über die Verarbeitung von Fluggastdaten zur Umsetzung der Richtlinie (EU) 2016/681 (Fluggastdatengesetz) umgesetzt.
Solche Fluggastdaten können eine Vielzahl von Informationen enthalten, darunter den vollständigen Namen, die Anschrift, die Telefonnummer, alle Arten von Zahlungsinformationen, Gepäckinformationen und die vollständige Reiseroute des Fluggastes. Hier selbstlernende Systeme einzusetzen, die diese Masse an Daten automatisch durchforsten und Treffer verdächtiger Datensätze zu erzeugen, ist durchaus naheliegend, da nur mit menschlichen Ressourcen die Arbeitskraft faktisch nicht aufzubringen ist bzw. die Zusammenhänge ohne Algorithmen gar nicht zu erkennen sind.
„machine learning“ contra vordefinierte Kriterien
Auch zur Vermeidung von Diskriminierung wird in vielen Gesetzen auf den Begriff der im Voraus festgelegten Filterkriterien zurückgegriffen. Hinsichtlich der Kriterien, welche die Fluggastdatenzentralstelle dabei verwenden darf, ist auch im Rahmen der Fluggastdatenrichtlinie zu beachten, dass diese nach dem Wortlaut von Art. 6 Abs. 3 Buchst. b der Fluggastdatenrichtlinie „im Voraus festgelegt“ worden sein müssen.
Der EuGH schließt sich der Auffassung des Generalanwalts an, dass dieses Erfordernis dem Einsatz von Technologien der künstlichen Intelligenz im Rahmen selbstlernender Systeme („machine learning“) entgegensteht (Rn. 228 der Schlussanträge), die – ohne menschliches Eingreifen und ohne menschliche Kontrolle – den Bewertungsprozess und insbesondere die Bewertungskriterien, auf denen das Ergebnis der Anwendung dieses Prozesses beruht, sowie die Gewichtung dieser Kriterien verändern können. Das maschinelle Lernen, das von Natur aus ein dynamischer Prozess ist, kann daher per se nicht das vom EuGH so geschätzte Kriterium der im Voraus festgelegten Kriterien erfüllen!
Effektiver Rechtsschutz
Der Einsatz solcher Technologien birgt zudem die Gefahr, dass die von der PNR-Richtlinie geforderte individuelle Treffer- und Rechtmäßigkeitskontrolle ihrer praktischen Wirksamkeit beraubt wird.
Der EuGH weist darauf hin, dass es sich angesichts der mangelnden Nachvollziehbarkeit, die für die Funktionsweise von Technologien der künstlichen Intelligenz kennzeichnend ist, als unmöglich erweisen kann, den Grund zu ermitteln, aus dem ein bestimmtes Programm einen Treffer erzielt hat. Unter diesen Umständen könnte der Einsatz solcher Technologien den Betroffenen auch das in Artikel 47 der Charta verankerte Recht auf einen wirksamen gerichtlichen Rechtsbehelf nehmen, das nach Erwägungsgrund 28 der PNR-Richtlinie auf einem hohen Schutzniveau zu gewährleisten ist, damit insbesondere geltend gemacht werden kann, dass die erzielten Ergebnisse nicht frei von Diskriminierung sind.
Mit Blick auf die Formulierung im Gesetz ergibt sich weiter Folgendes: Was speziell die im Voraus festgelegten Kriterien anbelangt, hat die PNR-Zentralstelle zwar nach dem siebten Erwägungsgrund der PNR-Richtlinie die Prüfkriterien so festzulegen, dass die Zahl unschuldiger Personen, die durch das mit der Richtlinie geschaffene System fälschlicherweise identifiziert werden, auf ein Mindestmaß beschränkt wird. Nach Art. 6 Abs. 5 und 6 der Richtlinie muss sie dennoch jeden Treffer individuell und nicht automatisiert überprüfen, um mögliche „False Positives“ so weit wie möglich zu identifizieren. Auch wenn sie die Prüfkriterien in nicht diskriminierender Weise festzulegen hat, muss sie eine solche Prüfung vornehmen, um mögliche diskriminierende Ergebnisse auszuschließen. Die gleiche Prüfpflicht obliegt der PNR-Zentralstelle beim Abgleich der PNR-Daten mit den Datenbanken.
Weiterhin dürfen die zuständigen Behörden Entscheidungen, die für den Betroffenen eine nachteilige Rechtsfolge oder einen sonstigen schwerwiegenden Nachteil zur Folge haben, unter keinen Umständen allein auf der Grundlage der automatisierten Verarbeitung der Fluggastdaten treffen (Art. 7 Abs. 6 Satz 1 PNR-RL); dies bedeutet, dass sie im Rahmen der Vorabkontrolle das Ergebnis der von der PNR-Zentralstelle vorgenommenen nicht-automatisierten Einzelfallprüfung zu berücksichtigen und diesem gegebenenfalls Vorrang vor dem Ergebnis der automatisierten Verarbeitung einzuräumen haben. Nach Art. 7 Abs. 6 Satz 2 dürfen solche Entscheidungen nicht diskriminierend sein.
In diesem Rahmen haben sich die zuständigen Behörden zu vergewissern, dass sowohl die automatisierte Verarbeitung als auch die individuelle Prüfung rechtmäßig und insbesondere nicht diskriminierend sind.
Ferner obliegt es nach Art. 6 Abs. 7 und Art. 15 Abs. 3 Buchst. b der PNR-Richtlinie dem Datenschutzbeauftragten und der nationalen Kontrollstelle, die Rechtmäßigkeit der von der PNR-Zentralstelle im Rahmen der Vorabkontrolle vorgenommenen automatisierten Verarbeitungen zu überwachen. Diese Kontrolle erstreckt sich vornehmlich darauf, dass die Verarbeitungen keinen diskriminierenden Charakter haben. Zu diesem Zweck sieht die erste Bestimmung vor, dass der Datenschutzbeauftragte Zugang zu allen von der PNR-Zentralstelle verarbeiteten Daten hat, wobei sich dieser Zugang notwendigerweise auf die im Voraus festgelegten Kriterien und die von der Zentralstelle verwendeten Datenbanken erstrecken muss, um den wirksamen und umfassenden Datenschutz zu gewährleisten, den der Datenschutzbeauftragte gemäß Erwägungsgrund 37 der Richtlinie zu gewährleisten hat. Ebenso können sich die Untersuchungen, Inspektionen und Audits, die von der nationalen Kontrollstelle gemäß der letztgenannten Bestimmung durchgeführt werden, auf die im Voraus festgelegten Kriterien und die Datenbanken beziehen.
Fazit zur Einschätzung des EUGH
Es ging hier nicht primär um den Einsatz von KI, vielmehr wurde es am Rande beleuchtet. Die vom EUGH gemachten Ausführungen sind jedenfalls beim Einsatz von KI durch Behörden einfach zu verallgemeinern: Behörden müssen sicherstellen, dass sowohl die automatisierte Verarbeitung als auch die individuelle Prüfung rechtmäßig und insbesondere nicht diskriminierend sind. Dabei wird bei Grundrechts-intensiven KI-Vorgängen, das sind speziell solche, die auch bei wenigen falschen Ergebnissen für die betroffene Person erhebliche Auswirkungen haben, eine manuelle Prüfung der Ergebnisse zwingend sein, die im vorliegenden Fall ausdrücklich in der PNR-Richtlinie vorgesehen ist.
Erreichbarkeit: Per Mail, Rückruf, Threema oder Whatsapp
Unsere Kanzlei ist spezialisiert auf Starke Strafverteidigung, seriöses Wirtschaftsstrafrecht und anspruchsvolles IT-Recht / Technologierecht - ergänzt um Arbeitsrecht.
- Arbeit auf Abruf – Dauer der wöchentlichen Arbeitszeit - 29. April 2024
- BGH-Entscheidung betont differenzierte Betrachtung bei der Einziehung von Arbeitsentgelt - 29. April 2024
- Innovation im Spannungsfeld von Funktion und Patentrecht - 29. April 2024