Regulierung von künstlicher Intelligenz durch den AI-Act (KI-Verordnung)

Die KI-Verordnung (der „AI Act“) reguliert Entwicklung, Vertrieb und Einsatz von KI. Nun bringen es EU-Regeln mit sich, äußerst umfangreich und komplex zu sein – zwar bieten sich hier viele Hilfen beim Verständnis des Textes, aber gerade Laien sind schnell überfordert, die wesentlichen ersten Infos systematisch zu erfassen.

Im Folgenden möchte ich eine kleine Hilfestellung geben, zum Orientieren für diejenigen, die sich mit der Entwicklung von KI beschäftigen.

Die EU betreibt das Thema KI mit Augenmerk. Das Ziel der EU-Kommission ist nach eigener Aussage ein Aufbau vertrauenswürdiger KI für ein sicheres und innovationsfreundliches Umfeld. Hierzu hat die Kommission vor allem drei miteinander verbundene Rechtsinitiativen auf den Weg gebracht:

RA JF schreibt hier im Blog und bietet ergänzend Vorträge rund um Datenschutz, Softwarerecht, digitale Ermittlungen & Beweise samt Cybersecurity + Cybercrime!

Was ist ein KI-System

Bevor man über die Regulierung von KI nachdenkt, muss man sich im Klaren sein, worum es überhaupt geht – die Unterscheidung zwischen „trivialer Software“, „Datenbank“ und „KI-System“ ist eine gewisse Herausforderung. Ich beschreibe in einem ausführlichen Beitrag, wie man die gesetzliche Definition wohl am Ende zu verstehen hat. Nur wenn diese erfüllt ist, bewegt man sich im regulatorischen Rahmen der KI-VO:

Ein KI-System ist eine von einem Menschen geschaffene, autonom arbeitende Software, die abhängig von Input jeglicher Art inferiert und mit ihrer Umgebung auf irgendeine Art interagieren kann.

RA Jens Ferner dazu, was ein KI-System ist

Welche Arten von KI reguliert der AI-Act?

Es ist eine Frage persönlicher Systematisierung und Kategoriesierung, um zu der Antwort zu kommen, was die KI-VO letztlich an Systemen reguliert. Ich bevorzuge auf abstrakter Ebene eine Dreiteilung, wobei man in Erinnerung halten muss, dass es allgemeine Vorgaben gibt, die auch für nicht explizit regulierte Modelle gelten:

Hochrisiko-KI-Systeme

Diese umfassen unter anderem Systeme für biometrische Identifikation, kritische Infrastrukturen, Bildung und berufliche Ausbildung, Beschäftigung und Arbeitsverwaltung, Zugang zu essenziellen privaten und öffentlichen Dienstleistungen sowie Rechtssysteme und demokratische Prozesse​​.

Generelle KI-Modelle

Generelle KI-Modelle (General Purpose AI) sind KI-Systeme, die nicht für eine spezifische Aufgabe entwickelt wurden, sondern breit einsetzbar sind und verschiedene Anwendungen unterstützen können. Diese Modelle können in einer Vielzahl von Bereichen und für unterschiedliche Zwecke verwendet werden, ohne dass sie für eine bestimmte Aufgabe optimiert wurden.

Verbotene KI-Praktiken

Dazu gehören Systeme, die subliminale Techniken verwenden, um das Verhalten von Personen zu beeinflussen, Systeme, die die Verletzlichkeit von Personen aufgrund ihres Alters, einer Behinderung oder ihrer sozialen oder wirtschaftlichen Situation ausnutzen, Systeme zur sozialen Bewertung von Personen sowie Systeme zur Vorhersage krimineller Handlungen auf Basis von Profiling​​.

Verbotene KI-Praktiken

Ein verbotenes KI-System gemäß dem AI Act ist ein KI-System, dessen Einsatz als inakzeptabel und schädlich für die Gesellschaft oder Einzelpersonen angesehen wird und daher strengstens untersagt ist. Diese Verbote sind in Artikel 5 des AI Acts festgelegt und beinhalten spezifische Praktiken, die aufgrund ihres potenziellen Missbrauchs und ihrer Gefahr für grundlegende Rechte und Freiheiten nicht verwendet werden dürfen.

Durch diese Beschränlungen soll sichergestellt sein, dass die Entwicklung und Nutzung von KI-Systemen mit den grundlegenden Werten der EU übereinstimmen und die Rechte und Freiheiten der Einzelpersonen geschützt werden. Die wesentlichen Kategorien verbotener KI-Systeme sind:

  1. Subliminale Techniken: Systeme, die Techniken einsetzen, die jenseits des Bewusstseins einer Person liegen, um deren Verhalten signifikant zu beeinflussen, sind verboten. Diese Techniken zielen darauf ab, Entscheidungen zu erzwingen, die die betroffenen Personen sonst nicht getroffen hätten, und können zu erheblichem Schaden führen.
  2. Ausnutzung von Schwachstellen: Systeme, die Schwachstellen von Einzelpersonen oder Gruppen aufgrund von Alter, Behinderung oder sozialen und wirtschaftlichen Umständen ausnutzen, um deren Verhalten zu manipulieren, sind ebenfalls untersagt. Diese Systeme können erheblichen Schaden anrichten, indem sie die Verletzlichkeit der betroffenen Personen missbrauchen.
  3. Sozialbewertung und Klassifizierung: KI-Systeme, die Personen oder Gruppen basierend auf deren sozialem Verhalten oder persönlichen Eigenschaften bewerten oder klassifizieren und zu ungerechtfertigter oder unverhältnismäßiger Benachteiligung führen, sind verboten. Solche Systeme können diskriminierende Ergebnisse erzeugen und die soziale Gerechtigkeit beeinträchtigen.
  4. Risikobewertung für kriminelle Handlungen: Systeme, die allein auf der Basis von Profiling oder Persönlichkeitsmerkmalen das Risiko einer Person bewerten, eine Straftat zu begehen, sind verboten. Diese Systeme könnten zu ungerechtfertigten Vorurteilen und führen.
  5. Erweiterung von Gesichtserkennungsdatenbanken: Das Erstellen oder Erweitern von Gesichtserkennungsdatenbanken durch ungezieltes Sammeln von Bildern aus dem Internet oder CCTV-Aufnahmen ist untersagt, da dies zur Massenüberwachung beitragen und fundamentale Rechte verletzen kann.
  6. Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen: Systeme, die Emotionen von Personen am Arbeitsplatz oder in Bildungseinrichtungen erkennen, sind verboten, außer sie dienen medizinischen oder sicherheitsrelevanten Zwecken. Diese Systeme könnten die Privatsphäre und die Rechte der betroffenen Personen erheblich beeinträchtigen.

Ein besonderer Fall sind dabei biometrische Systeme, die mal verboten und mal wieder zulässig sind, je nach konkretem Einsatzgebiet. Ich überlege auch, ob man diese nicht als eigene Kategorie aufnehmen sollte. Bisher behandle ich KI-Systeme mit dieser Funktionalität in einem eigenen Beitrag.


Rollen in der KI-Verordnung

Im der Europäischen Union werden mehrere Rollen definiert, diese Rollen umfassen: Anbieter, Importeure, Händler, Bereitsteller, benannte Stellen, Marktüberwachungsbehörden und autorisierte Vertreter. Auch Nutzer spielen eine (kleine) Rolle im Regelwerk des AI-Acts und tauchen woanders viel wichtiger auf.

  • Anbieter (Provider): Anbieter sind diejenigen, die KI-Systeme entwickeln und auf den Markt bringen. Sie tragen die Hauptverantwortung für die Einhaltung aller Vorschriften des AI-Acts, einschließlich Risikobewertungen, Transparenz, Datensicherheit und technischer Dokumentation​​.
  • Importeure: Importeure bringen KI-Systeme aus Nicht-EU-Ländern in die EU. Sie müssen sicherstellen, dass die eingeführten Systeme allen Anforderungen des AI-Acts entsprechen, einschließlich der Überprüfung der technischen Dokumentation und der Einhaltung durch den Anbieter​​.
  • Händler (Distributors): Händler, die KI-Systeme innerhalb der EU vertreiben, sind verpflichtet, die Konformität der Systeme zu überprüfen. Sie müssen sicherstellen, dass die Systeme korrekt gekennzeichnet sind und dass alle notwendigen Informationen und Anweisungen zur Verfügung stehen​​.
  • Bereitsteller (Deployers): Bereitsteller setzen KI-Systeme ein, um spezifische Aufgaben zu erfüllen. Sie müssen sicherstellen, dass die Systeme gemäß den Anweisungen des Anbieters verwendet werden und alle Sicherheitsanforderungen eingehalten werden. Dazu gehört auch die Überwachung der Leistung der Systeme und die Meldung von Vorfällen an die Behörden​​.
  • Benannte Stellen (Notified Bodies): Benannte Stellen sind unabhängige Organisationen, die die Konformitätsbewertungen für hochriskante KI-Systeme durchführen. Sie prüfen die Einhaltung der Anforderungen des AI-Acts und stellen Zertifizierungen aus​​.
  • Marktüberwachungsbehörden: Nationale Marktüberwachungsbehörden überwachen die Einhaltung des AI-Acts. Sie führen Inspektionen durch, verlangen technische Dokumentationen und setzen Korrekturmaßnahmen durch, falls Verstöße festgestellt werden. Sie können Sanktionen verhängen und Marktverbote aussprechen​​.
  • Autorisierte Vertreter: Anbieter, die nicht in der EU ansässig sind, müssen einen autorisierten Vertreter in der EU benennen. Dieser Vertreter übernimmt die Verantwortung für die Einhaltung der Vorschriften und fungiert als Ansprechpartner für die Marktüberwachungsbehörden​​.
  • Nutzer: tauchen in der KI-Verordnung vor allem dort auf, wo es um Transparenz und Information in Richtung der Nutzer geht. Allerdings sind Nutzer gleichwohl wichtig in Erinnerung zu behalten, da diese im Rahmen der KI-Haftungsrichtlinie eigene Pflichten auferlegt bekommen können!

Regulierte KI-Systeme im AI-Act

Am leichtesten ist es, sich in einer klassischen tabellarischen Übersicht die grundlegenden Anforderungen je nach System vor Augen zu führen.

Eine solche Übersicht zeigt verständlich die unterschiedlichen Anforderungen, die Entwickler von nicht explizit regulierten KI-Systemen, Hochrisiko-KI-Systemen und generellen KI-Modellen erfüllen müssen, bevor sie ihre Systeme auf den Markt bringen können.

Hochrisiko-KI-Systeme und generelle KI-Modelle unterliegen dabei strengeren Vorschriften und Überprüfungen, um die Sicherheit und den Schutz der Nutzer und der Gesellschaft zu gewährleisten:

KategorieNicht explizit regulierte KIHochrisiko-KI-SystemeGenerelle KI-Modelle
DefinitionKI-Systeme, die keine spezifischen regulatorischen Anforderungen erfüllen müssenSysteme, die ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte darstellenKI-Modelle, die für vielfältige Anwendungen entwickelt wurden und breite Einsatzmöglichkeiten haben
Beispiele– Chatbots
– Empfehlungssysteme
– Sprachassistenten
– Biometrische Identifikation
– Kritische Infrastrukturen
– Systeme für Bildung und berufliche Ausbildung
– Sprachmodelle
– Bildverarbeitungssysteme
– Allgemeine KI-Frameworks
Risikobewertung– Grundlegende Bewertung und Dokumentation der potenziellen Risiken– Detaillierte Risikobewertung und -analyse
– Durchführung von Risikomanagementmaßnahmen
– Risikobewertung basierend auf spezifischen Anwendungen und potenziellen Risiken
Technische Dokumentation– Basisdokumentation der Funktionalität und Nutzung des Systems– Umfangreiche technische Dokumentation einschließlich Datenquellen, Algorithmen, Designentscheidungen und Validierungsmethoden– Dokumentation der Modellarchitektur, Trainingsdaten, Algorithmen und möglichen Anwendungsbereichen
Transparenzanforderungen– Information der Nutzer über die Nutzung von KI– Umfassende Transparenzanforderungen
– Bereitstellung von Erklärungen zu den Entscheidungsprozessen des Systems
– Transparenz bezüglich der allgemeinen Funktionsweise und möglichen Einsatzgebiete des Modells
Sicherheitsanforderungen– Sicherstellung grundlegender Sicherheitsmaßnahmen– Erfüllung strenger Sicherheitsanforderungen
– Maßnahmen zur Minimierung von Risiken für Gesundheit und Sicherheit
– Implementierung von Sicherheitsmaßnahmen, abhängig vom spezifischen Einsatzbereich
Überwachung und Kontrolle– Grundlegende interne Überprüfung und Monitoring– Kontinuierliche Überwachung und Berichterstattung
– Regelmäßige Audits und Überprüfungen durch unabhängige Stellen
– Überwachung der Modellnutzung und kontinuierliche Bewertung der Risiken in verschiedenen Einsatzbereichen
Datenmanagement– Einhaltung grundlegender Datenschutzanforderungen– Strikte Einhaltung der Datenschutzgesetze
– Sicherstellung der Datenqualität und -integrität
– Sicherstellung der Datenqualität und Einhaltung von Datenschutzanforderungen in allen Anwendungsfällen
Meldung von Vorfällen– Dokumentation und Meldung schwerwiegender Vorfälle– Sofortige Meldung schwerwiegender Vorfälle an zuständige Behörden
– Durchführung von Abhilfemaßnahmen und Berichterstattung
– Dokumentation und Meldung von Vorfällen, abhängig vom spezifischen Einsatzbereich und den damit verbundenen Risiken
Nutzerinformationen und Schulung– Bereitstellung grundlegender Informationen an die Nutzer– Umfassende Schulung und Information der Nutzer und Betreiber des Systems– Information der Nutzer über die allgemeine Funktionsweise und die Einsatzmöglichkeiten des Modells
Konformitätsbewertung– Selbstbewertung der Konformität– Durchführung einer Konformitätsbewertung durch eine benannte Stelle (Dritte)– Konformitätsbewertung basierend auf spezifischen Anwendungen und regulatorischen Anforderungen
Zertifizierung und Kennzeichnung– Keine spezifischen Anforderungen– Notwendigkeit einer CE-Kennzeichnung und Zertifizierung vor dem Inverkehrbringen– Zertifizierung und Kennzeichnung je nach spezifischem Einsatzbereich und den damit verbundenen regulatorischen Anforderungen
KategorieNicht explizit regulierte KIHochrisiko-KI-SystemeGenerelle KI-Modelle

CE-Kennzeichen als Mittel der Regulierung

Kontrolle von KI-Systemen

Der AI-Act der Europäischen Union (EU) legt fest, dass Künstliche Intelligenz (KI)-Systeme, die in der EU verwendet werden, bestimmte Anforderungen erfüllen müssen, um sicherzustellen, dass sie sicher und vertrauenswürdig sind. Eine zentrale Komponente dieser Anforderungen ist die CE-Konformitätsprüfung.

Regulierung von künstlicher Intelligenz durch den AI-Act (KI-Verordnung) - Rechtsanwalt Ferner

Vorsicht, ich betone den Punkt der aus wichtigem Grund: Hier trifft die KI-Verordnung auf das Wettbewerbsrecht! Wer mit CE-Kennzeichen unzulässig wirbt oder vorgeschriebene CE-Konformitätsprüfungen nicht vornimmt bzw. die vorgeschriebene Dokumentation nicht vorhält, der begeht einen Wettbewerbsverstoß – und kann auf Unterlassung in Anspruch genommen werden.

CE-Konformitätsprüfungen sind Verfahren, die sicherstellen, dass Produkte, einschließlich KI-Systeme, den geltenden EU-Richtlinien und -Normen entsprechen. Diese Prüfungen sind notwendig, um das CE-Kennzeichen zu erhalten, welches signalisiert, dass das Produkt den EU-Sicherheits-, Gesundheits- und Umweltanforderungen entspricht. Ich gehe darauf in einem eigenen Beitrag ein!


Konsequenzen bei Verstößen

Wenn KI-Anbieter sich nicht an die Regulierungsvorgaben des AI-Acts halten, drohen ihnen erhebliche Konsequenzen. Der AI-Act enthält klare Regelungen und Strafen, um sicherzustellen, dass KI-Systeme sicher und vertrauenswürdig sind und die Rechte und Freiheiten der Nutzer geschützt werden. Meine Highlights:

Korrekturmaßnahmen

Wenn ein KI-System die Anforderungen des AI-Acts nicht erfüllt, müssen die Anbieter entsprechende Korrekturmaßnahmen ergreifen. Die Marktüberwachungsbehörden können die Anbieter dazu verpflichten, die Konformität des KI-Systems wiederherzustellen, das System vom Markt zu nehmen oder es zurückzurufen. Diese Maßnahmen müssen unverzüglich umgesetzt werden.

Finanzielle Sanktionen

Verstöße gegen die Vorschriften des AI-Acts können zu erheblichen Geldstrafen führen. Die Höhe der Geldstrafen variiert je nach Art und Schwere des Verstoßes:

  • Verstöße gegen das Verbot bestimmter KI-Praktiken: Geldstrafen von bis zu 35 Millionen Euro oder bis zu 7 % des weltweiten Jahresumsatzes des Unternehmens, je nachdem, welcher Betrag höher ist.
  • Nicht-Einhaltung anderer Anforderungen: Geldstrafen von bis zu 15 Millionen Euro oder bis zu 3 % des weltweiten Jahresumsatzes des Unternehmens, je nachdem, welcher Betrag höher ist.
  • Bereitstellung falscher, unvollständiger oder irreführender Informationen: Geldstrafen von bis zu 7,5 Millionen Euro oder bis zu 1 % des weltweiten Jahresumsatzes des Unternehmens, je nachdem, welcher Betrag höher ist.

Einschränkungen und Verbote

Bei anhaltenden Verstößen oder schwerwiegenden Risiken können die Marktüberwachungsbehörden das Inverkehrbringen des KI-Systems in der EU einschränken oder verbieten. Dies bedeutet, dass das betroffene KI-System nicht mehr auf dem EU-Markt angeboten oder genutzt werden darf, bis die Konformität wiederhergestellt ist

Überwachung und Nachverfolgung

Die Marktüberwachungsbehörden sind befugt, umfassende Überprüfungen und Inspektionen durchzuführen, um die Einhaltung der Vorschriften sicherzustellen. Dies beinhaltet den Zugang zu technischen Unterlagen, den Quellcode des KI-Systems und relevante Daten, die zur Entwicklung und Validierung des Systems verwendet wurden

Wettbewerbsrecht

Es wird die spannende Frage sein, ob zumindest einzelne Verstöße gegen Vorgaben der KI-Verordnung im Zuge des Wettbewerbsrechts durch Mitbewerber durchgesetzt werden können. Ich selbst gehe davon aus, dass einzelne Regularien wie speziell zur CE-Kennzeichnung, aber auch beim „KI-Washing“ wettbewerbsrechtlich sanktionierbar sind.

Ausblick

Als Fachanwalt für IT-Recht berate ich Unternehmen, die Künstliche Intelligenz (KI)-Systeme entwickeln und auf den Markt bringen möchten. Die rechtlichen Anforderungen in diesem Bereich sind komplex und können weitreichende Konsequenzen haben. Aus meiner Erfahrung möchte ich erläutern, warum eine frühzeitige anwaltliche Anbindung für KI-Anbieter von entscheidender Bedeutung ist.

Die frühzeitige anwaltliche Anbindung ist für KI-Anbieter unerlässlich, um die komplexen Anforderungen des AI-Acts zu erfüllen und schwerwiegende Konsequenzen zu vermeiden. Durch professionelle Beratung können Unternehmen sicherstellen, dass ihre Systeme rechtlich konform sind, wodurch finanzielle Risiken minimiert und das Vertrauen der Nutzer gestärkt wird. In meiner Praxis habe ich gesehen, dass proaktive rechtliche Unterstützung einen entscheidenden Unterschied machen kann – für die rechtliche Sicherheit und den geschäftlichen Erfolg von Unternehmen im Bereich der Künstlichen Intelligenz.

Schwerwiegende Konsequenzen bei Nichteinhaltung

Die Nichteinhaltung der Vorschriften des AI-Acts kann für KI-Anbieter schwerwiegende Konsequenzen haben. Neben erheblichen finanziellen Sanktionen drohen auch Marktverbote, die das Inverkehrbringen von KI-Systemen in der EU untersagen können. Darüber hinaus können umfassende Überwachungsmaßnahmen und rechtliche Schritte ergriffen werden, um die Konformität sicherzustellen und die Rechte der Nutzer zu schützen. Diese Maßnahmen können nicht nur die finanzielle Situation eines Unternehmens erheblich belasten, sondern auch dessen Ruf nachhaltig schädigen.

Ich kann helfen, diese Risiken zu minimieren und die Konformität sicherzustellen. Als Anwalt unterstütze ich Unternehmen dabei, die komplexen Anforderungen des AI-Acts zu verstehen und umzusetzen. Dies beginnt mit einer umfassenden Risikoanalyse und der Entwicklung von Strategien zur Einhaltung der Vorschriften.

Ein weiterer wichtiger Aspekt ist die Erstellung und Pflege der erforderlichen technischen Unterlagen und Dokumentationen. Hierzu gehört auch die Vorbereitung auf mögliche Überprüfungen durch die Marktüberwachungsbehörden. Durch eine frühzeitige Beratung können Unternehmen sicherstellen, dass alle relevanten Anforderungen von Anfang an berücksichtigt werden, was spätere Anpassungen und potenzielle Strafen vermeidet.

Die Einhaltung der Vorschriften stärkt nicht nur die rechtliche Position eines Unternehmens, sondern fördert auch das Vertrauen der Nutzer in die angebotenen KI-Systeme. Dies ist in einem wettbewerbsintensiven Markt von entscheidender Bedeutung. Unternehmen, die nachweislich sicherere und konforme Systeme anbieten, können sich besser gegenüber der Konkurrenz behaupten und langfristig eine stärkere Marktposition aufbauen.

Rechtsanwalt Jens Ferner (Fachanwalt für IT- & Strafrecht)
Benutzerbild von Rechtsanwalt Jens Ferner (Fachanwalt für IT- & Strafrecht)

Von Rechtsanwalt Jens Ferner (Fachanwalt für IT- & Strafrecht)

Ich bin Fachanwalt für Strafrecht + Fachanwalt für IT-Recht und widme mich beruflich ganz der Tätigkeit als Strafverteidiger und dem IT-Recht. Vor meinem Leben als Anwalt war ich Softwareentwickler. Ich bin Autor sowohl in einem renommierten StPO-Kommentar als auch in Fachzeitschriften. Dabei bin ich fortgebildet in Krisenkommunikation und Compliance.

Erreichbarkeit: Per Mail, Rückruf, Threema oder Whatsapp.

Unsere Kanzlei ist spezialisiert auf Starke Strafverteidigung, seriöses Wirtschaftsstrafrecht und anspruchsvolles IT-Recht + Kunst & Medien - ergänzt um Arbeitsrecht.