Auslegungsprobleme beim Begriff KI-System

Europa hat sich mit der KI-Verordnung ein ehrgeiziges Regelwerk gegeben, das weltweit Maßstäbe setzen soll. Doch ausgerechnet an der Stelle, an der Klarheit am nötigsten wäre, herrscht Nebel. Was genau ein „KI-System“ ist und wo die Grenze zu herkömmlicher Software verläuft, vermag bis heute niemand verlässlich zu sagen. Das ist ein strukturelles Defizit, mit dem die gesamte Architektur der Regulierung untergraben wird.

Konkretisierung eines Begriffs

Die Verordnung (EU) 2024/1689, besser bekannt als KI-Verordnung oder AI Act, trat am 1. August 2024 in Kraft und entfaltet ihre Wirkung stufenweise bis August 2027. Ihr Herzstück ist ein risikobasierter Ansatz, der KI-Systeme in Kategorien einteilt: von verbotenen Praktiken über Hochrisiko-Systeme bis hin zu solchen mit bloßen Transparenzpflichten oder minimalen Anforderungen. Die gesamte Konstruktion steht und fällt mit der Eingangsfrage, ob ein konkretes System überhaupt ein „KI-System“ im Sinne des Gesetzes darstellt. Fällt die Antwort negativ aus, findet die Verordnung schlicht keine Anwendung. Fällt sie positiv aus, können weitreichende Pflichten entstehen, von der Risikoanalyse über umfangreiche Dokumentation bis hin zur Konformitätsbewertung durch unabhängige Stellen.[1][2]

Art. 3 Nr. 1 der KI-Verordnung definiert ein KI-System als „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“. Diese Definition lehnt sich eng an die im November 2023 überarbeitete OECD-Definition an und wurde im Trilog bewusst so gewählt, um internationale Anschlussfähigkeit zu gewährleisten. Der Preis dafür ist eine Unbestimmtheit, die ihresgleichen sucht.

Sieben Merkmale, kein Halt

Schlüsselt man die Definition in ihre Bestandteile auf, ergeben sich sieben Elemente: ein maschinengestütztes System, mit unterschiedlichen Graden an Autonomie, möglicher Anpassungsfähigkeit nach Inbetriebnahme, das aus Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können. Das klingt nach einem engmaschigen Netz. In Wahrheit ist es ein Netz, durch das nahezu jede Software schlüpft oder in dem nahezu jede Software hängen bleibt, je nach Perspektive des Betrachters.

Das Merkmal „maschinengestützt“ schließt lediglich biologische Systeme aus, grenzt aber nicht gegenüber gewöhnlicher Software ab. Der „unterschiedliche Grad an Autonomie“ umfasst dem Wortlaut nach auch den Grad Null, womit letztlich jede automatisierte Datenverarbeitung erfasst wäre. Die „Anpassungsfähigkeit“ ist lediglich als Möglichkeit formuliert, nicht als zwingendes Erfordernis, weshalb auch Systeme ohne jede Lernfähigkeit unter die Definition fallen können. Und die „Ableitung“ von Ausgaben, jenes Merkmal, das eigentlich den entscheidenden Unterschied zu regelbasierter Programmierung markieren sollte, erweist sich bei näherer Betrachtung als missglückt formuliert. Der Gesetzestext spricht davon, dass das System ableitet, „wie“ Ausgaben erstellt werden. Nimmt man das wörtlich, wären die meisten Deep-Learning-Anwendungen, die nach dem Training nur noch eine simple Vorwärtsberechnung durchführen, gar keine KI-Systeme. Liest man das „wie“ hingegen großzügig, fehlt jede Abgrenzung zu einfachen Algorithmen.

Die Quadratur des Kreises

Der europäische Gesetzgeber stand vor einem echten Dilemma. Einerseits sollte die Definition technologieneutral und zukunftsoffen sein, um nicht bei der nächsten Innovationswelle bereits überholt zu sein. Andererseits brauchte die Wirtschaft Rechtssicherheit, um beurteilen zu können, ob ein konkretes Produkt den Anforderungen der Verordnung unterliegt. Diese beiden Ziele wirken in entgegengesetzte Richtungen, und der Kompromiss, der sich im Gesetzgebungsverfahren herauskristallisierte, war im Grunde kein Kompromiss, sondern eine Vertagung der Entscheidung.

Bereits während der Trilogverhandlungen war umstritten, ob die Definition auf maschinelles Lernen beschränkt werden sollte oder auch logik- und wissensbasierte Systeme erfassen müsse. Manche Stimmen im Rat wollten bestimmte Formen bestehender Software ausdrücklich vom Anwendungsbereich ausnehmen. Die OECD-Staaten einigten sich im November 2023 auf eine Formulierung, die bewusst ambivalent blieb, und der europäische Gesetzgeber übernahm diese Ambivalenz fast wortgleich. Man kann sich des Eindrucks kaum erwehren, dass eine echte Einigung in diesem zentralen Punkt schlicht nicht zu erzielen war und beide Seiten zahlreiche Unklarheiten bewusst in Kauf nahmen.

Wenn Leitlinien den Nebel nicht lichten

Am 6. Februar 2025 veröffentlichte die Europäische Kommission gemäß Art. 96 Abs. 1 lit. f der KI-Verordnung Leitlinien zur Auslegung des Begriffs „KI-System“. Die Pressemitteilung betonte ausdrücklich, dass diese Leitlinien nicht verbindlich seien und eine abschließende Einordnung dem Europäischen Gerichtshof vorbehalten bleibe. Im Juli 2025 folgte eine aktualisierte Fassung, die den case-by-case-Charakter der Beurteilung nochmals unterstrich und klarstellte, dass weder eine automatische Einordnung noch erschöpfende Listen möglich seien.

Die Leitlinien liefern durchaus nützliche Hinweise. Sie betonen, dass die Fähigkeit zur Inferenz, also zur Ableitung von Schlussfolgerungen über die bloße Datenverarbeitung hinaus, das zentrale Abgrenzungskriterium sein soll. Ein reines Computerprogramm, das lediglich eine Operation automatisiert, sei kein KI-System. Doch wo genau die Grenze zwischen „bloßer Automatisierung“ und „Inferenz“ verläuft, bleibt im Einzelfall häufig unklar. Erwägungsgrund 12 der KI-Verordnung formuliert zwar, dass Systeme, die auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen, nicht erfasst sein sollen. Doch schon bei einem Scoring-System, das von einem Programmierer auf Basis seiner Berufserfahrung und historischer Daten „Zeile für Zeile“ kodiert wurde, gerät diese Abgrenzung ins Wanken.

Ein pragmatischer Ausweg: Drei Faktoren statt sieben Nebelbegriffe

In der juristischen Literatur hat ein Ansatz besondere Beachtung gefunden, der die Definitionsprobleme durch ein bewegliches System dreier Faktoren zu lösen versucht. Der erste Faktor fragt nach der Rolle von Daten oder domänenspezifischem Erfahrungswissen bei der Entwicklung des Systems. Am oberen Ende dieses Spektrums stehen die verschiedenen Methoden maschinellen Lernens, am unteren Ende Programme, die ohne nennenswerte Datenanalyse oder Domänenwissen erstellt wurden, etwa allgemeine Textverarbeitungsprogramme. Der zweite Faktor betrifft die Funktionsweise des Systems in der Anwendung und fragt, ob es lediglich einfache Vorwärtsberechnungen durchführt oder komplexe zielorientierte Optimierungen vornimmt. Der dritte Faktor betrachtet das Ausmaß formaler Unbestimmtheit bei den Ausgaben, also ob die erwarteten Ergebnisse objektiv eindeutig sind oder ob einem Menschen bei derselben Aufgabe ein erheblicher Ermessensspielraum zustünde.

Das Bemerkenswerte an diesem Ansatz: Die drei Faktoren wirken im Sinne eines beweglichen Systems zusammen, sodass eine besonders starke Ausprägung eines Faktors eine schwache Ausprägung eines anderen kompensieren kann. Ein Chatbot auf Basis eines fixierten Large Language Model beispielsweise weist beim ersten Faktor eine starke Ausprägung auf, da das Modell aus enormen Datenmengen trainiert wurde. Beim zweiten Faktor ist die Ausprägung praktisch null, denn die Erzeugung der Antwort ist technisch betrachtet eine reine Vorwärtsberechnung. Beim dritten Faktor hingegen ist der Ermessensspielraum wieder sehr hoch. In der Gesamtschau ergibt sich eine klare Einordnung als KI-System. Ein Navigationssystem dagegen, das auf Basis einer festen Karte den kürzesten Weg berechnet, weist bei keinem der drei Faktoren eine hinreichende Ausprägung auf und fällt aus dem Anwendungsbereich heraus.

Wenn KI anfängt, Dinge zu bewegen

Die Abgrenzungsprobleme gewinnen eine ganz neue Dimension, wo Künstliche Intelligenz nicht mehr nur Empfehlungen ausspricht, sondern unmittelbar in der physischen Welt handelt. Unter dem Stichwort „Physical AI“ werden Systeme diskutiert, die Roboterarme steuern, Fahrzeuge lenken oder chirurgische Eingriffe unterstützen.

Diese Systeme fallen regelmäßig in den Anwendungsbereich der neuen EU-Maschinenverordnung, die ab dem 20. Januar 2027 die bisherige Maschinenrichtlinie ablöst. Und hier beginnt ein regulatorisches Verwirrspiel, das seinesgleichen sucht. Die Maschinenverordnung verwendet den Begriff der Künstlichen Intelligenz gar nicht, sondern spricht von „selbstentwickelndem Verhalten“ unter Verwendung von Ansätzen des maschinellen Lernens. Sie erfasst damit einen engeren Ausschnitt als die KI-Verordnung, die auch nicht-lernfähige Systeme einbezieht. Gleichzeitig ordnet die KI-Verordnung KI-Systeme, die in den Anwendungsbereich der Maschinenverordnung fallen, kraft Gesetzes als Hochrisiko-KI ein, sofern ein Konformitätsbewertungsverfahren unter Beteiligung einer notifizierten Stelle erforderlich ist.

Die Pointe dabei: Ein Sicherheitsbauteil mit Personenerkennung kann ipso iure als Hochrisiko-KI-System gelten, selbst wenn es nach dem Verständnis der Maschinenverordnung gar keine KI im engeren Sinne ist, etwa weil das System bereits fertig trainiert ist und sich nicht mehr weiterentwickelt. Der Maschinenhersteller, der ein solches System eines Drittanbieters in seine Maschine integriert, wird zudem kraft Gesetzes selbst zum Anbieter des KI-Systems, mit allen damit verbundenen Pflichten.

Hinzu kommt ab Dezember 2027 der Cyber Resilience Act, der vernetzte Maschinen ebenfalls erfasst und eigene Cybersicherheitsanforderungen stellt. Ein Hersteller, der eine vernetzte Maschine mit einem KI-gestützten Sicherheitsbauteil auf den Markt bringt, muss somit potenziell drei Regelwerke parallel beachten: Maschinenverordnung, KI-Verordnung und Cyber Resilience Act. Für alle drei gilt eine einzige CE-Kennzeichnung, eine einzige Konformitätserklärung und eine einzige technische Dokumentation, die sämtliche Anforderungen aller einschlägigen Rechtsakte abbilden muss. Wer hier den Überblick behält, verdient Respekt.

Der Omnibus fährt, die Unklarheit bleibt

Am 19. November 2025 legte die Europäische Kommission den „Digital Omnibus“ vor, ein umfassendes Vereinfachungspaket für die digitale Gesetzgebung. Für die KI-Verordnung bringt der Vorschlag vor allem zeitliche Erleichterungen. Die Anwendung der Hochrisiko-Pflichten soll um bis zu 16 Monate verschoben und an die tatsächliche Verfügbarkeit harmonisierter Normen und Standards gekoppelt werden. Die vereinfachte Behandlung, die bislang nur kleinen und mittleren Unternehmen zugutekam, soll auf sogenannte „Small Mid-Caps“ mit bis zu 750 Beschäftigten und unter 150 Millionen Euro Umsatz ausgeweitet werden. Zudem werden die Registrierungspflichten für Systeme reduziert, die zwar formal in Hochrisikobereichen eingesetzt werden, dort aber nur eng begrenzte oder verfahrenstechnische Aufgaben erfüllen.

Das sind pragmatische Schritte, die in der Wirtschaft auf breite Zustimmung stoßen dürften. Was der Omnibus hingegen nicht leistet: eine Klärung des Begriffs „KI-System“ selbst. Die Definition in Art. 3 Nr. 1 bleibt unangetastet. Die Unschärfe, die dem gesamten Regelwerk zugrunde liegt, wird also nicht adressiert, sondern lediglich durch verlängerte Fristen und administrative Erleichterungen abgefedert. Für Unternehmen, die wissen wollen, ob ihr konkretes Produkt überhaupt unter die Verordnung fällt, ändert sich an der fundamentalen Unsicherheit nichts.

Unklare Gemengelage

Wie gravierend das Problem in der Praxis ist, zeigte bereits eine vom Bayerischen Staatsministerium für Digitales in Auftrag gegebene Studie, die über 100 KI-Anwendungen bayerischer Unternehmen untersuchte. Das Ergebnis: Bei rund 40 Prozent der untersuchten Systeme war eine Klassifizierung nicht zweifelsfrei möglich. Rechnet man diese Grenzfälle zu den eindeutigen Hochrisiko-Systemen hinzu, könnten knapp 60 Prozent aller Anwendungen in die Kategorie mit den höchsten Anforderungen fallen, verbunden mit Zusatzkosten von teils über 350.000 Euro pro Unternehmen. Allein die Unsicherheit darüber, ob ein System überhaupt reguliert ist, kann also existenzielle wirtschaftliche Folgen haben.

In der Praxis wird deshalb häufig zu einer konservativen Strategie geraten: Im Zweifel solle man von einer weiten Auslegung des Begriffs ausgehen und das eigene System behandeln, als fiele es unter die KI-Verordnung. Das ist betriebswirtschaftlich nachvollziehbar, regulatorisch aber unbefriedigend. Denn es bedeutet, dass Unternehmen Compliance-Kosten für Systeme aufwenden, die möglicherweise gar nicht unter die Verordnung fallen. Umgekehrt schafft die Unklarheit einen Anreiz, Systeme bewusst so zu gestalten, dass sie möglichst nicht als KI erkennbar sind, was dem erklärten Ziel der Verordnung, Innovationen zu fördern und gleichzeitig Risiken zu minimieren, diametral zuwiderläuft.

Die eigentliche Machtfrage

Hinter dem Definitionsproblem verbirgt sich eine institutionelle Machtfrage von erheblicher Tragweite. Da die gesetzliche Definition in Art. 3 Nr. 1 nahezu jede Auslegung zulässt, verfügt die EU-Kommission über die faktische Möglichkeit, den Anwendungsbereich der Verordnung durch ihre Leitlinien nach Art. 96 fast beliebig zu definieren. Diese Leitlinien sind zwar formal nicht bindend und können vom Europäischen Gerichtshof korrigiert werden. Doch bis ein solches Verfahren abgeschlossen wäre, vergehen Jahre, und in der Zwischenzeit orientiert sich die Praxis an den Vorgaben der Kommission. Der Gesetzgeber hat damit faktisch seine Definitionshoheit an die Exekutive abgetreten, ein Vorgang, der in anderen Rechtsgebieten erheblichen verfassungsrechtlichen Bedenken begegnen würde.

Warten auf Luxemburg

Rechtsanwalt Jens Ferner, TOP-Strafverteidiger und IT-Rechts-Experte - Fachanwalt für Strafrecht und Fachanwalt für IT-Recht

Letztlich wird der Europäische Gerichtshof die Konturen des Begriffs „KI-System“ zeichnen müssen. Die Erfahrung aus anderen Bereichen des europäischen Technikrechts zeigt, dass solche Klarstellungen regelmäßig erst nach Jahren gerichtlicher Auseinandersetzung erfolgen. Bis dahin bewegen sich Unternehmen, Berater und Aufsichtsbehörden in einer Grauzone, die für ein Regelwerk dieser Tragweite ungewöhnlich groß ist.

Was bleibt: Europa hat das weltweit erste umfassende Gesetz zur Regulierung Künstlicher Intelligenz verabschiedet, ohne sich darauf einigen zu können, was Künstliche Intelligenz eigentlich ist. Das ist kein Versehen. Es ist das Ergebnis eines politischen Prozesses, in dem Technologieneutralität und Zukunftsoffenheit höher gewichtet wurden als Bestimmtheit und Rechtssicherheit. Ob diese Prioritätensetzung sich als weitsichtig oder als Geburtsfehler erweisen wird, entscheidet sich in den kommenden Jahren, wenn die Verordnung auf die Realität europäischer Fabrikhallen, Logistikzentren und Operationssäle trifft.

Rechtsanwalt Jens Ferner
Rechtsanwalt Jens Ferner

Von Rechtsanwalt Jens Ferner

Rechtsanwalt Jens Ferner ist renommierter Strafverteidiger im gesamten Strafrecht samt Managerhaftung (mit Schwerpunkt Wirtschaftskriminalität und Cybercrime) sowie Spezialist im IT-Recht mit Schwerpunkt Softwarerecht und digitale Beweismittel. Als Fachanwalt für Strafrecht + IT-Recht verteidigt er Mandanten in anspruchsvollen Strafverfahren, speziell an der Schnittstelle von Strafrecht & IT-Recht und berät in komplexen Softwareprojekten.

Rechtsanwalt Jens Ferner ist Lehrbeauftragter für Wirtschaftsstrafrecht und IT-Compliance (FH Aachen), Softwareentwickler, fortgebildet in Kommunikationspsychologie und publiziert fortlaufend.

Erreichbarkeit: Erstkontakt per Mail oder Rückruf.

Unsere Anwaltskanzlei im Raum Aachen ist hochspezialisiert auf Strafverteidigung, Cybercrime, Wirtschaftsstrafrecht samt Steuerstrafrecht. Zudem sind wir für Unternehmen im Softwarerecht und Cybersicherheitsrecht beratend tätig.