Herausforderungen bei der Entwicklung von KI-Systemen: Juristische Fallstricke für Softwareentwickler

In der heutigen digitalen Welt sind künstliche Intelligenz (KI) und maschinelles Lernen mehr als nur Schlagworte – sie sind technologische Treiber, die in vielen Branchen transformative Auswirkungen haben. Für Softwareentwickler, die an der Spitze dieser Bewegung stehen, eröffnen sich neue Möglichkeiten, aber auch komplexe Herausforderungen.

Besonders juristische Fallstricke können den Entwicklungsprozess erschweren und rechtliche Konsequenzen nach sich ziehen. In diesem Artikel werfen wir einen Blick auf die zentralen Probleme und Unwägbarkeiten, die sich bei der Programmierung von KI-Systemen aus rechtlicher Sicht ergeben.


1. Der Unterschied zwischen traditioneller Softwareentwicklung und KI-Entwicklung

Softwareentwickler, die an herkömmlichen IT-Projekten arbeiten, sind es gewohnt, den Code für Anwendungen zu schreiben, zu testen und dann in Betrieb zu nehmen. Bei KI-Systemen ist der Entwicklungsprozess jedoch anders. Hier wird nicht nur Software geschrieben, sondern es wird ein System trainiert, das selbstständig lernen und Entscheidungen treffen kann. Diese Autonomie bringt eine Reihe von Herausforderungen mit sich, die weit über die technische Implementierung hinausgehen.

2. Mangelhafte KI-Systeme: Objektive Kriterien als Maßstab

Eines der größten Probleme bei der Entwicklung von KI-Systemen ist die Bestimmung von Mängeln. Anders als bei traditioneller Software ist es bei KI-Systemen oft schwierig, klar zu definieren, wann ein System als „mangelhaft“ angesehen werden kann. Der BGH hat beispielsweise den Ausschluss der Haftung für leichte Fahrlässigkeit bei wesentlichen Vertragspflichten in einem Entwicklungsvertrag für unwirksam erklärt. Entwickler müssen sicherstellen, dass die KI-Systeme, die sie erstellen, den objektiven Kriterien eines „vernünftigen Käufers“ entsprechen.

Ein zentraler Aspekt hierbei ist die Nutzung eines differenzierten und diskriminierungsfreien Vergleichsmarktes, der herangezogen wird, um festzustellen, welche Eigenschaften von einem KI-System erwartet werden können. Dazu gehören Faktoren wie Preis, Einsatzgebiet, Umgang mit Daten und Pflegbarkeit der Systeme. Ein KI-System, das nicht den gängigen Standards entspricht, kann als mangelhaft gelten, was erhebliche Haftungsrisiken birgt.

3. Das „Black-Box“-Problem: Nachvollziehbarkeit und Transparenz

Eine der größten Herausforderungen bei der Entwicklung von KI-Systemen ist das sogenannte „Black-Box“-Problem. Viele KI-Systeme, insbesondere solche, die auf maschinellem Lernen basieren, agieren als „Black-Box“, deren Entscheidungsprozesse nicht vollständig nachvollziehbar sind. Dies kann rechtliche Probleme mit sich bringen, insbesondere in Bezug auf Transparenzanforderungen und die Verpflichtung, verständliche Dokumentationen bereitzustellen.

Für Softwareentwickler bedeutet dies, dass sie nicht nur ein funktionierendes System erstellen müssen, sondern auch sicherstellen müssen, dass die Entscheidungsprozesse der KI dokumentiert und für Dritte nachvollziehbar sind. Fehlt diese Nachvollziehbarkeit, können Haftungsansprüche entstehen, wenn das System Fehler macht oder unerwartete Entscheidungen trifft.

4. Autonome Entscheidungen und Haftung: Wer trägt die Verantwortung?

Die Autonomie von KI-Systemen führt zu weiteren rechtlichen Unsicherheiten. KI-Systeme können im Laufe der Zeit durch das Lernen neue Fähigkeiten entwickeln und Entscheidungen treffen, die über das ursprünglich festgelegte Ziel hinausgehen. Dies wirft die Frage auf, wer für solche autonomen Entscheidungen haftet.

In vielen Verträgen wird versucht, die Haftung des Entwicklers für solche autonomen Entscheidungen zu begrenzen. Allerdings ist dies rechtlich oft problematisch, insbesondere wenn die Entscheidungen des KI-Systems nicht vorhersehbar waren und nicht kontrolliert werden konnten. Hier ist es wichtig, klare vertragliche Regelungen zu treffen, die den Rahmen der Autonomie des Systems definieren und die Haftung des Entwicklers in diesen Fällen einschränken.

5. Rechtliche Anforderungen an KI-Systeme: Ein dynamisches Umfeld

Die rechtlichen Anforderungen an KI-Systeme befinden sich in einem ständigen Wandel. Die EU-KI-Verordnung () und die -Grundverordnung () sind nur zwei Beispiele für Regelwerke, die erhebliche Auswirkungen auf die Entwicklung von KI-Systemen haben. Entwickler müssen sich nicht nur mit den aktuellen Regelungen vertraut machen, sondern auch zukünftige Entwicklungen im Blick behalten.

Ein besonderes Augenmerk sollte dabei auf den Datenschutz gelegt werden. KI-Systeme, die mit personenbezogenen Daten arbeiten, müssen sicherstellen, dass diese Daten geschützt und ordnungsgemäß verarbeitet werden. Verstöße gegen die DSGVO können zu hohen Bußgeldern führen, was die finanzielle Stabilität eines Unternehmens gefährden kann.

6. Dokumentation und Pflichtenhefte: Mehr als nur eine Formalität

Ein weiterer wichtiger Aspekt bei der Entwicklung von KI-Systemen ist die Erstellung von Pflichtenheften und Dokumentationen. Diese Dokumente dienen nicht nur als Grundlage für die Entwicklung, sondern auch als Beschaffenheitsvereinbarung, die im Falle eines Streits über die Qualität des Systems herangezogen werden kann.

Die Dokumentation muss klar und verständlich sein und alle relevanten Informationen enthalten, die für den Betrieb und die Wartung des Systems notwendig sind. Eine unzureichende Dokumentation kann als Mangel angesehen werden, was zu Haftungsansprüchen führen kann.

7. Der Blick in die Zukunft: Flexibilität und Weiterentwicklung

Schließlich müssen Softwareentwickler bei der Programmierung von KI-Systemen auch die zukünftige Weiterentwicklung im Blick behalten. Da sich die rechtlichen Anforderungen an KI-Systeme ständig weiterentwickeln, müssen die Systeme flexibel gestaltet werden, um künftige Änderungen zu berücksichtigen.

Entwickler sollten darauf achten, dass ihre Systeme so konzipiert sind, dass sie bei Bedarf angepasst und erweitert werden können, um den neuen rechtlichen Anforderungen zu entsprechen. Dies betrifft insbesondere den Datenschutz und die Haftungsregelungen, die sich in den nächsten Jahren voraussichtlich weiterentwickeln werden.


Ausblick

Die Entwicklung von KI-Systemen bietet enorme Chancen, birgt jedoch auch erhebliche rechtliche Risiken. Softwareentwickler müssen sich der Herausforderungen bewusst sein und sicherstellen, dass ihre Systeme den rechtlichen Anforderungen entsprechen. Dazu gehören eine sorgfältige Dokumentation, die Einhaltung von Datenschutzvorschriften und klare vertragliche Regelungen. Auf dem Weg können Entwickler die rechtlichen Fallstricke zumindest angehen – und erfolgreiche KI-Systeme entwickeln, die sowohl technisch als auch rechtlich auf einer soliden Grundlage stehen.

Rechtsanwalt Jens Ferner (Fachanwalt für IT- & Strafrecht)
Letzte Artikel von Rechtsanwalt Jens Ferner (Fachanwalt für IT- & Strafrecht) (Alle anzeigen)
Benutzerbild von Rechtsanwalt Jens Ferner (Fachanwalt für IT- & Strafrecht)

Von Rechtsanwalt Jens Ferner (Fachanwalt für IT- & Strafrecht)

Ich bin Fachanwalt für Strafrecht + Fachanwalt für IT-Recht und widme mich beruflich ganz der Tätigkeit als Strafverteidiger und dem IT-Recht. Vor meinem Leben als Anwalt war ich Softwareentwickler. Ich bin Autor sowohl in einem renommierten StPO-Kommentar als auch in Fachzeitschriften. Dabei bin ich fortgebildet in Krisenkommunikation und Compliance.

Erreichbarkeit: Per Mail, Rückruf, Threema oder Whatsapp.

Unsere Kanzlei ist spezialisiert auf Starke Strafverteidigung, seriöses Wirtschaftsstrafrecht und anspruchsvolles IT-Recht + Kunst & Medien - ergänzt um Arbeitsrecht.