Spannende Entwicklungen zu KI und IT-Sicherheit: Mit der wachsenden Verfügbarkeit von Open-Source-ML-Modellen entstehen auch vollkommen neue Angriffsvektoren. Aktuelle Erkenntnisse aus einer Sicherheitsstudie (dazu auch Heise) zeigen, dass Angreifer verstärkt ML-Plattformen wie Hugging Face ins Visier nehmen, um schädliche Modelle zu verbreiten. Die technischen Mechanismen hinter diesen Angriffen sind ein ernstzunehmendes Problem für Entwickler, insbesondere in sicherheitskritischen Anwendungen.
Die Gefahr durch manipulierte ML-Modelle
Maschinelles Lernen erfordert oft den Austausch von Modellen, die bereits auf bestimmten Datensätzen trainiert wurden. Eine der größten Plattformen für das Hosting und den Austausch solcher Modelle ist Hugging Face, ein zentraler Hub für ML-Entwickler. Doch gerade dieser offene Charakter der Plattform macht sie anfällig für Missbrauch. Eine aktuelle Studie hat mehrere bösartige Modelle identifiziert, die unbemerkt Schadcode enthielten.
Ein besonders problematischer Angriffspunkt ist die Verwendung von Pickle-Dateien zur Modellserialisierung. Das Python-Modul Pickle wird von vielen ML-Frameworks verwendet, um trainierte Modelle zu speichern und später wiederherzustellen. Das Problem: Pickle erlaubt die Ausführung von beliebigem Code während des Deserialisierungsprozesses. Dadurch kann eine manipulierte Pickle-Datei Schadcode in die Systeme derjenigen schleusen, die das Modell laden. Ein klassisches Beispiel für diese Art von Angriff ist das Einbetten von Reverse-Shell-Skripten oder Keyloggern in scheinbar legitime ML-Modelle.
Schwachstellen in Sicherheitsmechanismen
Obwohl Sicherheitsmaßnahmen wie das Picklescan-Tool auf Hugging Face existieren, konnte gezeigt werden, dass diese Mechanismen nicht immer zuverlässig arbeiten. Die identifizierten bösartigen ML-Modelle nutzten gezielt Methoden zur Umgehung der Sicherheitsprüfungen, indem sie beispielsweise alternative Kompressionsverfahren für Pickle-Dateien verwendeten. Die Sicherheitsanalyse zeigt, dass Blacklist-basierte Ansätze, wie sie häufig in der Plattform-Security eingesetzt werden, oft nicht ausreichen, um solche Bedrohungen vollständig zu erkennen.
Die Sicherheitsrisiken im Bereich der Künstlichen Intelligenz sind längst keine theoretischen Szenarien mehr, das ist nun wirklich keine Überraschung. Die Enthüllungen über bösartige ML-Modelle auf Hugging Face verdeutlichen, dass Entwickler verstärkt auf sichere Entwicklungspraktiken und robuste Sicherheitsmechanismen setzen müssen, wobei ich selbst unsicher bin, ob das am Ende wirklich so neu ist – und nur der bekannte alte Wein in neuen Schläuchen. Spannend aber ist es allemal und ein anschauliches Beispiel dafür, wo Sicherheitspraktiken in modernen Umgebungen angesetzt werden müssen.
Konsequenzen für IT-Sicherheitspraktiken
Für Entwickler und Organisationen, die ML-Modelle aus Open-Source-Plattformen nutzen, ergeben sich aus diesen Erkenntnissen mehrere kritische Implikationen:
- Hinterfragen der Vertrauenswürdigkeit von Modellen: Der Open-Source-Gedanke ist zentral für den Fortschritt in der KI, doch ohne verlässliche Mechanismen zur Überprüfung von Modellen steigt das Risiko eines Angriffs erheblich.
- Verbesserte Sicherheitspraktiken für ML-Modelle: Unternehmen müssen eigene Validierungsprozesse entwickeln, um verdächtige Modelle zu erkennen. Dazu gehört das Vermeiden von Pickle-basierten Modellspeicherformaten oder die Nutzung alternativer Serialisierungsmethoden wie ONNX.
- Härtung von ML-Plattformen: Plattformen wie Hugging Face müssen ihre Schutzmaßnahmen weiterentwickeln, um Angriffe frühzeitig zu erkennen. Beispielsweise könnte eine Sandbox-Umgebung für das initiale Laden und Prüfen von Modellen eingeführt werden.
Erreichbarkeit: Per Mail, Rückruf, Threema oder Whatsapp.
Unsere Anwaltskanzlei ist spezialisiert auf Strafverteidigung, Cybercrime, Wirtschaftsstrafrecht samt Steuerstrafrecht sowie IT-Recht und Managerhaftung. Von Verbrauchern werden allein Strafverteidigungen übernommen - wir sind im Raum Aachen zu finden und bundesweit tätig.
- Hessendata, Palantir und der digitale Ermittlungsstaat (Update) - 13. Dezember 2025
- Dark Factories - 13. Dezember 2025
- Postlaufzeiten 2025 - 13. Dezember 2025
