Schlagwort: prompt injection

  • KI und Cybersicherheit

    KI und Cybersicherheit

    Im Frühjahr 2026 hat sich im Verhältnis von Künstlicher Intelligenz und IT-Sicherheit etwas verschoben, das über den üblichen Takt technischer Innovation hinausgeht. Anthropic stellte mit „Claude Mythos Preview“ ein Modell vor, das in OpenBSD eine 27 Jahre alte Schwachstelle aufspürte, in FFmpeg eine seit 16 Jahren schlummernde Lücke fand und insgesamt Tausende Schwachstellen in Betriebssystemen und Browsern identifizierte.

    Das Modell wird nicht öffentlich angeboten, sondern nur rund vierzig Unternehmen – darunter Apple, Amazon, Microsoft, Cisco, Crowdstrike und Palo Alto Networks – im Rahmen von „Project Glasswing“ zugänglich gemacht. US-Finanzminister Scott Bessent und Notenbankchef Jerome Powell beriefen eine Dringlichkeitssitzung mit den Chefs der systemrelevanten Wall-Street-Banken ein, das BSI spricht von einer „Verschiebung der Angriffsvektoren“ und einem „Paradigmenwechsel“ in der Cyberbedrohungslage.

    Der IWF hat wenige Tage später, am 7. Mai 2026, in einem Blogbeitrag festgehalten, dass KI-getriebene Cyberrisiken zu einem makro-finanziellen Schock eskalieren können, wenn Entdeckung und Ausnutzung von Schwachstellen in Maschinentempo parallel in vielen Instituten erfolgen.

    Für den juristischen Beobachter ist das keine schlichte Randnotiz der Technikgeschichte: Der europäische Regulierungsrahmen für KI und Cybersicherheit wird nun an einer Realität gemessen, die schneller ist als der Gesetzgebungsprozess.

    (mehr …)
  • KI-Agenten als Innentäter: Wie OpenClaw & Co. zum Haftungs- & Sicherheitsrisiko werden

    KI-Agenten als Innentäter: Wie OpenClaw & Co. zum Haftungs- & Sicherheitsrisiko werden

    KI steht aktuell vorwiegend für Chatbots, die Texte schreiben oder Präsentationen vorbereiten, doch die wirklich brisante Entwicklung spielt sich an anderer Stelle ab: bei agentischen KI‑Systemen, die nicht nur antworten, sondern handeln – E‑Mails verschicken, Software installieren, Konfigurationen ändern, Kalender pflegen und eigenständig im Unternehmensnetzwerk operieren. Die neue Frage im Umgang mit KI sollte daher nicht mehr zentral sein, ob eine KI halluziniert, sondern was passiert, wenn ein solcher Agent mit weitreichenden Rechten Fehler macht, manipuliert wird oder schlicht „kreative“ Wege zur Zielerreichung wählt.

    (mehr …)
  • Cost‑Steering‑Attacke

    Cost‑Steering‑Attacke

    Die Cost‑Steering‑Attacke ist ein bislang nicht benanntes, aber technisch ebenso simples wie zunehmend beliebtes Angriffsmodell im Umfeld von Cloud‑Diensten und KI‑Agenten. Die Wortschöpfung stammt in Ermangelung anderer Begrifflichkeiten von mir, um dieses neue und wichtige Phänomen zu erfassen.

    Gemeint sind Konstellationen, in denen Angreifer nicht primär Daten stehlen oder Systeme verschlüsseln, sondern gezielt kostenrelevante Aktionen im Namen des Opfers auslösen – etwa das Hochfahren von GPU‑Instanzen, den Start rechenintensiver Container (Kryptomining, KI‑Training), das Buchen zusätzlicher SaaS‑Lizenzen oder das sinnlose Verfeuern von API‑Kontingenten. Charakteristisch ist, dass ausschließlich „legitime“ Funktionen der betroffenen Dienste genutzt werden: Es werden reguläre Ressourcen über reguläre Schnittstellen beauftragt, die Rechnung läuft vollständig über den Account des Opfers.

    Besonders anfällig sind selbstgehostete KI‑Agenten wie Moltbot, die mit weitreichenden Tools (Cloud‑CLI, CI/CD, Billing‑APIs) verdrahtet sind und Eingaben automatisiert in Aktionen übersetzen. Gelingt es einem Angreifer, durch Prompt‑Injection, Fehlkonfiguration oder Account‑Übernahme den Agenten zu steuern, kann er dessen Rechte verwenden, um Rechenleistung, Speicherplatz oder Abos im großen Stil zu buchen – die so erzeugten Infrastruktur‑ und Lizenzkosten verwandeln sich in einen indirekten Gewinn: etwa durch fremdfinanziertes Kryptomining, eigenen Kampagnenbetrieb auf den SaaS‑Konten des Opfers oder als Hebel für nachgelagerte Erpressung („wir stoppen die Kostenlawine, wenn …“).

    Aus strafrechtlicher Sicht bewegt sich die Cost‑Steering‑Attacke im Schnittfeld von Computerbetrug, Datenveränderung und unter Umständen Erpressung; zivilrechtlich stellt sich die Frage, ob der Betreiber durch grob fahrlässige Konfiguration seines Agents an den entstandenen Schäden festgehalten wird.

  • Lokale KI-Agenten wie OpenClaw als Haftungsrisiko begreifen

    Lokale KI-Agenten wie OpenClaw als Haftungsrisiko begreifen

    Haftungsrisiko KI-Agent: Der gerade im Hype stehende Moltbot OpenClaw steht exemplarisch für die nächste Welle „persönlicher KI‑Agenten“, die nicht mehr nur Texte beantworten, sondern unseren digitalen Alltag komfortabel steuern sollen: Sie lesen Mails, bewegen Dateien, führen Shell‑Befehle aus, steuern Browser und automatisieren Arbeitsabläufe quer durch Messaging‑Dienste – bevorzugt auf einem bezahlbaren Rechner wie einem durchlaufenden Mac mini im eigenen Heimnetz.

    Gleichzeitig aber zeigen Sicherheitsforschende bereits binnen weniger Wochen Hunderte offen im Netz stehende Instanzen, unsichere Protokolle und reale Angriffsversuche; die Euphorie über den „24/7‑Mitarbeiter im Wohnzimmer“ sollte daher als konkrete Risiko‑Debatte mit juristischem Einschlag gesehen werden.

    Hinweis: Im Rahmen meines Aufsatzes zum LLM-Hacking (erschienen in KIR 2025, 374ff.) habe ich herausgearbeitet, dass die unten thematisierten Prompt Injections strafbare Handlungen sind. Der Beitrag wurde aktualisiert mit Blick auf neue Entwicklungen in Punkte Sicherheit und natürlich den erneuten Namenswechsel.

    (mehr …)
  • Sicherheitsthema KI-Browser

    Sicherheitsthema KI-Browser

    KI-basierte Browser sollen die Art und Weise, wie wir mit dem Internet interagieren, grundlegend verändern. Sie versprechen mehr Effizienz, Kontextintelligenz und Komfort für alltägliche Aufgaben, wohl derzeit ohne das wirklich einhalten zu können. Doch ihre Arbeitsweise ist zugleich eine Einladung an Cyberkriminelle, die Schwächen dieser Systeme gezielt auszunutzen. Nutzer sind sich dieser Problematik jedoch oft nicht bewusst. Wer KI-Browser wie ChatGPT, Atlas, Comet oder Dia sowie die neuen KI-Features in Chrome und Edge nutzt, sollte sich nicht nur über Innovationen und einen schnelleren Workflow freuen, sondern sich auch kritisch mit den dramatischen Sicherheitsproblemen auseinandersetzen, die sich aus der Verschmelzung von KI und Browser ergeben.

    (mehr …)
  • Designprinzipien für LLM-basierte Systeme des BSI

    Designprinzipien für LLM-basierte Systeme des BSI

    Ein aktuelles BSI-Whitepaper zu Designprinzipien für LLM-basierte Systeme mit „Zero Trust“-Ansatz enthält zentrale Empfehlungen zur sicheren Implementierung von KI-Systemen in Unternehmen und Behörden. Die Vorgaben reichen von der Authentifizierung und dem Input-/Output-Schutz bis hin zum Monitoring und Hintergrundwissen für die Awareness.

    Doch Vorsicht, diese Empfehlungen sind mehr als reine IT-Empfehlungen: Sie berühren unmittelbar haftungsrechtliche Fragen und betreffen die konkrete Umsetzung datenschutzrechtlicher Vorgaben gemäß Art. 25 DSGVO („Privacy by Design“ und „Privacy by Default“).

    (mehr …)
  • Generative KI – Risiken und Missbrauch

    Generative KI – Risiken und Missbrauch

    Generative, multimodale Künstliche Intelligenz (GenAI) hat das Potenzial, viele Branchen zu revolutionieren. Doch genauso groß wie die Möglichkeiten sind auch die Risiken, die durch den Missbrauch dieser Technologie entstehen. Eine kürzlich veröffentlichte Studie beleuchtet die verschiedenen Taktiken des Missbrauchs von GenAI und gibt wertvolle Einblicke und Empfehlungen. Hier sind die wichtigsten Erkenntnisse und Empfehlungen aus dieser Studie.

    (mehr …)
  • LLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien

    LLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien

    Das sogenannte „LLM-Hacking“ bezieht sich auf Techniken und Strategien, um diese Modelle zu manipulieren oder ihre Funktionen auf unvorhergesehene Weise zu nutzen.

    Große Sprachmodelle sind in gewisser Hinsicht besonders gefahrgeneigt, weil diese versuchen autonom zu agieren und dabei notwendigerweise auf Eingaben von Außen angewiesen sind: Mal durch die Aufgaben, die ihnen erteilt werden, mal durch Daten, mit denen sie gefüttert werden. Die zunehmende Verbreitung von LLM sollte dabei Anlass sein, sich mit grundsätzlichem Wissen zur Cybersicherheit bei LLM auseinanderzusetzen. Im Folgenden möchte ich darum als Einstieg verständlich darauf eingehen, was LLM-Hacking ist und typische Angriffsszenarien beschreiben.

    (mehr …)
  • Studie zur Bewertung der Risiken und Chancen von KI-gestützten Beeinflussungsmaßnahmen in sozialen Medien

    Studie zur Bewertung der Risiken und Chancen von KI-gestützten Beeinflussungsmaßnahmen in sozialen Medien

    In der Forschungsarbeit „Assessing the risks and opportunities posed by AI-enhanced influence operations on social media“ von Rolf Fredheim und James Pamment wird ein tiefgreifendes Verständnis für die Risiken und Chancen von KI-gestützten Beeinflussungsoperationen in sozialen Medien dargelegt.

    (mehr …)