Risiken und Chancen von KI-gestützten Beeinflussungsmaßnahmen in sozialen Medien

In der Forschungsarbeit „Assessing the risks and opportunities posed by AI-enhanced influence operations on social media“ von Rolf Fredheim und James Pamment wird ein tiefgreifendes Verständnis für die Risiken und Chancen von KI-gestützten Beeinflussungsoperationen in sozialen Medien dargelegt.

Inhalte Anzeigen

Herausforderungen

Die Arbeit beginnt mit einer Analyse der Herausforderungen, die sich aus der toxischen Kombination von automatisierten Bots, von Menschen gesteuerten Troll-Accounts und gezielteren Social-Engineering-Maßnahmen ergeben. Es wird deutlich, dass diese Kombination ein besonderes Risiko für die Manipulation öffentlicher Meinungen und Diskurse darstellt.

Die Autoren betonen, dass der Einsatz von KI-Technologien diese Bedrohungen noch verschärft, da sie es ermöglichen, überzeugende und maßgeschneiderte Inhalte in großem Umfang zu generieren. Dies erleichtert die Erstellung von gefälschten Inhalten wie Desinformation und Fake-Accounts erheblich. Zudem erschweren selbstgehostete Open-Source-Modelle die Erkennung durch bestehende Moderations- und Sicherheitsfilter kommerzieller Modelle.

Gegenmaßnahmen

Im zweiten Teil der Arbeit wird das Potenzial der gleichen Tools zur Verbesserung der Erkennung von solchen Beeinflussungsoperationen bewertet. Die Forscher diskutieren, wie interne generative Modelle zur Erweiterung der Trainingsdaten für interne Klassifizierungssysteme eingesetzt werden können.

Dies beinhaltet auch das Erkennen statistischer Anomalien und die Identifizierung von Ausgaben, die aus gängigen Prompts stammen. Weiterhin wird die Entwicklung spezialisierter Klassifizierungssysteme vorgeschlagen, die für spezifische Überwachungsanforderungen optimiert sind.

Es werden vielversprechende Gegenmaßnahmen vorgestellt. Hierzu gehören legislative Maßnahmen und die Geschäftsbedingungen von Plattformen, die manipulative Verhaltensweisen wie die Automatisierung von Accounts verbieten. Die Studie macht deutlich, dass es noch keine effektiven Maßnahmen gegen sogenannte „Prompt Injections“ gibt, eine Technik, durch die Nutzer die Anweisungen von KI-Modellen umgehen und sie dazu bringen können, Inhalte gegen den Willen ihrer Schöpfer preiszugeben.

Large Language Models (LLM)

Fazit

Zusammenfassend zeigt die Studie, dass KI-gestützte Beeinflussungsoperationen in sozialen Medien sowohl erhebliche Risiken als auch Möglichkeiten bieten. Während sie einerseits neue Herausforderungen für die Manipulation und Desinformation schaffen, bieten sie andererseits auch neue Wege, um solche Aktivitäten effektiver zu erkennen und zu bekämpfen.