LLM und OSINT

In der Studie „Evaluation of LLM Chatbots for OSINT-based Cyber Threat Awareness“ von Samaneh Shafee, Alysson Bessani und Pedro M. Ferreira wird detailliert auf die Funktionen von Large Language Models (LLMs) eingegangen, die für Open Source Intelligence (OSINT) im Kontext der Cyberbedrohungserkennung verwendet werden.

Die Autoren untersuchen die Leistungsfähigkeit verschiedener Chatbot-Modelle, darunter ChatGPT, GPT4all, Dolly, Stanford Alpaca, Alpaca-LoRA, Falcon und Vicuna, in Bezug auf binäre Klassifikation und Named Entity Recognition (NER) Aufgaben, die unter Verwendung von OSINT durchgeführt werden.

Für ihre Untersuchung nutzen die Forscher etablierte Daten, die aus früheren Studien von Twitter gesammelt wurden, um die Wettbewerbsfähigkeit dieser Chatbots im Vergleich zu spezialisierten Modellen, die für diese Aufgaben trainiert wurden, zu bewerten. Die wichtigsten Erkenntnisse aus dieser Untersuchung umfassen:

Leistung in binärer Klassifikation: In Experimenten zur binären Klassifikation erreichte das kommerzielle Modell Chatbot GPT-4 eine akzeptable F1-Bewertung von 0,94, während das Open-Source-Modell GPT4all eine F1-Bewertung von 0,90 erreichte.
Leistung in der Erkennung von Cybersecurity-Entitäten: Im Hinblick auf die Erkennung von Cybersecurity-Entitäten wiesen alle evaluierten Chatbots Limitationen auf und waren weniger effektiv.
Erkenntnisse zur Verbesserung: Die Studie zeigt auf, dass Chatbots zwar für OSINT-basierte binäre Klassifikationsaufgaben geeignet sind, jedoch in der NER-Aufgabe noch Verbesserungen benötigen, um speziell trainierte Modelle effektiv ersetzen zu können.
Diskussion der Limitationen: Die Ergebnisse beleuchten die Einschränkungen der LLM-Chatbots im Vergleich zu spezialisierten Modellen und können Forschern helfen, die Chatbot-Technologie zu verbessern, mit dem Ziel, den erforderlichen Aufwand für die Integration von maschinellem Lernen in OSINT-basierte CTI-Tools zu reduzieren.

Zusammenfassend bietet dieser Teil der Studie einen detaillierten Einblick in die Einsatzmöglichkeiten und Leistungsfähigkeit von LLM-Chatbots in der Cyberbedrohungsaufklärung und betont gleichzeitig die Notwendigkeit weiterer Forschung und Entwicklung in diesem Bereich.