Model Confusion

Künstliche Intelligenz unterstützt viele kleine Unternehmen im Arbeitsalltag. Doch Cyberkriminelle nutzen nun eine neue Angriffsmethode namens Model Confusion.

Dabei schleusen Angreifer manipulierte KI-Modelle in Systeme ein, um vertrauliche Daten zu stehlen oder Schadcode auszuführen. Erfahren Sie, wie dieser Lieferkettenangriff funktioniert und wie Sie Ihren Betrieb davor schützen.

Was ist Model Confusion?

Hinter dem Begriff Model Confusion verbirgt sich eine raffinierte Methode, mit der Cyberkriminelle die Lieferkette von KI-Anwendungen angreifen. Viele Unternehmen nutzen heute vortrainierte KI-Modelle, um eigene Prozesse zu automatisieren oder Daten zu analysieren. Diese Modelle stammen oft aus öffentlichen Verzeichnissen wie Hugging Face. Bei einem Model-Confusion-Angriff schleusen Angreifer manipulierte Versionen dieser Modelle in ein solches Repository ein.

Die Taktik erinnert an das bekannte „Dependency Confusion“ aus der Softwareentwicklung. Die Angreifer nutzen dabei gezielt Namensähnlichkeiten aus, damit Entwickler oder automatisierte Systeme das schädliche Modell anstelle des legitimen Originals herunterladen. Besonders kritisch ist hierbei die Funktion „from_pretrained()“. Ist ein Modell lokal nicht verfügbar, sucht das System automatisch im öffentlichen Verzeichnis. Sobald Ihr System dieses manipulierte Modell lädt, erhalten die Angreifer im schlimmsten Fall vollständigen Zugriff auf Ihre IT-Infrastruktur.

Die Gefahr bei Model Confusion ist tückisch, weil sie an einer Stelle ansetzt, der Entwickler blind vertrauen: dem automatisierten Download-Prozess. Bild: Gemini (Bild erstellt mit KI)

Gefahr durch manipulierte KI-Modelle

Herkömmliche Sicherheitssoftware erkennt Angriffe durch Model Confusion häufig nicht sofort. Das liegt daran, dass der Download eines Modells von einer bekannten Plattform wie Hugging Face zunächst als legitimer Prozess erscheint. Viele Antivirenprogramme prüfen zwar ausführbare Dateien, scannen aber nicht zwangsläufig die komplexen internen Strukturen von KI-Modellen auf bösartige Logik.

Die Gefahr ist besonders groß, wenn Unternehmen Open-Source-Modelle nutzen, um Kosten zu sparen oder Anwendungen schnell zu implementieren. Da diese KI-Modelle oft tief in die Geschäftsabläufe integriert sind – beispielsweise zur automatisierten Beantwortung von Kundenanfragen oder zur Textanalyse –, öffnet ein kompromittiertes Modell Tür und Tor für Spionage. Einmal im System aktiv, können die schädlichen Modelle unbemerkt Daten abgreifen oder als Basis für weitere Angriffe innerhalb Ihres Netzwerks dienen.

Model Confusion: der Angriff

Der Erfolg von Model Confusion basiert auf einem automatisierten Suchprozess. Die Entdeckung dieser Sicherheitslücke geht auf Untersuchungen der Plattform Hugging Face zurück. Im Zentrum steht dabei die Funktion „from_pretrained()“. Entwickler nutzen diesen Befehl, um vortrainierte KI-Modelle schnell in ihre eigenen Anwendungen zu laden.

Der Angriff läuft in der Regel nach folgendem Schema ab: Das System sucht zuerst lokal auf dem Rechner nach dem benötigten Modell. Ist dieses dort nicht unter dem exakten Pfad auffindbar, fragt die Software automatisch im öffentlichen Verzeichnis nach. Cyberkriminelle laden dort schädliche Modelle hoch, die identische Namen wie populäre interne oder private Modelle tragen. Ohne zusätzliche Sicherheitsabfragen installiert das System die manipulierte Datei. Da diese oft sogenannten „Remote Code Execution“-Code (RCE) enthält, können Angreifer Befehle direkt auf Ihrem Computer ausführen, sobald das Modell geladen wird.

Ohne zusätzliche Sicherheitsabfragen installiert das System die manipulierten KI-Modelle. Bild: Pexels/olia danilevich

Risiken für Unternehmen

Ein erfolgreicher Angriff auf Ihre KI-Modelle hat weitreichende Konsequenzen. Da kleine Unternehmen oft nicht über eine eigene IT-Sicherheitsabteilung verfügen, bleiben solche Infektionen lange unentdeckt. Das größte Risiko stellt die sogenannte Remote Code Execution (RCE) dar. Hierbei führt der Computer Befehle aus, die ein Angreifer aus der Ferne sendet. Dies ermöglicht den Kriminellen, Schadsoftware wie Ransomware nachzuladen, die Ihre gesamten betrieblichen Daten verschlüsselt.

Zusätzlich gefährdet Model Confusion die Integrität Ihrer Arbeit. Ein manipuliertes Modell liefert möglicherweise absichtlich falsche Ergebnisse oder filtert wichtige Informationen heraus, ohne dass Sie es bemerken. Wenn Sie KI-Tools zur Analyse von Kundendaten oder zur Erstellung von Verträgen nutzen, drohen zudem schwerwiegende Verstöße gegen den Datenschutz. Ein kompromittiertes System kann vertrauliche Informationen direkt an externe Server der Angreifer übertragen.

Schutz gegen Model Confusion

Um Ihren Betrieb vor manipulierten Modellen zu schützen, sollten Sie den Einsatz von KI-Tools klar strukturieren. Da Model Confusion die Automatismen beim Laden von Dateien ausnutzt, hilft bereits die Änderung einiger Einstellungen, um die Sicherheit massiv zu erhöhen. Nutzen Sie bevorzugt lokale Kopien von Modellen und vermeiden Sie den direkten Abruf aus öffentlichen Verzeichnissen während des laufenden Betriebs.

Eine wirksame Maßnahme ist das Setzen der Umgebungsvariable „HF_HUB_OFFLINE=1“. Dadurch erzwingen Sie, dass Ihre Software ausschließlich lokal gespeicherte KI-Modelle verwendet. Falls Sie neue Modelle herunterladen müssen, nutzen Sie nur absolute Pfade und prüfen Sie die Herkunft sowie die Prüfsummen der Dateien sorgfältig. Für Unternehmen, die regelmäßig eigene KI-Anwendungen entwickeln, empfiehlt sich zudem die Nutzung eines geschlossenen Enterprise Hubs, in dem nur vorab geprüfte und genehmigte Modelle hinterlegt sind.

KI-Modelle können manipuliert sein und dadurch zu Sicherheitsvorfällen führen. Bild: Pexels/Tara Winstead

IT-Sicherheit für Unternehmen

Die Bedrohung durch Model Confusion zeigt, wie wichtig eine ganzheitliche Sicherheitsstrategie für moderne Betriebe ist. KI-Anwendungen bieten enorme Chancen, bringen jedoch neue Einfallstore für Cyberkriminelle mit sich. Besonders für Solo-Selbstständige und kleine Unternehmen ist es eine Herausforderung, neben dem Tagesgeschäft auch die technische Absicherung der genutzten KI-Modelle im Blick zu behalten.

Die Experten von PC-SPEZIALIST unterstützen Sie dabei, Ihre IT-Infrastruktur krisenfest aufzustellen. Wir beraten Sie gern zu sicheren Software-Lösungen und helfen Ihnen, Schutzmaßnahmen wie Firewalls und professionelle Antivirenprogramme korrekt zu konfigurieren. Kontaktieren Sie Ihren PC-SPEZIALIST-Partner für eine individuelle Beratung zu Ihren IT-Sicherheitsanforderungen.

_______________________________________________

Quellen: security-insider, ibm, datacamp, Pexels/CadoMaestro (Headerbild)