Data Poisoning (AI Poisoning)

Data Poisoning stellt eine wachsende Bedrohung für Systeme dar, die auf Künstlicher Intelligenz basieren. Deswegen wird das Phänomen aktuell auch als AI Poisoning bezeichnet.

Zielgerichtete Manipulationen von Trainingsdaten können ganze KI-Systeme unterwandern und gefährden damit auch die User. Wie genau das funktioniert und wie Sie sich schützen, erfahren Sie bei uns.

Was ist Data Poisoning bzw. AI Poisoning?

Data Poisoning (auf Deutsch: „Datenvergiftung“) beschreibt gezielte Manipulationen von Daten, die für das Training von Künstlicher Intelligenz genutzt werden. Deshalb wird sie auch als AI Poisoning (auf Deutsch: „KI-Vergiftung“) bezeichnet.

Da KI-Systeme auf große Mengen an stringenten Daten angewiesen sind, können schon kleine Veränderungen gravierende Folgen haben. Angreifer schleusen deswegen falsche oder verfälschte Informationen in die Datensätze ein, sodass die KI beim Lernen fehlerhafte Muster verinnerlicht und bei Wiedergaben übernimmt.

Für Unternehmen bedeutet das ein erhebliches Risiko: Entscheidungen, die auf manipulierten Modellen basieren, können unzuverlässig oder sogar gefährlich sein. Besonders kritisch ist Data Poisoning dort, wo KI sicherheitsrelevante Aufgaben übernimmt oder für solche hinzugezogen wird – etwa in der Cyberabwehr oder bei automatisierten Prüfungen.

Manipulierte Daten führen zu fehlerhaften KI-Ergebnissen. Bild: ChatGPT (Bild generiert mit KI)

Wie funktioniert Data Poisoning?

Beim Data Poisoning greifen Cyberkriminelle gezielt die Datenbasis von KI-Systemen an. Statt wie bei Prompt-Injection die Algorithmen zu verändern, setzen sie dort an, wo die Künstliche Intelligenz ihre Informationen bezieht: in den Trainingsdaten.

Werden dort falsche oder böswillig veränderte Einträge platziert, lernt die KI daraus fehlerhafte Muster. Das Ergebnis: Modelle reagieren unzuverlässig, liefern verzerrte Prognosen oder treffen falsche Entscheidungen. In der Praxis kann das bedeuten, dass vom entsprechenden Modell beispielsweise schädliche Handlungen empfohlen oder unbedingt notwendige Handlungen klar abgelehnt werden. Je mehr eine KI auf manipulierten Daten trainiert wird, desto stärker verfestigen sich die Fehler – mit oft gravierenden Folgen für Unternehmen, die entsprechende KI-Systeme einsetzen.

Arten von Data Poisoning

AI-Poisoning-Angriffe unterscheiden sich nach Zielsetzung und Vorgehensweise der Angreifer. Sie lassen sich in verschiedene Kategorien einteilen:

1. Availability Poisoning: Beim Availability Poisoning wird die Datenbasis so stark manipuliert, dass das trainierte Modell praktisch unbrauchbar wird. Die KI liefert dann massenhaft Fehler oder kann Aufgaben gar nicht mehr ausführen.
2. Integrity Poisoning: Bei dieser AI-Poisoning-Form verändern Angreifer nur ausgewählte Daten. Ziel ist es, die KI in bestimmten Situationen zu falschen Entscheidungen zu bewegen – zum Beispiel beim Erkennen von Schadsoftware oder bei der Kreditbewertung.
3. Backdoor-Angriffe: Besonders gefährlich sind sogenannte Backdoor‑Angriffe. Dabei wird eine Art „Hintertür“ in das KI‑Modell eingeschleust. Unter normalen Bedingungen arbeitet es korrekt, doch sobald ein bestimmtes Signal erscheint, liefert es gezielt falsche Ergebnisse.

Die entsprechenden Angriffsarten zeigen, wie vielseitig und raffiniert Data Poisoning eingesetzt werden kann. Für Unternehmen wird dadurch deutlich, dass die Integrität ihrer Daten eine zentrale Rolle in der IT‑Sicherheit spielt.

Availability, Integrity und Backdoor – die wichtigsten Data-Poisoning-Angriffe im Überblick. Bild: ChatGPT (Bild generiert mit KI)

Warum ist Data Poisoning so gefährlich?

Data Poisoning bedroht Unternehmen gleich auf mehreren Ebenen. Da Künstliche Intelligenz zunehmend in geschäftskritischen Prozessen eingesetzt wird, können manipulierte Modelle unmittelbare wirtschaftliche Schäden verursachen. Fehlklassifizierte Daten führen zu falschen Entscheidungen – sei es bei der Kundenbewertung oder in der IT‑Sicherheit.

Besonders kritisch ist, dass Manipulationen von großen Datensätzen oft unbemerkt bleiben. Viele der großen LLMs greifen auf zahlreiche Informationen aus dem Internet zurück: Auf Reddit-Posts und indexierte Websites. Kriminelle, die Data Poisoning gezielt betreiben, können durch Fake-Profile und Fake-Seiten „vergiftete“ Informationen im Web gesteuert verbreiten. LLM-basierte Systeme, die mit diesen Informationen trainiert wurden, geben die Falschinformationen häufig ungefiltert wieder.

Da sich die Eingriffe im Hintergrund der Datenbasis abspielen, fallen entsprechende Fehler häufig erst spät auf. Bis dahin kann die KI bereits unzählige falsche Ergebnisse geliefert haben. Für von Falschinformationen betroffene Unternehmen bedeutet das nicht nur finanzielle Verluste, sondern auch einen möglichen Vertrauensverlust bei Kunden und Partnern.

Praxisbeispiele für AI Poisoning

Data Poisoning ist längst keine theoretische Gefahr mehr, sondern wird in der Praxis gezielt eingesetzt. Beispiele aus Forschung und IT-Sicherheit zeigen, dass schon kleinste Manipulationen ausreichen können, um Modelle massiv zu beeinflussen. Typische Beispiele sind:

• Bildklassifikation: Schon wenige manipulierte Bilddaten in großen Trainingsmengen führen dazu, dass ein KI-System Objekte nicht mehr zuverlässig erkennt oder bewusst falsch einstuft.
• Spam-Erkennung: Angreifer können E-Mails so präparieren, dass KI-basierte Spam-Filter unerwünschte oder schädliche Nachrichten – also Spam – als harmlos einstuften. Hersteller verbessern ihre Intrusion-Detection-Systeme zwar laufend, doch auch Kriminelle rüsten beim AI Poisoning nach.
• Sicherheitssysteme: Intrusion-Detection-Tools können durch falsche Trainingsdaten so manipuliert werden, dass Angriffe unerkannt bleiben. So gelingt zum Beispiel der Einsatz von KI-Phishing-Attacken.
• RAG-Modelle: Retrieval-Augmented-Generation-Systeme sind besonders anfällig, da sie laufend externe Quellen einbinden. Schon, wenn Angreifer öffentliche Informationen wie Blogkommentare oder Forenbeiträge manipulieren, können diese verfälschten Inhalte direkt in die Ergebnisse der KI einfließen.

AI- Poisoning ist vielseitig und betrifft sowohl spezialisierte Systeme wie Spam-Filter als auch moderne Ansätze wie RAG.

Beispiele für Data Poisoning – Bildklassifikation, Spam-Erkennung, Sicherheitssysteme und RAG-Modelle. Bild: ChatGPT (Bild generiert mit KI)

Schutzmaßnahmen gegen Data Poisoning

Auch, wenn die meisten kleinen und mittelständischen Unternehmen keine eigenen KI‑Modelle entwickeln, sind sie dennoch vom Risiko durch Data Poisoning betroffen. Denn manipulierte oder unsichere Anwendungen können direkt in den Arbeitsalltag hineinwirken – zum Beispiel durch fehlerhafte Ergebnisse oder kompromittierte Sicherheitsfunktionen. Dazu gehören mehrere Maßnahmen:

• Awareness schaffen: Mitarbeiter sollten verstehen, dass KI‑Ergebnisse nicht automatisch korrekt sind. Auch, wenn kein AI Positoning vorliegt, kann es beim Einsatz von KI immer zu sogenannten Halluzinationen kommen, die Kriminelle durch Slopsquatting für sich nutzen können. Sensibilisieren Sie Ihr Team durch Awareness‑Schulungen für mögliche Manipulationen und den kritischen Umgang mit KI‑Tools.
• Vertrauenswürdige Anbieter wählen: Nutzen Sie ausschließlich KI‑Dienste, deren Herkunft und Sicherheitsstandards komplett nachvollziehbar sind. Achten Sie darauf, dass sie die offiziellen Websites aufrufen. Es sind beispielsweise zahlreiche ChatGPT-Fake-Websites in Umlauf. Seriöse Anbieter veröffentlichen Informationen zu Datenquellen, Updates und Schutzmechanismen.
• Monitoring und Plausibilitätsprüfungen: Prüfen Sie Ergebnisse von KI‑Anwendungen regelmäßig auf Auffälligkeiten und gleichen sie diese mit eigenen Erfahrungswerten ab. Ungewöhnliche Abweichungen sollten stets hinterfragt werden.
• Zero Trust umsetzen: Arbeiten Sie nach dem Prinzip „Vertrauen ist gut, Kontrolle ist besser“. Jeder Zugriff auf Unternehmensdaten sollte geprüft werden – unabhängig davon, ob er aus einer KI‑Anwendung oder von einem Mitarbeitenden kommt. Zusätzlich hilfreich: Zero Trust Network Access (ZTNA) als moderne Zugriffskontrolle.
• Grundsätzliche IT‑Sicherheit stärken: Aktuelle Software, regelmäßige Sicherheitsupdates und Konzepte wie Confidential Computing helfen, Manipulationen frühzeitig zu erkennen und deren Auswirkungen zu begrenzen.

Mit diesen Schritten senken Unternehmen das Risiko, dass sie durch unsichere KI‑Anwendungen geschädigt werden. Besonders wichtig ist dabei eine kritische Haltung gegenüber aller KI‑Ergebnissen – und die Entscheidung für Lösungen, die nachweislich hohen Sicherheitsstandards entsprechen.

Wichtige Schutzmaßnahmen gegen Data Poisoning im Überblick. Bild: ChatGPT (Bild generiert mit KI)

Vorsichtsmaßnahmen beim Datentraining

Sicherheitsexperten empfehlen für Unternehmen, die eigene KI-Systeme mit Datensätzen trainieren – etwa Kundenchatbots oder automatisierte Services –, zusätzliche Vorkehrungen. Ziel ist es, die Integrität von KI-Systemen langfristig zu sichern und Manipulationen frühzeitig zu erkennen. Gerade kleine und mittelständische Betriebe profitieren, wenn sie diese Ansätze konsequent umsetzen:

• Datenpipelines absichern: Alle Schritte – von der Erhebung bis zur Verarbeitung – sollten gründlich überwacht und abgesichert werden. So lassen sich Manipulationen in frühen Phasen aufdecken, bevor sie in produktive Systeme gelangen.
• Transparenz schaffen: Dokumentierte Datenquellen und nachvollziehbare Trainings- oder Konfigurationsprozesse erhöhen die Nachvollziehbarkeit. Je transparenter ein Dienst arbeitet, desto besser können Risiken eingeschätzt werden.
• Redundanzen nutzen: Ergebnisse aus verschiedenen Datenquellen oder Modellen regelmäßig abgleichen. Abweichungen zeigen mögliche Manipulationen schneller auf und erhöhen die Robustheit der Systeme.
• Regelmäßige Audits: Externe oder interne Prüfungen helfen, versteckte Sicherheitslücken und Datenmanipulationen – also Data Poisoning – aufzudecken. Gleichzeitig lassen sich so Compliance-Anforderungen erfüllen.
• Kontinuierliches Monitoring: Neben punktuellen Prüfungen ist eine laufende Überwachung der eingesetzten KI-Systeme entscheidend. Frühzeitige Warnungen bei Auffälligkeiten verhindern größere Schäden.
• Schulungen und Awareness: Nicht nur IT-Abteilungen, sondern auch Fachanwender müssen sensibilisiert sein. Wer KI-Ergebnisse kritisch hinterfragt, reduziert die Gefahr, manipulierten Ausgaben blind zu vertrauen.

Diese Vorsichtsmaßnahmen sind keine Kür, sondern eine notwendige Grundlage für den sicheren Umgang mit KI. Unternehmen, die Monitoring, Transparenz und Awareness konsequent verankern, schaffen eine belastbare Basis für verlässliche Anwendungen – und sichern sich zugleich das Vertrauen von Kunden und Partnern.

Sechs Vorsichtsmaßnahmen beim Datentraining für sichere KI-Anwendungen: Datenpipelines absichern (oben links), Transparenz schaffen (oben mittig), regelmäßige Audits (oben rechts), kontinuierliches Monitoring (mittig rechts), Redundanzen nutzen (mittig links) sowie Schulungen und Awareness (unten links). Bild: ChatGPT (Bild generiert mit KI)

AI Bill of Materials (AI-BoM)

Für Firmen, die eigene oder modifizierte Sprachmodelle einsetzen, reichen klassische IT-Sicherheitsmaßnahmen nicht aus. Ergänzende Konzepte schaffen Transparenz und helfen, Data-Poisoning-Angriffe gezielt abzuwehren.

Ein zentrales Instrument ist die AI Bill of Materials (AI-BoM). Sie funktioniert wie eine Stückliste in der Produktion und dokumentiert sämtliche Datenquellen, Modellkomponenten und externen Elemente, auf die ein KI-System zugreift. Die hierdurch gegebene Transparenz erleichtert Risikoanalysen und macht mögliche Manipulationen der Datenquellen frühzeitig sichtbar.

Aktive Anomalieerkennung und geopolitische Risiken

Ein weiterer wichtiger Ansatz für Unternehmen, die selbst KI trainieren, ist die aktive Anomalieerkennung. Statt sich auf punktuelle Prüfungen zu beschränken, sollten Unternehmen ihre KI-Systeme laufend überwachen. Ungewöhnliche Muster oder unerwartete Abweichungen sind oft erste Hinweise auf Data-Poisoning-Angriffe. Dabei gilt: Selbst kleinste Eingriffe – in manchen Fällen weniger als 0,01 Prozent der Trainingsdaten – können das Verhalten großer Modelle spürbar verändern und langfristig verzerren.

Darüber hinaus weist die Forschung auf die geopolitische Dimension hin. Staatliche oder organisierte Akteure platzieren gezielt manipulierte Inhalte in öffentlichen Datenquellen, um langfristig Desinformationskampagnen zu verstärken. Werden solche Inhalte von KI-Systemen übernommen, beeinflussen sie Meinungsbildung und Entscheidungsprozesse direkt – oft subtil und schwer erkennbar.

RAG-Sicherheit

Retrieval-Augmented-Generation-Modelle (RAG) kombinieren trainierte Sprachmodelle mit externen Datenquellen, um Antworten aktuell und kontextbezogen zu gestalten. Diese Architektur macht RAGs besonders leistungsfähig – aber auch, wie oben ausgeführt, besonders anfällig für Data-Poisoning-Angriffe.

Das Risiko liegt darin, dass die eingebundenen Quellen nicht immer vollständig kontrollierbar sind. Manipulierte Inhalte in Datenbanken, Blogs oder Foren können direkt in die Ausgabe der KI einfließen. Unternehmen, die RAG-Modelle nutzen, müssen daher zusätzliche Sicherheitsmaßnahmen etablieren:

• Quellenvalidierung: Externe Daten sollten vor der Nutzung überprüft und klassifiziert werden. Nur geprüfte Quellen dürfen in RAG-Systeme einfließen.
• Filtermechanismen: Automatisierte Prüfungen helfen, auffällige oder potenziell manipulierte Inhalte auszuschließen, bevor sie das Modell erreichen.
• Monitoring der Ausgaben: Ergebnisse von RAG-Systemen müssen regelmäßig auf Konsistenz und Plausibilität geprüft werden. Unerwartete Abweichungen sind oft erste Anzeichen für Manipulationen.

RAG-Sicherheit bedeutet nicht, auf die Vorteile von externen Datenquellen zu verzichten, sondern sie konsequent zu überwachen und abzusichern. Wer entsprechende RAG-Sichetheitsmaßnahmen einsetzt, reduziert das Risiko erheblich – und stellt sicher, dass die Ergebnisse von RAG-Systemen vertrauenswürdig und belastbar bleiben.

Drei Konzepte für mehr Schutz vor Data Poisoning – AI-BoM für Transparenz, aktive Anomalieerkennung durch kontinuierliches Monitoring und RAG-Sicherheit. Bild: ChatGPT (Bild generiert mit KI)

KI benötigt saubere Daten

Data Poisoning zeigt, wie fragil LLM-basierte Systeme sind, wenn die Qualität ihrer Trainingsdaten nicht gewährleistet ist. Schon wenige gezielte Manipulationen reichen aus, um ganze Modelle zu sabotieren. Für Unternehmen bedeutet das, dass sie Datenintegrität als festen Bestandteil ihrer IT‑Sicherheitsstrategie betrachten müssen. Wer KI‑Lösungen nutzt oder plant, einzusetzen, sollte nicht nur auf die Leistungsfähigkeit der Systeme achten, sondern vor allem auf die Herkunft und Sicherheit der Daten. Denn nur saubere Daten schaffen eine verlässliche Grundlage für fundierte Entscheidungen – und schützen gleichzeitig vor schwerwiegenden wirtschaftlichen Schäden.

Ob Data Poisoning, Phishing oder andere Angriffsformen: Cyberkriminelle entwickeln ständig neue Methoden, um Schwachstellen auszunutzen. Für kleine und mittelständische Unternehmen ist es daher besonders wichtig, die eigene IT‑Struktur konsequent zu schützen.

Unsere PC‑SPEZIALIST‑Partner unterstützen Sie dabei mit individuellen Sicherheitslösungen – von professionellem Virenschutz über regelmäßige Updates bis hin zu umfassenden IT-Sicherheitskonzepten. Finden Sie einen PC‑SPEZIALIST in Ihrer Nähe und lassen Sie sich persönlich beraten!

_______________________________________________
Quellen: Security Insider, Security Insider, IBM, CrowdStrike, Pexels/Davide Baraldi (Headerbild)