Im Zuge der Digitalisierung nimmt der Einsatz von künstlicher Intelligenz (KI) immer weiter zu. Effizientere und schnellere Prozesse sind nur einige der vielen Vorteile, die durch den Einsatz von KI entstehen können. Auf der Kehrseite weisen KI-Systeme aber, wie auch IT-Systeme, eine große Angriffsfläche auf. In diesem Artikel werden Schwachstellen von KI-Systemen diskutiert und Angriffsvektoren vorgestellt.
Neueste Studien zeigen, dass Entscheidungen von KI-Algorithmen manipuliert werden können. Die Angriffsfläche von KI-Systemen ist ziemlich breit aufgrund deren Komplexität. So gelang es Forschern sogar durch eine Änderung eines einzigen Pixels auf einem Bild, falsche Entscheidungen hervorzurufen. Studien zeigen auch, dass viele cloudbasierte KI-Anwendungen von großen Konzernen verwundbar sind.
Die Angriffsarten auf KI-Systeme werden je nach Möglichkeiten der Angreifer in drei Kategorien unterteilt, die im Folgenden beschrieben werden.
1. Poisoning Attack
Bei einer Poisoning Attack fügt ein Angreifer bösartige Samples in die Trainingsdaten ein, um die Entscheidungen der betroffenen KI-Systeme zu beeinflussen. Die Voraussetzung für diesen Angriff ist ein Zugriff auf die Trainingsdaten entweder mittelbar (z.B. Feedback-Loop) oder unmittelbar. Ziel des Angreifers ist es, das Modell so zu verändern, dass es zu seinen Gunsten falsche Entscheidungen trifft.
In einem Blog-Beitrag berichtet Google, dass Poisoning-Angriffe von Kriminellen schon regulär angewendet werden. Die Kriminellen haben beispielsweise zwischen 2017 und 2018 vier groß angelegte Angriffe durchgeführt, um den Klassifikator für Spammails zu ihren Gunsten zu manipulieren.
2. Evasion Attack
Bei einer Evasion Attack erzeugt ein Angreifer speziell gestaltete Eingaben (sog. Adversarial Examples), um eine falsche Entscheidung bei einem Modell zu verursachen (z.B. um einer Detektion zu entgehen). Diese Eingaben können so gestaltet sein, dass sie von Menschen als normal wahrgenommen werden, aber von KI-Algorithmen falsch klassifiziert werden.
Adversarial Examples (gegnerische Beispiele) sind von Angreifern absichtlich generierte einzelne Exemplare, durch die KI-Algorithmen getäuscht werden können. Bisherige Forschungen deuten darauf hin, dass eine minimale Änderung der Eingabedaten zu einer Fehlklassifizierung bei den KI-Algorithmen führen kann. Forscher von der Universität Michigan zeigten auch, wie sie ein in Autos eingebettetes Mustererkennungssystem täuschten, indem sie auf ein Stoppschild schwarze und weiße Sticker geklebt hatten. Obwohl Menschen dieses Stoppschild nicht für verdächtig halten würden, haben die getesteten Algorithmen in den Autos dieses Schild als „Speed Limit 45“ interpretiert (s. Abbildung 1)[1].
Abbildung 1: Ein Stoppschild, dass von einem KI-System als “Speed Limit 45” erkannt wurde.
3. Exploratory Attack
Bei einer Exploratory Attack versucht ein Angreifer, ein KI-Modell entweder nachzubauen oder Samples, die beim Training verwendet wurden, herauszufinden. Vor allem Letzteres kann eine Verletzung des Datenschutzes zur Folge haben. Ein Angreifer stellt dazu Anfragen an ein KI-Modell, um Paare von Eingabedaten und Labels (evtl. auch Vertrauensniveaus) zu sammeln. Basierend auf diesen Informationen können das Modell nachgebaut oder Trainingsdaten rekonstruiert werden.
Service-Meister und vertrauenswürdige KI-Systeme
Die Forschungsgruppe “Cybersicherheit für Künstliche Intelligenz” am Institut für Internet-Sicherheit unterstützt als Konsortialpartner das Projekt Service-Meister für die Entwicklung vertrauenswürdiger KI-Systeme und forscht aktiv in diesem Bereich.
Schutzmaßnahmen
Forschung & Wissenstransfer in die Industrie: Verfolgung neuester wissenschaftlicher Aktivitäten (Angriffsvektoren, Schutzmaßnahmen) und deren praktischen Einsatzmöglichkeiten
Kontinuierlicher Austausch mit den Partnern: if(is) ist mit Partnern ständig in Kontakt und es findet eine bilaterale Kommunikation statt.
Sicherheitsauswertung der von den Partnern entwickelten KI-Ansätzen, KI-Security und Cybersecurity: im Sinne von Penetrationstest unter Betrachtung der neuesten Angriffe und Schutzmaßnahmen
Einsatz von KI in der Industrie
Die Vermietung von industriellen Maschinen bietet Vorteile bei der Kostenkalkulation im Gegensatz zum Kauf. Die Instandhaltung solcher Maschinen durch den Vermieter erfordert jedoch immer mehr Fachwissen aufgrund zunehmender Komplexität der Maschinen. Zudem erschwert der Fachkräftemangel diese Form der Dienstleistung. Im Projekt Service-Meister sollen Technologien der künstlichen Intelligenz (KI) entwickelt werden, um Fachkräfte zu unterstützen. Mit KI können zukünftige Probleme präziser vorausgesagt und Wartungsaufwand sowie Ausfallzeiten reduziert werden. Des Weiteren soll eine zentrale Plattform aufgebaut werden, um Daten und Wissen von Teilnehmern zu bündeln. Die so entstehenden KI-basierten Services können dann Servicetechniker bei der Ausführung ihrer Arbeit unterstützen.
Der Einsatz von KI-Technologien ist aber auch mit Risiken verbunden. Manipulierte Trainingsdaten können die Vorhersagen von KI-Systemen negativ beeinflussen. Fehlentscheidungen können vermeidbare Kosten verursachen. Zudem lassen sich durch das Beobachten des Eingabe-Ausgabe-Verhaltens Rückschlüsse auf das KI-Modell ziehen und unter Umständen kann eine Kopie des Modells erstellt werden, was den Wettbewerbsvorteil zunichtemacht.
Beim Einsatz von KI stellt sich also die Frage, ob sich diese zuverlässig anwenden lässt. Das Institut für Internet-Sicherheit – if(is) forscht an der Sicherheit von KI und ist in diversen anwendungsorientierten Forschungsprojekten (z.B. Service-Meister) involviert. Darüber hinaus forscht das if(is) unter anderem in den Bereichen Einsatz von künstlicher Intelligenz im Cybersicherheitskontext, sichere Authentifizierung, Botnetze, Datenschutz und Blockchain.
Über das Institut für Internet-Sicherheit – if(is)
Das Institut für Internet-Sicherheit – if(is) wurde 2005 an der Westfälischen Hochschule, Gelsenkirchen von Prof. Norbert Pohlmann gegründet, um Innovationen im Bereich der anwendungsorientierten Internet-Sicherheitsforschung zu schaffen. Das if(is) hat seine Wurzeln im Fachbereich Informatik. Rund 50 MitarbeiterInnen befassen sich dort täglich mit der Forschung an lösungsorientierten Methoden zur Steigerung der Internet-Sicherheit für alle Zielgruppen – von Großunternehmen und Mittelständlern über die Betreiber kritischer Infrastrukturen, bis hin zum Endverbraucher in seinem digitalen Alltag.
Die besondere Qualifikation und kontinuierliche Begleitung der Studierenden am Institut hat bis heute zu zahlreichen Ausgründungen im Bereich der IT-Sicherheit geführt: Derzeit haben gleich fünf Startups (TrustCerts, Aware7, XignSys, finally safe, Quvert) ihren Weg nach dem Studium und Forschungszeit im Institut in die Selbstständigkeit mit mehreren Angestellten gefunden.
Wegbereitend war dabei in vielen Fällen der erfolgreiche Abschluss des bundesweit einzigartigen Masterstudiengangs „Internet-Sicherheit“, der sich durch seine anwendungsbezogene Lehre und die enge Verschmelzung mit Projekten in der Wirtschaft von anderen Studienangeboten weitestgehend unterscheidet.
Prof. Norbert Pohlmann
Das Vertrauen und die gute Reputation des Instituts werden dabei durch das kontinuierliche Wirken des Institutsleiters, Prof. Norbert Pohlmann (Vorstandsvorsitzender des Bundesverbands IT-Sicherheit – TeleTrusT, Vorstandsmitglied des eco – Verband der Internetwirtschaft e.V., Vorstandsmitglied EuroCloud Deutschland_eco e.V., Mitglied im Lenkungskreis Initiative „IT-Sicherheit in der Wirtschaft“ des BMWi), seit Jahren stetig untermauert und ausgebaut.
[1]Eykholt et al. “Robust Physical-World Attacks on Deep Learning Models” arXiv. 2017.
Dieser Artikel hat Ihnen gefallen? Dann abonnieren Sie unseren Newsletter und erhalten Sie regelmäßige Updates zu ähnlichen Themen und zum Projekt Service-Meister und diskutieren Sie mit uns zu diesem und ähnlichen spannenden Themen in unserer LinkedIn Gruppe.