KI ist nicht nur ein Software für Hacker, sondern kann auch selbst zur Gefahr werden.
inray27 – Shutterstock.com
In der Welt der Cybersicherheit gibt es ein grundlegendes Prinzip, das auf den ersten Blick widersprüchlich klingen magazine: „Wir hacken, bevor Cyberkriminelle die Gelegenheit dazu bekommen.“ Um dies umzusetzen und Produktionsstraßen oder Maschinen zu schützen, setzen Unternehmen wie Siemens auf zwei zentrale Disziplinen, die sich in ihrer Zielsetzung unterscheiden:
- Offensive Safety/Pentesting konzentriert sich auf die Identifizierung technischer Schwachstellen in einem bestimmten Netzwerk oder Produkt. Ziel ist es, Entwicklern die Möglichkeit zu geben, diese Fehler proaktiv zu beheben, bevor ein Produkt veröffentlicht wird. Es ist ein gezielter technischer Take a look at.
- Pink Teaming hat einen breiteren, organisatorischen Umfang. Hier emuliert ein Group einen echten Angreifer, um die gesamte Sicherheitslage eines Unternehmens zu bewerten. Dabei werden nicht nur technische Schwachstellen aufgedeckt, sondern auch die Reife der Organisation hinsichtlich der Erkennung von und Reaktion auf Angriffe evaluiert.
Darüber, welche neuen Angriffsvektoren der KI-Einsatz eröffnet und wie GenAI die Spielregeln elementary verändert und neue Vertrauensbeziehungen und Risiken schafft, konnten wir mit Pentest– und Safety-Experten von Siemens diskutieren. Doch blicken wir zuerst zurück.
Manipulation durch Bilder
Selbst traditionelle Methoden wie Machine Studying (ML), die bereits einige Zeit im Einsatz sind, bergen spezifische Risiken. Ein zentrales Drawback ist die sogenannte „Fehlklassifizierung“. Dabei wird ein speziell manipulierter Enter dem ML-Modell so präsentiert, dass es eine falsche Entscheidung trifft. Etwa, wenn einem medizinischen ML-Modell, das darauf trainiert ist, Krebszellen zu erkennen, durch eine winzige, für Menschen unsichtbare Veränderung in einem Bild getäuscht wird. Dann klassifiziert es eine bösartige Zelle fälschlicherweise als harmlos. Ähnliche Risiken bestehen bei der Gesichts- oder Fingerabdruckerkennung, wo manipulierte Eingaben die Authentifizierungssysteme untergraben können.
