Wie jede Technologie birgt auch künstliche Intelligenz (KI) nicht nur Vorteile. Insbesondere seit dem Aufkommen von Generative AI (GenAI) und der explosionsartigen Verbreitung entsprechender Instruments und Lösungen ist es für Unternehmen wichtiger denn je, die Risiken in Zusammenhang mit KI zu kennen. Entsprechend steht das Thema GenAI bei Rechts-, Compliance- und Datenschutzverantwortlichen einer Gartner-Umfrage zufolge in den nächsten zwei Jahren ganz oben auf der Agenda.

Um KI-Risiken entgegenzuwirken, neue Bedrohungen zu minimieren sowie Compliance und Datenschutz zu gewährleisten, müssen Anwenderunternehmen ihr KI-Engagement gründlich bewerten, Risiken abwägen und Richtlinien sowie Strategien definieren. Die Bewertungsstrategien unterscheiden sich dabei je nach Artwork der eingesetzten KI-Lösung. Ganz allgemein lassen sich die Risiken in Zusammenhang mit der Technologie in drei Kategorien einteilen:

• interne KI-Projekte,

• KI-Lösungen von Drittanbietern sowie

• schadhafter KI-Einsatz durch Bedrohungsakteure.

Im Folgenden nehmen wir die einzelnen Bereiche ausführlich unter die Lupe.

Interne KI-Risiken bewerten

Um Risiken bewerten zu können, müssen Unternehmen im ersten Schritt wissen, wie künstliche Intelligenz intern eingesetzt wird. Um das zu bewerkstelligen, bieten sich zwei Möglichkeiten.

1. Frameworks für Risiko- und Qualitätsmanagement

Das Softwareunternehmen Abbyy bewertet und quantifiziert die Efficiency seiner KI-Modelle schon seit einigen Jahren. Dafür verwendet das Unternehmen Frameworks für Risiko- und Qualitätsmanagement – unter anderem das ISO Danger Administration Framework. Spezielle Risikomanagement-Frameworks für künstliche Intelligenz werden derzeit erarbeitet – sowohl in den USA als auch in Europa.

Warum Abbyy für seine internen GenAI-Projekte in erster Linie auf ältere Frameworks setzt, erklärt Andrew Pery, AI Ethics Evangelist beim KI-Softwarespezialisten, folgendermaßen: “Diese Frameworks sind noch sehr rudimentär. Es ist noch zu früh, sie zum Einsatz zu bringen. Unser Kernprodukt extrahiert Daten und Inhalte aus Dokumenten und wir haben spezifische Genauigkeitsziele für unsere traditionellen KI-Modelle.”

Laut einer Wiz-Untersuchung von 150.000 Public-Cloud-Accounts kommen in 70 Prozent der Cloud-Umgebungen inzwischen Generative-AI-Dienste zum Einsatz. Die beliebteste KI-Plattform ist dabei mit 53 Prozent die von OpenAI. Dicht gefolgt von Hugging Face und anderen Open-Supply-Projekten. Diese Plattformen zu nutzen, birgt für Unternehmen various Risiken, beispielsweise mit Blick darauf, dass eingegebene Daten für das KI-Modelltraining verwendet werden.

Ein umfassender Überblick darüber, welche KI-Lösungen wo zum Einsatz kommen, ist deshalb unerlässlich. Laut Priya Iragavarapu, VP of Know-how Companies bei der Unternehmensberatung AArete, erfordert das sowohl einen High-Down- als auch einen Backside-Up-Ansatz: “Unternehmensentscheider sollten Prozesse, bei denen KI beteiligt ist, überprüfen und mit dem KI-Governance-Crew diskutieren. Wenn die Führungskräfte nicht wissen, welche KI wo verwendet wird, kommt der Backside-up-Ansatz ins Spiel: Alle Endpunkte im Unternehmen werden getrackt, um die Systeme und Benutzer zu finden, die auf KI-Anwendungen zugreifen.”

Das stelle keine perfekte Lösung dar, gibt die Beraterin zu: “Es gibt immer noch Dinge, die unter den Tisch fallen. Aber an dieser Stelle kommt der Aspekt einer gründlichen Schulung beziehungsweise Weiterbildung ins Spiel, um Mitarbeiter vor selbstverschuldeten Dummheiten zu bewahren.”

2. Eigene AI Deployment Frameworks

Unternehmen sollten auch ein Framework dafür aufsetzen, wie KI-Modelle im Sinne ihrer jeweiligen Compliance-Umgebung und Risikotoleranz eingesetzt werden. So könnten etwa einige Anwendungsfälle erfordern, dass sämtliche KI-Outputs manuell überprüft werden müssen. “Es gibt mehrere Risikodimensionen, die für generative KI related sind”, erklärt Iragavarapu. “Wie viele Menschen sind davon betroffen? Wie groß ist der Affect?” AArete arbeitet mit einigen Unternehmen zusammen, um sie dabei zu unterstützen, diese Risiken zu messen. Für einige Branchen existieren auch bereits erste Generative-AI-Risiko-Benchmarks.

Das ist ein Bereich, auf den sich jetzt various Beratungsunternehmen konzentrieren – Ernst & Younger zum Beispiel hat einen “AI Confidence Index” entwickelt. Kapish Vanvaria, Danger Markets Chief bei EY Americas, erklärt, was es damit auf sich hat: “Unser Vertrauensindex basiert auf fünf Kriterien – Datenschutz und Sicherheit, Bias und Equity, Verlässlichkeit, Transparenz und Erklärbarkeit und schließlich die Verantwortlichkeit. Das ist die eine Achse des Indexes. Die andere umfasst Compliance und ethische Grundsätze. So lässt sich eine Heatmap der verschiedenen Prozesse erstellen und eine gewichtete Bewertungsmethode auf jeden einzelnen anwenden.”

Im Bereich Recht und Compliance seien diese Berechnungen relativ einfach, weil sie auf Scoring-Werten basierten. In anderen gebe es hingegen mehr Ermessensspielraum, so der EY-Entscheider: “Ein Unternehmen könnte beispielsweise den Reifegrad anhand von Faktoren wie einer Richtlinie zur akzeptablen KI-Nutzung bewerten. Sie können numerische Punktzahlen anwenden, um die Grundlinien zu messen, und wenn sich das Ziel verändert entsprechende Änderungen vornehmen.”

Drittanbieter-KI-Risiken bewerten

Datenschutz- und Sicherheitsprobleme in Zusammenhang mit Drittanbieter-Companies sind nicht neu. Potenziell könnte jeder Anbieter – egal, ob es um E-Mail-, Advertising- oder Daten-Companies geht – Zugriff auf smart Daten haben und diese unter Umständen sogar an seine jeweiligen Associate weitergeben. Risiken dieser Artwork zu minimieren, battle schon vor Generative AI eine Herausforderung für Unternehmen – jetzt haben die Sicherheitsentscheider und ihre Groups gar keine andere Wahl mehr, als wachsam zu sein.

Schließlich könnten Instruments, die bislang nicht als Sicherheitsrisiko galten, etwa für die Bildbearbeitung, inzwischen über GenAI-Funktionalitäten verfügen – die hochgeladenen Informationen additionally bei einer KI landen. Um das zu verhindern, müssen in erster Linie sämtliche Verträge und Nutzungsbedingungen genau studiert und im Auge behalten werden. Darüber hinaus kann ein dediziertes Risikomanagement-Crew für Drittanbieter dazu beitragen, Risiken zu minimieren.

Greg Notch, CISO beim Safety-Anbieter Expel, hat noch einen Tipp auf Lager, wenn es darum geht, die Zeichen am Horizont zu deuten: “Wenn ein Anbieter intern neue KI-Funktionen entwickelt, kann eine Änderung seiner Datenschutzrichtlinie ein erster Hinweis darauf sein. Bleiben Sie wachsam!”

In diesem Zusammenhang entfaltet auch die europäische Datenschutzgrundverordnung (DSGVO) constructive Wirkung. Sie verpflichtet Anbieter dazu, offenzulegen, wenn sie mit Subunternehmern zusammenarbeiten.

Externe KI-Bedrohungen bewerten

Generative KI wird längst auch zu unlauteren Zwecken genutzt, etwa um (Spear)-Phising-Emails zu generieren. Das stellt die Sicherheitsteams in Unternehmen zunehmend vor Probleme, wie CISO Notch konstatiert: “Jede Organisation will sich vor Enterprise E-Mail Compromise schützen. Allerdings sind die Indikatoren dafür, dass es sich um eine nicht koschere E-Mail handelt, sowohl für Menschen als auch für Maschinen immer schwieriger zu erkennen. Künstliche Intelligenz ist in der Lage, E-Mails und Webseiten nahezu perfekt zu fälschen.”

Perys Arbeitgeber Abbyy arbeitet deswegen gezielt mit Sicherheitsanbietern zusammen, die sich auf GenAI-Bedrohungen spezialisiert haben. Dennoch sind die KI-Risiken schwer zu quantifizieren. An dieser Stelle sollen künftig neue Frameworks Abhilfe schaffen – etwa die vom Cybersecurity-Experten Daniel Miessler 2023 veröffentlichte “AI Attack Floor Map“. Sasa Zdjelar, Chief Belief Officer beim Provide-Chain-Spezialisten ReversingLabs, rechnet damit, dass demnächst auch größere Organisationen nachziehen: “CISA, NIST, die Cloud Safety Alliance, ENISA und andere werden spezielle Activity Forces bilden, die sich mit diesen neuen Bedrohungen befassen.”

Bis es soweit ist, können Unternehmen prüfen, wie intestine sie die Grundlagen beherrschen. Dazu gehört beispielsweise, zu überprüfen:

• ob alle Endpunkte geschützt sind;

• ob alle Person Multi-Faktor-Authentifizierung nutzen;

• wie intestine die Mitarbeiter Phishing-Versuche erkennen;

• wie groß der Rückstand in Sachen Patching ist;

• zu welchem Grad Zero-Belief-Prinzipien die IT-Umgebung abdecken.

Diese grundlegenden Hygienemaßnahmen können leicht unter den Tisch fallen, wenn neue Bedrohungen auftauchen.

Darüber hinaus können Firmen auch hinsichtlich neuer und aufkeimender Threats tätig werden, wie Sean Loveland, COO vom Sicherheitsanbieter Resecurity, nahelegt: “Offensive Cyber Risk Intelligence und KI-spezifisches Risk Monitoring können Informationen über neue Angriffsmethoden und Schwachstellen liefern sowie darüber, wie diese monetarisiert werden. Es gibt zum Beispiel ein Produkt namens ‘FraudGPT’, das über das Darkish Net und Telegram vertrieben wird.” Dass kriminelle Hacker KI-Instruments inzwischen in erheblichem Umfang nutzen, kann auch Greg Stewart, Vice President Synthetic Intelligence bei SentinelOne, bestätigen: “Wir beobachten eine starke Zunahme von adaptiver und polymorpher Malware, die sich autonom verbreitet.”

Davon abgesehen ist GenAI jedoch auch in der Lage, das Angriffsvolumen drastisch zu steigern. Das Weltwirtschaftsforum identifiziert in seinem “World Dangers Report” ein weiteres, erhebliches Risiko für Unternehmen: KI-generierte Fehl- und Desinformationen. Schließlich können sich entsprechende Faux Information schnell drastisch auf den Aktienkurs eines Unternehmens auswirken.

Risikobehaftete Aussichten

“Unternehmen müssen sich darauf konzentrieren, einen ganzheitlichen Plan zu erstellen, um den Stand der generativen KI in ihrem Unternehmen zu bewerten”, hält Paul Silverglate, Know-how Chief bei Deloitte USA, fest. Er ergänzt: “Sie müssen zeigen, dass es für das Unternehmen wichtig ist, es richtig zu machen und darauf vorbereitet zu sein, schnell zu reagieren und Abhilfe zu schaffen, falls etwas passiert.”

Wie wahrscheinlich es ist, dass das genau so und zeitnah passiert, ist mit Blick auf eine Riskonnect-Survey unter 300 Risiko- und Compliance-Entscheidern fraglich:

• 93 Prozent der Unternehmen rechnen mit erheblichen Bedrohungen im Zusammenhang mit generativer KI.

• Dennoch geben nur 17 Prozent der Teilnehmer an, das gesamte Unternehmen in Bezug auf GenAI-Risiken geschult oder informiert zu haben.

• Lediglich neun Prozent sind nach eigenen Angaben darauf vorbereitet, diese Risiken zu managen.

Eine ähnlich gelagerte ISACA-Umfrage unter mehr als 2.300 Fachleuten aus den Bereichen Audit, Risiko, Sicherheit, Datenschutz und IT-Governance kommt darüber hinaus zum Ergebnis, dass lediglich zehn Prozent der Befragten über eine umfassende Generative-AI-Richtlinie verfügen. Noch schlimmer: Mehr als ein Viertel der Befragten plant auch nicht, eine solche zu entwickeln. Gravierende Fehler, wie Silvergate erklärt: “Belief ist der heilige Gral. Wenn Sie das Vertrauen ihrer Kunden verlieren, wird es sehr schwer zurückzugewinnen sein.” (fm)

Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? Unser kostenloser E-newsletter liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.