Was generative Künstliche Intelligenz für die IT-Sicherheit bedeutet

Von Manuel Seiferth, Henning Kruse und Jordan Pötsch. Generative KI (GenAI) entwickelt sich rasant weiter und unterstützt uns zunehmend bei unserer Arbeit. Sie hilft bei Routineaufgaben, Recherchen und dem Verfassen von Texten. Die am meisten genutzten großen Sprachmodelle (Large Language Models, kurz: LLMs) auf dem Markt konkurrieren um die beste Ergebnisqualität, Geschwindigkeit und Ressourceneffizienz. Retrieval-Augmented Generation (RAG) ermöglicht die Individualisierung von GenAI und hat damit wohl einigen Startups das Businessmodell genommen.

So können Unternehmen GenAI-Modelle nutzen und sie mit internen und proprietären Daten erweitern. Gleichzeitig bleiben die Daten in einer sicheren Umgebung, ohne die Notwendigkeit, die Modelle direkt mit den Daten zu trainieren. Die Entwicklung des Markts zeigt: Während sich die Ausgabequalität der LLMs annähert, bilden die Daten, auf die die Modelle zugreifen können, ein wesentliches Unterscheidungsmerkmal. Unternehmen müssen Wege finden, ihre Daten sicher einzuspeisen, um nicht ins Hintertreffen zu geraten. 

Die rasante Entwicklung des noch jungen Markts rund um generative KI hat bereits den Gesetzgeber auf den Plan gerufen. Anfang 2024 erließ die EU den EU AI Act (Artificial Intelligence Act). Zudem sind auch bestehende Vorschriften wie die EU-DSGVO (Datenschutz-Grundverordnung) und der European Data Act für die neue Technologie relevant. Viele Institutionen haben Leitlinien und Rahmenwerke für die Sicherheit von KI veröffentlicht. Ebenso wie die Technologie an sich unterliegt auch die regulatorische Landschaft einer hohen Dynamik. Unternehmen stehen vor der Herausforderung, den Überblick nicht zu verlieren. Zudem sind Normen wie ISO/IEC 42001 für die sichere Implementierung von KI zu beachten. 

Da GenAI-Tools immer einfacher verfügbar sind, ergeben sich neue Risiken durch unautorisierte Anwendungen. Wenn Mitarbeiter:innen und Entwickler:innen aus Bequemlichkeit oder zu Experimentierzwecken auf „Schatten-GenAI“ setzen, umgehen sie womöglich Sicherheitskontrollen und erhöhen das Risiko von Datenlecks. Die Blockade von GenAI-Tools über Web-Proxies macht es nicht besser, im Gegenteil: Mitarbeitende weichen dann eher auf private Geräte aus, was die Risiken für den Abfluss sensibler Daten erhöht. 

Wenn Unternehmen KI-gestützte Anwendungen ohne ausreichende Tests und Sicherheitsüberprüfungen einführen, drohen Risiken wie Prompt Injections und Datenlecks. Auch schon das Training von generativen KI-Systemen birgt Gefahren, da dabei große Datensätze aggregiert und verarbeitet werden. Eine systematische Data Governance und sorgfältig konfigurierte Zugriffskontrollen sind unabdingbar, um den unbefugten Zugriff auf sensible Informationen zu unterbinden. 

Mögliche Bedrohungen durch Insider:innen verkomplizieren die Situation weiter, da Unternehmens-KI-Tools zu Vehikeln für bösartige Aktivitäten werden können. Zu den Risiken gehören die Generierung gefälschter Nachrichten, das Aufspüren sensibler Informationen und das Umgehen von Systemen zur Data Leak Prevention (DLP). 

Auch Phishing-Kampagnen erreichen durch den Einsatz von GenAI ein neues Level. Angreifende können überzeugende E-Mails mit wenig Aufwand präzise auf einzelne Ziele zuschneiden. Traditionelle Erkennungsmethoden stoßen an ihre Grenzen. Der massenhafte Versand personalisierter Phishing-Mails ist für die Cybersicherheit eine große Herausforderung. 

Unterm Strich ist der Run auf generative KI durchaus gerechtfertigt. Wer sie nicht nutzt, riskiert Wettbewerbsnachteile. Mitarbeitende werden allerdings kaum auf den Komfort der neuen KI-Werkzeuge verzichten – unabhängig von den Unternehmensrichtlinien.

Die Einführung von KI erfolgt in Form von APIs, Tools und Modulen, die in Anwendungen sowie zahlreiche SaaS- und PaaS-Angebote integriert werden. Die bereits vorhandene Sicherheitsgovernance sowie Richtlinien und Prozesse müssen erweitert werden, um KI-Aspekte abzudecken. GenAI erfordert grundsätzlich keine völlig neuen Strukturen und Prozesse, sondern vielmehr die Erweiterung um KI-spezifische Kontrollen.

Aktuell entstehen zahlreiche Anwendungsfälle, in deren Zuge KI in Software und Prozesse integriert wird. Trotz der hohen Adoptionsgeschwindigkeit sollten Unternehmen schon jetzt auf eine systematische Herangehensweise für die KI-Sicherheit setzen. Die jetzigen Anwendungsfälle werden wahrscheinlich nicht die einzigen bleiben. Mit dokumentierten Prozessen und Checklisten lässt sich eine Grundlage für wiederverwendbare Maßnahmen schaffen. Letztendlich hilft eine Erweiterung des Informationssicherheits-Managementsystems (ISMS) für KI Ihren Sicherheitsteams dabei, die Umsetzung neuer Anwendungsfälle zu unterstützen und unternehmensweite Implementierungen zu orchestrieren. 

Das neue Konzept des AI Management Systems (AIMS) bietet Unternehmen einen Rahmen zur Verwaltung von KI – inklusive relevanter Sicherheitsaspekte. Aus unserer Sicht sollten jedoch keine neuen parallelen Strukturen entstehen, sondern die Integration mit einem bestehenden ISMS angestrebt werden.

Den Anfang hin zu mehr Sicherheit für KI macht eine KI-Sicherheitsstrategie, die zentrale Design-Prinzipien definiert und vom Management verantwortet wird. Die Strategie unterstützt Geschäftsansätze für KI, bietet Leitplanken und beeinflusst Plattform- und Entwicklungsentscheidungen. Davon ausgehend können Sie Ihre erforderlichen KI-Sicherheitsfunktionen und die entsprechende strukturelle Organisation ableiten. Mit diesem Wissen können Sie den Stand Ihrer Organisation in Hinblick auf KI-Sicherheit schnell ermitteln und eine Roadmap entwickeln.

In Folge der KI-Nutzung ist es unerlässlich, bestehende Daten-Governance und -Lebenszyklusprozesse zu verbessern oder neu einzurichten. Mit bestehenden und neuen Richtlinien zu zulässigen Einsatzzwecken sowie der Entwicklung und dem Betrieb von KI-Lösungen lassen sich Risiken steuern. Dazu gehört die Identifizierung und Kategorisierung sensibler Daten im Ökosystem der Organisation sowie die Implementierung von Protokollen zum Schutz der Daten während ihres gesamten Lebenszyklus. Um diesen Prozess zu optimieren, bringt der Einsatz von Werkzeugen zur automatisierten Kennzeichnung und zum Schutz sensibler Daten Geschwindigkeitsvorteile. Durch die Identifizierung und Anwendung geeigneter Sicherheitsmaßnahmen für sensible Daten können Organisationen das Risiko von Datenschutzverletzungen minimieren und die Einhaltung regulatorischer Anforderungen sicherstellen. Wenn die KI von einem Drittanbieter bereitgestellt wird, sind entsprechende Verträge und Sicherheitsprüfungen Dritter erforderlich.

Für das Training von KI werden große Datensätze verwendet, die mit einem entsprechend hohen Schutzbedarf einhergehen. Die Registrierung von Trainingsdaten, insbesondere bei sensiblen Informationen, hilft Ihnen, die Übersicht zu behalten und sicherzustellen, dass angemessene Sicherheitsmaßnahmen zum Schutz kritischer Informationen ergriffen werden.

Die Weiterbildung von Sicherheitsteams bezüglich der spezifischen KI-Risiken ist unerlässlich. Durch die Einbindung von Sicherheitsexpert:innen in KI-Projektteams können Sie Sicherheitsbedenken proaktiv identifizieren und während des Entwicklungs- und Deployment-Prozesses angehen.

Neben den Sicherheitsteams müssen auch die Benutzer:innen über die spezifischen Risiken und Bedrohungen aufgeklärt werden, die von GenAI ausgehen. Durch die Sensibilisierung und Schulung zu Best Practices für sichere Entwicklung können Teams potenzielle Schwachstellen besser verstehen und eindämmen. Darüber hinaus ist es entscheidend, sichere Entwicklungsprozesse auf GenAI auszuweiten. Dazu müssen die Bedrohungsmodellierung und Risikobewertung verbessert werden, um den Besonderheiten von KI-Systemen im Vergleich zu herkömmlichen Anwendungen Rechnung zu tragen. 

Der Einsatz von Technologie zur Minderung neuer, spezifisch mit GenAI verbundener Bedrohungen, wie Prompt Engineering, ist für ein proaktives Risikomanagement unerlässlich. Durch technische Maßnahmen können Organisationen aufkommende Bedrohungen schnell erkennen und abmildern, bevor sie sich verschärfen. Zudem müssen sie die Fähigkeiten zur Bedrohungserkennung und -reaktion auf GenAI-Anwendungen und -Infrastrukturen ausweiten. Dies stellt sicher, dass potenzielle Sicherheitsvorfälle, die KI-Systeme betreffen, umgehend erkannt und angegangen werden. Die Ausweitung von Red-Teaming und Sicherheitstests auf GenAI-Anwendungen ist entscheidend, um potenzielle Lücken in der Cyberabwehr zu identifizieren und zu schließen. Indem sie KI-Systeme strengen Tests und simulierten Angriffen unterziehen, können Organisationen Schwachstellen erkennen und ihre Sicherheitsvorkehrungen gegen neu aufkommende Bedrohungen stärken.

Um potenzielle Bedrohungen und bösartige Aktivitäten zu erkennen, sollten Organisationen für KI-Tools ein kontinuierliches Monitoring einrichten. Durch die Implementierung von Mechanismen zur Bedrohungserkennung können sie Sicherheitsvorfälle umgehend erkennen und darauf reagieren. So minimieren sie die Auswirkungen auf den Betrieb und schützen sensible Daten vor unbefugtem Zugriff oder Ausnutzung. Im Rahmen des Monitorings lassen sich zum Beispiel die Ein- und Ausgaben generativer KI-Systeme automatisiert überprüfen. Auch die Analyse der verbrauchten Rechenleistung und der angefallenen Kosten bietet sich an.

Generative KI bietet auch großes Potenzial für Sicherheitsteams, die sich durch neu gewonnene Freiräume auf ihre wesentlichen Aufgaben konzentrieren können. Der Hauptvorteil liegt in der automatisierten Abarbeitung regelmäßiger Routineaufgaben von Analyst:innen und Sicherheitsteams. Dazu gehört zum Beispiel das Erstellen von Vorfalls- und Managementberichten.

Nichtsdestotrotz wird KI menschliche Sicherheitsteams vorerst nicht ersetzen. Generative KI-Anwendungen erfordern eine enge menschliche Überwachung und eignen sich eher für die ergänzende Aufklärung und Automatisierung. Um GenAI effektiv und gewinnbringend zu integrieren, bedarf es eines tiefgreifenden Verständnisses der Prozesse, Arbeitsabläufe, Engpässe und des Fachwissens einer Organisation.

Was GenAI durchaus leisten kann, ist die Minimierung von Reaktionszeiten – beispielsweise durch den Einsatz von GenAI-gestützten Sicherheitstools. Diese Tools ermöglichen es Sicherheitsanalysten, schneller auf Vorfälle zu reagieren und somit potenzielle Schäden zu minimieren. Automatisierung spielt eine entscheidende Rolle bei der Steigerung der Reaktionseffizienz. Der Einsatz von GenAI ermöglicht die Orchestrierung von schnellen und effektiven Reaktionen auf Cyber-Vorfälle. Indem repetitive Aufgaben und Entscheidungsprozesse automatisiert werden, können sich Sicherheitsteams auf komplexere Bedrohungen konzentrieren.

Durch den Einsatz von GenAI können Organisationen automatisch neue Abfragen (Queries) zur Detektion basierend auf vergangenen Vorfällen und Bedrohungsdaten generieren. Dieser proaktive Ansatz verbessert die Fähigkeit der Organisation, aufkommende Bedrohungen zu erkennen und zu entschärfen, bevor sie eskalieren. Darüber hinaus ist es wichtig, inmitten der Flut von Vorfallsberichten die wichtigsten Empfehlungen zu identifizieren. GenAI kann wesentliche Erkenntnisse aus diesen Berichten destillieren und maßgeschneiderte Empfehlungen liefern. Dies stellt sicher, dass Sicherheitsbemühungen darauf fokussiert sind, die kritischsten Probleme anzugehen.

Weitere Anwendungsfälle umfassen die Beschleunigung des Entwurfs von Richtlinien, den Aufbau interner Wissensdatenbanken und Beratungen für Anwendungs-Owner sowie die Unterstützung beim Reporting. GenAI kann beim Verfassen von Red Team- und Penetrationstest-Berichten sowie beim Schreiben von Empfehlungen helfen.

Wir bei PwC verfolgen die aktuellen Trends und helfen unseren Kunden bei der sicheren Einführung von GenAI in allen Geschäftsbereichen. Wir bauen auf bestehenden Prozessen und Kontrollen auf. Gleichzeitig engagieren wir uns dafür, die umfangreichen technischen Leitlinien, die in den verschiedenen Standards und Rahmenwerken der letzten Monate veröffentlicht wurden, zu harmonisieren.