The GenAI Building Blocks

Was generative Künstliche Intelligenz für die IT-Sicherheit bedeutet

GenAI is here to stay: What it means for cyber security
  • Artikel
  • 10 Minuten Lesezeit
  • 18 Apr 2024

Von Manuel Seiferth, Henning Kruse und Jordan Pötsch. Generative KI (GenAI) entwickelt sich rasant weiter und unterstützt uns zunehmend bei unserer Arbeit. Sie hilft bei Routineaufgaben, Recherchen und dem Verfassen von Texten. Die am meisten genutzten großen Sprachmodelle (Large Language Models, kurz: LLMs) auf dem Markt konkurrieren um die beste Ergebnisqualität, Geschwindigkeit und Ressourceneffizienz. Retrieval-Augmented Generation (RAG) ermöglicht die Individualisierung von GenAI und hat damit wohl einigen Startups das Businessmodell genommen.

So können Unternehmen GenAI-Modelle nutzen und sie mit internen und proprietären Daten erweitern. Gleichzeitig bleiben die Daten in einer sicheren Umgebung, ohne die Notwendigkeit, die Modelle direkt mit den Daten zu trainieren. Die Entwicklung des Markts zeigt: Während sich die Ausgabequalität der LLMs annähert, bilden die Daten, auf die die Modelle zugreifen können, ein wesentliches Unterscheidungsmerkmal. Unternehmen müssen Wege finden, ihre Daten sicher einzuspeisen, um nicht ins Hintertreffen zu geraten. 

Generative KI hat massive Auswirkungen auf die Cybersicherheit

Die rasante Entwicklung des noch jungen Markts rund um generative KI hat bereits den Gesetzgeber auf den Plan gerufen. Anfang 2024 erließ die EU den EU AI Act (Artificial Intelligence Act). Zudem sind auch bestehende Vorschriften wie die EU-DSGVO (Datenschutz-Grundverordnung) und der European Data Act für die neue Technologie relevant. Viele Institutionen haben Leitlinien und Rahmenwerke für die Sicherheit von KI veröffentlicht. Ebenso wie die Technologie an sich unterliegt auch die regulatorische Landschaft einer hohen Dynamik. Unternehmen stehen vor der Herausforderung, den Überblick nicht zu verlieren. Zudem sind Normen wie ISO/IEC 42001 für die sichere Implementierung von KI zu beachten. 

Da GenAI-Tools immer einfacher verfügbar sind, ergeben sich neue Risiken durch unautorisierte Anwendungen. Wenn Mitarbeiter:innen und Entwickler:innen aus Bequemlichkeit oder zu Experimentierzwecken auf „Schatten-GenAI“ setzen, umgehen sie womöglich Sicherheitskontrollen und erhöhen das Risiko von Datenlecks. Die Blockade von GenAI-Tools über Web-Proxies macht es nicht besser, im Gegenteil: Mitarbeitende weichen dann eher auf private Geräte aus, was die Risiken für den Abfluss sensibler Daten erhöht. 

Wenn Unternehmen KI-gestützte Anwendungen ohne ausreichende Tests und Sicherheitsüberprüfungen einführen, drohen Risiken wie Prompt Injections und Datenlecks. Auch schon das Training von generativen KI-Systemen birgt Gefahren, da dabei große Datensätze aggregiert und verarbeitet werden. Eine systematische Data Governance und sorgfältig konfigurierte Zugriffskontrollen sind unabdingbar, um den unbefugten Zugriff auf sensible Informationen zu unterbinden. 

Mögliche Bedrohungen durch Insider:innen verkomplizieren die Situation weiter, da Unternehmens-KI-Tools zu Vehikeln für bösartige Aktivitäten werden können. Zu den Risiken gehören die Generierung gefälschter Nachrichten, das Aufspüren sensibler Informationen und das Umgehen von Systemen zur Data Leak Prevention (DLP). 

Auch Phishing-Kampagnen erreichen durch den Einsatz von GenAI ein neues Level. Angreifende können überzeugende E-Mails mit wenig Aufwand präzise auf einzelne Ziele zuschneiden. Traditionelle Erkennungsmethoden stoßen an ihre Grenzen. Der massenhafte Versand personalisierter Phishing-Mails ist für die Cybersicherheit eine große Herausforderung. 

Unterm Strich ist der Run auf generative KI durchaus gerechtfertigt. Wer sie nicht nutzt, riskiert Wettbewerbsnachteile. Mitarbeitende werden allerdings kaum auf den Komfort der neuen KI-Werkzeuge verzichten – unabhängig von den Unternehmensrichtlinien.

Cybersicherheit für KI

Die Einführung von KI erfolgt in Form von APIs, Tools und Modulen, die in Anwendungen sowie zahlreiche SaaS- und PaaS-Angebote integriert werden. Die bereits vorhandene Sicherheitsgovernance sowie Richtlinien und Prozesse müssen erweitert werden, um KI-Aspekte abzudecken. GenAI erfordert grundsätzlich keine völlig neuen Strukturen und Prozesse, sondern vielmehr die Erweiterung um KI-spezifische Kontrollen.

Aktuell entstehen zahlreiche Anwendungsfälle, in deren Zuge KI in Software und Prozesse integriert wird. Trotz der hohen Adoptionsgeschwindigkeit sollten Unternehmen schon jetzt auf eine systematische Herangehensweise für die KI-Sicherheit setzen. Die jetzigen Anwendungsfälle werden wahrscheinlich nicht die einzigen bleiben. Mit dokumentierten Prozessen und Checklisten lässt sich eine Grundlage für wiederverwendbare Maßnahmen schaffen. Letztendlich hilft eine Erweiterung des Informationssicherheits-Managementsystems (ISMS) für KI Ihren Sicherheitsteams dabei, die Umsetzung neuer Anwendungsfälle zu unterstützen und unternehmensweite Implementierungen zu orchestrieren. 

Infografik: Erweiterungs der Sicherheitsfähigkeiten, um KI-spezifische Risiken und Bedrohungen einzuschließen - PwC

Das neue Konzept des AI Management Systems (AIMS) bietet Unternehmen einen Rahmen zur Verwaltung von KI – inklusive relevanter Sicherheitsaspekte. Aus unserer Sicht sollten jedoch keine neuen parallelen Strukturen entstehen, sondern die Integration mit einem bestehenden ISMS angestrebt werden.

Readiness & Strategie

Den Anfang hin zu mehr Sicherheit für KI macht eine KI-Sicherheitsstrategie, die zentrale Design-Prinzipien definiert und vom Management verantwortet wird. Die Strategie unterstützt Geschäftsansätze für KI, bietet Leitplanken und beeinflusst Plattform- und Entwicklungsentscheidungen. Davon ausgehend können Sie Ihre erforderlichen KI-Sicherheitsfunktionen und die entsprechende strukturelle Organisation ableiten. Mit diesem Wissen können Sie den Stand Ihrer Organisation in Hinblick auf KI-Sicherheit schnell ermitteln und eine Roadmap entwickeln.

Cyber-KI-Governance

In Folge der KI-Nutzung ist es unerlässlich, bestehende Daten-Governance und -Lebenszyklusprozesse zu verbessern oder neu einzurichten. Mit bestehenden und neuen Richtlinien zu zulässigen Einsatzzwecken sowie der Entwicklung und dem Betrieb von KI-Lösungen lassen sich Risiken steuern. Dazu gehört die Identifizierung und Kategorisierung sensibler Daten im Ökosystem der Organisation sowie die Implementierung von Protokollen zum Schutz der Daten während ihres gesamten Lebenszyklus. Um diesen Prozess zu optimieren, bringt der Einsatz von Werkzeugen zur automatisierten Kennzeichnung und zum Schutz sensibler Daten Geschwindigkeitsvorteile. Durch die Identifizierung und Anwendung geeigneter Sicherheitsmaßnahmen für sensible Daten können Organisationen das Risiko von Datenschutzverletzungen minimieren und die Einhaltung regulatorischer Anforderungen sicherstellen. Wenn die KI von einem Drittanbieter bereitgestellt wird, sind entsprechende Verträge und Sicherheitsprüfungen Dritter erforderlich.

Für das Training von KI werden große Datensätze verwendet, die mit einem entsprechend hohen Schutzbedarf einhergehen. Die Registrierung von Trainingsdaten, insbesondere bei sensiblen Informationen, hilft Ihnen, die Übersicht zu behalten und sicherzustellen, dass angemessene Sicherheitsmaßnahmen zum Schutz kritischer Informationen ergriffen werden.

Die Weiterbildung von Sicherheitsteams bezüglich der spezifischen KI-Risiken ist unerlässlich. Durch die Einbindung von Sicherheitsexpert:innen in KI-Projektteams können Sie Sicherheitsbedenken proaktiv identifizieren und während des Entwicklungs- und Deployment-Prozesses angehen.

Technische Umsetzung

Neben den Sicherheitsteams müssen auch die Benutzer:innen über die spezifischen Risiken und Bedrohungen aufgeklärt werden, die von GenAI ausgehen. Durch die Sensibilisierung und Schulung zu Best Practices für sichere Entwicklung können Teams potenzielle Schwachstellen besser verstehen und eindämmen. Darüber hinaus ist es entscheidend, sichere Entwicklungsprozesse auf GenAI auszuweiten. Dazu müssen die Bedrohungsmodellierung und Risikobewertung verbessert werden, um den Besonderheiten von KI-Systemen im Vergleich zu herkömmlichen Anwendungen Rechnung zu tragen. 

Der Einsatz von Technologie zur Minderung neuer, spezifisch mit GenAI verbundener Bedrohungen, wie Prompt Engineering, ist für ein proaktives Risikomanagement unerlässlich. Durch technische Maßnahmen können Organisationen aufkommende Bedrohungen schnell erkennen und abmildern, bevor sie sich verschärfen. Zudem müssen sie die Fähigkeiten zur Bedrohungserkennung und -reaktion auf GenAI-Anwendungen und -Infrastrukturen ausweiten. Dies stellt sicher, dass potenzielle Sicherheitsvorfälle, die KI-Systeme betreffen, umgehend erkannt und angegangen werden. Die Ausweitung von Red-Teaming und Sicherheitstests auf GenAI-Anwendungen ist entscheidend, um potenzielle Lücken in der Cyberabwehr zu identifizieren und zu schließen. Indem sie KI-Systeme strengen Tests und simulierten Angriffen unterziehen, können Organisationen Schwachstellen erkennen und ihre Sicherheitsvorkehrungen gegen neu aufkommende Bedrohungen stärken.

Monitoring

Um potenzielle Bedrohungen und bösartige Aktivitäten zu erkennen, sollten Organisationen für KI-Tools ein kontinuierliches Monitoring einrichten. Durch die Implementierung von Mechanismen zur Bedrohungserkennung können sie Sicherheitsvorfälle umgehend erkennen und darauf reagieren. So minimieren sie die Auswirkungen auf den Betrieb und schützen sensible Daten vor unbefugtem Zugriff oder Ausnutzung. Im Rahmen des Monitorings lassen sich zum Beispiel die Ein- und Ausgaben generativer KI-Systeme automatisiert überprüfen. Auch die Analyse der verbrauchten Rechenleistung und der angefallenen Kosten bietet sich an.

KI für Cybersicherheit

Generative KI bietet auch großes Potenzial für Sicherheitsteams, die sich durch neu gewonnene Freiräume auf ihre wesentlichen Aufgaben konzentrieren können. Der Hauptvorteil liegt in der automatisierten Abarbeitung regelmäßiger Routineaufgaben von Analyst:innen und Sicherheitsteams. Dazu gehört zum Beispiel das Erstellen von Vorfalls- und Managementberichten.

Nichtsdestotrotz wird KI menschliche Sicherheitsteams vorerst nicht ersetzen. Generative KI-Anwendungen erfordern eine enge menschliche Überwachung und eignen sich eher für die ergänzende Aufklärung und Automatisierung. Um GenAI effektiv und gewinnbringend zu integrieren, bedarf es eines tiefgreifenden Verständnisses der Prozesse, Arbeitsabläufe, Engpässe und des Fachwissens einer Organisation.

Was GenAI durchaus leisten kann, ist die Minimierung von Reaktionszeiten – beispielsweise durch den Einsatz von GenAI-gestützten Sicherheitstools. Diese Tools ermöglichen es Sicherheitsanalysten, schneller auf Vorfälle zu reagieren und somit potenzielle Schäden zu minimieren. Automatisierung spielt eine entscheidende Rolle bei der Steigerung der Reaktionseffizienz. Der Einsatz von GenAI ermöglicht die Orchestrierung von schnellen und effektiven Reaktionen auf Cyber-Vorfälle. Indem repetitive Aufgaben und Entscheidungsprozesse automatisiert werden, können sich Sicherheitsteams auf komplexere Bedrohungen konzentrieren.

Durch den Einsatz von GenAI können Organisationen automatisch neue Abfragen (Queries) zur Detektion basierend auf vergangenen Vorfällen und Bedrohungsdaten generieren. Dieser proaktive Ansatz verbessert die Fähigkeit der Organisation, aufkommende Bedrohungen zu erkennen und zu entschärfen, bevor sie eskalieren. Darüber hinaus ist es wichtig, inmitten der Flut von Vorfallsberichten die wichtigsten Empfehlungen zu identifizieren. GenAI kann wesentliche Erkenntnisse aus diesen Berichten destillieren und maßgeschneiderte Empfehlungen liefern. Dies stellt sicher, dass Sicherheitsbemühungen darauf fokussiert sind, die kritischsten Probleme anzugehen.

Weitere Anwendungsfälle umfassen die Beschleunigung des Entwurfs von Richtlinien, den Aufbau interner Wissensdatenbanken und Beratungen für Anwendungs-Owner sowie die Unterstützung beim Reporting. GenAI kann beim Verfassen von Red Team- und Penetrationstest-Berichten sowie beim Schreiben von Empfehlungen helfen.

Wie PwC Ihnen helfen kann

Wir bei PwC verfolgen die aktuellen Trends und helfen unseren Kunden bei der sicheren Einführung von GenAI in allen Geschäftsbereichen. Wir bauen auf bestehenden Prozessen und Kontrollen auf. Gleichzeitig engagieren wir uns dafür, die umfangreichen technischen Leitlinien, die in den verschiedenen Standards und Rahmenwerken der letzten Monate veröffentlicht wurden, zu harmonisieren.

Infografik: Das Secure GenAI Adoption Framework von PwC

Jede Einführung beginnt mit dem ersten Schritt. PwC hilft Ihnen dabei, die Readiness Ihrer aktuellen Sicherheitsorganisation für KI zu bewerten, potenzielle Mängel in Verantwortlichkeiten, Prozessen und organisatorischer Integration zu identifizieren und Maßnahmen zur Minderung dieser Mängel zu priorisieren. PwC unterstützt Sie außerdem dabei, Ihre KI-Sicherheits-Performance im Vergleich zu Branchenstandards und bewährten Verfahren zu benchmarken und auf Basis unserer Empfehlungen zu verbessern.

PwC hilft Ihnen dabei, ein umfassendes KI-Cyber-Governance-Framework zu entwerfen und zu implementieren, das alle Aspekte der KI-Entwicklung und -Einführung abdeckt – von der Datenqualität und Modellvalidierung über Algorithmus-Transparenz bis hin zu ethischen Grundsätzen und Compliance. Wir helfen Ihnen auch dabei, klare Rollen und Verantwortlichkeiten, Richtlinien und Verfahren, Kontrollen und Monitoring sowie Berichterstattungs- und Eskalationsmechanismen für die KI-Sicherheit und das Risikomanagement zu etablieren.

PwC unterstützt Sie dabei, sicherzustellen, dass Ihre Daten während des gesamten KI-Lebenszyklus sicher, genau und konform sind – von der Erfassung über die Verarbeitung und Speicherung bis hin zur Weitergabe. Wir verhindern Datenlecks durch KI-Zugriffe und helfen KI-Tools, ihre Ausgaben auf Basis aktueller und korrekter Daten zu erstellen. PwC hilft Ihnen bei der Implementierung von Datengovernance, Anonymisierung, Zugriffskontrolle, Audit-Trails sowie Backup- und Wiederherstellungslösungen, um Ihre Daten vor unbefugter oder bösartiger Nutzung zu schützen. PwC kann Ihnen auch dabei helfen, die Einhaltung von Datenschutz- und Datensicherheitsvorschriften wie der DSGVO zu gewährleisten und Fragen der Datenzustimmung und -eigentümerschaft zu verwalten.

PwC hilft Ihnen dabei, KI-Lösungen zu implementieren, die sicher, zuverlässig und vertrauenswürdig für Ihre spezifischen Geschäftsbedürfnisse und -ziele sind. Für Ihre Cybersicherheitsteams arbeiten wir eng mit unseren Technologiepartnern zusammen, um die Erkennungs- und Reaktionsfähigkeiten unserer Kunden zu ermöglichen sowie bewährte Anwendungsfälle für tägliche Sicherheitsroutinen unserer Kunden bereitzustellen. Wir helfen Ihnen dabei, die am besten geeigneten KI-Techniken und -Tools auszuwählen, sie in Ihre bestehenden Systeme und Prozesse zu integrieren und sie auf Funktionalität und Qualität zu testen und zu validieren. PwC kann Ihnen auch dabei helfen, die Leistung und den Einfluss Ihrer KI-Lösungen zu überwachen und zu bewerten. Wir bieten Ihnen zudem kontinuierliche Unterstützung und Wartung.

So sichern und beschleunigen Sie die Einführung von Microsoft 365 Copilot

In der sich schnell entwickelnden digitalen Landschaft ist die Einführung von Microsoft 365 Copilot ein Hauptanliegen für Organisationen, die darauf abzielen, Produktivität und Zusammenarbeit zu verbessern. Wir können Ihnen helfen, das Vertrauen zu gewinnen, dass Sie ein klares Verständnis der notwendigen Schutzmaßnahmen haben, um Microsoft 365 Copilot sicher zu adoptieren, basierend auf unserer technologiegestützten schnellen Cybersicherheitsbereitschafts- und Risikoexpositionsbeurteilung.

Erfahren Sie mehr

Follow us

Contact us

Franz Steuer

Franz Steuer

Partner, PwC Germany

Tel.: +49 151 70274650

Andreas Hufenstuhl

Andreas Hufenstuhl

Partner, Data & AI Use Cases, PwC Germany

Tel.: +49 1516 4324486

Christine Flath

Christine Flath

Partnerin, PwC Germany

Manuel Seiferth

Manuel Seiferth

Partner, Cyber Security & Privacy Strategy, Risk and Compliance, PwC Germany

Tel.: +49 160 536-3800

Henning Kruse

Henning Kruse

Senior Manager, PwC Germany

Jordan Pötsch

Jordan Pötsch

Senior Associate, PwC Germany

Tel.: +49 211 9814086

Hide