Technologische Grundlagen generativer KI: Architekturen, Algorithmen und Innovationen

Von Norbert Freitag, Michael Berns, Stefan Pühl und Tobias Gräber. Generative künstliche Intelligenz (GenAI) ist eine besondere Art von KI, die basierend auf vorhandenen Informationen wie Texten, Bildern, Videos oder Musik neue Inhalte oder Daten erstellen kann. Was GenAI von früheren KI-Innovationen unterscheidet, ist der Einsatz von Multimodalen Large Language Models (MLLM) oder Large Multimodal Models (LMM), die verschiedene Daten in natürlicher Sprache verarbeiten und generieren können.

Die Technologie führt zu wegweisenden Fortschritten bei der Sprachvorhersage, der Analyse von Dokumenten, der Generierung von Inhalten und anderen Aufgaben. Die Grundlage: umfangreiche Daten aus dem Internet, die fortschrittliche Rechenleistung von GPU-Prozessoren und verfeinerte Trainingsmethoden. GenAI unterstützt bereits in vielen Branchen und Unternehmensbereichen Benutzerschnittstellen, Softwareanwendungen und kreative Fähigkeiten. Das ermöglicht die Konvergenz, Augmentierung und Automatisierung digitaler Prozesse.

Um eine strategische Konvergenz, Augmentierung oder Automatisierung mit einem menschengeführten GenAI-Ansatz zu realisieren, gilt es, die folgenden strategischen Lösungsbausteine zu berücksichtigen. Das Ziel: in bestehenden Lösungen vorhandene Aspekte der Berechnung, Leistungsfähigkeit, Kontrolle und Vernetzung einzubeziehen.

Die Sprachmodelle, Anwendungen und Schnittstellen sind multimodal und kombinieren Sprache mit anderen Medien, insbesondere Bildern, Videos und Audio:

Jede Modalität für sich zeigt bereits die Vielseitigkeit und das transformative Potenzial von GenAI. Um jedoch das volle Potenzial der Technologie zu entfalten, ist die Kombination mehrerer Modalitäten entscheidend.

Auf diesem Weg baut jeder technologische Fortschritt auf dem vorherigen auf und führt damit zu einem exponentiellen Wachstum der Fähigkeiten. Das Feld der KI entwickelt sich weiter, angetrieben von kontinuierlicher Forschung, Innovation und einem starken Fokus auf ethische und verantwortungsvolle Entwicklung.

Als CTO ist es wichtig, informierte Entscheidungen über Technologien zu treffen, insbesondere in aufstrebenden Bereichen wie generativer KI. Das Potenzial von GenAI, realistische und kreative Inhalte zu erstellen, ist immens, erfordert jedoch sorgfältige Überlegungen.

Faktoren wie Skalierbarkeit, ethische Implikationen, Informationssicherheit und Datenschutz müssen gegen die Vorteile des Einsatzes von GenAI abgewogen werden. Indem CTOs die Fähigkeiten und Grenzen der Technologie verstehen, können sie strategische Entscheidungen treffen, die mit den Zielen und Werten ihrer Organisation übereinstimmen.

Open Source, Basismodelle und die Nutzung von Hyperscalern 

Die folgenden Punkte können Unternehmen als praktischen Leitfaden zur Auswahl der richtigen Optionen verwenden:

Übersicht und Vergleich von Cloud-basierten oder selbst gehosteten Lösungen
Der Vergleich von generativer KI im Kontext von Open Source, Basismodellen, Hyperscalern und die Gegenüberstellung von Cloud-basierten und selbst gehosteten Lösungen erfordert ein umfassendes Verständnis jedes Bereichs:

Cloud-basierte Lösungen sind benutzerfreundlich und skalierbar, während selbst gehostete Optionen Kontrolle und potenzielle Sicherheitsvorteile bieten. Open Source ist kostengünstig, erfordert jedoch technisches Fachwissen, während Basismodelle fortschrittliche Funktionen vom Start weg anbieten. Hyperscaler bieten integrierte, skalierbare Lösungen zu höheren Kosten.

Zusammenfassend hängt die Wahl der besten Option von verschiedenen Elementen ab, wie der Anzahl der geplanten Anwendungsfälle und den Governance-Anforderungen (beispielsweise hinsichtlich des Datenschutzes), die von der Organisation gestellt werden. Solche Anforderungen müssen Unternehmen mit dem Angebot abgleichen: vom technischen Fachwissen im Unternehmen (oder extern) über die Hardware/Infrastruktur im Unternehmen (oder extern) bis zu den Ökosystemen.

Unternehmen müssen diese Faktoren im Verhältnis zu ihren Bedürfnissen, Fähigkeiten und Ressourcen abwägen, um die beste Wahl zu treffen.

Beliebte Cloud-KI-Anbieter

CTO-Leitfaden zu Skalierbarkeit und Effizienz der Rechenleistung 

Organisatorische Anpassungsfähigkeit und Herausforderungen 

Generative KI ist eine leistungsstarke Technologie, die neue Inhalte und Erkenntnisse aus Daten wie Texten, Bildern, Audio und Video generieren kann. Sie hat ein immenses Wachstums- und Produktivitätspotenzial, da sie menschliche Fähigkeiten erweitern, komplexe Aufgaben automatisieren und verschiedene Funktionen und Bereiche zusammenführen kann. Allerdings bringt generative KI auch erhebliche Herausforderungen in Bezug auf Skalierbarkeit und Recheneffizienz mit, da massive Datenmengen, fortschrittliche Leistung und anspruchsvolle Algorithmen erforderlich sind, um große multimodale Modelle zu trainieren und auszuführen. Daher müssen Organisationen ihre Strategien, Architekturen und Prozesse anpassen, um generative KI effektiv und verantwortungsvoll zu nutzen.

Ein wichtiger Aspekt der organisatorischen Anpassungsfähigkeit liegt darin, generative KI-Lösungen mit den bestehenden digitalen Plattform-Ökosystemen und Industry Clouds zu harmonisieren, die die Customer und Employee Experience, das Geschäftsmodell und die Software-as-a-Service-Fähigkeiten definieren. Das hilft wiederum dabei, generative KI in Produkte und Dienstleistungen zu integrieren, Funktionalitäten auf andere Anwendungen und Geräte zu übertragen und den Basismodellen komplexe Datenflüsse zugänglich zu machen. Darüber hinaus kann dieser Schritt dazu beitragen, eine vorhandene Cloud-Computing-Infrastruktur zu nutzen, die die benötigte GPU-Leistung und Verfügbarkeit für die generativen KI-Modelle bereitstellen kann.

Genauso wichtig für die organisatorische Anpassungsfähigkeit ist, die Kontrolle und Governance der generativen KI zu adressieren, um die Qualität, Zuverlässigkeit und Ethik der durch GenAI geschaffenen Ergebnisse und Interaktionen sicherzustellen. Dies kann beispielsweise die Entwicklung von softwarebasierten- und organisatorischen Kontrollen für die Benutzereingabe und Modellausgabe umfassen, darunter etwa Filter, Plausibilitätsprüfungen, Zusammenfassungen und Fälle, in denen überstimmt wird. Es kann auch die Einrichtung eines GenAI-Architekturboards und eines GenAI-Monitoring-Offices umfassen, die die KI-Lösungen aus geschäftlicher und technischer Sicht strukturieren, überwachen und innovieren.

Indem sie die Potenziale generativer KI nutzen, können Organisationen die Herausforderungen hinsichtlich der Skalierbarkeit und Rechenleistungseffizienz bewältigen und von den Möglichkeiten der Konvergenz, Erweiterung und Automatisierung profitieren. Dies erfordert jedoch eine szenariobasierte Strategie, die den Menschen in den Mittelpunkt stellt und die relevanten Anwendungsfälle, Stakeholder sowie Ergebnisse für die generative KI identifiziert – inklusive Abwägung zwischen Kosten, Nutzen und Risiken.

Datenflüsse und Datenpipelines 

Im Kontext von GenAI sind Datenpipelines und Datenflüsse entscheidende Komponenten.

Datenpipelines sind Sequenzen von Verarbeitungsschritten, in denen die Daten transformiert und für das Training und die Bereitstellung von KI-Modellen transportiert werden. Das ist entscheidend für die effiziente und effektive Verarbeitung großer Datenmengen. Dazu gehören auch Prozesse wie Datensammlung, Bereinigung, Transformation und Ladevorgänge.

Datenflüsse beziehen sich auf die Bewegung und Transformation von Daten durch die Pipeline. Dies ist entscheidend, um sicherzustellen, dass die richtigen Daten in der richtigen Form zu den KI-Modellen gelangen.

Auswahl von LLMs und Rechenleistungseffizienz 

In einem idealen Szenario würden Unternehmen, die das optimale Large Language Model (LLM) für eine spezifische Anwendungen suchen, einen umfassenden Evaluierungsprozess implementieren, der verschiedene Aspekte diverser Modelle gegenüberstellt. Dieser Vergleich könnte eine Reihe von Modellen umfassen, einschließlich kommerzieller Modelle, Open-Source-LLMs oder sogar der Entwicklung eigener Modelle. Beispiele solcher Modelle für ein Benchmarking sind ChatGPT, LlaMA, Claude, PaLM2, Vicuna, MPT und andere.

Datenschutz und Regulierung

Generative KI unterliegt in Europa ethischen, rechtlichen und regulatorischen Anforderungen, insbesondere gemäß der DSGVO und dem Entwurf des europäischen AI Act. Je nach Anwendungsfall und Verarbeitungsschritten kann generative KI die Verarbeitung personenbezogener Daten in verschiedenen Szenarien umfassen – etwa beim Training eines KI-Modells, wenn Benutzer:innen personenbezogene Daten eingeben oder wenn das KI-Modell die Eingabedaten für weiteres Training verwendet. Wenn personenbezogene Daten betroffen sind, gelten für die Verantwortlichen und Auftragsverarbeiter die Verpflichtungen der DSGVO: Rechtmäßigkeit, Fairness, Transparenz, Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung, Integrität, Vertraulichkeit, Rechenschaftspflicht und Wahrung der Rechte der betroffenen Personen.

Allerdings können einige dieser Anforderungen aufgrund der Komplexität und Undurchsichtigkeit von generativen KI-Systemen in der Praxis schwer zu erfüllen sein. Zum Beispiel ist es schwierig, die Genauigkeit und Fairness der Daten und Ergebnisse sicherzustellen, algorithmische Vorurteile und Diskriminierung zu verhindern, die Logik und Auswirkungen automatisierter Entscheidungen und Profilerstellungen zu erklären oder die Grundsätze der Datenminimierung und Speicherbegrenzung anzuwenden.

Der Entwurf des AI Act, von dem kürzlich ein finaler Text veröffentlicht wurde, zielt darauf ab, einen harmonisierten Rahmen für künstliche Intelligenz in Europa zu schaffen und KI-Systeme entsprechend ihrem Risiko zu klassifizieren. Die Verordnung wird in einigen Bereichen sogar strengere Transparenzverpflichtungen für generative KI-Systeme vorschreiben, wie zum Beispiel die Verpflichtung, Benutzer:innen zu informieren, wenn sie mit KI-generierten Inhalten interagieren oder ihnen begegnen.

Bestehende Datenschutzgesetze auf der ganzen Welt, wie zum Beispiel der CCPA, stellen bereits vergleichbare Anforderungen. Viele Länder streben darüber hinaus ähnliche KI-Gesetzgebungen wie die Europäische Union an. Die wichtigsten Themen, die Regulierungsbehörden abdecken möchten, sind:

• Gewährleistung einer ethischen und verantwortungsvollen KI-Entwicklung (z. B. in den USA, Kanada, Indien, Großbritannien, Brasilien, Südkorea, den Vereinigten Arabischen Emiraten, Japan)
• Etablierung einer Aufsicht für KI-Systeme mit hohem Risiko (z. B. in den USA, Kanada, Großbritannien)
• Förderung der internationalen Zusammenarbeit und Standards (z. B. in den USA, Kanada, Großbritannien)
• Investitionen in KI-Forschung und -Entwicklung (z. B. in den USA, Kanada, Indien, Großbritannien, Brasilien, Südkorea, den Vereinigten Arabischen Emiraten, Japan)
• Gewährleistung von öffentlichem Vertrauen und Rechenschaftspflicht (z. B. in den USA, Kanada, Großbritannien, Indien)

Als „Community of Solvers“ schafft PwC Vertrauen für einen menschenzentrierten Ansatz beim Umgang mit generativer KI, der positive Auswirkungen auf Benutzerschnittstellen, Softwareanwendungen und kreative Fähigkeiten hat. Die von PwC angebotene Strategie konzentriert sich auf Software, Investitionen und Risiken. Sie ermöglicht es Organisationen, das Potenzial von generativer KI zu nutzen und erfolgreich die spezifischen Konvergenz-, Augmentations- und Automatisierungsmöglichkeiten für ihre digitalen Prozesse umzusetzen.

GenAI Readiness Assessment
Bewertung der organisatorischen Bereitschaft zur Nutzung von GenAI im großen Maßstab, um nachhaltige Geschäftswerte zu erzielen

Vertrauenswürdige GenAI-Strategie
Aufbau einer ganzheitlichen Unternehmensstrategie für GenAI, um Motivation in echten Geschäftswert umzuwandeln und gleichzeitig eine verantwortungsvolle und vertrauenswürdige Nutzung sicherzustellen

Entdeckung von GenAI-Anwendungsfällen
Identifizierung von wertsteigernden Anwendungsfällen und Überführung in ein standardisiertes und priorisiertes Portfolio, gefolgt von einer strategischen Umsetzung

GenAI-Betriebsmodell und Rollen
Definition des Zielbetriebsmodells und der erforderlichen Rollen, um eine erfolgreiche Integration, Übernahme und Wartung von GenAI-Lösungen in Unternehmen zu gewährleisten

GenAI-Infrastruktur und Daten
Verbesserung der infrastrukturellen Tiefe, Maximierung des Datenwerts durch regelmäßige Überwachung, Wartung und Optimierung technischer Systeme

Bewusstsein und Befähigung
Abstimmung eines ganzheitlichen Change-Managements und Schulungskonzepts mit der Integration von GenAI, um Mitarbeitende weiterzubilden und das Bewusstsein in der gesamten Organisation als Voraussetzung für Risikominderung zu schärfen

Allianz-Ökosystem und Erfahrung
PwC arbeitet eng mit etablierten Allianzpartnern wie Microsoft und Google zusammen, um die neuesten Technologien zu nutzen und KI verfügbar zu machen.