Modelle, Tools, Bereitstellung

Demokratisierung der KI-Technologie

von Bernd Reder, Artikel aus dem Archiv vom 12. Februar 2024

chatGPT brachte für generative KI den Durchbruch. Inzwischen gibt es eine Vielzahl solcher Modelle und die Unternehmen haben die Qual der Wahl.

(Bild: Shutterstock / LookerStudio)

Im Bereich künstliche Intelligenz stehen derzeit generative KI-Anwendungen (GenAI) im Mittelpunkt des Interesses. Dazu zählen unter anderem Chat-GPT von OpenAI, Bard von Google und Copilot von Microsoft. Sie basieren auf großen Sprachmodellen (Large Language Models, LLMs) wie Llama 2 von Meta AI, GPT von OpenAI, Falcon von TTI und Palm von Google. Auch Luminous des deutschen Start-up-Unternehmen Aleph-Alpha gehört in diese Riege.

„Generative KI bekommt aus mehreren Gründen große Aufmerksamkeit. Bei Kreativ-Anwendungen hat der Ansatz bewiesen, dass Nutzer damit attraktive Inhalte erstellen können“, erläutert Markus W. Hacker, Direktor Enterprise Business DACH bei Nvidia. „Es lassen sich außerdem realistische Simulationen und synthetische Daten erzeugen, die in Bereichen wie autonome Fahrzeuge, Robotik und Gesundheitswesen von großem Nutzen sind.“ Generative KI wird außerdem eingesetzt, um Inhalte und Empfehlungen für Nutzer zu personalisieren und das Nutzererlebnis in Bereichen wie E-Commerce, Streaming-Diensten und Social-Media-Plattformen zu optimieren.

Demokratisierung von KI

Ein weiterer Grund für die hohe Popularität von GenAI ist „eine Demokratisierung der KI durch die Einführung von Transformer-Modellen, die Large Language Models antreiben“, erläutert Mat Keep, Distinguished Product Manager bei MongoDB, einem Anbieter von Datenservices für KI-Anwendungen. Die Transformer-Architektur ermögliche es im Vergleich zu Recurrent Neural Networks (RNN), Texte schneller zu erfassen und den Kontext von Wörtern besser zu verstehen.

Durch die Kombination von Transformator-Ansätzen mit Techniken wie künstlichen neuronalen Netzen (Generative Adversarial Networks, GANs) und Variational Autoencoders (VAEs) werden KI-Anwendungen, speziell GenAI, leistungsfähiger und letztlich auch bezahlbarer. Damit erhalten auch kleinere Unternehmen einen besseren Zugang zu KI-Entwicklungsressourcen und Applikationen. „Dabei kann es sich um Anwendungen handeln, die auf der Verarbeitung natürlicher Sprache basieren, beispielsweise Chatbots, Spracherkennung und Übersetzungen“, so Keep weiter. Oder auch um Code-Assistenten sowie analytische Aufgaben wie die Planung von Marketingkampagnen.

Die Basis von Allem: ein Modell

Die Grundlage von KI-Anwendungen bildet ein Modell. Bei Generative AI sind dies Large Language Models. Vereinfacht gesagt versteht man unter einem Modell Programme, die mithilfe von Daten trainiert werden. Dadurch sind sie der Lage, Muster zu erkennen und selbstständig zu lernen und Entscheidungen zu treffen. Eine Herausforderung besteht darin, aus das passende Modell auswählen. Der Grund: „Auf der Open-Source Plattform Hugging Face gibt es mittlerweile über hunderttausend generative KI-Modelle in verschiedenen Größen und für diverse Anwendungsfälle“, berichtet Nils Nörmann, Advisory Technical Specialist – Watson, Data & AI bei IBM Technology. Ein Teil dieser LLMs stammt von Universitäten und Forschungseinrichtungen wie dem Big Science Project („Bloom“), dem europäischen OpenGPT-X-Projekt und dem Technology Innovation Institute („Falcon“). Hinzu kommen Modelle von Firmen wie Meta AI, Google, OpenAI, IBM, Microsoft und vielen weiteren Unternehmen.

(Bild: MongoDB)„Unternehmen, die generative KI einsetzen wollen, sollten darauf achten, sich nicht in die Abhängigkeit einzelner Anbieter zu begeben.“

Mat Keep, Distinguished Product Manager, MongoDB

Große Datenmengen – viele Parameter

„Large“ bezieht sich bei LLMs darauf, dass die Modelle mit großen Datenmengen trainiert werden: Bildern, Texten und Symbolen. Diese Informationen stammen aus dem Internet, Büchern, Programmcode und den Eingaben der Nutzer. Außerdem kann ein Unternehmen eigene Datenquellen nutzen, um ein Modell zu trainieren.

Ein Indikator für die Leistungsfähigkeit eines LLM ist die Zahl der verwendeten Parameter. Diese stieg in den vergangenen Jahren deutlich an. So verfügt GPT-4 von OpenAI über 1,76 Billionen Parameter. Beim Vorgänger GPT-3 waren es nur 175 Milliarden. Ein Parameter steht für die Stärke der neuronalen Verbindungen, die ein Modell während des Trainingsvorgangs aufbaut. Eine hohe Zahl von Parametern ermöglicht es dem Modell, nuancierte und komplexere Muster von Sprachinformationen zu erfassen. Das führt zu einer besseren Darstellung von Wörtern und Konzepten, die für das Verständnis des Kontextes und das Erstellen von Texten wichtig sind.

Ein weiterer Faktor, der die Performance von LLMs beeinflusst, ist die Zahl der Token. Das sind die Einheiten, in die ein Text unterteilt ist. Das können einzelne Zeichen, Silben oder ganze Wörter sein. Der Satz „Er kommt hundertprozentig zu spät“ lässt sich beispielsweise in Token wie „Er“, „kommt“, „hundert“, „prozent“ et cetera aufteilen. Während des Trainings lernt ein Modell, in welchem Kontext bestimmte Token verwendet werden. Dadurch kann es präziser und schneller vorhersagen, welche Wörter in einem Satz vermutlich als nächste folgen und damit seine Ausgabegenauigkeit erhöhen.

Start mit Foundation-Modellen

Ein guter Einstiegspunkt in generative KI sind Basismodelle (Foundation Models). Dazu zählen die LLMs der etablierten Anbieter. Diese Modelle werden vortrainiert, verfügen also gewissermaßen bereits über ein „Allgemeinwissen“. Fähigkeiten, die auf spezielle Einsatzfelder zugeschnitten sind, können Firmen durch ein Feintuning hinzufügen. Dabei wird den Modellen domänenspezifisches Wissen vermittelt, häufig mit Unterstützung von Menschen. Diese stellen dem Modell Eingabe-Ausgabe-Kombinationen zur Verfügung, etwa Antworten auf bestimmte Fragen.

„Durch zielgerichtetes Prompting und Feintuning können Nutzer Modelle anpassen und mit eigenen, kleineren Datenmengen die Ergebnisqualität deutlich verbessern“, bestätigt Nils Nörmann von IBM. Diese Feinabstimmung nehmen auf Wunsch auch externe Spezialisten vor, neben IBM beispielsweise Nvidia, Google, AWS, H2O oder Hugging Face.

Ein Beispiel ist die Klassifizierung von Kundenanfragen, die per E-Mail eingehen. „Kundenanfragen können auf einfache Weise typisiert und nach Art der Anfrage klassifiziert werden, etwa ob es sich um eine Bestellung oder eine Support-Anfrage handelt“, erläutert Mark Neufurth, Lead Strategist beim Cloud-Serviceprovider Ionos. „Zudem lassen sich Textdokumente zusammenfassen, gruppieren und suchen. Das erfolgt mithilfe der KI in wenigen Augenblicken und mit einem kurzen Prompt.“

Durch die Kombination von Basismodell und Feintuning reichen einige Tage oder gar Stunden aus, um einem GenAI-Modell branchenspezifisches Wissen zu vermitteln. Trainiert ein Nutzer dagegen ein Modell von Grund auf, kann dies je nach Größe des Modells mehrere Wochen in Anspruch nehmen.

Selbst entwickeln oder kaufen?

Eine Kernfrage bei KI ist, ob Interessenten KI-Modelle in Eigenregie entwickeln sollen oder besser vorgefertigte Lösungen erwerben. Die Antwort darauf hängt von mehreren Faktoren ab, wie AppliedAI in einem Whitepaper erläutert. Diese Initiative mit Sitz in München fördert die Anwendung vertrauenswürdiger KI-Technologie in Unternehmen. Zu diesen Faktoren zählen:

Die Unternehmensstrategie und die Rolle von KI
Vom Einsatzfeld hängt etwa ab, ob multimodale GenAI-Modelle erforderlich sind, die neben Text auch
Bilder oder Videos unterstützen
Der Bedarf an kundenspezifischen Anpassungen
Die Qualität der (eigenen) Daten, die für das Training genutzt werden
Der Schutzbedarf der unternehmenseigenen Daten und der IT-Infrastruktur
Ob die Abhängigkeit von einzelnen Anbietern von KI-Lösungen vermieden werden soll. In diesem Fall bietet sich der Einsatz von Open-Source-Modellen an
Die Verfügbarkeit von Experten im eigenen Haus

Für Branchen mit hohen Anforderungen in Bezug auf Compliance und Datenschutz, etwa den Finanzsektor und den Pharma- und Gesundheitsbereich, kommt eine „Ende-zu-Ende“-Strategie in Frage. Das heißt, sowohl die Entwicklung der KI-Anwendung als auch das Pre-Training und Tuning der Modelle finden im eigenen Haus statt. Der Vorteil: Anwendungen, Daten und KI-Modelle bleiben unter der Kontrolle der Unternehmen. Dem stehen höhere Kosten und möglicherweise ein höherer Zeitaufwand gegenüber. Für die meisten Firmen kommen daher Mischkonzepte in Frage. Eine Option ist, KI-Anwendungen selbst zu entwickeln und vortrainierte oder bereits optimierte Large Language Models von externen Anbietern zu beziehen. Der Vorteil ist, dass der Aufwand für das Training und Bereitstellen der Modelle sinkt. Anbieter wie Microsoft (Azure OpenAI) und KI-Plattformen stellen entsprechende Schnittstellen (APIs) für solche LLMs zur Verfügung. Allerdings müssen Datenschutz- und Compliance-Regelungen diesen Ansatz unterstützen.

Kosten nicht unterschätzen

Ein weiterer Punkt, der bei GenAI nicht unterschätzt werden sollte, ist der Aufwand, der mit dem Training von KI-Modellen verbunden ist, speziell von umfangreichen Large Langue Models. Laut dem „AI Index 2023“ des Institute for Human-Centered Artificial Intelligence (HA) der Stanford-Universität lagen beispielsweise 2022 die Trainingskosten eines LLM auf Basis des Palm-Modells bei acht Millionen Dollar. Niedriger waren sie bei GPT-NeoX-20B mit rund einer Viertelmillion Dollar und bei Stable Diffusion bei 0,6 Millionen Dollar.

(Bild: Nvidia)„Die größten Hürden für Unternehmen (…) sind die Vorabkosten für Hard- und Software sowie für den Aufbau eines Teams mit KI-Kenntnissen“

Markus W. Hacker, Direktor Enterprise Business DACH, Nvidia

Laut Tests von MosaicML, dem Betreiber einer KI- und Machine-Learning-Plattform, sind die Trainingskosten allerdings oft geringer, als dies Unternehmen glauben. Das Training eines GPT-3-Modells mit 30 Milliarden Parametern und 610 Milliarden Token kostete demnach auf der MosaicML-Plattform Ende 2022 rund 450.000 Dollar. Etwa 79 Prozent der befragten KI-Fachleute gingen von höheren Summen aus, rund 60 Prozent von einer Million Dollar und mehr. Vergleichbare Ergebnisse ergab 2023 ein Test von MosaicML mit dem Stable-Diffusion-Modell.

Dennoch sollten Unternehmen, die KI-Modelle entwickeln und trainieren möchten, den Faktor Kosten im Auge behalten: „Die größten Hürden für Unternehmen, die KI-Lösungen implementieren wollen, sind die Vorabkosten für Hard- und Software sowie für den Aufbau eines Teams mit KI-Kenntnissen, das die Infrastruktur einrichtet und wartet“, erläutert Markus Hacker von Nvidia. Unternehmen seien sich in der Regel darüber im Klaren, dass die Investition in eine KI in den Folgejahren Kosten sparen. „Sie benötigen jedoch eine Möglichkeit, Modelle zu testen oder mit ihnen zu experimentieren, um sie an ihre branchenspezifischen Bedürfnisse anzupassen“, so der Experte.

Plattformen als Wege zum Modell

Wer KI-Modelle entwickeln und testen möchte, muss nicht zwangsläufig die IT-Infrastruktur, Tools und Basismodelle im eigenen Haus vorhalten. Eine Alternative sind KI-Plattformen, beispielsweise von Anbietern wie Hugging Face, H2O, Datarobot und MosaicML und IBM (Watsonx). Nvidia bietet für solche Aufgaben AI Workbench an. Damit können Entwickler KI-Umgebungen in Form von Containern auf Linux- und Windows-Systemen einrichten, inklusive Modellen und Tools von Github. Die KI-Workloads lassen sich bei Bedarf in Cloud-Umgebungen oder die DGX-Cloud von Nvidia verschieben. Dort stehen Grafikprozessoren und weitere KI-Modelle zur Verfügung.

Auch die Datenplattformen von Databricks und MongoDB mit Services wie MongoDB Atlas können den Weg zum KI-Modell ebnen. „Unternehmen sollten darauf achten, sich nicht in die Abhängigkeit einzelner Anbieter zu begeben“, mahnt Matt Keep von MongoDB. „MongoDB Atlas Vector Search läuft daher auf AWS, Microsoft Azure und Google Cloud und arbeitet mit KI-Modellen von Bedrock AI, OpenAI, Google Vertex AI oder Hugging Face zusammen, ohne dass Entwickler auch nur eine Codezeile in ihrer Anwendung ändern müssen.“

KI-Modell via Cloud-Service

Eine weitere Nutzungsoption sind Dienste von Cloud-Serviceprovidern, und zwar nicht nur die der Hyperscaler- Mittlerweile bieten auch Provider mit Sitz in der Europäischen Union den Zugang zu KI-Diensten und Entwicklungsressourcen. „Wir sehen uns aktuell in der Rolle, KI zu demokratisieren – besonders für kleine und mittelständische Unternehmen“, sagt beispielsweise Mark Neufurth, Lead Strategist bei Ionos. „Wir verstehen uns als Partner auf Augenhöhe, der KI-Tools auch kuratiert anbieten kann, anstatt KMU auf die Suche in den Dschungel der Tools zu schicken.“

Neufurth betont einen weiterer Vorteil von EU-Anbietern für die Unternehmen: „Da die Daten in europäischen Rechenzentren gehostet werden, gehen die Kunden und Anwender sicher, dass sie Herr über ihre Daten bleiben. Dies ist insbesondere bei sensiblen Daten entscheidend.“

Für Cloud-Plattformen generell spricht, dass sie eine skalierbare Infrastruktur für KI-Modelle und entsprechende Anwendungen zur Verfügung stellen.

Balance-Akt: Der in zwei bis drei Jahren in Kraft tretende EU AI Act soll die Risiken bändigen, ohne die Chancen abzuwürgen. (Bild: Shutterstock / AlexLMX)

Kombination von KI-Spielarten

Doch trotz des „Hype“, den GenAI ausgelöst hat, wird die KI-Welt auch künftig nicht nur aus diesem Ansatz bestehen: „Die klassischen KI-Anwendungsfälle sind nach wie vor wichtig, und es wird weiterhin große Investitionen in diesen Bereichen geben“, betont Mat Keep. Als Beispiel führt er die KI-gestützte Verwaltung von Lagerbeständen an. Auch die Sprachsteuerung von Edge-Systemen in der Industrie und im Home-Automation-Bereich erfordere nicht zwangsläufig Generative AI.

(Bild: Ionos)„Wir sehen uns aktuell in der Rolle, KI zu demokratisieren – besonders für kleine und mittelständische Unternehmen.“

Mark Neufurth, Lead Strategist, Ionos

Auch Nils Nörmann von IBM Technology plädiert für eine differenzierte Sichtweise: „Generative KI kann für viele Anwendungsfälle sehr gute Ergebnisse liefern. Die hohen Betriebskosten können sie allerdings für manche Szenarien unwirtschaftlich machen.“ Daher sei Conversational AI, die sich auf die Interaktionen von Mensch und Maschine konzentriere, in einigen Fällen die bessere Alternative. „Conversational AI analysiert und erkennt Intents und gleicht sie mit vortrainierten Antworten ab, kann aber im Gegensatz zu generativer KI nicht ‚kreativ‘ werden und neue Antworten generieren“, so der Fachmann.

In der Praxis werden sich daher Einsatzszenarien entwickeln, in denen beide KI-Ansätze zum Tragen kommen, zum Beispiel bei der Automatisierung von Kundenservice-Anfragen mit Hilfe von Chatbots.

Heiße KI-Trends

Zum Abschluss ein Blick auf die Trends, die bei KI allgemein und GenAI im Besonderen derzeit an Bedeutung gewinnen. Zu diesen zählt Retrieval Augmented Generation (RAG). Dieser Ansatz kombiniert KI-Modelle, die auf Abfragen basieren, mit Generative AI. Die Abfragen extrahieren Wissen aus vorhandenen Quellen wie Datenbanken, Dokumenten, Web-Seiten und Blogs. Unternehmen können dafür außerdem eigene, geschäftsspezifische Informationen verwenden. In die Antworten von GenAI-Systemen fließen dadurch verstärkt aktuelle Informationen ein. Dies reduziert die Gefahr, dass eine generative KI-Anwendung falsche Antworten „halluziniert“.

Ein weiterer Vorteil ist, dass Nutzer das KI-Modell nicht permanent mit neuen Daten trainieren und dessen Parameter ständig neu justieren müssen. Zu den Plattformen, die RAG-Funktionen bereitstellen, zählen IBM Watsonx, Cohesity, Microsoft Azure OpenAI und Google in Verbindung mit dem Vertex-Palm-2-LLM.

Noch einen Schritt weiter als RAG gehen KI-basierte autonome Agenten. Auch ihre Grundlage sind große Sprachmodelle. Solche Agenten sollen in der Lage sein, eigenständig Aufgaben zu erfüllen – ähnlich wie ein Mensch. Dazu zählen Telefonate führen, E-Mails versenden und Aufgabenlisten erstellen, inklusive Erinnerungen. Erste Feldversuche mit solchen KI-Technologien laufen bereits, etwa mit AutoGPT von OpenAI und Jarvis von Meta.

Wichtige Modelle für generative KI

Die Anzahl der KI-Modelle für generative KI wächst und wächst. Im Herbst 2023 stellte Google beispielsweise seine neue Generative-AI-Lösung „Gemini“ zum Test zur Verfügung. Nach Einschätzung des Dienstleisters KI Reply spielen bei GenAI derzeit folgende Modelle eine wichtige Rolle:

GPT-4 von OpenAI: GPT-4 ist bekannt für seinen großen Umfang und sein umfangreiches Training, was zu einem leistungsfähigen Sprachmodell führt. Das Modell zeichnet sich durch eine Vielzahl von NLP-Funktionen (Natural Language Processing) aus, einschließlich Texterstellung, Übersetzung und Zusammenfassung.
Palm 2 von Google: Dieses Modell wurde für seine Ausgabequalität und Genauigkeit bei Anwendungen auf Basis natürlicher Sprache und beim Programmieren ausgezeichnet. Es hat Stärken bei der sicheren und verantwortungsvollen Nutzung von KI.
Llama 2 von Meta: Das Modell glänzt bei der Sicherheit mit einer niedrigen Generierungsrate. Im Vergleich zu GPT-4 ist es jedoch schwächer bei Coding-Aufgaben.
Claude von Anthropic: Claude wurde entwickelt, um einen sicheren und verantwortungsvollen Einsatz von KI zu ermöglichen. Es bietet ein ausgewogenes Verhältnis von Leistung und Sicherheit. Claude ist für seine geringeren Kosten pro Token im Vergleich zu GPT-4 bekannt.
Falcon von TII: Falcon, insbesondere Falcon LLM 40B, ist ein großes Sprachmodell mit 40 Milliarden Parametern, das vom Technology Innovation Institute der Vereinigten Arabischen Emirate veröffentlicht wurde. Es folgt der Aufgabe der kausalen Sprachmodellierung, ähnlich wie GPT-3, jedoch mit einigen architektonischen Anpassungen. Falcon 180B konzentriert sich auf Compliance, Datensicherheit sowie verantwortungsvolle Nutzung und konkurriert in einigen Aspekten mit Modellen wie Llama.

Fazit & Ausblick

Generative KI-Anwendungen werden mit Sicherheit in viele Lebensbereichen Einzug halten, sowohl in der beruflichen wie in der privaten Sphäre. Das ist gut, solange sich diese Anwendungen an die „Spielregeln“ halten, also weder Fehlinformationen liefern noch Datenlecks und Deepfakes produzieren noch Menschen wegen unzureichender Trainingsdaten diskriminieren. Auch die Debatten über Verstöße gegen das Urheberrecht durch GenAI zeigen, dass sich Mensch und KI noch aneinander gewöhnen müssen.

Eine neue Dimension werden die Debatten erreichen, wenn Ansätze wie autonome KI-Agenten einsatzbereit sind. Sie basieren ebenfalls auf GenAI-Technologien, solllen aber mal in der Lage sein, eigenständig komplexe Aufgabe zu erledigen. Sie sollen E-Mail-Korrespodenzen, Telefonate, To-Do-Listen und sogar Vertragsverhandlungen übernehmen. Da ist nicht nur Zukunftsmusik. AutoGPT (OpenAI), Jarvis (Meta) und BabyAGI der gleichnamigen Projektgruppe sind aktuell bereits dabei, in Sphären vorzustoßen, die bislang Menschen vorbehalten waren.