Transformers: Der Aufstieg der generativen KI

Bild generiert von Midjourney

2022 konnte jeder, vom Unternehmen bis zum Studenten, der Essays schreiben muss, das Potenzial sogenannter Large Language Models (LLMs, oder Große Sprachmodelle) wie ChatGPT erkennen: es ist eine Revolution.

Ausgehend von einer neuronalen Netzwerkarchitektur haben sogenannte Transfomer viele KI-Anwendungen aus universitären Forschungslabors auf den freien Markt gebracht. Darunter Unternehmen wie OpenAI, Google Research, Meta AI und andere.

Die schier unbegrenzten Fähigkeiten eines großen Sprachmodells

In den letzten fünf Jahren haben Fortschritte bei CPUs und die generelle Verfügbarkeit von Rechenleistung dazu geführt, dass diese LLMs immer größer und besser geworden sind. Deshalb ist es jetzt möglich, dass KIs deutlich schneller als wir Menschen Texte schreiben, programmieren und sogar zeichnen. Und das mit Ergebnissen, die absolut authentisch und 'menschlich' aussehen.

ChatGPT erlaubt die Interaktion mit einem vortrainierten KI-Modell, dem man textbasierte Aufgaben zuweisen kann. Das System modelliert eine Folge von Wörtern (oder allgemeiner formuliert: Token) in verständlicher Sprache und vervollständigt den Inhalt, den der User mit seiner Eingabeaufforderung beginnt. Dieser Inhalt kann sogar in unterschiedlichem Stil geschrieben werden und dafür alle Daten verwenden, die zum Zeitpunkt des Modelltrainings verfügbar waren.

Das funktioniert nicht nur mit 'natürlicher' Sprache, sondern auch mit Programmiersprachen, die Code vervollständigen können. Da das Modell auf Wahrscheinlichkeiten basiert, erhält man jedes Mal eine andere Antwort auf die Frage. Sprachmodelle sind auch die Grundlage für KIs, die Text in Bilder umwandeln, wie DALL-E, Imagen [2] und andere. Der Oberbegriff für diese Art von Anwendungen ist "generative KI". Im Gegensatz zur analytischen KI, in der Muster in vorhandenen Daten identifiziert werden, liefern die LLMs bei der generativen KI sogar neue Ergebnisse.

Anwendungen von generativen KIs in Unternehmen

Welche möglichen Nutzen könnten LLMs für Entwickler und Value-Add Reseller haben? Laut Sonya Huang und Pat Grady von Sequoia Capital [3], sind ChatGPT und ähnliche Large Language Models letztlich nur eine Plattform. In dem Masse, in dem diese Plattform reift, "in dem es immer bessere/schnellere/billigere Modelle und mehr und mehr Open-Source-Zugriff darauf gibt, sind die Anwendungen reif für eine Explosion der Kreativität. (...) Und so wie der Durchbruch der Handys vor einem Jahrzehnt den Markt für eine Handvoll neuer Killer-Apps geschaffen hat, erwarten wir, dass Killer-Apps für generative KI entstehen werden. Der Wettlauf hat begonnen."

Heute sind die Top-5-Apps auf Basis von GPT-3 (dem Vorgänger von ChatGPT; letzteres ist für den Dialog optimiert) alle im Bereich der Verbesserung der Kundenkommunikation – bessere Chatbots oder die Unterstützung von Entwicklern bei der Programmierung. Die Killer-App muss also in den nächsten Jahren erst noch entdeckt werden, LLMs sind lediglich die Plattform, die ihre Entwicklung möglich machen.

Mängel von LLMs

Aber grosse Sprachmodelle sind nicht ohne Nachteile. Derzeit handelt es sich um Black-Box-Systeme, die keine Referenzen, Quellenangaben oder die Namen der ursprünglichen Autoren liefern. Die meisten von ihnen sind in der Lage, Themen auf sehr überzeugende Weise zu erklären. Allerdings können diese Erklärungen voreingenommen, wenig sachkundig oder gar sachlich falsch sein. Menschliche Kontrolle und eine sorgfältige Prüfung der Trainingsdaten sind erforderlich, um solche Fälle zu vermeiden.

Vor kurzem wurde ein LLM-basiertes System, das Wissenschaftlern beim Schreiben ihrer Artikel helfen sollte, von den Autoren zurückgezogen, nachdem es nur drei Tage online war. Statt wertvolle Unterstützung zu liefern, spuckte das System voreingenommenen und einfach falschen Unsinn aus. Ein weiteres Problem mit Texten, die keine Referenzen und Quellenangaben enthalten, gibt es im Bereich Erziehung und Bildung. OpenAI arbeitet an einer Möglichkeit, KI-generierte Texte mit Wasserzeichen zu versehen. Die dem zugrunde liegenden Techniken werden höchstwahrscheinlich in die nächsten Versionen von Systemen zum Erkennen von Plagiaten integriert.

Aber unabhängig von diesen Einzelfällen sind die Vorteile von LLMs IT-Unternehmen enorm. Einige Beispiele:

Entwickler können die neuen Funktionalitäten generativer KI in ihre eigene Plattform, Anwendung oder Dienstleistung, integrieren. So entstehtaus einem Dienstprogramm, das bis dato lediglich einen Teil eines Prozesses optimierte, quasi im Handumdrehen eine Komplettlösung.
Die Entwicklung neuer, KI-zentrierter Produkte und Dienstleistungen auf Basis von LLMs, kann bei der Erstellung, Moderation, Überprüfung (z. B. Bewertung und Zusammenfassung) und Analyse von Inhalten unterstützen und die Bearbeitungszeit erheblich verkürzen.
Für erfahrene Entwickler kann das generative KI-Tool ebenfalls eine grosse Zeitersparnis bedeuten – in frühen Entwicklungs-Stadien kann es beim Coding des Grundgerüsts, bei der Forschung und dem Feature-Vergleich helfen. Es kann auch nützlich sein, wenn es darum geht, die alte Codebasis zu verstehen, den Code mithilfe eines Styleguides neu zu schreiben oder Kommentare hinzuzufügen und den Code zu dokumentieren.
Selbst unerfahrene Entwickler oder Experten aus anderen Bereichen können die Build-AI Expert-Helfer verwenden, um neue Web-Apps und Berichte zu erstellen, die gesammelten Daten zu interpretieren und schneller ein Vielfaches an Arbeit zu erledigen.
Die Funktionalität und Akzeptanz bestehender Apps kann mithilfe des sogenannten "Reinforcement Learning from Human Feedback (RLHF)" verbessert werden.

Zusammenfassung

Die LLM-Technologie macht rasante Fortschritte. In den letzten fünf Jahren hat sich die Anzahl der Parameter für LLM-Schulungen dank technologischer Fortschritte bei CPUs und der Verfügbarkeit von Open-Source-Modellen mehr als verzehnfacht. Das wird bald auch beim neuen GPT-4 der Fall sein.

IT-Unternehmen sollten jetzt beginnen, Erfahrungen im Einsatz von KI zu sammeln. OpenAI bietet mittlerweile ChatGPT Professional an, eine kostenpflichtige Version von ChatGPT. Für die meisten Entwickler und IT-Reseller sind GPT-3.5, DaVinci, DALL-E und andere OpenAI-Modelle bereits als Service auf Azure über den ALSO Cloud Marketplace verfügbar.

Besuchen Sie unseren Blog und erfahren Sie mehr über AI Use Cases, Sustainable IT und vieles mehr!

Referenzen