RAG-Architekturen mithilfe von GPT-Modellen

Ist ChatGPT Trend oder digitale Revolution?

In einer Welt, in der technologische Neuerungen Schlagzeilen machen und ebenso schnell wieder in Vergessenheit geraten, hat ChatGPT eine bemerkenswerte Präsenz bewahrt. Doch was steckt hinter diesem
anhaltenden Interesse? ChatGPT, ein auf Künstlicher Intelligenz basierendes Dialogsystem, hat sich als mehr als nur ein flüchtiger Trend erwiesen.

Es ist die Fähigkeit der Software, menschenähnliche Konversationen zu führen und auf eine Vielzahl von Anfragen mit verblüffender Präzision zu antworten, die Nutzer weltweit fasziniert. Diese Faszination wird durch die stetige Weiterentwicklung und die vielfältigen Anwendungsmöglichkeiten genährt, die sowohl im privaten als auch im beruflichen Kontext immer wieder neue Perspektiven eröffnen.

Die Geburtsstunde von ChatGPT

ChatGPT wurde Ende 2022 von OpenAI eingeführt und hat seitdem die Diskussion um Künstliche Intelligenz (KI/AI) in der Gesellschaft neu entfacht. Der Schlüssel zu seiner gesellschaftlichen Akzeptanz liegt in seiner Zugänglichkeit und Benutzerfreundlichkeit. Indem es komplexe AI-Technologie in eine einfache Chat-Schnittstelle integriert, hat ChatGPT die AI aus den Forschungslaboren direkt in die Hände der Allgemeinheit gebracht. Es hat gezeigt, dass AI nicht nur ein Werkzeug für Experten ist, sondern auch praktischen Nutzen im Alltag haben kann. Die intuitive Bedienbarkeit und die Fähigkeit, menschliche Sprache zu verstehen und zu generieren, haben dazu beigetragen, dass AI als ein greifbares und nützliches Werkzeug wahrgenommen wird.

Warum Unternehmen auf den ChatGPT-Zug aufspringen

Von Start-ups bis hin zu multinationalen Konzernen ist das Interesse an ChatGPT und Chatbots branchenübergreifend zu beobachten. Unternehmen im Kundenservice, in der IT, im Marketing und sogar im Bildungswesen erkennen das Potenzial dieser Technologie, um Effizienz zu steigern, Kosten zu senken und Kundenerfahrungen zu verbessern. Chatbots können rund um die Uhr Support bieten, sind skalierbar und bearbeiten eine Vielzahl von Anfragen gleichzeitig. Zudem ermöglichen sie personalisierte Interaktionen und können somit die Kundenzufriedenheit und -bindung erhöhen.

Superkräfte und Achillesfersen

ChatGPT ist ein beeindruckendes Beispiel dafür, wie weit die Fähigkeiten von AI-basierten Dialogsystemen bereits entwickelt sind. Es kann in natürlicher Sprache kommunizieren, komplexe Fragen beantworten, Texte verfassen und sogar Programmiercode generieren. Doch trotz seiner fortschrittlichen Fähigkeiten hat ChatGPT auch Grenzen. Es kann beispielsweise nicht eigenständig Emotionen empfinden oder kreative Ideen im selben Maße wie ein Mensch entwickeln. Zudem ist es auf die Qualität und Vielfalt der Daten angewiesen, die es zum Lernen verwendet. Im weiteren Verlauf werden wir genauer erkunden, was ChatGPT leisten kann, wo seine Grenzen liegen und wie es sich in die bestehende Technologielandschaft einfügt.

ChatGPT trifft Geschäftswelt

Die Integration von ChatGPT in den Unternehmenskontext eröffnet eine Vielzahl von Möglichkeiten, um Prozesse zu optimieren und die Interaktion mit Kunden zu revolutionieren. Unternehmen setzen ChatGPT beispielsweise in Form von Chatbot-Lösungen ein, um automatisierte, intelligente und interaktive Dialogsysteme zu schaffen. Diese Systeme können Kundenanfragen beantworten, Hilfestellungen leisten oder auch interne Arbeitsabläufe unterstützen.

Intelligente Chatbot-Integrationen

Um den praktischen Einsatz von ChatGPT in Unternehmen besser zu verstehen, lohnt es sich, den Ansatz der Retrieval Augmented Generation (RAG) genauer zu betrachten. Dieser erweitert die Möglichkeiten von ChatGPT, indem er spezifisches Wissen in die Beantwortung von Fragen einfließen lässt. Stell dir vor, du könntest direkt mit den gesammelten Daten deines Unternehmens interagieren, als würdest du mit einem Experten chatten. Genau hier setzt RAG an: Es kombiniert eine umfangreiche Datenbank, die es ermöglicht, präzise Informationen zu einem Thema oder einer Frage zu finden, mit der Fähigkeit von generativen AI-Modellen, wie GPT, diese Informationen in verständliche, natürliche Antworten zu übersetzen.

Im Rahmen der Azure-Plattform, insbesondere durch den Einsatz von Azure OpenAI Services, haben Unternehmen Zugang zu fortschrittlichen Tools, um Chatbots zu erstellen, die auf GPT-Modellen basieren. Azure AI Search repräsentiert hierbei die Unternehmensdatenbank, die imstande ist, die für eine Anfrage relevanten Informationen oder Dokumente zu finden. Anschließend werden diese Informationen einem GPT-Modell (zum Beispiel GPT-4) zugeführt, das in der Lage ist, präzise und kontextbezogene Antworten zu formulieren, die dem Nutzer in Echtzeit zur Verfügung gestellt werden.

Im praktischen Einsatz von RAG, speziell in der Azure-Integration, wird der Prozess in zwei Schlüsselschritten durchgeführt, wie in der Abbildung oben zu sehen ist: Zuerst wird die Anfrage des Nutzers, die in natürlicher Sprache formuliert ist, mithilfe von GPT-4 in eine Suchanfrage umgewandelt (s. Abb. 1: Schritt 1 - 3), die von Azure AI Search verarbeitet werden kann (s. Schritt 4). Dies ermöglicht es, aus der Fülle an verfügbaren Unternehmensdaten genau die Informationen zu extrahieren, die zur Beantwortung der Frage benötigt werden (s. Schritt 5/Retrieval). Dann werden diese Informationen zusammen mit der ursprünglichen Anfrage an GPT-4 übergeben, das basierend auf diesem spezifischen Kontext eine detaillierte und treffende Antwort
generiert (s. Schritt 6 - 8/Generation).

Dieser Ansatz macht aus dem Chatbot nicht nur ein leistungsstarkes Werkzeug für Informationsbeschaffung, sondern auch ein interaktives Medium, das komplexe Anfragen mit einer Präzision beantwortet, die bisher manuellen Recherchen vorbehalten war.

AI richtig lenken

Prompt Engineering ist ein entscheidender Aspekt beim Einsatz von RAG-Lösungen und spielt eine zentrale Rolle bei der Optimierung der Leistungsfähigkeit von AI-Chatbots. Prompt Engineering bezeichnet das Verfahren der Formulierung von Anweisungen, sogenannte "Prompts", die an ein LLM wie zum Beispiel
GPT-4 gerichtet werden, um die gewünschten Ausgaben zu erzielen. Diese Prompts sind entscheidend, weil sie das LLM darüber informieren, was von ihm erwartet wird und wie es auf eine Eingabe reagieren soll. Ein gut gestaltetes Prompt kann die Effektivität des LLMs erheblich steigern, indem es präzisere und relevantere Antworten generiert.

Im Kontext von RAG-Lösungen bedeutet dies, dass das Prompt so gestaltet sein muss, dass es das Retrieval-System effektiv anleitet, um die relevantesten Informationen aus der Datenbank zu ziehen. Danach muss es das Generation-System instruieren, diese Informationen in eine flüssige, verständliche und hilfreiche Antwort umzuwandeln (s. Abb. 1).

Challenges des Prompt Engineering

Prompt Engineering ist herausfordernd. Die Entwicklung wirksamer Prompts erfordert Kreativität sowie die Fähigkeit, die Intentionen des Nutzers präzise zu interpretieren und zu formulieren. Zu den Herausforderungen gehören:

1. Präzision
Das Prompt muss genau genug sein, um relevante Antworten zu erzeugen, darf aber nicht so spezifisch sein, dass es die Kreativität und Flexibilität der AI einschränkt.

2. Kontextverständnis
Das Prompt muss dem LLM ausreichend Kontext bieten, damit es die Anfrage im richtigen Rahmen interpretieren kann.

3. Sprachliche Nuancen
Die Nuancen der menschlichen Sprache, einschließlich Ironie, Metaphern und kultureller Referenzen, können für LLMs schwer zu erfassen sein, was die Gestaltung von Prompts kompliziert macht.

4. Dynamik
Da jedes Unternehmen und jeder Anwendungsfall einzigartig sind, müssen Prompts individuell angepasst werden, was ein kontinuierliches Testen und Anpassen erfordert.

5. Skalierbarkeit
Prompts müssen auch bei einer großen Anzahl von Anfragen und verschiedenen Anwendungsfällen wirksam bleiben.

Prompt Engineering ist eine umfangreiche, aber lohnende Aufgabe, die eine Brücke zwischen menschlicher Intuition und maschineller Intelligenz schlägt. Durch sorgfältige Entwicklung und ständige Optimierung von Prompts entfalten RAG-Lösungen ihr volles Potenzial und unterstützen Unternehmen dabei, Interaktionen zu automatisieren und zu verbessern.

ChatGPT in Aktion

Für ein Kundenprojekt haben wir im Rahmen eines MVP eine Lösung entwickelt, die auf RAG-Architektur basiert. Ziel war es, einen leistungsfähigen Chatbot zu entwickeln, der Kundensupportanfragen bezüglich einer umfangreichen ERP-Software automatisiert beantworten kann.

Für dieses Projekt haben wir zwei vielfältige und unstrukturierte Informationsquellen ausgewählt, die eine solide Datengrundlage für das System darstellen. Zum einen waren dies über 2.600 Confluence-Seiten, die gleichzeitig das Nutzerhandbuch für den Endkunden und eine Datengrundlage für den Kundensupport darstellen. Zum anderen verwendeten wir über 160.000 historische Kundensupport-Tickets, die Konversationsverläufe beginnend mit einer Kundenanfrage und darauffolgenden Instruktionen durch den Kundensupport beinhalten. Diese Daten wurden sorgfältig aufbereitet, anonymisiert (Kundensupport-Tickets) und in Azure AI Search eingeladen, um eine effiziente und präzise Informationsbeschaffung zu ermöglichen.

Der entwickelte Chatbot hat sich als enorme Arbeitserleichterung für das Unternehmen erwiesen. Er ist nicht nur in der Lage, einen Teil der Kundenanfragen völlig selbstständig zu beantworten, sondern liefert zusätzlich zu der Antwort auch relevante Informationsquellen, die für Kundensupport-Mitarbeiter als Basis dienen können, um Spezialfälle zu bearbeiten, die der Chatbot nicht selbstständig beantworten kann.

Strategien und Lösungen

Im Laufe des Projekts haben wir wichtige Erkenntnisse gewonnen, die uns ermöglichten, unsere Methoden zu verfeinern und die Qualität unserer Chatbot-Lösungen zu verbessern. Die Herausforderungen, denen wir begegneten, führten zu folgenden Lernergebnissen:

1. Qualität der Dokumentensuche

Um präzise Antworten zu generieren, war es entscheidend, die Suche nach den relevantesten Dokumenten zu optimieren. Durch die Nutzung einer Kombination aus Vektorsuche, semantischer Suche und Keyword-Suche in Azure AI Search konnten wir unsere Ziele erreichen. Für die Vektorsuche musste für jedes Dokument in der Suchdatenbank eine Vektorrepräsentation generiert werden. Dazu haben wir das Text-Embedding Modell ada-002 von OpenAI verwendet. Diese Repräsentationen von Text als Vektor werden als Text-Embeddings bezeichnet.

Genauso wie die Informationsgrundlage als Vektorrepräsentation in AI Search gespeichert ist, generieren wir auch eine Vektorrepräsentation der Suchanfrage an AI Search. Somit können die Ähnlichkeiten der Vektoren verglichen und die relevantesten Dokumente gefunden werden. Bei der semantischen Suche in Azure AI Search wird auch der Kontext und die Bedeutung der Suchanfragen berücksichtigt, nicht nur die exakte Übereinstimmung der Wörter. Dies ermöglicht eine tiefere Analyse des Inhalts, indem es die Beziehungen zwischen Wörtern und Konzepten versteht und nutzt. Dazu hat Microsoft Verfahren adaptiert, die auch in der Bing-Suche verwendet wurden.

Bei der Keywordsuche, die ebenfalls Teil von Azure AI Search ist, konzentriert sich das System auf die Identifizierung und das Matching spezifischer Schlüsselwörter innerhalb der Dokumente. Diese traditionellere Suche ist besonders effektiv bei spezifischen und genau definierten Suchanfragen, für die Benutzer exakte Begriffe oder Phrasen kennen, die in den gewünschten Dokumenten vorkommen. Durch die Kombination von Keywordsuche mit fortschrittlichen Methoden wie der semantischen Suche und Vektorsuche kann AI Search eine breite Palette von Informationsbedürfnissen abdecken, von sehr spezifischen Anfragen bis hin zu solchen, die ein tieferes Verständnis des Kontexts erfordern.

2. Komplexe Datengrundlage

Während der Entwicklung unseres Projekts waren wir mit der Herausforderung konfrontiert, komplexe Informationen aus einem umfassenden ERP-System, wie in einem ausführlichen Handbuch dargestellt, zu verarbeiten. Das Handbuch enthielt detaillierte Beschreibungen von Funktionen, Prozessen und Idiomen, die ein spezialisiertes Branchenwissen erfordern. Unser verwendetes GPT-Modell zeigt trotz seiner Fortschrittlichkeit zwar eine gute Grundfähigkeit, die Texte zu verstehen, stieß jedoch an seine Grenzen bei sehr detaillierten Beschreibungen, die zusätzlich spezifischen Fachjargon enthielten. Insbesondere in Fällen, in denen die Antworten auf Nutzerfragen nicht direkt in den vorliegenden Daten repräsentiert waren und eine Transferleistung notwendig wurde, offenbarten sich die Einschränkungen des Modells.

Diese Erfahrung betont, wie wichtig der menschliche Beitrag und spezialisiertes Wissen in vielen Bereichen bleiben. Es wird deutlich, dass bei der Einführung von Chatbots mit Unterstützung von Large Language Models eine eingehende Auseinandersetzung mit deren Limitationen unabdingbar ist. In diesem Zusammenhang ist die kontinuierliche Zusammenarbeit mit Fachexperten unverzichtbar, um eine Verbindung zwischen den Kompetenzen der KI und den spezifischen Bedürfnissen der Nutzer herzustellen.

3. Nicht kontextbezogene Fragen

Beim Umgang mit Fragen, die außerhalb des spezifischen Unternehmenskontextes lagen, trafen wir auf eine zusätzliche Schwierigkeit: Es war nicht einfach, solche Anfragen angemessen zu beantworten oder entsprechend weiterzuleiten. Die Entscheidung, ob eine Frage relevant ist oder nicht, allein den GPT-Modellen zu überlassen, führte zu Problemen. Um dies zu bewältigen, haben wir unsere Prompts so angepasst, dass sie genau definieren, zu welchen Themen das Modell Auskunft geben soll, während alle anderen Themenbereiche bewusst ausgespart blieben.

4. Menschlicher Kommunikationsstil

Es war für uns von entscheidender Bedeutung, dass die vom System generierten Support-Antworten nicht nur inhaltlich korrekt, sondern auch im Tonfall der menschlichen Kundenbetreuung gehalten waren. Um dies zu erreichen, haben wir sorgfältig ausgearbeitete Richtlinien für die Gestaltung einer kundenfreundlichen Antwort entwickelt und das Modell dazu angehalten, den Konventionen menschlicher Kommunikation im Kundenservice zu folgen. Diese methodische Herangehensweise stellte sich als besonders effektiv heraus.

Überdies setzten wir die Technik des "Few-Shot Learning" ein. Bei diesem Ansatz generiert das Modell, basierend auf nur wenigen Beispielen oder "Shots", ähnliche Antworten. Statt das Modell im herkömmlichen Sinne zu trainieren, ermöglichte diese Methode dem Modell, sich durch die Analyse einer kleinen Anzahl von Beispielen schnell auf spezifische Anforderungen und Stile im Kundensupport einzustellen. Diese Vorgehensweise trug wesentlich dazu bei, die Antwortqualität zu verbessern, indem es dem Modell gelang, präzise Antworten zu generieren, die im Einklang mit dem menschlichen Kommunikationsstil formuliert waren.

5. Vermeidung von Halluzinationen

Um das Risiko von "Halluzinationen" zu minimieren – einem Phänomen, bei dem AI-Modelle unzutreffende oder gänzlich erfundene Informationen präsentieren – erwies sich die Anpassung des Temperatur-Parameters als wirksam. Dieser Parameter beeinflusst, wie kreativ oder vorsichtig das Modell bei seinen Antworten ist. Indem wir diesen Wert niedrig ansetzten, konnten wir die Häufigkeit solcher Halluzinationen deutlich reduzieren, obwohl sie immer noch eine Herausforderung darstellen. Zusätzlich half die Optimierung der Eingabe-Prompts, das Modell genauer zu steuern und relevante Antworten zu fördern. Diese gezielte Anleitung verringert die Wahrscheinlichkeit irreführender oder erfundener Antworten und trägt zusammen mit der Anpassung des Temperatur-Parameters dazu bei, die Antwortqualität zu verbessern und Halluzinationen zu reduzieren.

6. Reproduzierbarkeit der Ergebnisse

Die Sicherstellung konsistenter und wiederholbarer Ergebnisse spielte eine zentrale Rolle für die Verlässlichkeit unseres Systems. Durch das Festlegen eines bestimmten "random_seed" konnten wir bereits einen großen Schritt in Richtung deterministischer Ergebnisse machen. Besonders wichtig war jedoch unsere Entscheidung, den Temperatur-Parameter ausschließlich bei der Generierung der Suchanfragen auf 0.0 zu setzen. Dies ermöglichte es uns, vorhersehbare Ergebnisse zu erzielen, indem für jede Kundenanfrage stets dieselbe Suchanfrage generiert und somit auch die gleichen Dokumente aus der AI-Suche extrahiert wurden. Diese gezielte Anpassung bei der Erstellung der Suchanfragen trug maßgeblich dazu bei, die Robustheit unserer Antworten zu erhöhen und eine verlässliche Konsistenz in den Auskünften zu gewährleisten.

7. Umfangreiches Testing

Ein intensives Testing gewährleistete die Qualität und Präzision der Chatbot-Interaktionen. Testing stellte sich als die größte Herausforderung heraus, insbesondere weil das Produkt, zu dem unser Chatbot Fragen beantwortet, sehr komplex ist. Diese Komplexität bedeutete, dass wir uns als Entwickler nicht allein auf unsere Intuition verlassen konnten, um die Qualität der Ergebnisse zu beurteilen. Um sicherzustellen, dass wir stets ein präzises Bild von der Antwortqualität hatten, etablierten wir einen kontinuierlichen Feedbackprozess mit dem Kunden. Durch diesen Prozess erhielten wir kundenseitig regelmäßig Einschätzungen und passten den Chatbot entsprechend an. Die enge Zusammenarbeit mit unserem Kunden war entscheidend, um ein tiefes Verständnis für die Produktdetails und die Anforderungen an die Kundeninteraktionen zu entwickeln.

Für eine innovative und vor allem automatisierte Qualitätssicherung nutzten wir zusätzlich ein weiteres GPT-Modell, um die Leistung unseres Chatbots zu evaluieren. Wir erstellten eine Datenbank mit Testfragen und den dazugehörigen korrekten Antworten, die vom Kundensupport bereitgestellt wurden. Für jede Testfrage generierten wir eine Antwort durch unseren Chatbot und setzten dann ein separates GPT-Modell ein, um die Übereinstimmung zwischen der Chatbot-Antwort und der vom Kundensupport bereitgestellten korrekten Antwort zu bewerten. Dieser Ansatz erlaubte es uns, Schwächen oder Fehler in den Chatbot-Antworten zu identifizieren, die möglicherweise bei herkömmlichen Testmethoden übersehen worden wären.

Durch diese Methode des gegenseitigen Überprüfens, kombiniert mit dem wertvollen Feedback von menschlichen Testern, konnten wir ein tiefgreifendes Verständnis für die Stärken und Schwächen unseres Chatbots entwickeln. So stellten wir sicher, dass das finale Produkt den hohen Standards unseres Kunden gerecht wird. Dieser Ansatz hebt die Qualitätssicherung auf ein neues Niveau und sorgt dafür, dass unser Chatbot nicht nur intelligent, sondern auch zuverlässig und fehlerfrei mit den Nutzern kommuniziert.

Fortlaufende Verbesserung

Das Projekt verdeutlichte den signifikanten Mehrwert, den die Verwendung von RAG in Kombination mit Azure AI Search und fortschrittlichen AI-Methoden für Unternehmen darstellt – insbesondere im Hinblick auf die Optimierung des Kundenservices und die Steigerung der Effizienz. In der ersten Ausbaustufe unseres Chatbots konnten wir beobachten, wie positiv dieser von den Teams unseres Kunden angenommen wurde. Der Einsatz der AI-Technologie im Kundensupport hat sich als ein wichtiger Schritt zur Arbeitserleichterung erwiesen, der speziell die Kundensupportprozesse effizienter gestaltet. Diese initiale Implementierung unterstreicht das Potenzial des Chatbots, als wesentliches Instrument zur Unterstützung im täglichen Betrieb zu dienen und legt den Grundstein für die erfolgreiche Integration von AI in die Kundensupport-Strategie.

Um die Leistungsfähigkeit unseres Chatbots weiter zu steigern und eine noch höhere Zufriedenheit bei den Endnutzern zu gewährleisten, sehen wir die Durchführung weiterer Entwicklungszyklen als notwendig an. Durch anhaltendes Testing und den Einsatz der aus diesen Tests gewonnenen Erkenntnisse zielen wir darauf ab, die Quote der selbstständig durch den Chatbot beantworteten Anfragen zu erhöhen. Der kontinuierliche Verbesserungsprozess steigert die Präzision und die Verlässlichkeit des Chatbots und macht ihn zu einem noch effektiveren Werkzeug im Kundensupport.

Diese methodische Herangehensweise verdeutlicht unser Bestreben, die Möglichkeiten der AI-Technologie fortlaufend zu erweitern und dabei den menschlichen Input sowie die fachliche Expertise als zentrale Bestandteile in die Weiterentwicklung einfließen zu lassen. Unsere Erfahrung mit dem Einsatz des Chatbots in den Kundensupportprozessen zeigt, dass die Entwicklung eines vollständig autonomen und verlässlichen AI-gestützten Kundenservices ein fortwährender Prozess ist, der ständige Anpassungen und Verbesserungen erfordert.

AI-Treiber Azure

Die Bereitstellung von GPT-Modellen auf Azure ermöglicht es Unternehmen, von den fortschrittlichsten AI-Technologien zu profitieren, ohne die notwendige Infrastruktur selbst aufbauen und warten zu müssen. Dies bietet eine skalierbare und flexible Lösung, die sich ideal für die Entwicklung und den Einsatz von AI-Anwendungen eignet. Die Veröffentlichung der neuesten OpenAI-Modellversionen auf Azure nimmt jedoch regelmäßig einige Monate in Anspruch, was für Nutzer, die auf dem neuesten Stand der AI-Entwicklungen bleiben möchten, zur Herausforderung werden kann. Diese Verzögerungen führen dazu, dass Anwender nicht sofort von den neuesten Innovationen und Verbesserungen von OpenAI profitieren können, was insbesondere in schnelllebigen Branchen zu Wettbewerbsnachteilen führen könnte.

"Wir stehen erst am Anfang"

Für data! Autor und Data Scientist Fabian ist ChatGPT längst Daily Business. Er sieht es als Werkzeug, das, richtig eingesetzt, Unternehmen einen echten Vorteil bringen kann. Sein persönlicher Blick auf neue Technologien hilft Unternehmen, den Hype um RAG-Architekturen richtig einzuordnen.

Wofür nutzt du ChatGPT?

Vor allem für die Entwicklung von Chatbots, wie zum Beispiel bei dem RAG-Projekt, das ich mit meinem Team durchgeführt habe. Privat hilft mir ChatGPT zum Beispiel, um Schreibblockaden zu überwinden oder einfach kreativen Input für eigene Projekte zu bekommen.

Was magst du an der Technologie?

Vor allem die Schnelligkeit, mit der die Modelle lernen und sich anpassen. Es ist beeindruckend, wie natürlich und menschlich die Antworten mittlerweile sind und wie vielseitig die Anwendungsbereiche sein können. Die Technologie hat das Potenzial, so viele Branchen zu revolutionieren, und wir stehen erst am Anfang.

Hat die Technologie Grenzen?

Man muss stets kritisch bleiben und darf nicht vergessen, dass ein Modell nur so gut ist wie die Daten, mit denen es trainiert wurde, oder wie die Daten, die es als Kontext zur Verfügung gestellt bekommt.

Was sagst du Unternehmen, die unbedingt was mit AI machen wollen?

Macht euch zunächst klar, was ihr mit der Technologie erreichen wollt. Es ist wichtig, spezifische Anwendungsfälle zu identifizieren, bei denen AI einen echten Mehrwert bietet. Entwickelt am besten gemeinsam mit Experten eine Strategie. Springt nicht auf einen Hype auf, sondern setzt Technologie sinnvoll ein.

Wie bleibst du up to date?

Es ist ein kontinuierlicher Lernprozess. Online-Recherchen, Fachartikel oder der Austausch mit Kollegen halten mich auf dem Laufenden. In unserem Bereich ist das einfach notwendig, um wettbewerbsfähig zu bleiben. Ein Beispiel hierfür ist unser letztes RAG-Projekt: Kaum hatten wir einen ersten funktionsfähigen Prototyp unseres Chatbots entwickelt, mussten wir feststellen, dass die Schnittstellen zu Azure OpenAI schon wieder überholt waren. Also standen wir vor der Aufgabe, unseren Code zügig auf die aktuellere API-Version umzustellen. Genau das zeigt, wie dynamisch und schnelllebig die Tech-Branche ist.

GPT-Generationen im Vergleich

GPT-3.5 und GPT-4 sind beides fortschrittliche Sprachmodelle von OpenAI, wobei GPT-4 das neuere und leistungsfähigere Modell ist. GPT-4 ist ein größeres, multimodales Modell, das sowohl Text- als auch Bild-Inputs verarbeiten kann und Text-Outputs erzeugt. Es zeichnet sich durch eine breitere Allgemeinbildung und fortgeschrittene Schlussfolgerungsfähigkeiten aus, die es ihm ermöglichen, schwierigere Probleme mit größerer Genauigkeit zu lösen. Im Vergleich dazu ist GPT-3.5 Turbo für Chat-Anwendungen optimiert, funktioniert aber auch gut für Nicht-Chat-Aufgaben. GPT-4 übertrifft nicht nur frühere große Sprachmodelle, sondern auch die meisten Stand-der-Technik-Systeme in verschiedenen Sprachen.

Der Übergang von GPT-3.5 zu GPT-4 brachte erhebliche Verbesserungen in der Sprachverarbeitungsfähigkeit. GPT-4 kann komplexere Zusammenhänge erkennen, längere und detailliertere Kontexte verstehen und auf dieser Grundlage präzisere Antworten generieren. Besonders wichtig ist die verbesserte Fähigkeit des Modells, Feintuning zu unterstützen, was es Unternehmen ermöglicht, das Modell leichter auf spezifische Anforderungen zuzuschneiden. Die multimodale Fähigkeit von GPT-4, die auch Bilderkennung umfasst, eröffnet neue Anwendungsfelder und macht das Modell vielseitiger.

Verbesserungspotenzial

Für das nächste Update von GPT-4 ist eine entscheidende Verbesserung der Antwortzeiten von zentraler Bedeutung. Die derzeitigen Latenzen sind für einen reibungslosen und effizienten Einsatz noch zu hoch, was die Anwendung in Echtzeit-Szenarien limitiert. Nutzer erwarten eine schnelle Reaktion auf ihre Anfragen, da dies direkt die Benutzerfreundlichkeit und Effektivität des Chatbots beeinflusst. Eine gezielte Optimierung in diesem Bereich würde die Nutzererfahrung erheblich verbessern und GPT-Modelle für eine breitere Palette von Anwendungen, wie den Kundenservice oder als persönlichen Assistenten, praktikabler machen. Daher ist es von größter Wichtigkeit, dass die Reduktion der Antwortzeiten im Fokus des nächsten Updates steht, um die Nutzbarkeit und Akzeptanz des Modells im täglichen Gebrauch zu erhöhen.

OpenAI-Update

OpenAI hat kürzlich GPT-4o angekündigt. GPT-4o (das “o” steht für “omni”) kann nicht nur Text, sondern auch Audio, Bilder und Videos als Eingabe verarbeiten und generiert daraufhin Text, Audio und Bilder als Ausgaben. Beeindruckend ist die Reaktionszeit auf Audioeingaben, die durchschnittlich nur 320 Millisekunden beträgt – fast so schnell wie ein Mensch.

Besonders hervorzuheben sind die Verbesserungen bei der Verarbeitung von visuellen und akustischen Inhalten. GPT-4o übertrifft seine Vorgängermodelle in der Erkennung und Übersetzung von Sprache, insbesondere bei weniger verbreiteten Sprachen. Auch im Bereich der Multilingualität setzt GPT-4o neue Maßstäbe, indem es effizienter mit verschiedenen Sprachen umgeht und weniger Tokens benötigt. Aktuell (Stand: Mai 2024) befindet sich GPT-4o in einem schrittweisen Rollout und ist bereits in zwei US-Regionen von Azure verfügbar.

Für Chatbot-Szenarien bedeutet GPT-4o eine erheblich verkürzte Antwortzeit, was die Kundenzufriedenheit erhöhen kann, da Unterhaltungen  natürlicher wirken. Besonders spannend ist die Integration von Sprach- und Audiofähigkeiten, die für viele Anwendungen im Kundenservice von Bedeutung sein werden.

In den nächsten Wochen werden weitere Funktionen freigeschaltet, darunter auch die Audio- und Videoausgaben, die zunächst einer kleinen Gruppe von vertrauenswürdigen Partnern zur Verfügung gestellt werden. Wir sind gespannt auf die zukünftigen Entwicklungen und die Möglichkeiten, die GPT-4o für die KI-Interaktion bietet.

AI in der Zukunft

AI-Technologien wie ChatGPT haben zweifelsohne das Potenzial, Geschäftsprozesse zu transformieren und uns auf neue Wege des Denkens und Arbeitens zu führen. Doch die Faszination für ihre Fähigkeiten sollte uns nicht die Augen davor verschließen, dass sie nicht in jedem Kontext die optimale Lösung darstellen. Menschliche Empathie, Kreativität und ethisches Urteilsvermögen sind Qualitäten, die durch maschinelle Intelligenz unterstützt, aber nicht ersetzt werden können.

Es ist essenziell, dass wir die Limitationen und Risiken, die mit der Implementierung von Chatbots einhergehen, gründlich abwägen. Die Technologie sollte den Menschen dienen, nicht umgekehrt. In einer Welt, die immer schneller nach der neuesten technologischen Lösung greift, ist es entscheidend, den eigentlichen Anwendungsfall zu definieren, bevor man sich für ein Werkzeug entscheidet.

Wir stehen an einem Wendepunkt, an dem wir die Weichen für die Zukunft stellen können. Es liegt an uns, den Weg weise zu wählen – einen Weg, der nicht nur von den Möglichkeiten der Technologie geleitet wird, sondern auch von dem tiefen Verständnis für ihre Grenzen. Lasst uns gemeinsam dafür sorgen, dass wir die AI-Technologie mit Bedacht und im besten Interesse aller einsetzen. Denn nur so kann der technologische Fortschritt im Einklang mit den menschlichen Werten und Bedürfnissen gestaltet werden.

Dieser Artikel erschien in ähnlicher Form erstmalig in Ausgabe 01/24 von data! Alle Ausgaben und Artikel unseres halbjährlich erscheinenden Magazins findest du hier:‍

data! Magazin: Cloud Services, Data Analytics & AI | taod

<p style="font-size: 28px; font-weight: bold; margin-bottom: 5px;">Du möchtest ChatGPT in deine Unternehmensprozesse integrieren?</p><p style="color:#ee385c; font-size: 24px; font-weight: bold; margin-top: 0;">Wir beraten dich gerne!</p>