AI-Strategie und ChatGPT mit Christopher König

„ChatGPT ist ein kompletter Game-Changer.“

Chatbots sind für Christopher pure Leidenschaft. Künstliche Intelligenz sieht er als Must-have für Unternehmen aller Branchen an, das in keiner strategischen Planung fehlen darf. Ein Gespräch mit dem AI Consultant über langfristigen Erfolg mit AI.

Christopher, heute schon mit Siri oder Alexa gesprochen?

Nein, die kann ich gar nicht leiden und nutze sie aus Datenschutzgründen nicht.

Auf welche AI-Technologien vertraust du denn in deinem Alltag?

ChatGPT. Ich muss seit dem Launch eigentlich gar nicht mehr arbeiten.

Wie wir alle hier.

Scherz beiseite. Künstliche Intelligenz steckt mittlerweile ja schon in vielen Sachen, Spotify ist zum Beispiel auch schon bestens über mich informiert und gestaltet meine Playlist. Wir müssen uns erst mal fragen, wie wir AI eigentlich definieren. Machine Learning ist bereits AI, also sämtliche selbst lernenden Systeme.

Künstliche Intelligenz ist seit der Einführung von ChatGPT im letzten Jahr ein Top Topic. Wie lange
setzt du dich schon mit dem Thema auseinander?

Ich komme aus den Wirtschaftswissenschaften, meinen VWL-Master habe ich in Quantitative Economics gemacht und mich unter anderem mit Innovationsökonomik auseinandergesetzt. Da war schon viel AI mit drin und ich setzte mich mit Fragen auseinander, was mit den neuen Machine-Learning-Modellen alles machbar ist. Geprägt hat mich sicher auch mein Auslandssemester in Berkeley. In Amerika kam man zu dem Zeitpunkt gar nicht mehr an dem Thema vorbei.

Wann war das?

2019. Ich habe viel von der Denkweise der Forscher dort mitbekommen, die übrigens Apache Spark erfunden haben und später Databricks gründeten. Als ich da war, untersuchten wir unter anderem die Auswirkungen von Technologien und AI auf den Arbeitsmarkt und Möglichkeiten der Automatisierung.

War ChatGPT da schon Thema?

Sprachmodelle waren zu dem Zeitpunkt noch nicht so gut. Ich würde sagen, etwa eineinhalb Jahre vor dem ChatGPT-Launch waren die schon solider zu nutzen. Trotzdem waren Themen wie Texterkennung, Spracherkennung, Recommendation Systems und automatisierte Entscheidungssysteme längst Thema in Amerika. Die breite Masse an deutschen Unternehmen, die sich mit digitalen Themen nicht von Natur aus auseinandersetzen, hatten das noch nicht so auf dem Schirm. Auch Datenhaltungsthemen waren kaum präsent.

„Mit ChatGPT kannst du für dich als Anwender einen Mehrwert generieren.“

Was genau fasziniert dich an AI?

Es ist sehr herausfordernd, sowohl technisch als auch inhaltlich. Als AI Consultant muss ich jeden Use Case
verstehen, mich in eine Fachabteilung, in ein Geschäftsmodell oder ein unternehmerisches Problem eindenken. Auch Technologien lerne ich immer wieder aufs Neue kennen und überlege, wo ich welche Stellschraube lösen kann, um am Ende gute Qualität zu erwirken. Jeder Fall ist neu und fördert flexibles Denken.

In welchen Bereichen oder Branchen siehst du AI derzeit besonders angesagt?

Besonders das Aufkommen von ChatGPT, und somit Retrieval Augmented Generation, hat AI für sehr viele Bereiche zugänglich gemacht. Unternehmen kombinieren ihre Daten mit ChatGPT, um zu informieren. Das ist ideal für jene, die in ihrer Dateninitiative noch nicht so weit sind. RAG ist sinnvoll für alles, was mit Sprache zu tun hat. Gibt es Bereiche im Unternehmen, in denen Menschen viel reden, kann ChatGPT unterstützen und Aufgaben komplett übernehmen.

Ein weiterer Bereich ist das Wissensmanagement, vor allem Wissen verfügbar machen. RAG-Systeme sind in der Lage, anwendungsbezogene Fragen relativ einfach über Zugriff auf die zur Verfügung stehenden Quellsysteme zu beantworten. Das ist für alle Branchen interessant. Jedes Unternehmen hat Wissen, das teils dokumentiert da liegt, teils sehr diffus behandelt wird.

Fragen Unternehmen nach AI, weil es gerade hip ist?

Ja. AI wird vor allem mit ChatGPT greifbar. Mit ChatGPT kannst du für dich als Anwender einen Mehrwert generieren. AI kann außerdem Vorhersagen machen und Entscheidungen automatisieren. Darunter fallen dann auch Machine-Learning-Modelle, die näher an klassische Statistik angrenzen. Unternehmen finden so Zugang zu den unterschiedlichen AI-Themen.

Welche Vorstellungen haben sie?

Das ist sehr unterschiedlich. Einige Unternehmen beschäftigen sich ausführlich mit den Technologien und kommen mit einem konkreten Use Case, was genau sie automatisieren wollen, auf uns zu. Es gibt aber auch die, die sagen: "Hey, wir merken, da passiert grad viel um uns herum, was seht ihr denn für Potenziale bei uns, um AI einzusetzen?"

Hierfür entwickelt ihr dann eine AI-Strategie?

Wir schauen uns das Geschäftsmodell und die Prozesse des Unternehmens an. Dabei haben wir im Hinterkopf, wo AI eingesetzt werden kann, um neue Prozesse zu etablieren oder Kosten zu reduzieren. AI kann auch ein umsatzsteigerndes Mittel, wie eine vereinfachte Produktsuche im Online-Shop oder ein verbesserter Kundenservice in puncto Verfügbarkeit und Niedrigschwelligkeit sein.

„AI kann auch ein umsatzsteigerndes Mittel sein.“

Inwieweit befähigt ihr Unternehmen, mit dem Thema AI souverän umzugehen?

Wir führen das Unternehmen in das Thema AI ein, allerdings nicht theoretisch, sondern ganz plakativ. Dafür bringen wir gerne Beispiele mit. Und dann stellen wir ganz viele Fragen: Was sind eure Herausforderungen? Eure Ziele? Wie sehen eure Ressourcen aus? Es kann zum Beispiel auch sein, dass ein Unternehmen ohnehin schon starken Umsatzwachstum zu stemmen hat, sodass selbstlernende AI hier unterstützen kann, mit einem neuen Modell und neuen Daten bessere Vorhersagen zu treffen. Für den Prozess des Requirement Engineerings haben wir einige Use Cases im Gepäck.

Besonders beliebt derzeit sind Chatbots für den Einsatz im Kundenservice. Wie implementieren Unternehmen diese gewinnbringend?

Prozesse zu automatisieren, ist ein wesentlicher Vorgang, der viele Ressourcen benötigt. Es macht die Implementierung einfacher, wenn das technologische und inhaltliche Setting vorhanden ist. Man sollte sich auch überlegen, ob es ein vollautomatisiertes System sein muss, oder ein unterstützendes, wie zum Beispiel Co-Pilot von Microsoft, vielleicht auch reicht. Schwierig ist es, wenn ein Unternehmen sich auf einen Use Case festlegt und dann während der Implementierung merkt, dass es den gar nicht braucht. Die Investition in AI ist immer dann lohnend, wenn dadurch Prozesse besser oder effizienter werden – was sich dann natürlich an Kosten oder Umsatz zeigen muss. Besonders bei ressourcenintensiven Prozessen kann AI Sinn machen.

Wie sind deine Erfahrungen mit Chatbots als Anwender?

Ich war eigentlich nie ein Fan von Chatbots, muss ich ehrlich sagen. Vor ChatGPT hat mir als Kunde noch nie ein Chatbot weitergeholfen. Das hat sich jetzt um 180 Grad gedreht. Ich würde am liebsten nur noch mit Chatbots arbeiten, lieber noch, als mit Prediction-Methoden.

„Ich würde am liebsten nur noch mit Chatbots arbeiten.“

Ob Chatbot oder anderweitige Automatisierung: wie wähle ich den richtige Use Case aus?

Es sollte lieber ein Use Case gewählt werden, der auch bei eventuell unsicherem Outcome bei Erfolg auch einen relevanten Nutzen hat. Aber so allgemein kann man das gar nicht sagen, es hängt immer vom Unternehmen ab.

Gibt es einen typischen Projektverlauf?

Das ist auch wieder unterschiedlich. Unternehmen kommen selten mit perfekten Daten auf uns zu. Die Datenaufbereitung in Machine-Learning-Projekten ist oft ein großer Arbeitsanteil. Bei ChatGPT-Projekten nimmt das wiederum nicht so viel Raum ein. Die Art und Weise, wie wir mit Kunden interagieren, unterscheidet sich stark. Wir arbeiten im Allgemeinen nach dem Framework CRISP-DM, ein Standard für Data-Mining-Projekte. Ansonsten agieren wir erkenntnisgetrieben und passen die Anforderungen dann immer wieder an.

Wie lange dauert ein AI-Projekt in der Regel?

Ein MVP schließen wir innerhalb von rund drei Monaten ab. Wobei wir für ein erstes Mockup, auf dessen Basis die Entscheidung für ein weiteres Vorgehen fallen kann, drei bis vier Tage dauert. Nach dem MVP kommt der langwierige Part. Im Produktivbetrieb sichern wir uns gegen alle Eventualitäten ab, nehmen ethische und rechtliche Maßnahmen vor. Das kann noch mal vier bis fünf Monate dauern. In dieser Nutzungsphase sammeln wir sehr viel Feedback von den Anwendern und gehen parallel ins Refinement.

Das Feedback der Anwender ist hier elementar, oder?

Total. Hier sieht man auch den Unterschied zwischen Prediction- und Chatbot-Projekten. Bei Machine-Learning-Algorithmen können wir das Modell gezielt auf eine KPI oder Metrik hin optimieren. Mit Chatbots geht das nicht, weil ChatGPT nicht immer die gleichen Antworten liefern kann. Zu messen, wie gut die jeweilige Antwort ist, ist viel schwieriger. Wir sind immer auf das Feedback der Anwender angewiesen, um zu wissen, wie gut die Antwort ist.

Wie dokumentiert ihr dieses Feedback?

Da wir LLM GPT-4 nutzen und nicht die Webapp von OpenAI, entwickeln wir selbst ein Frontend und bauen dort einen Feedbackmechanismus ein. Es ähnelt dem Feature, das bei ChatGPT bereits vorhanden ist: Daumen hoch oder Daumen runter. Unsere Entwicklungszyklen sind länger, da wir Feedback sammeln. Zwar wären schnellere Tests machbar, indem wir zum Beispiel synthetische Testfragen und Antworten generieren, Stichwort Groundedness Evaluation. Aber durch unser Vorgehen setzen wir direkt am menschlichen Faktor und am Business Case an. So vermeiden wir, am Problem vorbei zu optimieren.

„Wir bauen nicht mehr nur die Modelllogik, sondern das Modell lernt selbst, was die besten Ergebnisse sind.“

Was braucht es noch, um mit AI Erfolg zu haben?

Sicher eine gewisse Technologie-Offenheit. Und zwar durch das ganze Unternehmen hindurch. Change Management ist ein wichtiges Thema, die betreffenden Abteilungen sollten einbezogen werden, auch, um Ängste zu nehmen. Kurzfristig kann die Integration von AI Friktionen verursachen, aber durchhalten lohnt sich. Um Mitarbeiter mitzunehmen, ist es sinnvoll, Lösungen und Prozesse für abrupte Veränderungen zu finden.

Welche Datengrundlage sollte vorhanden sein?

Datenvorkommen und Datenqualität sind wichtige Themen. Die Daten müssen aber noch gar nicht groß strukturiert sein, auch unstrukturierte Daten aus zum Beispiel Sharepoint, PDF-Dateien oder Website-Inhalte sind verarbeitbar. Aber irgendwelche Daten müssen da sein. Die müssen dann gesäubert werden.

Wie sollten Unternehmen in den nächsten Jahren strategisch und technologisch aufgestellt sein, um datengetrieben und AI-gestützt in eine wettbewerbsfähige Zukunft zu gehen?

Was ich Unternehmen wirklich raten würde, ist, sich einen Use Case rauszusuchen und zu sagen: ‘Wir machen das jetzt einfach mal!’ Sie sollten das ganze als abgesicherten Testballon starten, der auch intern eine gewisse Strahlkraft haben kann. Damit die Bereitschaft in der gesamten Belegschaft vorhanden ist, mit solchen Technologien zu arbeiten. ChatGPT ist ein riesiges Ding, wirklich, und das sollte man jetzt nutzen.

Einfach so damit anfangen? Immerhin handelt es sich um Investitionen, die viele einplanen müssen.

Klar, aber das ist eine strategische Frage. Die meisten Unternehmen sind so in ihrem Tagesgeschäft drin, dass sie sich mit einer solchen Technologie zu wenig auseinandersetzen und die Potenziale nicht sehen. Es ist sicher eine Thematik für das C-Level. Hier muss man sich hinsetzen und strukturiert überlegen, wie AI integriert werden kann. ChatGPT ist ein kompletter Game-Changer, vergleichbar mit der Einführung des PCs. Wie gehen wir damit um, und zwar langfristig? Da reichen nicht ein oder zwei Projektchen, sondern man muss langfristig denken. Es handelt sich um eine Technologie, die ganze Branchen auf den Kopf stellen kann.

Können kleine und mittlere Unternehmen genauso von AI profitieren wie große Unternehmen?

Man kann auch mit relativ wenig Aufwand eine Lösung bauen, die schnell einen Mehrwert liefert. Gerade für Unternehmen, die sich nicht viele Mitarbeiter leisten können, ist AI ein spannendes Thema. Die Entwicklungskosten amortisieren sich schnell.

Welche AI-Technologie würdest du gerne einmal für dich persönlich weiterentwickeln?

Ich würde gerne meinen nächsten Chatbot mit LangChain entwickeln, einem Open Source Framework, das dafür entwickelt wurde, Applikationen mit LLMs zu bauen. Das kann schon spannend werden.

Dieser Artikel erschien in ähnlicher Form erstmalig in Ausgabe 01/24 von data! Alle Ausgaben und Artikel unseres halbjährlich erscheinenden Magazins findest du hier:‍

data! Magazin: Cloud Services, Data Analytics & AI | taod

‍