Die falsche KI ist auch keine Lösung

Die Vielfalt an Large Language Modells (LLMs) ist überwältigend – und jedes hat Vor- und Nachteile, je nachdem, was man damit machen möchte. LLMs sind damit dem Menschen nicht unähnlich: Es gibt Stärken und Schwächen, unterschiedliche Profile eignen sich für unterschiedliche Aufgaben. Um den Überblick über den richtigen Einsatz, den Datenschutz und die Kosten zu behalten, stehen inzwischen so genannte AI Gateways bereit. Was genau machen die eigentlich?

Worauf es alles ankommt

Will ein Unternehmen für seine Kundenserviceabteilung eine KI einführen, die den Intent des Anfragers erkennt, ihm evtl. zur Weiterleitung an einen Agenten erste Fragen stellt und das Gespräch am Ende automatisiert zusammenfasst – wer weiß wirklich, welches LLM hier geeignet ist? Und dann sind da noch viele weitere Fragen: Hey, was passiert eigentlich mit den Daten meiner Kunden? Wo wird die KI gehostet? Vielleicht in Deutschland, wie zum Beispiel Alev Alpha? Und kommt es darauf an, ob man einen Chatbot oder einen Voicebot haben möchte? Klar kommt es darauf an! Es geht nämlich u.a. um völlig unterschiedliche Reaktionszeiten: Im Falle eines Voicebots soll dieser einen menschenähnlichen Dialog führen, da sind Antwortzeiten von 40 Sekunden natürlich nicht tragbar. Und es nützt herzlich wenig, eine KI einzusetzen, die zwar akkurate Antworten gibt, aber dabei leider nicht besonders flott ist, weswegen die Auflege-Rate am Telefon explodiert und 98 Prozent erreicht. Falsche KI am Werk. 

Schluss mit Fragezeichen!

Hierfür gibt es Experten und oder ganze Forschungsabteilungen, die nichts anderes tun, als die vielen LLMs anzuschauen und danach zu bewerten, für welchen Anwendungsfall was geeignet ist. Das Ergebnis sind AI Gateways. Dabei geht es auch um die Möglichkeiten, Daten von Nutzern, also den eigenen Kunden, zu schützen, Stichwort Compliance. Will ein Fahrrad-Fachgeschäft wirklich den Namen eines Kunden, seine Anschrift, seine Einkäufe samt Zubehör einfach einer KI in den USA schicken, nur weil Rudi Radler am Sonntag um 23 Uhr eine Frage zu mobilen Solarpanels hat, mit denen er seinen Akku laden kann? Kaum. Was tun? Die Zauberworte lauten Anonymisierung, Pseudonymisierung und Re-Pseudonymisierung. Lässt sich nur schwer aussprechen, ist aber mitunter verdammt wichtig. Klar, in manchen Fällen ist es auch egal, wenn Daten in die USA gehen. Wer seinen Kunden eine KI anbietet, die Witze erzählt – go for it! Es kommt halt immer drauf an, wie hoch das eigene Schutzbedürfnis für den jeweiligen Anwendungsfall ist. Die ganze Bandbreite ist möglich und ein AI Gateway findet den richtigen Weg durch den Dschungel. 

So gelingt das KI-Management

Man muss, wenn man mit LLMs spielt, natürlich Spielregeln oder Trails aufstellen bzw. ein Spielfeld bestimmen, innerhalb dessen sich das LLM zur Automatisierung oder auch Teilautomatisierung eines Prozesses bewegen darf. Und das ist die Dialogführung. Dazu braucht es klare, einfache Anweisungen. Das beginnt schon bei der Begrüßung: Wollen Sie, dass die Bots Ihre Kunden duzen oder siezen? Sollen sie Smileys nutzen und Smalltalk beherrschen oder eher in Zahlen, Daten und Fakten antworten?  Darf bzw. soll der Voicebot einen Anrufer an einen Mitarbeiter weiterleiten oder nicht? Soll er einen Rückruf initiieren? Dann muss er nach der Telefonnummer fragen. Und idealerweise zum gewünschten Zeitpunkt gleich über die cloudbasierte Telefonanlage den Rückruf starten. Soll der Chatbot einen erkannten Interessenten in einen Lead verwandeln, seine Daten im CRM anlegen? Oder muss er den Kontakt an einen Mitarbeiter übergeben? Er darf gern Produktinfos aus den FAQs oder Handbüchern nutzen, aber interne Unternehmensinfos behält er bitte für sich. 

Das heißt: Sie entscheiden über Ihr Schutzbedürfnis und die schützenswerten Informationen. Das betrifft Datenbanken, Ihr Wiki, alle möglichen Medien, Dokumente, PDFs. Über Gateways lässt sich das fein justieren. So steuern Sie das Verhalten der KI und bauen eine Dialogführung auf. Gateways wählen dann das LLM aus, das für diese Aufgabe das am besten geeignete ist und sorgen dafür, dass die von Ihnen gewünschten Guardrails eingehalten werden und der Bot bei kritischen Nachfragen nicht etwa das Produkt eines Wettbewerbers empfiehlt. Tipp an dieser Stelle: Unterschätzen Sie niemals den Ehrgeiz von Nutzern, die Dialogführung auszutricksen. Einem Mitarbeiter von mir ist es mal gelungen, einen Bot immer mit „Ooink. Ooink. Ooink“ antworten zu lassen. Der hat sich tagelang gefreut. Also der Mitarbeiter. 

Wie mit Gateways Kosten zu Kostentransparenz und Kostenkontrolle werden

Wie cool wäre es zudem, wenn wir wissen würden, wieviele Tokens wir beim Einsatz unserer KI wirklich verbraucht haben und welcher Bot welcher Abteilung welche Kosten verursacht hat? Mit einem Gateway ist das möglich. Sie können sogar Budgets vergeben und etwa dem Marketing sagen: Hier habt ihr eine bestimmte Summe für euren Bot – guckt, was ihr damit machen könnt. So geht Kostentransparenz, so gelingt die klassische Berechnung des Return on Investment. Denn nur so ist klar, welcher Bot-Einsatz sich wirklich rentiert und was vielleicht nur super-fancy ist aber nichts beiträgt zum Erfolg. Und noch ein Tipp: KI sollte nicht nur zur Steigerung der betrieblichen Effizienz eingesetzt werden, sondern auch zur Verbesserung des Kundenerlebnisses durch kürzere Wartezeiten und präzisere Lösungen. Sie dürfen es intern gern auch andersherum verkaufen, wenn das hilft: KI sollte nicht nur zur Verbesserung des Kundenerlebnisses durch kürzere Wartezeiten und präzisere Lösungen eingesetzt werden, sondern auch zur Steigerung der betrieblichen Effizienz.  

Fazit: Ja, der Einsatz von KI setzt die Bereitschaft voraus, sich mit KI zu beschäftigen. Aber dafür gibt es Experten. Und nein, der Aufwand ist nicht größer als der Nutzen. Im Gegenteil: Es lohnt sich tatsächlich. Den Anschluss zu verlieren, ist nämlich keine Option.