Home
blog
ki chatbots skalieren ein erfolgreicher prototyp ist noch kein stabiles system

Knowledge Management

KI-Chatbots skalieren: Ein erfolgreicher Prototyp ist noch kein stabiles System

Released on

Montag, 9. November 2026

Harald Huber

7:17

Für IT-Leitungen, Digitalisierungsverantwortliche und Projektleitungen, die einen KI-Chatbot-Piloten erfolgreich abgeschlossen haben und nun vor der Skalierung stehen oder mittendrin stecken, lohnt ein Blick auf eine fast 400 Jahre alte Schiffskatastrophe.

Kennen Sie die Geschichte der Vasa? Gebaut im Auftrag von Gustav II. Adolf sollte das prunkvollste und kampfstärkste Kriegsschiff seiner Zeit Schwedens Macht zeigen. Doch am 10. August 1628 - direkt bei der Jungfernfahrt - sank es nach wenigen Minuten und rund 1 300 Metern Fahrt Stockholmer Hafen.Eine leichte Windböe genügte, denn der Schwerpunkt lag zu hoch. Der König hatte die Anforderungen mehrfach geändert und ein zweites Kanonendeck ohne Bauplan verlangt. Ein Stabilitätstest fiel schlecht aus, doch das Schiff lief trotzdem aus. Heute steht die Vasa nach Ihrer Bergung 1961 im Vasa Museum Stockholm.

KI-Projekte fühlen sich oft an wie die Vasa: Der Pilot gelang, nun soll alles groß und beeindruckend werden. Die Vasa lehrt, worauf es ankommt:

Klare Anforderungen definieren
Ein tragfähiges Umsetzungskonzept entwickeln
Mess- und Analysemöglichkeiten schaffen, um das Zusammenspiel der einzelnen Bausteine zu bewerten

Schauen wir uns an, was diese Themen bei KI Chatbots bedeuten.

Klare Anforderungen definieren

Was soll Ihr KI-Chatbot eigentlich können?

Weil das Pilotprojekt vielversprechende Ergebnisse liefert und die KI bereits brauchbare Antworten gibt, wird häufig darauf verzichtet, konkrete Anforderungen zu definieren. Dabei bleibt offen, welche Fragen der Chatbot beantworten soll.

Denn das – so meint man – ergibt sich ja aus den Dokumenten! Die KI soll zudem in den Dokumenten beschriebenen Auskunft geben. Faktisch läuft das aber darauf hinaus, dass die KI zu allem Auskunft gibt, was sie in die Dokumente hineininterpretiert!

Um hier Probleme zu vermeiden werden in Projekten „Goldstandards“ (oder manchmal auch Competency questions genannt) definiert, also Beispielfragen und Antworten. Diese Fragen geben schonmal eine gute Grundlage, um den Agenten dann auch testen zu können.

Neben den korrekten Antworten ist auch zu klären, welche Qualität der Antworten erwartet wird. Sollen alle möglichen Antworten genannt werden, auch wenn mal eine falsche dabei ist (im technischen Bereich üblich und möglich), oder dürfen nur korrekte Antworten gegeben werden?

In welcher Höhe ist das Risiko einer Fehlauskunft tolerierbar?
Wie schnell soll die Antwort erfolgen und in welcher Form? Soll sofort eine Kundenantwort erstellt werden?

Ohne klare Requirements kann der Projekterfolg nicht abgeschätzt und nicht mal nachträglich beurteilt werden. Klare Requirements sind also unverzichtbar für den Projekterfolg!

Ein tragfähiges Konzept für die Umsetzung

Welche genauen Voraussetzungen für eine stabile Lage des Schiffs notwendig sind, das konnte zum damaligen Zeitpunkt niemand wirklich berechnen. Das ergab sich aus Erfahrungen, die nicht einfach skaliert werden konnten.

Ähnlich scheint es bei KI-Projekten zu sein. Man beschreibt allgemein die eingesetzte Technik. Man testet von „Eingabe der Frage“ bis zu „Erstellung der Antwort“. Und wenn das Ergebnis gut aussieht, ist man zufrieden. Was genau zwischen Frage und Antwort geschehen ist und wie reproduzierbar die Antwort zu anderen Umgebungsbedingungen sein könnte ist damit nicht klar, und die Verlässlichkeit und Skalierbarkeit auch nicht.

Dabei sollte Schritt für Schritt ein klares Konzept dafür bestehen, wie die KI ihre Antwort generiert:

Die Dokumentenbasis:
Welche Dokumente dienen als Basis für die Erstellung der Antwort?
Die Interpretation der Frage:
Wie kann die KI eigentlich die Frage bzw. Aufgabe verstehen? Benötigt sie hierfür schon spezielles, internes Wissen oder liegt das generell vor? Müssen Begriffe übersetzt oder erläutert werden, benötigt sie entsprechendes Wissen zu Zusammenhängen und Beziehungen?

Welche Qualität liegt vor?

Welche Aussagen fehlen eigentlich, weil sie als „Generelles Wissen“ vorausgesetzt werden, oder weil es im entsprechenden Kontext um von allen vorausgesetztes Wissen geht?

Der Zugriff auf die Inhalte
Denn im nächsten Schritt greift die KI in irgendeiner Weise auf die Dokumente zu – über eine Volltextsuche, eine Vektorsuche oder über ein modernes Konzept wie eine agentische Suche. Auf jeden Fall muss die AI die passenden Informationen aus den vorliegenden Dokumenten bekommen, um die Antwort erstellen zu können.
Die Erstellung der Antwort
Als Konstrukteur eines Agenten muss man wissen, wie der Erstellung einer Antwort erfolgt. Findet der Agent einfach in einem FAQ-Katalog die richtige Antwort? Oder muss der Agent Schlussfolgern? Und wie komplex ist das Schlussfolgern? Oder ist das mal so und mal so und das System muss selbst entscheiden, wie es die Antwort generiert?

Und hier ist es wichtig zu verstehen, wie das genau funktioniert und welche Anforderungen die Antwort eigentlich stellt.

Ein Beispiel: Wenn die Frage eine Symptomatik beschreibt, wird eine reine Volltextsuche oder auch Vektorsuche nicht ausreichen, die passenden Textstellen von Lösungen zu finden.

Bestimmt erscheint es manchen Lesern eigentümlich, solche Fragestellungen für das eigene System beantworten zu müssen. Wer jedoch die Konstruktion seiner eigenen Pipeline aus dem Piloten nicht kennt, der weiß nicht wirklich, was das System macht und kann schon durch eine etwas andere Frage, einen etwas anderen Content an das Limit des nicht bestehenden Konzeptes gebracht werden, so dass die Antwort auf einmal unzutreffend ist.

Messen und Analysieren

Testen, Messen und Analysieren ist absolut hilfreich und zeigt auf, wie das System denn tatsächlich arbeitet. Und an welchen Stellen das Ganze „wackelig“ wird. Man nennt das dann auch „Observability“, Beobachtbarkeit. Die oben beschriebenen Schritte müssen nicht nur konzipierbar sein, sondern auch beobachtbar und messbar.

Die Kernvoraussetzung dazu ist, dass man die Erstellung einer Antwort des LLMs als Prozess interpretiert, dessen einzelne Schritte isoliert betrachtet werden können müssen. So kann man die Dokumentenqualität prüfen, jedenfalls dann, wenn man die Fragen kennt.

Man kann die Interpretation der Antwort beobachten und testen, man kann die Suche einzeln bewerten (das führt dann zum Begriff des Context Engineerings) und man kann das System auch dabei beobachten, wie es die Antwort generiert. Und idealerweise kann man für diese Schritte auch einzelne Qualitätsmerkmale festlegen, um wirklich die Skalierbarkeit des Chatbots steuern zu können.

Fazit

Eigentlich ist es wie immer: Natürlich funktioniert ein Pilot ganz gut. Das heißt aber noch nicht, dass man ihn einfacher vergrößern kann. Nimmt man hingegen den Piloten, um die Technik und ihre Eigenheiten zu erlernen und konstruiert die „große Lösung“ dann mit diesem Wissen, dann wird die Skalierung vom „wir probieren’s mal aus“ zur Konstruktion und zum vorhersehbaren System. Damit das Schiff dann auch erfolgreich aus dem Hafen läuft und nicht unglücklich scheitert.

Prüfen Sie, wie gut Ihre Wissensbasis für den zuverlässigen KI-Einsatz aufgestellt ist. Inklusive individueller Expertenanalyse und konkreter Handlungsempfehlungen.
Nur begrenzte Expertenanalysen pro Monat verfügbar.

Frequently Asked Questions

Warum ist ein erfolgreiches KI-Chatbot-Pilotprojekt keine Garantie für eine erfolgreiche Skalierung?

Ein Pilotprojekt zeigt zunächst, dass eine technische Lösung unter bestimmten Bedingungen funktionieren kann. Bei der Skalierung steigen jedoch die Anforderungen an Datenqualität, Antwortgenauigkeit, Performance und Zuverlässigkeit. Was in einer begrenzten Testumgebung funktioniert, muss deshalb nicht automatisch auch bei größeren Datenmengen, komplexeren Fragestellungen und einer höheren Anzahl von Nutzern zuverlässig arbeiten.

Welche Voraussetzungen müssen erfüllt sein, bevor ein KI-Chatbot skaliert wird?

Vor der Skalierung sollten drei wesentliche Grundlagen geschaffen werden: klar definierte Anforderungen (Requirements), ein durchdachtes technisches Umsetzungskonzept und geeignete Möglichkeiten zur kontinuierlichen Messung und Analyse. Erst wenn diese Voraussetzungen erfüllt sind, lässt sich beurteilen, ob die Lösung den Anforderungen im produktiven Betrieb gerecht wird.

Was bedeutet Requirements Engineering bei KI-Chatbots?

Requirements Engineering bezeichnet die systematische Ermittlung, Definition und Dokumentation der Anforderungen an ein technisches System. Bei KI-Chatbots umfasst das beispielsweise die zulässigen Anwendungsbereiche, die zu beantwortenden Fragen, die erforderliche Antwortqualität, die Reaktionszeiten und den Umgang mit Unsicherheiten. Diese Anforderungen bilden die Grundlage für Entwicklung, Tests und spätere Qualitätsbewertung.

Warum reicht es nicht aus, einem KI-Chatbot einfach Unternehmensdokumente zur Verfügung zu stellen?

Dokumente enthalten zwar relevantes Wissen, legen aber nicht automatisch fest, welche Informationen der Chatbot in welchem Zusammenhang verwenden darf. Ohne eine klare Eingrenzung des Anwendungsbereichs kann die KI Zusammenhänge herstellen oder Aussagen ableiten, die fachlich nicht beabsichtigt oder ausreichend belegt sind. Eine gute Wissensbasis benötigt deshalb auch eine klare Definition der Aufgaben und Grenzen des Chatbots.

Welche Bedeutung hat die Qualität der Dokumentenbasis für die Zuverlässigkeit eines KI-Chatbots?

Die Qualität der Antworten hängt wesentlich von der Qualität und Vollständigkeit der zugrunde liegenden Informationen ab. Veraltete, widersprüchliche oder unvollständige Dokumente können zu unzutreffenden Ergebnissen führen. Zusätzlich muss berücksichtigt werden, welches Hintergrundwissen für die Beantwortung einer Frage erforderlich ist und ob dieses in der Wissensbasis tatsächlich vorhanden ist.

Was ist Context Engineering und warum ist es für KI-Chatbots wichtig?

Context Engineering beschäftigt sich damit, der KI für eine konkrete Aufgabe die richtigen Informationen im passenden Zusammenhang bereitzustellen. Dazu gehört insbesondere die Bewertung und Optimierung der Suchmechanismen, mit denen relevante Inhalte aus einer Wissensbasis ermittelt werden. Denn selbst ein leistungsfähiges Sprachmodell kann keine verlässliche Antwort liefern, wenn ihm die entscheidenden Informationen fehlen.

Reicht eine Vektorsuche aus, um relevante Informationen für einen KI-Chatbot zu finden?

Nicht unbedingt. Eine Vektorsuche identifiziert Inhalte anhand semantischer Ähnlichkeiten. Bei komplexen Fragestellungen, beispielsweise wenn eine technische Symptomatik beschrieben wird und dazu passende Lösungsansätze gefunden werden müssen, kann das allein unzureichend sein. Je nach Anwendungsfall können eine Kombination aus Volltextsuche, Vektorsuche und agentischen Suchverfahren sowie zusätzliche fachliche Logik erforderlich sein.

Welche Rolle spielt die Antwortgenerierung bei der Entwicklung eines zuverlässigen KI-Chatbots?

Die Antwortgenerierung ist ein eigenständiger Prozessschritt, der gezielt gestaltet und überprüft werden muss. Dabei ist entscheidend, ob der Chatbot Informationen lediglich aus einer FAQ-Datenbank abruft, mehrere Quellen zusammenführt oder komplexe Schlussfolgerungen ziehen soll. Je nach Fragestellung kann eine andere Vorgehensweise erforderlich sein. Die technische Architektur muss diese unterschiedlichen Anforderungen berücksichtigen.

Was bedeutet Observability bei KI-Chatbots?

Observability, auf Deutsch Beobachtbarkeit, beschreibt die Möglichkeit, die internen Abläufe eines KI-Systems nachvollziehbar zu machen und systematisch zu überwachen. Bei einem KI-Chatbot betrifft das beispielsweise die Interpretation einer Nutzerfrage, den Abruf relevanter Informationen und die anschließende Antwortgenerierung. So lässt sich erkennen, an welcher Stelle Fehler entstehen und welche Komponenten die Qualität der Antworten beeinflussen.

Wie lässt sich die Qualität und Zuverlässigkeit eines KI-Chatbots messen?

Dafür sollten geeignete Qualitätskriterien für die einzelnen Prozessschritte definiert werden. Dazu zählen beispielsweise die Qualität der Wissensbasis, die Relevanz der gefundenen Informationen, die korrekte Interpretation von Fragen, die fachliche Richtigkeit der Antworten und die Reaktionsgeschwindigkeit. Regelmäßige Tests und Analysen machen sichtbar, wo Optimierungsbedarf besteht und ob das System die vereinbarten Anforderungen erfüllt.

Wie wird aus einem KI-Pilotprojekt ein dauerhaft skalierbares System?

Entscheidend ist, die Erkenntnisse aus dem Pilotprojekt systematisch für die Entwicklung der späteren Lösung zu nutzen. Statt eine zunächst funktionierende Anwendung lediglich zu vergrößern, sollten ihre technischen Abläufe verstanden, gezielt gestaltet und messbar gemacht werden. Mit klaren Anforderungen, einer durchdachten Architektur und kontinuierlicher Observability entsteht eine belastbare Grundlage für den zuverlässigen produktiven Betrieb und die schrittweise Skalierung des KI-Chatbots.