Agentic AI Workflow: Die Architektur hinter USU Knowledge

Die Erstellung von Inhalten für eine Wissensdatenbank kostet Zeit. Viel Zeit. Für Teams, die ihre Prozesse dokumentieren, ist das eine der größten Herausforderungen. Generative KI sollte das ändern: Sie beschreiben, was Sie benötigen, und die KI schreibt den Artikel. Mit unserem KI-Agenten USU Knowledge für die Erstellung von Wissensartikeln und Entscheidungsbäumen haben wir genau mit diesem Versprechen begonnen.

In diesem Artikel zeigen wir Ihnen, welche Ansätze wir getestet und verworfen haben und welche Architektur wir entwickelt haben, um USU Knowledge zu verbessern.

Das Feedback, mit dem alles begann

Als wir USU Knowledge eingeführt haben, war unser Versprechen dasselbe wie das vieler anderer Anbieter: Sie beschreiben, was Sie dokumentieren möchten, und die KI übernimmt die Texterstellung. Technisch funktionierte das. Die KI erstellte Inhalte schnell und in gut lesbarer Form. Doch das Feedback unserer Nutzenden zeigte immer wieder dieselben Probleme:

„Die Inhalte sind zu allgemein und nicht präzise genug.“

„Struktur und Format sind nie wirklich einheitlich.“

„Wenn ich ohnehin alles überarbeiten muss, bin ich selbst schneller.“

„Ich vertraue den Ergebnissen nicht. Deshalb nutze ich das Tool nicht.“

Das eigentliche Problem war nicht die sprachliche Qualität. Es war der hohe Aufwand für die Nachbearbeitung.

Die KI lieferte vollständige Texte. Doch die Nutzenden mussten jeden Absatz prüfen, um herauszufinden, welche Informationen stimmten und welche nicht. Die Struktur entsprach nicht immer den eigenen Artikelvorlagen. Manche Passagen enthielten allgemeine Aussagen statt konkreter interner Prozesse. Vor allem fehlte die Möglichkeit, nachzuvollziehen, an welcher Stelle Fehler entstanden waren. Statt „Erstellen und veröffentlichen“ sah der tatsächliche Arbeitsablauf so aus: „Erstellen, Zeile für Zeile prüfen, Prompt anpassen, neu generieren und von vorne beginnen.“

Die Zeit, die KI beim Schreiben sparte, ging bei der Überarbeitung verloren.

„Die Nutzung war gering, weil die Funktion nur in eine Richtung arbeitete: Die Nutzenden gaben einen Prompt ein, und der Agent erstellte den Inhalt. Doch niemand erstellt beim ersten Versuch den perfekten Inhalt. Ein KI-Agent ohne Kontext kann kaum relevante Inhalte erstellen.“ Théo Rosen, AI Product Manager bei Mayday part of USU

Wir hätten versuchen können, das Problem durch eine Anpassung des System-Prompts zu lösen. Stattdessen haben wir uns entschieden, die Architektur grundlegend zu überdenken. 

Warum One-Shot-Prompting an seine Grenzen stößt

….Und warum ein leistungsfähigeres KI-Modell das Problem nicht löst

Wenn ein KI-Ergebnis nicht überzeugt, liegt eine Lösung nahe: ein leistungsfähigeres Modell einsetzen. Der Gedanke ist nachvollziehbar. Neuere Modelle formulieren besser, verarbeiten mehr Kontext und machen weniger Fehler bei Informationen, die sie bereits kennen. Die Texte wirken dadurch hochwertiger. Doch das macht sie nicht automatisch besser nutzbar.

Denn ein leistungsfähigeres Modell verbessert die Textqualität, aber nicht den Prozess der Inhaltserstellung. Es erledigt weiterhin alle Aufgaben gleichzeitig. Und es bleibt schwer nachvollziehbar, an welcher Stelle die KI Informationen ergänzt oder Annahmen getroffen hat. Wo liegen die Grenzen generativer KI und was verändert die Orchestrierung von KI-Agenten? In diesem Artikel erklären wir die Hintergründe.

Das Problem liegt im Aufbau des Prozesses.Wenn Sie ein KI-Modell auffordern, einen vollständigen Artikel in einem Schritt zu erstellen, muss es gleichzeitig vier unterschiedliche Aufgaben lösen:

• Verlässliche Quellen finden
• Eine sinnvolle Struktur entwickeln
• Den Artikel schreiben
• Das eigene Ergebnis überprüfen

Diese Aufgaben verfolgen unterschiedliche Ziele. Besonders deutlich wird das bei der Recherche und beim Schreiben.

Recherche erfordert Genauigkeit und Nachvollziehbarkeit.

Es reicht nicht, ein Dokument zu öffnen. Die KI muss entscheiden, wo sie sucht, welche Quellen relevant sind und welchen Informationen sie vertrauen kann. Ist eine Prozessbeschreibung noch aktuell? Widersprechen sich ein Wissensartikel und eine interne Notiz? Welche Quelle ist maßgeblich? Und stammt eine Information tatsächlich aus Ihrer Wissensdatenbank oder aus dem allgemeinen Trainingswissen des Modells? Eine zuverlässige Recherche muss auch zu dem Ergebnis kommen können: „Diese Information ist in Ihren Quellen nicht vorhanden.“

Schreiben erfordert dagegen einen flüssigen und zusammenhängenden Text

Wenn ein Modell beide Aufgaben gleichzeitig erledigt, bevorzugt es häufig einen vollständigen, gut lesbaren Text. Fehlen Informationen oder widersprechen sich Quellen, ergänzt es unter Umständen Inhalte aus seinem allgemeinen Wissen, statt die Lücke offenzulegen. Das Ergebnis ist dann ein Artikel über typische Abläufe Ihrer Branche. Sie benötigen aber eine Beschreibung Ihrer tatsächlichen Prozesse.

So entstehen Halluzinationen im Wissensmanagement. Nicht unbedingt, weil das Modell technisch fehlerhaft ist, sondern weil der Arbeitsauftrag zu viele unterschiedliche Aufgaben gleichzeitig umfasst. Für Content-Verantwortliche entsteht daraus ein weiteres Problem: Ein Ergebnis, das in einem einzigen Schritt entsteht, lässt sich nur als Ganzes bewerten.

Sie können nicht zuerst die Quellen prüfen und anschließend die Struktur freigeben. Sie können auch nicht gezielt sagen: „Die Quellen stimmen, aber die Gliederung muss angepasst werden.“ Stattdessen müssen Sie das gesamte Ergebnis akzeptieren oder neu erstellen lassen. Genau diese Erfahrung machten unsere Kunden. Und genau deshalb nutzten viele solche Funktionen kaum noch.

Welche Rolle Content-Verantwortliche spielen?

KI im Kundenservice wird nicht durch die Auswahl eines Anbieters oder die Leistungsfähigkeit eines Modells definiert. Entscheidend ist die Stärke des Wissensmanagements.

Viele Unternehmen stellen sich die gleiche Frage: Warum scheitern KI-Initiativen im Kundenservice? Die Antwort ist oft überraschend einfach: Die Technologie ist bereit – die Wissensbasis ist es nicht. Wird Wissen als operative Infrastruktur verstanden, kann KI Klarheit, Geschwindigkeit und Konsistenz skalieren. Wird Wissen hingegen nur als statische Dokumentation behandelt, verstärkt KI bestehende Inkonsistenzen.

KI-Strategie und Wissensstrategie dürfen nicht isoliert betrachtet werden. Sie müssen sich gemeinsam weiterentwickeln.

Die Schlussfolgerung ist klar: Keine KI ohne Wissensmanagement. Alles andere ist Optimierung auf einer instabilen Grundlage. KI behebt keine schwachen Grundlagen. Sie verstärkt sie. Wer KI im Kundenservice erfolgreich einsetzen will, muss sie auf ein strukturiertes und gesteuertes Wissensmanagement-System aufbauen.

Ohne verlässliches Wissen skaliert KI keine Service-Exzellenz sondern Verwirrung.

„Wir haben den Prozess der Inhaltserstellung gemeinsam mit Knowledge Managern Schritt für Schritt analysiert.“ Théo Rosen. 

Der direkte Austausch mit unseren Nutzenden gehört zu unserer täglichen Arbeit. Das Feedback hat jedoch verändert, welche Fragen wir gestellt haben. Wir wollten nicht mehr nur wissen, was am Tool nicht funktioniert. Das war bereits klar. Stattdessen wollten wir verstehen, wie Content-Verantwortliche tatsächlich arbeiten und welche Schritte für gute Wissensinhalte entscheidend sind. Dabei haben wir vier zentrale Erkenntnisse gewonnen.

1. Gute Inhalte beginnen mit einer gründlichen Recherche.

Bevor jemand einen Artikel schreibt, muss das Thema klar sein. Dazu gehört auch die Prüfung bereits vorhandener Inhalte. Ein neuer Artikel, der bestehendes Wissen lediglich dupliziert, verbessert die Wissensdatenbank nicht. Er macht sie unübersichtlicher.

2. Die Struktur entsteht durch schrittweise Verbesserung.

Ein guter Wissensartikel muss nicht nur verständlich geschrieben sein. Service-Mitarbeitende müssen die richtige Information innerhalb weniger Sekunden finden können, auch während eines laufenden Kundengesprächs. Ob das gelingt, entscheidet sich bereits bei der Gliederung.

3. Die Perspektive der Lesenden ist entscheidend.

Wer einen Prozess dokumentiert, kennt das Thema meist sehr gut. Die Person, die den Artikel später nutzt, kennt ihn möglicherweise noch nicht. Deshalb müssen Content-Verantwortliche die Inhalte aus der Sicht der Menschen prüfen, die zum ersten Mal damit arbeiten.

4. Einheitliche Begriffe verbessern die Verständlichkeit.

Wenn drei Artikel denselben Arbeitsschritt unterschiedlich benennen, erschwert das die Orientierung. Auch die Suche liefert dann möglicherweise nicht die passenden Ergebnisse. Deshalb braucht eine Wissensdatenbank eine klare und einheitliche Terminologie. Diese vier Aufgaben haben unterschiedliche Ziele. Sie bauen aufeinander auf und sollten nacheinander erfolgen. Besonders wichtig ist dabei, die Struktur vor der eigentlichen Texterstellung zu prüfen und freizugeben. Genau diesen Ablauf wollten wir mit USU Knowledge nachbilden.

Welche Ansätze wir untersucht und verworfen haben

Bevor wir uns für die Orchestrierung spezialisierter KI-Agenten entschieden haben, haben wir verschiedene Lösungsansätze geprüft.

Prompt Chaining: Mehrere KI-Anfragen hintereinander

Beim Prompt Chaining führt die KI mehrere Aufgaben in einer festen Reihenfolge aus. Zuerst recherchiert sie, dann erstellt sie die Struktur und anschließend schreibt sie den Text. Das lässt sich vergleichsweise einfach umsetzen. Der Nachteil: Der Ablauf bleibt starr. Die einzelnen Schritte folgen immer derselben Reihenfolge, unabhängig davon, welche Probleme auftreten. Findet die KI keine geeignete Quelle, läuft der Prozess trotzdem weiter.

Verlässliche Quellen finden
Eine sinnvolle Struktur entwickeln
Den Artikel schreiben
Das eigene Ergebnis überprüfen

Enhanced RAG: Bessere Quellen für die KI

Mit einem verbesserten Retrieval-Augmented-Generation-Ansatz (RAG) lassen sich relevantere Informationen aus der Wissensdatenbank abrufen. Das ist wichtig. Deshalb haben wir auch diesen Bereich verbessert. Doch bessere Quellen allein lösen das grundlegende Problem nicht. Wenn ein Modell weiterhin Recherche, Strukturierung, Schreiben und Qualitätsprüfung gleichzeitig erledigen muss, bleibt der Prozess schwer kontrollierbar.

Fine-Tuning: Individuell trainierte Modelle

Eine weitere Möglichkeit wäre, KI-Modelle auf die spezifischen Dokumentvorlagen jedes Kunden zu trainieren. So könnte die KI die gewünschte Struktur und Formatierung besser berücksichtigen. Allerdings müssten wir für jeden Kunden ein eigenes Modell pflegen. Und auch dieser Ansatz löst nicht die Frage, wie die KI mit fehlenden oder widersprüchlichen Quellen umgeht.

Alle drei Ansätze haben eine Gemeinsamkeit: Sie versuchen, die Erstellung in einem Durchlauf zu verbessern. Keiner macht den gesamten Prozess ausreichend transparent und überprüfbar.

Agenten-Orchestrierung: Eine andere Architektur für die Inhaltserstellung

Bei der Agenten-Orchestrierung übernimmt jeder KI-Agent eine klar definierte Aufgabe. Ein übergeordneter Agent koordiniert den Ablauf. Er entscheidet, welcher spezialisierte Agent wann aktiv wird, welche Informationen er erhält und wie das System auf Fehler reagiert.

Doch die Anzahl der Agenten ist NICHT das Entscheidende.

„Der eigentliche Fortschritt besteht nicht darin, einen großen Prompt durch mehrere kleine zu ersetzen. Entscheidend ist, dass wir den Erstellungsprozess kontrollierbar machen. Jeder Agent hat eine klare Aufgabe, die Nutzenden geben die Struktur vor dem Schreiben frei und Fehler lassen sich genau dort korrigieren, wo sie entstehen. Erst die Kombination aus spezialisierten Agenten und menschlicher Kontrolle macht aus einer Demo mit generativer KI ein Produkt, das auch im großen Maßstab funktioniert.“ Olivier Maillot, Head of Data & AI bei Mayday part of USU

Das Konzept klingt einfach. In der Praxis bringt es jedoch neue technische Herausforderungen mit sich. Genau deshalb setzen bisher nur wenige Anbieter auf eine solche Architektur.

Welche Herausforderungen entstehen?

Fehler können sich über mehrere Schritte ausbreiten.

Wenn der Recherche-Agent eine ungeeignete Quelle auswählt, beeinflusst das alle folgenden Schritte. Deshalb braucht der Prozess gezielte Kontrollpunkte.

Jeder Agent benötigt den richtigen Kontext.

Die spezialisierten Agenten müssen genau die Informationen erhalten, die sie für ihre Aufgabe brauchen. Zu wenig Kontext führt zu Fehlern. Zu viel Kontext erschwert die Verarbeitung.

Mehrere Schritte benötigen mehr Zeit.

Jede Anfrage an ein KI-Modell wird als Call bezeichnet. Beim One-Shot-Prompting genügt ein einziger Call. Bei einer orchestrierten Architektur entstehen mehrere Anfragen. Das verlängert grundsätzlich die Verarbeitungszeit. Doch Geschwindigkeit ist ein wichtiger Grund, warum Menschen KI nutzen. Wenn ein Tool mehrere Minuten für einen Text benötigt, den die Nutzenden in zehn Minuten selbst schreiben könnten, sinkt die Akzeptanz. Deshalb geht es nicht nur darum, die Wartezeit zu reduzieren.

Der Fortschritt muss auch sichtbar sein.

Statt eines einfachen Ladebildschirms sollen Nutzende erkennen, welcher Agent gerade arbeitet, welche Aufgabe er erledigt und welche Ergebnisse bereits vorliegen.

Mehr Anfragen verursachen höhere Kosten.

Eine Architektur mit mehreren Agenten benötigt mehr Modellaufrufe pro Inhalt. Sie lohnt sich deshalb nur, wenn die eingesparte Zeit bei der Nachbearbeitung diesen zusätzlichen Aufwand rechtfertigt.

Fehler müssen gezielt behandelt werden.

Das ist eine der größten Herausforderungen. Was passiert, wenn ein Agent keine Informationen findet? Für uns ist die Antwort klar: Der Prozess soll nicht einfach weitermachen. Das System muss die fehlenden Informationen offenlegen.

So funktioniert die neue Architektur von USU Knowledge

USU Knowledge nutzt heute mehrere spezialisierte KI-Agenten, die gemeinsam den Arbeitsablauf erfahrener Content-Verantwortlicher nachbilden.

Der Prozess beginnt mit einer Frage, nicht mit der Texterstellung.

Zunächst analysiert USU Knowledge was Sie erreichen möchten. Sind Informationen unklar, stellt der Agent gezielte Rückfragen.Eine der ersten Fragen lautet: Möchten Sie einen Wissensartikel oder einen Entscheidungsbaum erstellen? Beide Formate benötigen eine unterschiedliche Struktur. Deshalb klären wir diese Frage, bevor die eigentliche Arbeit beginnt. Anschließend durchläuft USU Knowledge vier Schritte.

1. Der Recherche-Agent findet relevante Quellen

Der Recherche-Agent durchsucht Ihre Wissensdatenbank und angebundene Dokumente. Er identifiziert relevante Inhalte, zeigt verwandte Artikel an und berücksichtigt Ihre Vorgaben für die Texterstellung. Seine Aufgabe ist ausschließlich die Recherche. Er schreibt keine Texte und muss deshalb fehlende Informationen nicht durch eigene Formulierungen ergänzen.

Wenn eine Information nicht vorhanden ist, weist er darauf hin.

2. Der Struktur-Agent erstellt eine passende Gliederung

Auf Basis der geprüften Quellen entwickelt der Struktur-Agent einen Aufbau für Ihren Artikel. Dabei kann er vorhandene Dokumentvorlagen berücksichtigen. Sie nennen einfach die gewünschte Vorlage in Ihrer Anfrage. USU Knowledge übernimmt deren Abschnitte, Reihenfolge und Format.

Bevor die KI mit dem Schreiben beginnt, erhalten Sie die Gliederung zur Freigabe.

Sie können diese beliebig oft anpassen. Und genau hier liegt einer der größten Vorteile der Architektur: Sie korrigieren die Struktur, wenn das nur dreißig Sekunden dauert, statt später einen Artikel mit 3.000 Wörtern überarbeiten zu müssen.

3. Der Schreib-Agent erstellt den Inhalt

Sobald Sie die Struktur freigegeben haben, übernimmt der Schreib-Agent. Er erstellt den Artikel auf Basis der geprüften Quellen und der bestätigten Gliederung. Dabei berücksichtigt er das gewünschte Format. So entsteht ein Text, der sich an Ihren tatsächlichen Inhalten und Vorgaben orientiert.

4. Der Prüf-Agent kontrolliert das Ergebnis

Nach der Texterstellung prüft ein weiterer Agent den Inhalt. Er erkennt mögliche Abweichungen von der freigegebenen Struktur, Aussagen ohne ausreichende Quellen und Punkte, die Ihre Entscheidung erfordern. So sehen Sie gezielt, welche Stellen noch Aufmerksamkeit benötigen.

Ein übergeordneter Agent koordiniert den Ablauf

Er steuert den gesamten Prozess. Er legt die Reihenfolge fest, übergibt den einzelnen Agenten die relevanten Informationen und behandelt Fehler. Der wichtigste Unterschied liegt nicht in der Anzahl der Agenten.

Entscheidend ist, wann Sie in den Prozess eingreifen.

Bei einer Erstellung in einem einzigen Durchlauf prüfen Sie das Ergebnis erst am Ende. Dann ist der gesamte Text bereits geschrieben. Mit USU Knowledge bringen Sie Ihre Expertise früher ein: bei der Freigabe der Struktur und anschließend bei der Entscheidung über die Veröffentlichung.

„Das ist ein Paradigmenwechsel: Die Nutzenden arbeiten in jeder Phase der Inhaltserstellung mit dem Agenten zusammen. Von der Recherche über die Strukturierung bis zur Einhaltung der Qualitätsstandards.“ Théo Rosen.

Entscheidungsbäume: Warum die Struktur hier besonders wichtig ist

USU Knowledge erstellt nicht nur Wissensartikel, sondern auch Entscheidungsbäume. Diese führen Service-Teams Schritt für Schritt durch einen Prozess und helfen ihnen, die passende Lösung zu finden. Gerade bei diesem Format zeigt die neue Architektur ihre Stärken. Ein schlecht strukturierter Wissensartikel lässt sich bei der Überarbeitung häufig relativ einfach korrigieren. Sie verschieben einen Abschnitt oder formulieren einen Übergang neu.

Bei einem Entscheidungsbaum ist das anders. Wenn die erste Frage falsch gewählt ist oder ein wichtiger Entscheidungszweig fehlt, müssen Sie möglicherweise den gesamten Ablauf neu aufbauen. Denn die Logik eines Entscheidungsbaums bestimmt alle folgenden Schritte.

Bei der Erstellung in einem einzigen KI-Durchlauf lässt sich diese Logik kaum vorab kontrollieren. Mit USU Knowledge legen Sie deshalb zuerst die Struktur fest. Sie prüfen die Fragen, Verzweigungen und möglichen Ergebnisse, bevor die KI die einzelnen Schritte ausformuliert. Anschließend sehen Sie die vollständige Struktur in Mayflow.

Dort können Sie gemeinsam mit dem Agenten weitere Anpassungen vornehmen, bis der Entscheidungsbaum Ihren tatsächlichen Geschäftsprozessen entspricht.

Das Ergebnis: Ein Artikel, eine Unterhaltung

Wir haben uns ein bewusst anspruchsvolles Ziel gesetzt:

USU Knowledge soll veröffentlichungsreife Wissensinhalte innerhalb einer einzigen Unterhaltung erstellen.

Ohne immer wieder neue Prompts formulieren oder den gesamten Prozess neu starten zu müssen. Struktur, Inhalt und Format sollen bereits beim ersten vollständigen Ergebnis Ihren Vorgaben entsprechen. Genau darauf ist USU Knowledge heute ausgelegt.

„Die Nutzenden benötigen weniger Zeit, um Inhalte zu erstellen, die ihren Qualitätsstandards entsprechen. Gleichzeitig lassen sich Antworten leichter finden und die Qualität der Wissensdatenbank bleibt hoch.“ Théo Rosen. Der Nutzen geht dabei über die reine Zeitersparnis hinaus.

Wenn Inhalte auf den richtigen Quellen basieren, Ihren Strukturvorgaben entsprechen und einheitliche Begriffe verwenden, profitieren alle Systeme, die auf dieses Wissen zugreifen. Ihre Suchfunktion findet relevante Informationen leichter. KI-Agenten können zuverlässigere Antworten erstellen. Und Service-Teams erhalten schneller die Unterstützung, die sie benötigen.

Die Qualität Ihrer Wissensdatenbank bestimmt damit auch die Qualität aller Anwendungen, die auf ihr aufbauen.

Was dieser Ansatz über unsere Arbeitsweise zeigt

Wir haben uns nicht für die Agenten-Orchestration entschieden, weil sie die einfachste oder naheliegendste Lösung war.

Wir haben uns dafür entschieden, weil unsere Kunden ein konkretes Problem beschrieben haben, das sich mit One-Shot-Prompting nicht ausreichend lösen ließ. Deshalb haben wir zugehört, verschiedene Ansätze untersucht und eine Architektur entwickelt, die den tatsächlichen Arbeitsablauf von Content-Verantwortlichen unterstützt. Genauso möchten wir unsere Produkte weiterentwickeln: Wir nehmen das Feedback unserer Nutzenden ernst, suchen nach Lösungen, die im Alltag einen Unterschied machen, und setzen diese konsequent um.

Möchten Sie USU Knowledge in Aktion erleben?

Erfahren Sie, wie Sie mit USU Knowledge Wissensartikel und Entscheidungsbäume erstellen, Ihre Qualitätsstandards einhalten und den Aufwand für die Nachbearbeitung reduzieren.