Ein Agent für viele Fälle

Multi-Agenten-Plattformen bieten sowohl in der Softwareentwicklung als auch in der Technischen Redaktion vielseitige Ansätze zur Prozessoptimierung und Automatisierung. In der Softwareentwicklung können Multi-Agenten-Systeme Aufgaben wie Code-Analyse oder automatisierte Tests übernehmen. In der Technischen Redaktion erleichtern sie die Überprüfung von neuen Inhalten und ermöglichen die nahtlose Integration von Inhalten aus unterschiedlichen Quellen. Ihre größte Stärke liegt in ihrer Flexibilität, mit der sie maßgeschneiderte, effiziente Lösungen für komplexe Workflows bereitstellen können.

In den nächsten Abschnitten stelle ich Ihnen vier dieser Plattformen vor:

• FlowiseAI
• LLMStack
• Langflow
• AutoGen Studio

Im Text folgen einige Fachwörter und Abkürzungen, die im Glossar näher erklärt werden (Inf. 01).

Einsteigerfreundliche Plattform

FlowiseAI ist eine benutzerfreundliche und frei zugängliche (Open-Source) No-Code-Plattform für die Konfiguration von Chatbots, Assistenten und Multi-Agenten-Systemen. Sie ermöglicht auch Personen ohne Programmierkenntnisse die Erstellung komplexer Workflows. In FlowiseAI arbeiten Multi-Agenten-Systeme mit einem Supervisor-Worker-Modell. Ein Supervisor verteilt die Aufgaben an einzelne Worker-Agenten. Entweder der Supervisor oder die einzelnen Worker können mit unterschiedlichen Large Language Models (LLMs) verknüpft werden. Dadurch lassen sich für spezifische Aufgaben unterschiedliche Modelle verwenden. Die Plattform bietet eine intuitive Drag-and-Drop-Oberfläche, die die Konfiguration und Anpassung von Workflows besonders einfach und übersichtlich macht. Trotz dieser Benutzerfreundlichkeit stößt die Plattform jedoch bei hochkomplexen Projekten an ihre Grenzen. Daher ist FlowiseAI besonders für kleine bis mittlere Projekte geeignet. Für umfangreiche und stark spezialisierte Multi-Agenten-Systeme sind flexiblere Plattformen mit umfangreicheren Konfigurationsmöglichkeiten passender.

Eine Open-Source-Lösung

LLMStack ist eine Open-Source-Plattform. Auf ihr können Entwickler Multi-Agenten-Systeme und generative KI-Workflows erstellen und verwalten. Im Gegensatz zu FlowiseAI richtet sich LLMStack an technisch versierte Nutzer, die einen hohen Grad an Kontrolle erwarten. Systeme können lokal oder in der Cloud betrieben werden. Ein besonderer Vorteil von LLMStack liegt in seiner Offenheit und Modularität. Entwickler können den Quellcode nach ihren Anforderungen modifizieren und dadurch maßgeschneiderte Lösungen auch für komplexe Aufgabenstellungen entwickeln.

LLMStack unterstützt die Integration unterschiedlicher Datenquellen und APIs. Damit ist es möglich, die Multi-Agenten-Systeme nahtlos in bestehende Infrastrukturen oder Produkte einzubetten. LLMStack bietet keine grafische Benutzeroberfläche, sondern setzt auf ein API-gesteuertes Design, das Entwicklern maximale Flexibilität gibt. Die Nutzung von LLMStack erfordert daher technisches Verständnis und Programmierkenntnisse.

Eine weitere Open-Source-Lösung

Langflow ist eine Open-Source-Plattform für die Erstellung von KI-gestützten Workflows und Multi-Agenten-Systemen, die technisch versierten Nutzern eine visuelle IDE mit Drag-and-Drop-Funktionalität bietet. Im Gegensatz zu FlowiseAI richtet sich Langflow primär an Entwickler, die ein hohes Maß an Flexibilität benötigen und bereit sind, mit Python-basierten Konfigurationen zu arbeiten. Langflow kombiniert eine visuelle Entwicklungsumgebung mit den Möglichkeiten einer Programmierplattform, wodurch es sowohl für Prototyping als auch für die Produktion geeignet ist. Neben den Kernfunktionen bietet Langflow optionale (kostenpflichtige) Cloud-basierte Dienste und Hosting-Lösungen, falls Nutzer keine eigene Infrastruktur aufsetzen möchten. Diese Option ist besonders für Unternehmen oder Teams attraktiv, die flexible und kosteneffiziente Lösungen suchen und Wert auf eine einfache Bereitstellung und Wartung legen.

Schnelles Prototyping

AutoGen Studio ist eine Open-Source-Plattform. Sie wurde von Microsoft Research für die schnelle Prototypenerstellung, Entwicklung und Evaluierung von Multi-Agenten-Systemen entwickelt. AutoGen Studio ist kostenlos verfügbar und richtet sich an Benutzer, die Multi-Agenten-Systeme mit minimalem Programmieraufwand erstellen und testen möchten. AutoGen unterstützt deklarative Workflows und erlaubt es, Aufgaben in einer Chat-Oberfläche zu definieren. Die Plattform zeichnet sich durch ihre Fähigkeit aus, Multi-Agenten-Systeme unkompliziert zu testen und iterativ zu verbessern, was sie besonders für Projekte in frühen Entwicklungsphasen attraktiv macht. Es ist jedoch wichtig zu beachten, dass AutoGen Studio vorrangig für die schnelle Prototypenerstellung und Forschung gedacht ist und nicht als produktionsreifes Tool betrachtet werden kann. Entwickler werden ermutigt, das AutoGen-Framework zu nutzen, um eigene Anwendungen zu erstellen und dabei Authentifizierung, Sicherheit und andere für den Produktiveinsatz erforderliche Funktionen selbst zu implementieren. Typische Anwendungsfälle für AutoGen Studio sind das schnelle Testen neuer Multi-Agenten-Systeme, die Evaluation von Agenten-Logiken oder das Erstellen von Proof-of-Concepts für KI-basierte Workflows.

Neben den hier vorgestellten Tools gibt es noch weitere Frameworks, die für professionelle Anwendungsfälle interessant sind. Dazu zählen beispielsweise CrewAI, das sich durch die einfache Integration in bestehende Workflows auszeichnet. Hinzu kommt das neue Agentarium, das innovative Ansätze (Generierung synthetischer Eingabedaten, Checkpoint-System) zur Konfiguration und Steuerung komplexer Multi-Agenten-Systeme bietet.

Nachdem wir uns die Werkzeuge angesehen haben, kommen wir zur Frage, wie Multi-Agenten-Systeme praktisch eingesetzt werden können. Ein konkreter Fall zeigt ihre Anwendung bei mehrstufigen Aufgaben in der Technischen Redaktion.

Für Reviews

Ein Multi-Agenten-System unterstützt die Technische Redaktion dabei, neue Kapitel oder Topics zu prüfen, automatisch anzupassen und den Freigabeprozess effizient zu gestalten. Mit FlowiseAI lässt sich ein entsprechender Multi-Agent-Workflow aufbauen, der die einzelnen Prüf- und Freigabeschritte koordiniert. Zunächst wird im Bereich „Agentflows“ ein neuer Eintrag erstellt. Danach werden Supervisor und Worker-Agenten angelegt und miteinander verknüpft. Der Supervisor dient als zentraler Koordinator, der die Benutzeranfrage mit dem neuen Text entgegennimmt und die Verarbeitungsschritte steuert.

Funktionalität der Agenten

Der Supervisor übergibt den Text an den Agenten für Sprach- und Stilprüfung. Der Agent greift auf den Redaktionsleitfaden zu und analysiert den Text hinsichtlich sprachlicher Konsistenz, Grammatik und Stil. So lässt sich sicherstellen, dass der Text den redaktionellen Standards entspricht. Gefundene Abweichungen und Verbesserungsvorschläge werden im JSON-Format an den Supervisor zurückgemeldet.

Im Anschluss übermittelt der Supervisor den Text an den Content-Review-Agenten. Dieser überprüft die Vollständigkeit der Informationen und die technische Korrektheit anhand einer bereitgestellten Textdatei, die die Beschreibung der Änderungen und eine Liste der Anforderungen enthält. Auch dieser Agent liefert eine Übersicht der Abweichungen und Korrekturvorschläge an den Supervisor zurück.

Der Supervisor konsolidiert die Rückmeldungen beider Agenten und übergibt die kombinierte JSON-Liste an den Korrektur-Agenten. Basierend auf den Ergebnissen der beiden Prüfungen nimmt der Korrektur-Agent die notwendigen Anpassungen am Text vor. Dabei fügt er Kommentare hinzu, die die vorgenommenen Änderungen erklären und dokumentieren. Im Anschluss übergibt der Supervisor die final überarbeitete Fassung an den Freigabe-Agenten. Er versendet die Datei per E-Mail an die hinterlegten Mitglieder des Redaktionsteams. Abschließend erhält der Supervisor eine Bestätigung über den erfolgten E-Mail-Versand. Damit endet der Workflow.

Workflow erweitern

Der hier verwendete Workflow lässt sich flexibel anpassen, um spezifische Anforderungen zu erfüllen. Beispielsweise könnten die Worker-Agenten auf unterschiedliche Modelle zugreifen, etwa GPT-4o oder Gemini Flash 1.5, um für ihre Aufgaben die besten Ergebnisse zu erzielen. Der Content-Review-Agent kann auf JIRA-Tickets zugreifen, um Änderungen automatisch zu übernehmen, oder der Freigabe-Agent kann Pull-Requests in GitHub erstellen. Diese und ähnliche Anpassungen ermöglichen eine nahtlose Integration in bestehende Systeme und könnten den Workflow weiter verbessern.

Die Konfiguration im Detail

Die beschriebenen Prozesse erfordern ein genaues Einstellen. Dazu zählen die Definition der Agentenrollen, die Tool-Verknüpfung und die Aufbereitung der Eingabedaten. Ebenso entscheidend sind die Konfiguration des Embedding-Modells, der Chunking-Einstellungen und die Upserting-Einstellungen der Vektor-Datenbank.

Definition der Agentenrollen

Bei der Definition der Agentenrollen ist es wichtig, die Aufgaben klar abzugrenzen. Dazu gehört festzulegen, wie viele Worker-Agenten benötigt werden und welche spezifischen Aufgaben (Teilschritte) diese übernehmen. Für jede Aufgabe müssen im Vorfeld die erforderlichen Eingabedaten ermittelt und ggf. aufbereitet werden. Sprechende Namen für die Worker-Agenten erleichtern die Zuordnung der Aufgaben. Zudem müssen die notwendigen Tools identifiziert werden, die der Worker-Agent für die Erfüllung seiner Aufgabe benötigt. Dazu zählen der Zugriff auf Vector Stores, Websites, APIs oder GitHub-Repositories sowie Funktionen wie „Datei lesen“ oder „Datei schreiben“. Klare System-Prompts definieren den Aufgabenfokus. Ebenso ist die Auswahl eines geeigneten Modells entscheidend, da die Modelle je nach Aufgabenstellung variierende Stärken haben können, etwa in der Verarbeitung natürlicher Sprache oder im Umgang mit strukturierten Daten. Für den Supervisor-Agenten ist es wichtig, die Verarbeitungsreihenfolge der Worker-Agenten im System-Prompt klar festzulegen.

Einstellungen für Document Stores

Die Eingabedaten, die den Worker-Agenten bereitgestellt werden, können in einem lokalen Verzeichnis oder einem Document Store verwaltet werden. Ein lokales Verzeichnis eignet sich für kleine Anwendungsfälle. Es benötigt jedoch mehr lokale Einstellungen und ist für komplexe Datenmengen weniger geeignet. Document Stores bieten mehr Flexibilität und zusätzliche Funktionen wie granularere Metadaten und effizientere Indexierung.

Die Strukturierung in einem Document Store sollte sich an den Anforderungen der Daten orientieren. Thematisch zusammenhängende Dokumente, etwa Handbücher, sollten gemeinsam verwaltet werden, besonders wenn sie gemeinsam aktualisiert werden müssen. Ebenso sollten Dokumente mit ähnlicher Größe oder gleichen Metadaten in einem Document Store zusammengefasst werden. Die Chunk-Größe und Überlappung, die für eine effiziente Indexierung entscheidend sind, werden auf Store-Ebene definiert. Daher ist es sinnvoll, kleine und große Dateien in getrennten Document Stores zu speichern.

Dokumente, die von unterschiedlichen Workern verwendet werden, sollten in separaten Document Stores liegen. So wird das Redaktionshandbuch für den Sprach- und Stilprüfungs-Agenten in einem Store gespeichert, während die Anforderungen und Änderungsbeschreibungen für den Content-Review-Agenten in einem anderen Store liegen.

Passend hochladen

Um das Redaktionshandbuch in den Document Store zu laden, empfiehlt sich die Verwendung des „PDF Document Loaders“ (Abb. 01). Mit diesem Tool können eine oder mehrere PDF-Dateien hochgeladen werden. Bei der Nutzung ist darauf zu achten, die passende Einstellung unter „Usage“ („Verwendung“) auszuwählen. Für ein Redaktionshandbuch, das seitenübergreifende Beschreibungen enthält, ist es nicht sinnvoll, jede Seite als separates Dokument zu behandeln. Daher sollte die Option „One Document per File“ gewählt werden. Zusätzlich besteht die Möglichkeit, Metadaten anzugeben. Dies ist optional, jedoch empfehlenswert, um beispielsweise unterschiedliche Versionen oder die Zuordnung zu Produkten oder Projekten zu kennzeichnen.

Abb. 01 Einstellungen in Document Store. Quelle Claudia Sistig; FlowiseAI

Richtig zerlegen

Das so genannte Chunking teilt größere Texte in kleinere Abschnitte (Chunks) auf und verbessert so Indexierung und Suche. Für verschiedene Dokumenttypen stehen in FlowiseAI unterschiedliche Text-Splitter bereit – dargestellt in Tabelle 01.

Tab. 01 Quelle Claudia Sistig

Für die Verarbeitung des Redaktionshandbuchs kommt der „Recursive Character Text Splitter“ zum Einsatz. Er ermöglicht eine kontextbewusste Segmentierung. Für die Anforderungsliste verwenden wir den „Character Text Splitter“. Er kann innerhalb der Textdatei anhand des doppelten Zeilenumbruchs zwischen der Anforderungsliste und der Liste der Änderungen unterscheiden.

Die Chunk-Größe beeinflusst die Effizienz: Kleine Chunks liefern präzisere Suchergebnisse, größere bieten mehr Kontext. Zu große Chunks mindern jedoch die Effizienz bei Indexierung und Suche. Die definierte Chunk-Größe gibt die maximale Größe eines Chunks an. Ist der Text kürzer, wird ein kleinerer Chunk erstellt.

Beim Redaktionshandbuch wird eine Chunk-Größe von 800 Zeichen mit 160 Zeichen Überlappung genutzt, um den Kontext zu bewahren. Für die Anforderungsliste werden kleinere Chunks mit 100 Zeichen und 20 Zeichen Überlappung verwendet, um spezifische Anforderungen besser auffindbar zu machen.

Aufwand beim Indexieren

Eine weitere Überlegung betrifft den Aufwand für Indexierung und Abfragen: Viele kleine Dokumente erhöhen den Verwaltungsaufwand, können aber das Auffinden von Inhalten erleichtern. Große, zusammenhängende Dokumente sind einfacher als Gesamtheit zu verwalten, jedoch aufwendiger zu durchsuchen, wenn man nur kleine Ausschnitte benötigt. Schließlich spielt auch die Bearbeitungsfrequenz eine Rolle: Soll ein Dokument regelmäßig aktualisiert werden oder häufiger an verschiedenen Stellen? In solchen Fällen ist eine modulare Aufteilung oft vorteilhafter, weil gezielte Änderungen schneller durchgeführt und nachindexiert werden können.

Modell für das Umwandeln der Daten

Das Embedding-Modell spielt eine zentrale Rolle beim Upserten der Chunks in die Vektor-Datenbank: Das Modell wandelt die Eingabedaten in numerische Vektoren um, die semantische Informationen repräsentieren, und ermöglicht so eine effiziente Speicherung und Abfrage. Die Einstellungen wie Batch-Size steuern dabei die Anzahl der Chunks, die gleichzeitig verarbeitet werden, während die Dimensions die Größe der erzeugten Vektoren definieren, um die Balance zwischen Genauigkeit und Speicherbedarf zu optimieren. Dabei gilt: Je größer die Dimensionen, desto präziser passen die zurückgelieferten Informationen zur Suchanfrage. Umso höher ist aber auch der Speicherbedarf.

Auswählen des Modells

Embedding- und Chat-Modelle können unabhängig kombiniert werden, etwa ein OpenAI-Embedding mit Ollama, Mistral oder Anthropic LLMs. Für dieses Beispiel kommt ein OpenAI Embedding-Modell zum Einsatz. Aktuell sind drei OpenAI Embedding-Modelle mit unterschiedlichen Stärken und Schwächen verfügbar (Abb. 02). Das Modell text-embedding-ada-002 (1536 Dimensionen, 8191 Token) eignet sich für allgemeine Aufgaben wie Textsuche oder Code-Suche, ist jedoch teurer als die anderen Modelle und weniger leistungsfähig bei mehrsprachigen Anwendungen. Das Modell text-embedding-3-small (1536 Dimensionen, 8191 Token) bietet bessere Leistung bei mehrsprachigen Aufgaben. Es ist kosteneffizient, jedoch weniger leistungsstark bei komplexen Anwendungen. Das Modell text-embedding-3-large (3072 Dimensionen) liefert höchste Präzision für komplexe Anwendungen, ist jedoch ressourcenintensiv und vergleichsweise teuer. Für den aktuellen Anwendungsfall erfüllt das text-embedding-3-small Modell die Anforderungen an Kosteneffizienz bei gleichzeitig guten Leistungen am besten. Für die Verarbeitung bietet sich für beide Document Stores eine Batch-Size von 100 an. Die maximale Anzahl von Dimensionen (1536) ist durch die Wahl des Embedding-Modells bereits vorgegeben. Die Einstellungen für den Vector Store sind abhängig von der Wahl des Providers. Für ein kleines Projekt oder Proof-of-Concept eignet sich beispielsweise Pinecone. Qdrant bietet erweiterte Funktionen und ist daher auch für den Produktiveinsatz in Cloud-Umgebungen geeignet.

Abb. 02 Auswahl des Embedding-Modells. Quelle Claudia Sistig; FlowiseAI

Konfigurieren und Balancieren

Für die Konfiguration und den Einsatz von Multi-Agenten-Systemen sind unterschiedliche Plattformen verfügbar. Jede Lösung bietet spezifische Vorteile und eignet sich für unterschiedliche Zielgruppen und Anwendungsfälle. Zu den Best Practices für die Konfiguration solcher Systeme gehörten die präzise Definition von Agentenrollen, einschließlich klarer Aufgaben und spezifischer Eingabedaten, sowie die Auswahl passender System Prompts. Die Wahl der geeigneten Dokumentenstruktur im Document Store, einschließlich granularer Chunking-Einstellungen, ist ebenfalls essenziell. Dabei sollten die Chunk-Größe und -Überlappung so definiert werden, dass eine Balance zwischen Kontextwahrung und Effizienz erzielt wird.

Ein besonderes Augenmerk sollte auf der Auswahl und Konfiguration des Embedding-Modells liegen, das die Grundlage für die semantische Verarbeitung und Speicherung von Daten bildet. Abhängig von den Projektanforderungen können unterschiedliche Modelle mit individuellen Stärken und Schwächen eingesetzt werden. Die vorgestellten Plattformen sind nur ein Ausschnitt aus einer sehr viel größeren Produktpalette. Das Jahr 2025 wird ein Schlüsseljahr für agentenbasierte Anwendungen und die kommenden Monate versprechen weitere spannende Fortschritte.

Weiterführende Informationen

https://github.com/FlowiseAI/Flowise 
https://www.crewai.com/open-source 
https://docs.lyzr.ai/lyzr-automata/getting-started 
https://integrail.ai/product 
https://www.datastax.com/products/langflow 
https://github.com/Thytu/Agentarium 
https://www.pinecone.io/ 
https://cloud.qdrant.io/login