Open-Source Agentic AI Tech Stack: Enterprise-Architektur

Die Diskussion um generative künstliche Intelligenz in Industrie und Wissenschaft hat einen kritischen Reifegrad erreicht. Während in den ersten Jahren der Hype-Phase einfache Chatbot-Wrapper und der unreflektierte Konsum proprietärer Cloud-APIs dominierten, erkennen Enterprise-Architekten und IT-Entscheider heute die gravierenden systemischen Risiken dieser Herangehensweise: unkontrollierbare Token-Kosten, intransparente Modell-Änderungen über Nacht, regulatorische Konflikte hinsichtlich des Datenschutzes (DSGVO, AI Act) und ein fataler strategischer Vendor Lock-in.

Wer Künstliche Intelligenz nicht nur als Spielerei, sondern als tragende Säule mission-kritischer Unternehmensprozesse etablieren will, benötigt Souveränität, Determinismus und architektonische Exzellenz.

In unserer Beratungspraxis an der Schnittstelle zwischen angewandter Spitzenforschung und industrieller Softwaretechnik haben wir dafür eine modulare Open-Source Enterprise-Referenzarchitektur konzipiert und implementiert. Dieser Stack versteht sich nicht als monolithische Vorgabe, sondern als bewährter Architektur-Blueprint für maximale Datenhoheit: Je nach Teamprofil (etwa datengetriebene Python-Teams mit LangGraph [Inc24] vs. Fullstack-TypeScript-Teams mit Frameworks wie Mastra) lassen sich einzelne Bausteine flexibel adaptieren. Dieser Beitrag legt die Architektur, das Schichtenmodell und das Zusammenspiel der einzelnen Kernkomponenten detailliert dar.

1. Das 6-Schichten-Modell für Souveräne KI-Agenten

Ein belastbarer KI-Stack darf kein unübersichtlicher Flickenteppich aus Python-Skripten sein. Wir strukturieren die Gesamtlösung in sechs klar abgegrenzte, modular austauschbare Architekturschichten:

2. Schicht 1: Hochdurchsatz-Inferenz mit vLLM

Das Fundament jedes autonomen Systems ist die Fähigkeit, Open-Weights-Modelle (wie Llama, Mistral, Qwen oder DeepSeek) mit minimaler Latenz (Time-to-First-Token, TTFT) und maximaler Concurrency bereitzustellen.

Herkömmliche HuggingFace-Inferenz-Pipelines scheitern unter Last an Speicherfragmentierung und linearem Skalierungsaufwand. Wir setzen im Inferenz-Tier standardmäßig auf vLLM:

• PagedAttention-Algorithmus: Analog zur virtuellen Speicherverwaltung und Paging in modernen Betriebssystemen fragmentiert PagedAttention den Key-Value-Cache (KV-Cache) nicht im zusammenhängenden GPU-VRAM, sondern verwaltet ihn in flexiblen Speicherseiten. Dies senkt den VRAM-Verbrauch um bis zu 60–80 % und erlaubt massive Batch-Größen.
• Continuous Batching: Eingehende Benutzer- und Agenten-Prompts werden dynamisch auf Iterationsebene zusammengefasst, anstatt auf die Beendigung kompletter Sequenzen zu warten.
• Hardware-Parallelismus: Native Unterstützung für Tensor Parallelism (TP) und Pipeline Parallelism (PP) über mehrere NVIDIA- oder AMD-Beschleuniger sowie moderne Quantisierungsstandards (FP8, AWQ, GPTQ).

3. Schicht 2: Autonome Agenten-Intelligenz mit Hermes, Agent Skills & Google WikiSkill

Ein Inferenz-Server liefert reine Next-Token-Vorhersagen. Um daraus handlungsfähige Agenten zu formen, die Datenbanken abfragen, Code ausführen und APIs ansprechen, bedarf es zweier Standards:

Hermes Agent Runtime (Nous Research)

Die von Nous Research entwickelte Hermes-Modellfamilie und zugehörige Agent-Runtime repräsentiert die Speerspitze offener Modelle für agentische Workflows. Hermes ist gezielt auf strukturiertes JSON-Output, fortgeschrittenes Function Calling und autonome Denkprozesse (Chain-of-Thought / ReAct) trainiert. Es agiert deterministisch und lässt sich ohne Abhängigkeit von geschlossenen OpenAI-Funktionen betreiben.

Offener Agent Skills Standard (SKILL.md) & Google WikiSkill

Werkzeuge (Tools) dürfen nicht als undokumentierter Spaghetti-Code im Prompt enden. Wir standardisieren alle Fähigkeiten nach dem offenen Agent Skills Standard (agentskills.io):

• Jede Fähigkeit wird deklarativ in einer standardisierten Schnittstellendatei (SKILL.md) mit YAML-Frontmatter und Markdown-Instruktionen spezifiziert.
• Typisierung via Zod oder Pydantic garantiert, dass Parameternamen, Typen, Grenzwerte und Validierungsregeln zur Laufzeit strikt erzwungen werden.
• Dynamische Skill-Discovery erlaubt es Agenten, zur Laufzeit gezielt diejenigen Werkzeuge in den Kontext zu laden, die für die aktuelle Teilaufgabe erforderlich sind, wodurch das Context [Anth24] Window sauber und fokussiert bleibt.
• Für die automatisierte, regressionsfreie Weiterentwicklung und Entkopplung von Fehlerwissen dockt die Architektur an das WikiSkill-Paradigma von Google Research an.

4. Schicht 3: Zyklische Orchestrierung mit LangGraph

Einfache Automatisierungen lassen sich mit linearen Ketten (DAGs) lösen. Reale Geschäftsprozesse erfordern jedoch Schleifen, Rekursion, Fehlerkorrektur und Reflexion.

Wir nutzen LangGraph, um Multi-Agenten-Systeme als zustandsbehaftete, zyklische Graphen zu modellieren:

1. State Persistence & Checkpointing: Nach jedem Berechnungsschritt (Node) speichert LangGraph den globalen Systemzustand persistent in einer Datenbank ab. Stürzt ein Inferenz-Node ab oder tritt ein Netzwerk-Timeout auf, setzt der Agent die Arbeit nahtlos am letzten Prüfpunkt fort.
2. Human-in-the-Loop Interruption: Gefährliche Aktionen (z. B. das Ausführen einer SQL-Mutation oder das Versenden einer E-Mail) können im Graph als Unterbrechungspunkt (Breakpoint) definiert werden. Der Graph pausiert deterministisch, wartet auf die explizite Freigabe eines menschlichen Experten über das Web-UI und führt den Pfad erst nach Zustimmung fort.
3. Multi-Agenten-Handoffs: Spezialisierte Sub-Agenten (z. B. ein Recherche-Agent, ein Code-Reviewer und ein Test-Validator) arbeiten kollaborativ zusammen, moderiert durch deterministische Routing-Knoten.

5. Schicht 4: Hybride Datenarchitektur & Mem0-Langzeitgedächtnis

LLMs leiden unter zwei systemischen Schwächen: begrenzten Kontextfenstern und vollständiger Amnesie zwischen zwei Sitzungen. Ein produktionsreifer Tech-Stack löst dies durch eine hybride Speicher-Triade in Kombination mit einer dedizierten Gedächtnisschicht:

• PostgreSQL: Das relationale Rückgrat für transaktionale Integrität, strukturierte Geschäftsdaten, Systemprotokolle und LangGraph-Checkpoint-Tabellen.
• Qdrant: Extrem performante, in Rust geschriebene Vektordatenbank für dichte semantische Ähnlichkeitssuche in unstrukturierten Dokumenten, Handbüchern und Quellcode.
• Neo4j (GraphRAG): Reine Vektorsuche scheitert an komplexen relationalen Abhängigkeiten („Welche Softwarekomponenten sind von Server X abhängig und wem gehört das Budget?“). Neo4j bildet relationale Unternehmens-Ontologien ab und ermöglicht echtes Graph-Reasoning.
• Mem0: Verwaltet dynamisch das benutzerspezifische Langzeitgedächtnis. Fakten, Vorlieben und frühere Beschlüsse werden sitzungsübergreifend extrahiert, indiziert und bei relevanten Folgeanfragen transparent re-injiziert.

6. Schicht 5: Enterprise Governance mit LiteLLM Proxy & Keycloak

In Enterprise-Umgebungen darf kein interner Dienst direkt und ungeschützt auf Inferenz-Cluster zugreifen. Es bedarf strikter Governance:

LiteLLM Proxy

Der LiteLLM Proxy fungiert als intelligentes KI-Gateway:

• Lastverteilung & Fallback: Fällt ein lokaler vLLM-Knoten wegen GPU-Wartung aus, leitet der Proxy Anfragen automatisch auf Backup-Cluster um.
• Kosten- & Token-Monitoring: Granulare Aufschlüsselung von Input-, Output- und Cache-Tokens nach Abteilung, Projekt oder Mitarbeiter.
• Budget Enforcing: Automatische Drosselung oder Unterbrechung bei Erreichen definierter Budgetgrenzen.

Keycloak Identity Federation

Keycloak sichert das gesamte Ökosystem auf Enterprise-Niveau ab:

• Standardisierte Anbindung an bestehende Active Directory-, LDAP- oder Okta-Instanzen via OpenID Connect (OIDC) und SAML 2.0.
• Feingranulares Role-Based Access Control (RBAC): Welche Fachabteilung darf auf welche Agenten-Fähigkeiten und Dokumentenbereiche zugreifen?

7. Schicht 6: Human-in-the-Loop Interaktion mit Open WebUI

Die fortschrittlichste Backend-Architektur verpufft, wenn Anwender auf kryptische Kommandozeilen angewiesen sind. Open WebUI schließt die Lücke zur Belegschaft:

• Ergonomisches Interface: Modernes, ansprechendes Webinterface mit Multi-Modell-Auswahl, Konversationsverwaltung und Markdown-Rendering mit nativer KaTeX-Mathematik-Unterstützung. Es reduziert Barrieren und mentale Ermüdung bei der täglichen Arbeit (siehe dazu auch unsere Grundlagenanalyse zur Psychologie der modernen Informationstechnologie).
• Dokumenten-RAG direkt im Chat: Fachanwender laden PDFs, Tabellen oder Code hoch; das System übernimmt automatisiertes Chunking, Embedding und Vektor-Retrieval.
• Workspaces & Tool-Freigaben: Administratoren können kuratierte Assistenten mit spezifischen Systemprompts und WikiSkills-Werkzeugen für einzelne Benutzergruppen freischalten.

Fazit & Nächste Schritte

Die hier vorgestellte Open-Source Enterprise-Referenzarchitektur beweist, dass Unternehmen keine Kompromisse zwischen Innovationsgeschwindigkeit und Datensouveränität eingehen müssen.

Gleichzeitig gilt es, den DevOps- und Betriebsaufwand realistisch einzuschätzen: Der Parallelbetrieb von GPU-Inferenz-Clustern (vLLM via NVIDIA GPU Operator), Vektordatenbanken (Qdrant), relationalen Speichern (PostgreSQL) und Identity-Gateways (Keycloak) erfordert ein ausgereiftes Kubernetes- oder Container-Orchestrierungsfundament. Für schlankere Projekte oder reine Web-Entwicklungsteams bieten leichtgewichtigere Stacks (wie embedded Vektorspeicher oder reine TypeScript-Agenten-Frameworks wie Mastra) eine hocheffiziente Einstiegsalternative.