Latency (Latenz) & Throughput

DefinitionAntwortzeit und Durchsatz eines Modells/Systems im Betrieb.

Latency (Latenz) und Throughput (Durchsatz) beschreiben, wie schnell und wie viel ein System im Betrieb leisten kann: Latenz ist die Zeit von der Anfrage bis zur ersten/kompletten Antwort (Antwortzeit), Throughput ist die Anzahl verarbeiteter Anfragen oder Tokens pro Zeit (z. B. Requests/s, Tokens/s). Beide Metriken sind entscheidend für Nutzererlebnis, Kosten und Skalierbarkeit von KI-Systemen.

Was ist Latency (Latenz)?

Latenz misst die Verzögerung zwischen „Request raus“ und „Response da“. In KI- und API-Setups wird oft unterschieden zwischen Time to First Byte/Token (TTFB/TTFT) und Time to Last Token (Gesamtdauer). Bei ChatGPT-ähnlichen Anwendungen ist eine niedrige TTFT besonders wichtig, weil der Nutzer schnell „Feedback“ sieht – selbst wenn die Gesamtausgabe länger dauert.

Beispiel: Ein Large Language Model (LLM) beginnt nach 300 ms zu streamen (gute TTFT), braucht aber 6 Sekunden für 800 Tokens (Gesamtlatenz).
Praxis-Faktoren: Netzwerk, Warteschlangen (Queueing), Modellgröße, Kontextlänge, Tool-Aufrufe (z. B. Function Calling / Tool Use), sowie Retrieval-Schritte bei RAG (Retrieval-Augmented Generation).

Was ist Throughput (Durchsatz)?

Throughput beschreibt, wie viele Einheiten ein System pro Zeiteinheit schafft. In KI sind das typischerweise Requests pro Sekunde (RPS) und/oder Tokens pro Sekunde (TPS). Hoher Throughput bedeutet, dass viele Nutzer parallel bedient werden können oder Batch-Jobs schnell durchlaufen.

Beispiel: Ein Inference-Server schafft 50 RPS bei kurzen Prompts, aber nur 5 RPS bei langen Kontexten und großen Antworten.
Wichtig: Throughput kann steigen, während Latenz für einzelne Nutzer schlechter wird (z. B. durch aggressives Batching).

Wie funktionieren Latenz & Throughput zusammen (Trade-off)?

Latenz und Throughput hängen eng zusammen und stehen oft in einem Zielkonflikt: Optimierungen für maximalen Durchsatz (z. B. Batch-Verarbeitung, längere Warteschlangen) erhöhen häufig die Latenz. Umgekehrt kann man Latenz senken (z. B. weniger Batching, kleinere Modelle), verliert aber Durchsatz oder zahlt mehr Infrastrukturkosten.

Interaktive Chats: Priorität auf niedrige TTFT und stabile Latenz (P95/P99), damit die UX „snappy“ bleibt.
Backoffice/Automation: Priorität auf hohen Throughput, z. B. in n8n-Flows oder bei Automatisierung (Automation), wo 2–5 Sekunden extra oft akzeptabel sind.

Warum sind Latency & Throughput wichtig in KI-Systemen?

Sie beeinflussen direkt Conversion (Wartezeit senkt Abschlussraten), Stabilität (Überlast führt zu Timeouts), und Kosten (mehr Hardware/GPUs oder höhere API-Tarife). In produktiven KI-Architekturen gehören Latenz- und Throughput-Ziele daher in Monitoring und MLOps (z. B. P95-Latenz, Error-Rate, TPS pro GPU).

RAG-Stacks: Retrieval über Embeddings und Vektordatenbank (Vector Database) kann Latenz hinzufügen, senkt aber oft Halluzinationen und verbessert die Antwortqualität.
Agenten-Workflows: AI Agents (KI-Agenten) mit mehreren Tool-Schritten erhöhen häufig die End-to-End-Latenz, können aber komplexe Aufgaben zuverlässiger lösen.

Typische Stellhebel zur Optimierung (mit Beispielen)

Prompt & Kontext reduzieren: Kürzere Kontexte → weniger Rechenzeit, bessere Latenz und höherer TPS. Prompt Engineering hilft, präziser und kompakter zu fragen.
Modellwahl: Kleineres Modell oder quantisierte Variante → bessere Latenz/Throughput, ggf. Qualitätsverlust. Alternativ: Fine-Tuning oder LoRA für domänenspezifische Leistung ohne riesiges Basismodell.
Streaming & UX: Token-Streaming senkt gefühlte Latenz (TTFT), auch wenn die Gesamtdauer ähnlich bleibt.
Caching: Wiederkehrende Antworten/Embeddings cachen → drastische Latenzreduktion und höherer Durchsatz.
Parallelisierung: Tool-Calls oder Retrieval parallel ausführen, wenn möglich, statt sequenziell.

Was kostet „gute“ Latenz und hoher Throughput?

Es gibt keinen Fixpreis: Kosten hängen von Modell, Hosting (API vs. self-hosted), Kontextlänge, Parallelität und SLOs (z. B. P95 < 1,5 s) ab. Niedrige Latenz erfordert oft Überprovisionierung (mehr Reserven), während maximaler Throughput eher optimierte Auslastung (Batching, Queueing) braucht. In der Praxis definiert man Zielwerte (z. B. P95-Latenz, RPS) und dimensioniert Infrastruktur sowie Inference-Setup darauf.

2,1x
mehr Abbrüche
Steigt die Antwortzeit eines Systems von unter 2 Sekunden auf über 5 Sekunden, brechen B2B-Nutzer Self-Service- und Dashboard-Prozesse deutlich häufiger ab.
35%
weniger Tickets
KMU mit stabiler Latenz und konstantem Durchsatz im Kundenportal senken Supportanfragen typischerweise, weil Seiten, Suchen und Automatisierungen verlässlicher reagieren.
3 von 4
kritisch für Skalierung
Rund drei von vier B2B-Digitalprojekten bewerten Latenz und Throughput als zentrale Betriebskennzahlen, da sie direkt Produktivität, SLA-Erfüllung und Infrastrukturkosten beeinflussen.

Chatbot-Antwortzeiten im Kundenservice aktiv überwachen und optimieren
Ein KMU mit hohem Anfragevolumen kann die Latenz seines KI-Chatbots messen, um sicherzustellen, dass Kunden in wenigen Sekunden eine brauchbare Antwort erhalten. Gleichzeitig wird der Throughput beobachtet, damit auch zu Stoßzeiten viele Anfragen parallel verarbeitet werden können, ohne dass die Servicequalität einbricht.
Produktionsdaten in Echtzeit auswerten, ohne den laufenden Betrieb zu bremsen
Ein Fertigungsunternehmen kann bei der Analyse von Sensordaten darauf achten, dass Warnmeldungen mit niedriger Latenz ausgelöst werden, etwa bei Maschinenabweichungen oder Qualitätsproblemen. Der Throughput ist entscheidend, wenn große Mengen an Messwerten aus mehreren Anlagen gleichzeitig verarbeitet werden müssen.
Bestellspitzen im E-Commerce-System stabil abfangen
Ein Online-Händler im KMU-Umfeld kann Latenz und Throughput gezielt überwachen, damit Produktseiten, Warenkorb und Checkout auch bei Rabattaktionen schnell reagieren. So lassen sich Kaufabbrüche reduzieren und mehr Bestellungen pro Minute zuverlässig verarbeiten.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Latency (Latenz) und Throughput?

Latenz beschreibt, wie lange eine einzelne Anfrage bis zur ersten oder vollständigen Antwort braucht. Throughput beschreibt, wie viele Anfragen, Daten oder Tokens ein System pro Zeiteinheit verarbeiten kann. Für KI-Systeme sind beide Werte wichtig, weil sie direkt Nutzererlebnis, Skalierbarkeit und Kosten beeinflussen.

Warum sind Latenz und Throughput bei KI-Anwendungen so wichtig?

Eine niedrige Latenz sorgt dafür, dass sich KI-Tools schnell und reaktionsstark anfühlen. Ein hoher Throughput ist wichtig, wenn viele Nutzer gleichzeitig arbeiten oder große Mengen an Daten und Tokens verarbeitet werden müssen. Nur das Zusammenspiel beider Kennzahlen zeigt, ob ein KI-System im Alltag wirklich performant ist.

Wovon hängen Latency und Throughput technisch ab?

Latenz und Throughput hängen unter anderem von Modellgröße, Infrastruktur, Netzwerk, Datenbankzugriffen, Prompt-Länge und Parallelisierung ab. Auch schlechte Prozesse, unnötige Tools oder ineffiziente Automationen können die Antwortzeit verschlechtern und den Durchsatz begrenzen. Deshalb sollte man nie nur das Modell, sondern immer das gesamte System betrachten.

Mein KI-System ist langsam – müsstest du dafür alles neu aufsetzen?

Nein, oft liegt das Problem nicht am ganzen Setup, sondern an einzelnen Engpässen wie Tool-Wechseln, schlechten Automationen, zu langen Prompts oder unklaren Prozessen. Im Tech-Gutachten analysiere ich deine bestehende Landschaft strukturiert und zeige dir, was wirklich bremst, was bleiben kann und wo gezielte Optimierungen reichen.

Lohnt sich eine Optimierung von Latenz und Throughput auch für kleinere Unternehmen?

Ja, gerade kleinere Teams profitieren davon, wenn Systeme schneller reagieren und stabil laufen. Das spart Zeit, reduziert Frust im Team und verhindert unnötige Tool-Kosten. Mit meiner KI-Beratung prüfen wir pragmatisch, wo Performance wirklich relevant ist und ob sich die Optimierung wirtschaftlich lohnt.

Ich habe keine eigene IT-Leitung – kannst du das trotzdem begleiten?

Genau dafür ist meine Tech-Partnerschaft als externer CTO gedacht. Ich denke bei technischen Entscheidungen mit, priorisiere Themen wie Performance, Skalierung und Tool-Auswahl und bin dein langfristiger Ansprechpartner. So bekommst du strategische Tech-Begleitung, ohne intern eine Vollzeitrolle besetzen zu müssen.

Kannst du nicht nur beraten, sondern die technische Umsetzung auch übernehmen?

Ja, mit der Tech-Umsetzung auf OrbitOS setze ich dein System nicht nur konzeptionell auf, sondern baue es auch praktisch für dich. Dazu gehören Datenmigration, Automationen, Dashboards, KI-Assistenten und Schulungen, damit das Setup schnell, sauber und im Alltag nutzbar ist.

Wie finde ich heraus, ob mein Problem eher an der Latenz, am Throughput oder am Prozess liegt?

Das lässt sich selten sinnvoll aus dem Bauch heraus entscheiden, weil technische und organisatorische Ursachen oft zusammenhängen. Im Tech-Gutachten und in der KI-Beratung analysiere ich dein Setup ganzheitlich: Prozesse, Tools, Nutzung, Kosten und KI-Potenziale. So bekommst du keine Vermutungen, sondern eine klare Entscheidungsgrundlage mit konkreten nächsten Schritten.