LLM-Inferenz
Auch bekannt als: Inferenz, Inference, Model Serving
LLM-Inferenz bezeichnet den Moment, in dem ein trainiertes Sprachmodell tatsächlich arbeitet: Es erhält eine Anfrage und erzeugt eine Antwort, Token für Token. Jede Chat-Antwort ist Inferenz.
Training vs. Inferenz
Training ist das Studium, Inferenz der Berufsalltag. Das Training passiert einmal und kostet Millionen. Inferenz passiert bei jeder einzelnen Anfrage, millionenfach am Tag. Deshalb bestimmt die Inferenz die laufenden Kosten im AI-Betrieb.
Wie Kosten gemessen werden
Anbieter rechnen pro Token ab, getrennt nach Input (die Anfrage) und Output (die Antwort). Output-Token kosten meist deutlich mehr. Wer Kosten plant, schätzt beides: Lange Antworten wiegen schwerer als lange Prompts.
Was die Geschwindigkeit bestimmt
Drei Faktoren entscheiden. Erstens die Modellgröße: Mehr Parameter bedeuten mehr Rechenarbeit pro Token. Zweitens die Hardware: GPUs sind Standard, Spezialchips wie LPUs beschleunigen deutlich. Drittens das Batching: Viele Anfragen parallel erhöhen den Durchsatz, können einzelne Antworten aber verzögern.
Cloud oder selbst betreiben
Hyperscaler wie AWS Bedrock, Azure AI Foundry und Google Vertex AI hosten viele Modelle. Spezialisten wie Groq, Cerebras, Together AI und Fireworks AI konkurrieren über Tempo und Preis. Die Alternative: Self-hosted AI auf eigener Hardware: ohne Token-Abrechnung, dafür mit Betriebsaufwand.
Den nächsten Schritt klären wir in einem kostenlosen Erstgespräch. Kontakt →
Stand: Juni 2026
Claude Cheat Sheet
Eine Übersicht über Funktionen und Modelle von Claude, ergänzt um Tipps aus unserem Arbeitsalltag. Es gibt sie auf Deutsch und Englisch, und wir halten sie laufend aktuell.
Cheat Sheet öffnenDigital Impact im Postfach
Mit einer Anmeldung bekommt ihr drei Newsletter: jede Woche den AI Insights Newsletter mit unseren neuen Artikeln, dazu einmal im Monat den Digital Impact Longread und das Digital Impact Update. Die Anmeldung läuft über Double Opt-in, abmelden könnt ihr euch jederzeit.
AI Operations zum Hören
Im Digital Impact Podcast sprechen André Hellmann, Christina D'Ilio, Christian Sattel und Sarah Stock mit Gästen aus der Praxis über AI Operations. Die Folgen lassen sich gut unterwegs hören.
So ist dieser Beitrag entstanden
- Themenwahl
- Quellenwahl
- Faktenprüfung
- Freigabe
- Recherche
- Textentwurf
- Schaubilder
- Publishing
Dieser Beitrag entstand mit AI-Unterstützung. Ideenfindung, Redaktionsplanung, inhaltliche Prüfung und Freigabe liegen beim Menschen, das Lektorat bei der AI. Die redaktionelle Verantwortung trägt André Hellmann.