Self-hosted AI
Auch bekannt als: Self-Hosting, lokale LLMs, On-Premise AI, Self-hosted KI, On-Premise-KI
Self-hosted AI bedeutet: Sprachmodelle laufen auf eigener Infrastruktur statt in der Cloud eines Anbieters. Anfragen und Daten verlassen das Unternehmen nicht. Basis sind in der Regel Open Source LLMs.
Technische Voraussetzungen
Entscheidend ist der Grafikspeicher (VRAM). Kleine Modelle mit 7–8 Milliarden Parametern laufen komprimiert ab rund 8 GB VRAM, also auf einer guten Consumer-GPU. Die 70B-Klasse braucht komprimiert etwa 40–48 GB, zum Beispiel zwei 24-GB-Karten. Unkomprimiert sind es rund 140 GB, also Rechenzentrums-Hardware.
Gängige Tools
Drei Open-Source-Werkzeuge dominieren: Ollama für den einfachen Einstieg auf einzelnen Rechnern, vLLM für den performanten Produktionsbetrieb und Open WebUI als Chat-Oberfläche im Browser. Alle drei werden aktiv weiterentwickelt.
Vorteile und Nachteile
Die Vorteile: volle Datensouveränität, keine Token-API-Kosten (LLM-Inferenz) und Anpassbarkeit bis zum Fine-Tuning. Die Nachteile: Hardware-Investition, Betriebsverantwortung für Updates, Sicherheit und Monitoring sowie Modellwechsel in Eigenregie.
Für wen es sinnvoll ist
Self-Hosting lohnt sich bei sensiblen Daten, hohem Anfragevolumen oder strengen Compliance-Vorgaben, etwa Data Residency in der EU. Bei geringem Volumen ist Cloud-Inferenz meist günstiger und schneller startklar.
Den nächsten Schritt klären wir in einem kostenlosen Erstgespräch. Kontakt →
Stand: Juni 2026
Claude Cheat Sheet
Eine Übersicht über Funktionen und Modelle von Claude, ergänzt um Tipps aus unserem Arbeitsalltag. Es gibt sie auf Deutsch und Englisch, und wir halten sie laufend aktuell.
Cheat Sheet öffnenDigital Impact im Postfach
Mit einer Anmeldung bekommt ihr drei Newsletter: jede Woche den AI Insights Newsletter mit unseren neuen Artikeln, dazu einmal im Monat den Digital Impact Longread und das Digital Impact Update. Die Anmeldung läuft über Double Opt-in, abmelden könnt ihr euch jederzeit.
AI Operations zum Hören
Im Digital Impact Podcast sprechen André Hellmann, Christina D'Ilio, Christian Sattel und Sarah Stock mit Gästen aus der Praxis über AI Operations. Die Folgen lassen sich gut unterwegs hören.
So ist dieser Beitrag entstanden
- Themenwahl
- Quellenwahl
- Faktenprüfung
- Freigabe
- Recherche
- Textentwurf
- Schaubilder
- Publishing
Dieser Beitrag entstand mit AI-Unterstützung. Ideenfindung, Redaktionsplanung, inhaltliche Prüfung und Freigabe liegen beim Menschen, das Lektorat bei der AI. Die redaktionelle Verantwortung trägt André Hellmann.