Lokale KI-Modelle im Vergleich: der Leitfaden für den Mittelstand

„Lokale KI" steht 2026 in jedem zweiten Strategie-Meeting auf der Agenda, seit mit GLM-5, Kimi K2.6 und DeepSeek V4-Flash gleich drei Frontier-Modelle offen lizenziert verfügbar sind, und kaum jemand hat Zeit, 25 Modelle und sieben Quantisierungsstufen zu durchdringen. Hier lesen Sie, wann sich der Eigenbetrieb für ein KMU lohnt, und wann die Cloud-API die ruhigere Wahl bleibt.

Überblick: Lokale KI-Modelle sind 2026 erstmals nah an den Cloud-Flaggschiffen: offen lizenziert, auf eigener Hardware lauffähig. Ob sich der Eigenbetrieb lohnt, ist aber keine Glaubensfrage, sondern eine Frage von sieben Kriterien. Sensible Daten, Anfrage-Volumen, Air-Gap-Bedarf und Frontier-Leistung geben die Antwort. Für den Mittelstand gilt meist ein Hybrid: sensible Workloads lokal oder EU-gehostet, der Rest über die schnellste verfügbare Cloud.

Was sind lokale KI-Modelle? Definition und Open-Weight-Grundlagen 2026

Lokale KI-Modelle sind offen lizenzierte Sprachmodelle, die Sie ohne Lizenzgebühr herunterladen und auf eigener Hardware betreiben. Tools wie Ollama, LM Studio oder llama.cpp laden das Modell, die Inferenz läuft auf Ihrer GPU. „Open-Weight" heißt: die Gewichte sind frei verfügbar, der Trainingsprozess ist es nicht zwingend. Viele der stärksten Modelle laufen als Mixture-of-Experts. Alle Parameter liegen im Speicher, pro Anfrage rechnet aber nur ein Bruchteil. Das macht sie schnell trotz Größe.

Hier setzt das erste Missverständnis an. „Lokal" klingt nach Rechenzentrum, nach eigener GPU-Farm, nach einem Ops-Team, das niemand hat. Tatsächlich läuft ein brauchbares 14B-Modell auf einer einzelnen Consumer-GPU. „Lokal" bedeutet nur eins: die Anfrage geht nicht über eine fremde Cloud-API. Open-Weight ist dabei wie ein gekauftes Auto statt eines Mietwagens. Einmal angeschafft fährt es ohne Pro-Kilometer-Abrechnung, Wartung und Stellplatz liegen aber bei Ihnen.

Daraus folgt ein Denkraster, das die ganze Entscheidung trägt: Datenhoheit ist eine Achse, kein Schalter. Es gibt nicht „Cloud oder sicher", sondern drei Souveränitäts-Stufen.

• Stufe 1: Cloud-API mit EU-AVV. Daten bleiben in der EU, das Backend ist fremd. Azure OpenAI EU, Mistral La Plateforme EU.
• Stufe 2: Open-Source, EU-gehostet. Dieselben offenen Modelle, auf EU-Servern, mit AVV, ohne eigenes Ops-Team.
• Stufe 3: Echt lokal oder Air-Gap. Eigene Hardware, die Inferenz verlässt das Haus nie.

Open-Weight ist nicht gleich „selbst hosten"

Genau hier trennen sich zwei Begriffe, die ständig verwechselt werden. Open-Weight ist eine Lizenz-Eigenschaft des Modells. Selbst-Hosten ist eine Betriebs-Entscheidung. Ein offenes Modell wie Gemma 4 können Sie auf der eigenen Workstation laufen lassen oder bei einem EU-Hoster mieten. Das Modell bleibt dasselbe, nur die GPU steht woanders. Wer das trennt, hat die halbe Entscheidung schon getroffen.

Warum lokale KI-Modelle 2026 plötzlich an die Cloud-Flaggschiffe heranreichen

Der Auslöser ist konkret. Mit GLM-5, Kimi K2.6 und DeepSeek V4-Flash liegen mehrere Frontier-Modelle offen unter Apache- oder MIT-Lizenz vor. Google hat Gemma 4 auf Apache 2.0 umgestellt, also auf eine Lizenz ohne die früheren Nutzungs-Einschränkungen. Die stärksten Open-Weights spielen damit erstmals im Bereich der Cloud-Flaggschiffe. Wie nah genau, sehen Sie tagesaktuell in der filterbaren Modell-Datenbank mit Live-Werten.

Mit der Aufmerksamkeit kommt eine falsche Frage. Auf LinkedIn klingt sie so: „US-Cloud heißt unsicher, also brauchen wir eine eigene GPU-Farm." Das ist die falsche Frage. Sie presst eine Achse mit drei Stufen in zwei Kästchen. Wer es ernst meint mit Datenschutz, baut nicht zwingend eigene Infrastruktur. Wer mit der Binär-Logik startet, verbaut sich die einfachste Antwort: dieselbe Souveränität gibt es EU-gehostet, ohne Serverraum. Eine GPU-Farm ist für die meisten KMU schlicht selten nötig. Die ruhige, fast banale Antwort lautet Hybrid, nicht Maximalausbau.

Hinter der Datenschutz-Frage liegt ein zweites, oft übersehenes Argument: Modell-Unabhängigkeit. Wer offene Gewichte einsetzt, hängt an keiner Roadmap eines Anbieters. Kein Vendor ändert über Nacht die Nutzungsbedingungen, kein Modell wird abgekündigt und zwingt Sie zur Migration. Heute Gemma 4, morgen Qwen3, übermorgen das nächste Frontier-Release: Der Tooling-Stack bleibt, nur die Gewichtsdatei wechselt. Das ist kein DSGVO-Argument, sondern ein strategisches, und es gilt auch dann, wenn die Inferenz EU-gehostet statt im eigenen Serverraum läuft.

Wann lohnt sich lokale KI gegenüber der Cloud? Sieben Kriterien im Vergleich

Kein Schwarz-Weiß. Sieben Kriterien decken in der Praxis fast jede Entscheidung ab. Sie ersetzen die Glaubensfrage durch eine Tabelle, die Sie Zeile für Zeile gegen Ihren Use-Case halten.

Wer Mandantendaten verarbeitet, braucht also keine GPU-Farm, sondern erst eine klare Souveränitäts-Stufe und dann das passende Modell. Welches Modell auf Ihre konkrete Hardware passt, rechnet Ihnen der Hardware-Rechner für lokale Modelle aus. Die Faustregel dahinter: rund 0,55 GB pro Milliarde Parameter bei Q4-Quantisierung. Ein 14B-Modell läuft damit auf einer 12-GB-GPU, ein 32B-Modell auf 24 GB.

Der ehrliche Kostenpunkt

Cloud-API-Kosten wachsen linear mit der Nutzung. Lokale Inferenz hat fixe Hardware-Kosten plus Strom. Als Größenordnung kippt die Rechnung bei stabilem, hohem Volumen in Richtung Eigenbetrieb, grob ab einem Bereich von 50 Millionen Token pro Monat. Das ist eine Faustregel, kein fixer Schwellenwert: das tatsächliche Break-even hängt an Modellgröße, Auslastung und Strompreis. Wichtig ist die Logik dahinter, nicht die zweite Nachkommastelle. Niedriges Volumen spricht für die Cloud, hohes Dauervolumen für die eigene Hardware.

Welche Hardware brauchen Sie für lokale KI-Modelle? Drei Setup-Klassen

„Lokal" heißt nicht „Rechenzentrum". Drei Setup-Klassen decken fast jeden Bedarf ab. Die Budget-Korridore sind eigene Recherche (DE-Preise inkl. MwSt., Stand Mai 2026), eine Größenordnung, keine Listenpreis-Garantie.

Für die allermeisten KMU-Use-Cases reicht die Workstation-Klasse. Apple Silicon (M4 Max mit 64 bis 128 GB Unified Memory) ist die latenzärmste Single-Box-Alternative ohne große Stromrechnung. Eine eigene GPU-Farm braucht nur, wer lokale Frontier-Leistung zwingend benötigt. Welches Modell konkret auf Ihre vorhandene GPU passt, rechnet Ihnen der Hardware-Rechner für lokale Modelle aus.

Womit lokale KI-Modelle betreiben? Ollama, LM Studio, llama.cpp und vLLM im Vergleich

Vier Tools decken fast jedes Setup ab. Welches passt, hängt nur daran, ob Sie auf einem Laptop testen oder Produktion fahren.

Für die ersten Schritte genügt Ollama oder LM Studio. Sobald mehrere Nutzer gleichzeitig zugreifen, führt der Weg zu vLLM mit einer OpenAI-kompatiblen API. Genau diesen Endpunkt binden Sie dann per Bring Your Own Model an, dazu gleich mehr.

Lokal und Cloud in einer Plattform: Wie Corporate LLM beide Wege nativ verbindet

Die Binär-Frage „Cloud oder lokal" löst sich auf, wenn beide Wege in einer Plattform liegen. Genau das macht Corporate LLM. Sie bekommen beide Wege in einer Plattform und entscheiden pro Use-Case, nicht pro Unternehmen.

Der erste Weg ist Bring Your Own Model. Sie binden einen eigenen Modell-Endpunkt mit Ihrem eigenen API-Schlüssel ein: OpenAI-kompatibel (etwa vLLM oder llama.cpp), ein gesichert erreichbarer Ollama-Endpunkt oder OpenRouter. Das Modell läuft auf Ihrer eigenen Hardware oder bei Ihrem Wunsch-Hoster, die Anfragen gehen direkt an Ihren Endpunkt und werden über Ihren Vertrag abgerechnet. BYOM liegt auf dem Free-Plan und allen bezahlten Stufen, die Oberfläche mit Spaces, Agents und Team-Verwaltung liegt darüber.

Der zweite Weg sind dieselben Open-Source-Modelle, EU-gehostet. Kein eigenes Ops-Team, Daten bleiben trotzdem in der EU, mit AVV und ohne US-Transfer. Der entscheidende Punkt: Sie wechseln pro Space oder pro Agent, ohne den Tooling-Stack zu tauschen. Eigenes Modell und eigener Vertrag über BYOM, DSGVO-konforme Workloads über die EU-gehosteten Modelle mit AVV, alles in einer Oberfläche. Sie müssen sich nicht zwischen Datenhoheit und Betriebsaufwand entscheiden: die EU-gehostete Variante liefert beides, BYOM kommt dazu, wenn Sie eigene Modelle oder Verträge einbinden wollen.

Ist lokale KI automatisch DSGVO-konform?

Lokaler Betrieb beseitigt den Drittlandtransfer und damit die Schrems-II-Frage, aber er ist kein Freifahrtschein. Solange die Inferenz auf eigener Hardware läuft, verlassen Eingaben die eigene Infrastruktur nicht. Damit entfällt die Übermittlung nach Art. 44 DSGVO und den folgenden Artikeln zum Drittlandtransfer. Die technischen und organisatorischen Maßnahmen nach Art. 32 DSGVO erfüllen Sie auf eigener Hardware oft leichter, weil die Daten das Haus nicht verlassen.

Doch zwei Punkte bleiben. Die DSGVO-Pflichten Zweckbindung, Löschkonzept und Dokumentation gelten unverändert weiter. Und sobald die Hardware bei einem externen Hoster steht, etwa per Colocation oder Server-Miete, brauchen Sie einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO mit diesem Betreiber. Die LLM-Inferenz selbst ist dabei keine Auftragsverarbeitung, der AVV hängt an der Hardware, nicht am Modell. Bei echtem Air-Gap on-premise fällt auch dieser Punkt weg.

Lokale KI-Modelle vergleichen und auswählen: drei Schritte für KMU

Drei Schritte halten die Entscheidung sachlich. Prüfen Sie zuerst im Hardware-Rechner, welches Modell auf Ihre vorhandene GPU passt. Vergleichen Sie dann in der Modell-Datenbank mit Live-Werten ELO, Speicherbedarf und Lizenz nebeneinander. Ordnen Sie zuletzt jeden Use-Case einer der drei Souveränitäts-Stufen zu, bevor Sie über ein konkretes Modell reden. Wer einen Überblick über die Plattform-Optionen sucht, findet ihn in der Einordnung zu den vier Wegen zu einer LLM-Plattform im Mittelstand. Mit dieser Reihenfolge haben Sie eine belastbare Lokal-oder-Cloud-Entscheidung, um als Verantwortlicher die Daten-Frage zu beantworten, bevor das erste Audit sie stellt.