Lokale KI oder Cloud-KI: was passt?

Wer KI im Betrieb einsetzen will, trifft früh eine Entscheidung, die später schwer zu korrigieren ist: Wo läuft das Modell, und was bekommt es zu sehen? Lange gab es nur eine Antwort, den Dienst in der Cloud. Inzwischen sind offene Modelle so gut geworden, dass sie für viele Aufgaben im Mittelstand ausreichen, und zwar auf Hardware, die ein Unternehmen selbst betreiben oder bei einem Dienstleister in Deutschland mieten kann. Damit gibt es drei Wege, und keiner davon ist für alles richtig.

Die drei Wege

KI-Dienst in der Cloud: ChatGPT, Claude oder Copilot, direkt oder über Schnittstelle in die eigene Software eingebunden, abgerechnet je Nutzer oder nach Verbrauch

Cloud-Modell mit EU-Datengrenze: dieselben oder ähnliche Modelle, betrieben in europäischen Rechenzentren mit vertraglicher Zusicherung, dass die Daten dort bleiben

Offene Modelle auf eigenen Servern: Modelle wie Llama oder Mistral, die als Datei vorliegen und auf eigener Hardware laufen, im eigenen Haus oder auf eigenen Servern eines Dienstleisters in Deutschland

Der zweite Weg ist ein Kompromiss, der für viele reicht. Er löst die Frage nach dem Standort, nicht die Frage nach der Abhängigkeit, denn der Anbieter bestimmt weiterhin Preise, Modelle und Bedingungen. Was die EU-Datengrenze bei Microsoft leistet und was nicht, steht unter Microsoft 365 und Datensouveränität.

Wo die Cloud vorne liegt

Die großen Cloud-Modelle sind bei schwierigen Aufgaben besser. Lange Verträge gegeneinander abgleichen, komplexe Zusammenhänge erklären, Quellcode in ungewohnten Sprachen schreiben: Hier liegt der Abstand zu offenen Modellen noch spürbar. Dazu kommt das Tempo. Die Anbieter liefern alle paar Monate eine neue Generation, und wer über die Schnittstelle arbeitet, bekommt die Verbesserung ohne eigenen Aufwand. Und es gibt nichts zu betreiben: keine Hardware, keine Updates, keine Frage, wer sich kümmert, wenn das Modell nicht antwortet. Wie wir solche Dienste in bestehende Anwendungen einbauen, steht unter Wie kommt KI in bestehende Software?

Wo lokale Modelle vorne liegen

Das stärkste Argument ist das einfachste: Die Daten verlassen das Haus nicht. Kein Vertrag zur Auftragsverarbeitung, keine Frage nach dem Gerichtsstand, kein Risiko, dass eine Eingabe in einem Protokoll beim Anbieter landet. Das ist bei bestimmten Daten nicht nur angenehm, sondern Voraussetzung: Gesundheitsdaten, Personalakten, Konstruktionszeichnungen, Kalkulationen, Verträge mit Geheimhaltungsklauseln, bei denen der Kunde die Weitergabe an Dritte ausgeschlossen hat.

Das zweite Argument ist die Unabhängigkeit. Ein Modell, das als Datei auf dem eigenen Server liegt, wird nicht abgekündigt, nicht teurer und nicht geändert, ohne dass Sie es entscheiden. Was Datensouveränität für Infrastruktur bedeutet, gilt für KI genauso. Und bei hoher Nutzung werden die Kosten planbar: Hardware oder Hosting kosten einen festen Betrag, egal wie viele Anfragen darüber laufen. Nach Branchenumfragen baut ein wachsender Teil des Mittelstands genau deshalb lokale Infrastruktur für KI auf oder plant es.

Ehrlich über die Grenzen

Offene Modelle, die auf bezahlbarer Hardware laufen, sind kleiner als die großen Cloud-Modelle und bei komplexen Aufgaben schwächer. Sie brauchen passende Hardware mit Grafikprozessoren, jemanden, der sie betreibt und aktualisiert, und eine Anbindung an die Daten, mit denen sie arbeiten sollen. Wer das unterschätzt, hat nach drei Monaten einen Server, den niemand pflegt. Die Hardware muss dafür nicht dauerhaft im Haus stehen: Für rechenintensive Schritte, etwa das erstmalige Durcharbeiten eines großen Dokumentenbestands, lässt sich Rechenleistung bei einem Anbieter in Deutschland zeitweise mieten, und der laufende Betrieb kommt danach oft mit kleineren Systemen aus. Und auch lokale Modelle erfinden Inhalte, wenn ihnen Wissen fehlt, siehe Kann man KI-Ergebnissen trauen? Die Prüfpflicht bleibt.

Nur: Nicht jede Aufgabe braucht das größte Modell. Ein großer Teil dessen, was KI im Betrieb leisten soll, ist Routine, und die läuft lokal gut.

Eingehende Dokumente erkennen, einordnen und an die richtige Stelle leiten

Suche über interne Ablagen, die Antworten mit Fundstelle liefert

Entwürfe aus Vorlagen und Stammdaten, etwa Angebote oder Bescheide

Zusammenfassungen von Protokollen, Tickets und Mailverläufen

Übersetzungen und Formulierungshilfen im Tagesgeschäft

Auswertung strukturierter Daten in natürlicher Sprache

Eine Entscheidungshilfe

Vier Fragen entscheiden in der Praxis, welcher Weg passt.

Datenklasse: Dürfen die Daten überhaupt zu einem Anbieter? Wenn nein, ist die Wahl getroffen, bevor über Qualität gesprochen wird

Nutzungsmenge: Wenige Anfragen am Tag sind in der Cloud günstiger, tausende am Tag rechnen sich lokal

Qualitätsanspruch: Routine läuft lokal, anspruchsvolle Einzelfälle gehören zum großen Modell

Abhängigkeit: Wie weh tut es, wenn der Anbieter Preise oder Bedingungen ändert oder ein Modell abschaltet?

In den meisten Betrieben ergibt das keine Entweder-oder-Entscheidung, sondern eine Aufteilung. Die Dokumentensuche über die Personalakten läuft lokal, weil sie muss. Der Assistent, der Angebotstexte glättet, nutzt ein Cloud-Modell, weil die Daten unkritisch sind und die Qualität zählt. Beides hängt an derselben eigenen Schnittstelle in der eigenen Software, sodass sich die Zuordnung später ändern lässt, ohne die Anwendung umzubauen. Welche Regeln für die Cloud-Dienste gelten sollten, steht unter Darf ich ChatGPT im Unternehmen nutzen?

Was in beiden Fällen gleich bleibt: Datenschutz und KI-Verordnung gelten unabhängig davon, wo das Modell läuft. Ein lokales Modell befreit nicht von der Prüfpflicht, nicht von der Kennzeichnung veröffentlichter Inhalte und nicht von der Schulung der Mitarbeiter. Es nimmt nur die Frage vom Tisch, wer die Daten noch sieht.

Wie wir das umsetzen

Wir bauen beides. Cloud-Modelle binden wir über Schnittstellen in bestehende Anwendungen ein, offene Modelle betreiben wir auf eigenen Servern in Deutschland oder auf Ihrer Hardware, je nachdem, was die Daten verlangen. Was ein Serverstandort in Deutschland wirklich bedeutet, steht unter Serverstandort Deutschland. Vor der Technik klären wir, welche Aufgabe gelöst werden soll und welche Datenklasse daran hängt, denn daraus folgt der Weg. Mehr dazu unter Lokale KI auf eigenen Servern und KI in bestehende Software.