Wenn deine Daten das Haus nicht verlassen dürfen

Es gibt Betriebe, bei denen endet jedes KI-Gespräch an derselben Stelle. Ein Steuerberater, der Mandantendaten verarbeitet. Eine Arztpraxis. Ein Zulieferer, dessen Konstruktionsdaten unter Geheimhaltung stehen.

Sobald klar wird, dass die Eingaben auf fremden Servern landen, ist das Thema durch. Zu Recht.

Dabei gibt es seit gut zwei Jahren eine Antwort darauf: Modelle, die auf eurer eigenen Hardware laufen.

Was “lokal” bedeutet

Ein Sprachmodell ist eine Datei. Groß, aber eine Datei. Sie lässt sich auf einem Rechner im eigenen Serverraum ablegen und dort ausführen. Nichts geht nach draußen, kein Anbieter sieht die Eingaben, es gibt keine Auftragsverarbeitung, die geprüft werden müsste.

Vor drei Jahren war das eine Bastellösung mit ernüchternden Ergebnissen. Inzwischen erreichen offene Modelle ein Niveau, das für die meisten Aufgaben im Betrieb ausreicht: Texte zusammenfassen, Dokumente durchsuchen, Anfragen vorsortieren, Entwürfe schreiben.

Wann es sich lohnt

Wenn die verarbeiteten Daten unter Berufsgeheimnis fallen. Ärzte, Anwälte, Steuerberater kommen mit Cloud-Diensten schnell an Grenzen, die sich nicht durch Verträge auflösen lassen.

Wenn Kunden Geheimhaltung vertraglich verlangen. In der Zulieferindustrie steht in vielen Verträgen, dass Konstruktionsdaten das Unternehmen nicht verlassen dürfen. Ein Cloud-Tool verstößt dagegen, auch wenn niemand hinschaut.

Wenn große Datenmengen dauerhaft verarbeitet werden. Cloud-Anbieter rechnen pro Anfrage ab. Bei hohem Volumen kippt die Rechnung irgendwann zugunsten eigener Hardware.

Und wenn Unabhängigkeit ein Wert an sich ist. Ein lokales Modell funktioniert auch dann noch, wenn ein Anbieter seine Preise verdoppelt, sein Modell abschaltet oder seine Nutzungsbedingungen ändert.

Was es kostet

Der ehrliche Teil: Es ist nicht umsonst.

Für ein brauchbares Modell braucht es eine Grafikkarte mit ausreichend Speicher. Je nach Modellgröße liegt man bei einigen tausend Euro für die Hardware, dazu Strom und jemand, der das System betreut. Für kleine Teams mit wenigen Anfragen am Tag rechnet sich das gegenüber einem Cloud-Abo meist nicht.

Ab einer gewissen Nutzung dreht sich das Bild, und bei sensiblen Daten stellt sich die Kostenfrage ohnehin anders: Dann geht es nicht um Ersparnis, sondern darum, dass es überhaupt geht.

Wo die Grenzen liegen

Die stärksten Modelle der Welt laufen nicht auf eurer Hardware. Wer Spitzenleistung bei komplexem Denken braucht, wird bei lokalen Modellen Abstriche machen.

Für die Aufgaben, die im Betriebsalltag anfallen, fällt der Unterschied selten ins Gewicht. Ein Modell, das Anfragen sortiert oder Protokolle zusammenfasst, muss keine Doktorarbeiten schreiben.

Und es braucht jemanden, der sich kümmert. Updates, Backups, Verfügbarkeit. Das ist kein Hexenwerk, aber es verschwindet nicht von selbst.

Der Mittelweg

In der Praxis läuft es oft auf eine Aufteilung hinaus. Alles mit personenbezogenen oder vertraulichen Daten läuft lokal. Unkritisches, wo die beste Qualität zählt, darf in die Cloud.

Diese Trennung ist der eigentliche Beratungsteil. Sie zu ziehen, verlangt Kenntnis der Technik und des Datenschutzes gleichermaßen. Ich habe sieben Jahre Software entwickelt und war im selben Unternehmen Datenschutzbeauftragter, deshalb sitze ich bei diesem Gespräch nicht zwischen zwei Stühlen.

---

Ihr verarbeitet sensible Daten und wollt trotzdem mit KI arbeiten? Schreib mir, dann klären wir, was in eurem Fall geht.