• Startseite
• Über uns
• News-Archive
• Ihre Daten bleiben im Haus: Wann sich eine eigene KI für den Mittelstand lohnt

Ihre Daten bleiben im Haus: Wann sich eine eigene KI für den Mittelstand lohnt

 

Cloud-KI ist bequem. Doch nicht jede Information gehört auf fremde Server: Kalkulationen, Konstruktionsunterlagen, Personalakten oder Mandantendaten sollen das Unternehmen oft gar nicht erst verlassen. Gleichzeitig sind offene KI-Modelle in den vergangenen Jahren so leistungsfähig geworden, dass sie auf einem einzelnen Rechner im eigenen Haus laufen. Wann lohnt sich eine eigene KI – und wie sieht das in der Praxis aus? Wir zeigen es am Beispiel unserer eigenen Installation.

Was ist eine lokale KI?

Eine lokale KI ist ein KI-Sprachmodell, das nicht in einem fremden Rechenzentrum, sondern auf Ihrer eigenen Hardware läuft. Eingaben, Dokumente und Antworten bleiben vollständig in Ihrem Netzwerk. Möglich machen das offene Modelle, deren Gewichte frei verfügbar sind und die sich auf eigenen Rechnern betreiben lassen. Mehr dazu in unseren Glossarartikeln zur lokalen KI und zur Open-Source-KI.

Wofür sich eine eigene KI eignet

Lokale KI spielt ihre Stärken überall dort aus, wo vertrauliche Informationen im Spiel sind oder wo die KI mit Ihrem eigenen Wissen arbeiten soll:

• Fragen an die eigenen Unterlagen: Handbücher, Arbeitsanweisungen oder technische Dokumentationen werden durchsuchbar wie ein Gespräch.
• Interne Wissensdatenbank: Erfahrungswissen aus Projekten und Support bleibt im Unternehmen und ist für alle Mitarbeiter abrufbar.
• Vertrauliche Auswertungen: Kalkulationen, Verträge oder Personalunterlagen lassen sich zusammenfassen und prüfen, ohne dass sie das Haus verlassen.
• Vorverarbeitung für die Cloud: Die lokale KI bereitet Daten so auf, dass sie anschließend sicherer von leistungsstärkeren Cloud-Modellen verarbeitet werden können – dazu gleich mehr.

Die Technik dahinter heißt häufig Retrieval-Augmented Generation (RAG): Die KI sucht zu jeder Frage die passenden Stellen in Ihren Dokumenten und formuliert daraus eine Antwort.

Aus der Praxis: unsere eigene KI im Haus

Wir beraten nicht nur zu lokaler KI, wir nutzen sie selbst. Bei uns im Serverschrank läuft eine eigene KI auf einem Mac Studio – im Bild oben der silberne Rechner in der Mitte. Dort liegen unter anderem unsere interne Wissensdatenbank, unser Lagerverzeichnis und technische Handbücher.

Festgelegt haben wir uns dabei bewusst noch nicht: Wir arbeiten mit wechselnden Konfigurationen und Modellen. So sammeln wir eigene Erfahrung, welches Modell für welche Aufgabe taugt, wo die Grenzen liegen und welche Hardware wofür ausreicht. Diese Erfahrung fließt direkt in die Beratung unserer Kunden ein.

Pseudonymisierung: die Brücke zwischen lokal und Cloud

Lokale Modelle sind leistungsfähig, für manche komplexe Aufgaben sind die großen Cloud-Modelle aber nach wie vor überlegen. Wir lösen das mit einem zweistufigen Verfahren: Müssen Daten mit Personenbezug von einem Cloud-Modell weiterverarbeitet werden, pseudonymisiert unsere lokale KI sie vorher. Namen und andere identifizierende Angaben werden durch Platzhalter ersetzt. Erst danach geht die Anfrage an das Cloud-Modell. Die Zuordnung der Platzhalter bleibt bei uns im Haus.

Aus Sicht des Datenschutzes ist dabei eines wichtig: Pseudonymisierte Daten gelten nach der DSGVO weiterhin als personenbezogen, solange sich die Zuordnung wiederherstellen lässt. Die Pseudonymisierung ersetzt also weder Rechtsgrundlage noch Auftragsverarbeitungsvertrag. Sie senkt aber das Risiko für die betroffenen Personen deutlich und wird in der DSGVO ausdrücklich als technische Schutzmaßnahme genannt (Art. 25 und Art. 32 DSGVO).

Welche Hardware braucht eine eigene KI?

Eine Standardantwort gibt es nicht – und das ist eine gute Nachricht, denn die Hardware lässt sich genau auf die Anforderungen zuschneiden. Entscheidend sind vor allem drei Fragen:

• Welche Aufgaben soll die KI übernehmen? Für das Durchsuchen von Dokumenten genügen oft kleinere Modelle, für anspruchsvolle Texte und Analysen sind größere Modelle sinnvoll.
• Wie viele Mitarbeiter arbeiten gleichzeitig damit? Ein kleines Team kommt mit einer leistungsfähigen Workstation aus, größere Gruppen benötigen einen Server mit entsprechender Grafikleistung.
• Wie groß sind die Modelle? Der verfügbare Arbeitsspeicher bestimmt, welche Modelle überhaupt laufen können.

Das passende Modell wählen wir anschließend nach der Aufgabe aus und tauschen es bei Bedarf aus, wenn bessere Modelle erscheinen. Mehr dazu im Glossar unter KI-Server und KI-Hardware.

Wo eine eigene KI an Grenzen stößt

Zu einer ehrlichen Beratung gehört auch der Blick auf die Grenzen:

• Für sehr komplexe Aufgaben sind die Spitzenmodelle der großen Anbieter lokalen Modellen häufig noch voraus.
• Eine eigene KI erfordert eine Investition in Hardware sowie laufende Pflege, Updates und Überwachung.
• Die Antwortgeschwindigkeit hängt von der Hardware und der Zahl gleichzeitiger Nutzer ab.

Wann sich eine eigene KI lohnt

Eine lokale KI ist für Ihr Unternehmen besonders interessant, wenn mindestens einer dieser Punkte zutrifft:

• Sie verarbeiten regelmäßig vertrauliche Daten oder unterliegen einem Berufsgeheimnis.
• Sie möchten, dass die KI mit Ihren eigenen Dokumenten und Ihrem Fachwissen arbeitet.
• Sie wollen unabhängig von Preisen und Bedingungen großer Cloud-Anbieter bleiben.
• Sie haben klar umrissene, wiederkehrende Aufgaben, für die sich ein festes Modell eignet.

Fazit: Lokal und Cloud ergänzen sich

Eine eigene KI ist kein Ersatz für Cloud-KI, sondern eine sinnvolle Ergänzung. In vielen Unternehmen ist ein hybrider Ansatz der beste Weg: eine sichere KI-Plattform für den Arbeitsalltag aller Mitarbeiter und eine lokale KI für vertrauliche Daten und das eigene Wissen. Was eine sichere KI-Plattform für den Arbeitsalltag ausmacht, erklären wir in unserem Glossarartikel zur KI-Plattform. Einen Überblick über alle Möglichkeiten bietet unsere Seite KI-Lösungen für Unternehmen.