KI lokal betreiben: Die Vorteile von PrivateGPTs

Generative KI schickt sich an, die Wirtschaftswelt zu revolutionieren. Das reicht von der Texterstellung (E-Mails, Verträge, Werbematerialien) bis hin zu KI-Assistenten, die Ihre Mitarbeiter unterstützen.

Es gibt jedoch auch Bedenken gegen den unternehmerischen Einsatz von KI. An erster Stelle stehen Datenschutz- und Compliance-Vorbehalte. Es ist möglich, dass der KI-Anbieter die Unternehmensdaten für das Training seines LLMs (Large Language Model) verwendet und damit effektiv öffentlich macht.

Auch der Kostenpunkt spielt eine Rolle. KI-Services können schnell teuer werden, wenn für jeden Mitarbeiter eine eigene Lizenz erworben werden muss.

Schließlich ist die öffentliche Wahrnehmung zu bedenken. So wurde ChatGPT in Italien vorübergehend verboten. Außerdem kam es zu einem Datenleck, bei dem Zahlungsinformationen von Usern für kurze Zeit abrufbar waren.

Wie also die Chancen von KI nutzen, ohne unnötige Risiken einzugehen?

Die Antwort ist ein PrivateGPT, das vom Unternehmen selbst betrieben wird – entweder On-Prem oder in der Private Cloud. So können KMU sicherstellen, dass Unternehmens-Daten nicht an die Öffentlichkeit gelangen, während sie sich gleichzeitig die Lizenzgebühren sparen. Erfahren Sie in diesem Artikel, welche weiteren Vorteile PrivateGPTs bieten und wie die Implementierung gelingt.

Definition: Was ist ein PrivateGPT?

Der Begriff „PrivateGPT“ spielt auf ChatGPT an, das derzeit am weitesten verbreitete LLM von OpenAI. Das „Private“ verweist darauf, dass die Lösung nicht an das öffentliche Internet angebunden ist. Stattdessen wird das LLM vom Unternehmen selbst gehostet – so können keine Unternehmensdaten nach außen fließen. Alternativ spricht man auch von einem Local GPT oder einem Self-Hosted GPT.

Solche PrivateGPTs können die Produktivität im Unternehmen signifikant steigern. Beispielsweise können Kundenanfragen automatisch beantwortet oder interne Wissensdatenbanken erstellt werden, ohne dass Compliance-Vorgaben missachtet würden.

Es gibt in Deutschland bereits mehrere große Unternehmen, die diesen Ansatz aufgegriffen haben. Ein Beispiel ist die Drogeriemarktkette dm mit ihrem dmGPT. Das Pharmaunternehmen Merck hat einen firmeneigenen Chatbot „myGPT@Merck“ entwickelt. Und auch die Firma Bosch plant ein eigenes BoschGPT.

Damit solche Modelle aussagekräftige Ergebnisse liefern, müssen sie zunächst mit relevanten Daten gefüttert werden. Dafür bedient sich der Algorithmus unterschiedlicher Quellen, wie Word-Dateien, PDFs oder ganzer Datenbanken. Auch Werbematerialien wie die eigene Website oder Podcast-Inhalte können einbezogen werden. Welche Materialien zum Training verwendet werden, entscheidet das Unternehmen.

Dieser Datenpool wird nun indexiert, sodass die User sämtliche Informationen schnell und in natürlicher Sprache abfragen können.

Viele PrivateGPT-Lösungen implementieren auch ein Rollen- und Rechtemanagement. Auf diese Weise können nur befugte Mitarbeiter auf sensible Daten zugreifen. Das beugt Insider Threats vor.

Welche technischen Realisierungen existieren

Es gibt unterschiedliche Möglichkeiten, ein PrivateGPT aufzusetzen.

Anonymisierte Lösungen

Die erste Variante besteht darin, eine Applikation zwischenzuschalten, welche Anfragen an das öffentliche LLM anonymisiert.

Ein Beispiel ist der folgende Prompt:

„Erstelle einen Kostenvoranschlag für unseren Neukunden, die Drechsler GmbH aus Mauthausen. Richte das Angebot an Herrn Friedrich, den Chefeinkäufer.“

Die Anonymisierungs-Software wandelt diesen Prompt nun folgendermaßen um:

„Erstelle einen Kostenvoranschlag für unseren Neukunden, die [Platzhalter Firmenname] aus [Platzhalter Firmenstandort]. Richte das Angebot an [Platzhalter Ansprechpartner], den [Platzhalter Job-Bezeichnung].“

Nur diese anonymisierte Version wird nun an das öffentliche LLM weitergeleitet. Der vom LLM generierte Output wird dann von der App wieder re-anonymisiert. Das heißt, die Platzhalter werden wieder durch die Originalangaben ersetzt.

Wichtig: Streng genommen handelt es sich bei dieser Variante noch nicht um ein PrivateGPT. Das öffentliche LLM wird nach wie vor kontaktiert. Dabei besteht die Gefahr, dass die zwischengeschaltete App bestimmte Daten nicht korrekt anonymisiert und sie dann doch in das LLM gelangen.

Selbst gehostete Lösungen

Ein echtes PrivateGPT geht einen entscheidenden Schritt weiter. Hier wird das LLM komplett selbst gehostet und nur mit den eigenen Daten gefüttert. Es besteht keine Verbindung zum öffentlichen Internet. Das Hosting erfolgt entweder On-Prem oder in der privaten Unternehmens-Cloud.

Es gibt Argumente für und gegen beide Varianten.

On-Prem-Hosting

Bei der On-Prem-Variante behält das Unternehmen die maximale Kontrolle. Die Daten werden zu keinem Zeitpunkt auf externen Servern gespeichert. Das hilft dabei, selbst strengste Compliance-Anforderungen einzuhalten.

Allerdings kann es zu Performance-Einbußen kommen, wenn die eigene Infrastruktur nicht leistungsfähig genug ist. Hier muss unter Umständen nachgerüstet werden. Das geht mit Kosten einher und ist mit einem gewissen Implementierungs-Aufwand verbunden. Auch muss genügend räumlicher Platz vorhanden und die Stromversorgung sichergestellt sein.

Anbieter wie Fujitsu bieten deshalb Komplettpakete an. Hier wird die benötigte Software zusammen mit entsprechenden Server-Lösungen verkauft, die auch Hardware-Support umfassen (Fujitsu PRIMERGY Hardware Server + Mixtral 8x7B, Sauerkraut – Stand 2025-01). Das erleichtert die Implementierung wesentlich. Proact ist Fujitsu-Partner und kann Sie hier detailliert beraten.

Cloud-Hosting

PrivateGPT-Lösungen aus der Cloud lassen sich schnell umsetzen: Es muss keine neue Hardware angeschafft und orchestriert werden. Außerdem skalieren die Ressourcen leichter. Computing-Power oder extra Storage können schnell hinzugefügt werden.

Ein weiterer Vorteil: Mitarbeiter können über besonders gesicherte Verbindungen von überall auf das PrivateGPT zugreifen. Das kommt Remote-Arbeitsmodellen entgegen.

Bei der Cloud-Variante sollte jedoch genau darauf geachtet werden, auf welche Datenschutz- und IT-Security-Standards sich der Private-Cloud-Provider verpflichtet und ob diese gesetzlichen Compliance-Anforderungen genügen.

Proprietary vs. Open Source vs. Open Weight

Unternehmen können zwischen proprietären, Open-Source- und Open-Weight-Lösungen wählen, um eine lokale KI zu installieren.

Bei proprietären LLMs hat das Unternehmen keinen Zugriff auf den zugrundeliegenden Algorithmus und keine Einsicht in die Trainings-Parameter des Modells. Dafür sind proprietäre Modelle oft leistungsfähiger und ausgereifter.

Ein Beispiel für eine proprietäre Lösung ist Microsoft mit Azure OpenAI on Azure Stack.

Bei einer Open-Source-Lösung liegt der Quellcode vor, was mehr Transparenz bedeutet und zum Datenschutz beitragen kann. Zudem kann der Code auf die Bedürfnisse des Unternehmens angepasst werden.

Ein Beispiel für eine Open-Source-Lösung ist Falcon.

Bei Open-Weight-Modellen werden die Gewichtungen (Parameter) des Modells veröffentlicht. Die Entwickler haben also Zugriff auf den Datensatz des Modells. Das erlaubt Optimierungen. Die Software-Basis bleibt dagegen proprietär.

Bekannte Beispiele für Open-Weight-Modelle sind Llama von Meta und Mistral aus Frankreich.

Vorteile eines PrivateGPT

PrivateGPTs bieten Ihrem Unternehmen viele Vorteile.

Datenschutz

Bei einem PrivateGPT besteht keine Gefahr, dass sensible Unternehmens-Informationen nach außen gelangen. Das ist entscheidend für Industrien wie den Gesundheitssektor, die Finanzbranche und die öffentliche Verwaltung, welche mit riesigen Mengen von personenbezogenen Daten umgehen.

Gleichzeitig können Sie sicherstellen, dass nur Mitarbeiter mit entsprechenden Berechtigungen auf sensible Informationen zugreifen können. Das beugt Insider Threats vor.

Kostenkontrolle

Weil Sie Ihr Local GPT selbst betreiben, werden keine fortlaufenden Abo- bzw. Lizenz-Gebühren fällig. Sobald die KI lokal installiert wurde, sind Sie bis auf die Hosting-Kosten finanziell unabhängig.

Produktivitäts-Zuwächse

LLMs können die Produktivität im Unternehmen enorm steigern. E-Mails können automatisch verfasst, Support-Tickets direkt beantwortet und Werbematerialien in Rekordzeit erstellt werden. Mit einem PrivateGPT nutzen Sie diese Vorteile, ohne sich Sorgen um den Datenschutz machen zu müssen.

Anpassbarkeit

Öffentliche KI-Lösungen wie ChatGPT müssen eine Vielzahl von Use Cases abdecken. Ihr Training und ihr Aufbau sind deshalb generisch. Ein PrivateGPT können Sie dagegen genau auf Ihre Industrie und Ihre Use Cases abstimmen – ein wichtiger Wettbewerbsvorteil.

Latenz

Je näher sich die Server am Unternehmen befinden, desto geringer fallen die Latenzzeiten aus. Selbst gehostete PrivateGPTs, aber auch Private-Cloud-Lösungen können hier gegenüber ChatGPT & Co. punkten.

Niedrige Energie-Kosten

Die Anbieter von PrivateGPTs haben oft einen Fokus auf Energie-Optimierung Sie wissen, dass dies für KMU ein wichtiger finanzieller Gesichtspunkt ist.

Mögliche Nachteile

Wie bei jeder neuen Technologie gibt es auch bei PrivateGPTs potenzielle Nachteile.

Trainingsphase

Öffentliche LLMs wurden bereits trainiert und sind sofort einsatzfähig. PrivateGPTs müssen dagegen erst von Ihnen selbst mit Daten „gefüttert“ werden. Das verzögert den Einsatz.

Geschwindigkeitsunterschiede

Die öffentlichen LLMs laufen auf den besten Infrastrukturen der Welt. Deswegen kann es sein, dass sie bei Speed-Tests besser abschneiden als ein PrivateGPT. Letztlich kommt es jedoch darauf an, wie gut Ihre Unternehmens-Infrastruktur aufgestellt ist.

Infrastruktur-Anforderungen

PrivateGPTs gehen mit hohen Infrastruktur-Anforderungen einher. Sie benötigen große Mengen Speicherplatz, um die Trainingsdaten abzulegen. Außerdem wird spezialisierte Hardware wie GPUs (Graphics Processing Units) oder TPUs (Tensor Processing Units) benötigt.

PrivateGPT-Use-Cases

Es gibt diverse Szenarien für den Einsatz von PrivateGPTs.

Interne Wissensdatenbanken

PrivateGPTs eignen sich hervorragend für interne Wissensdatenbanken. So können Mitarbeiter schnell Produktdetails abrufen, Design-Vorgaben einsehen oder Manuals konsultieren. All dies geschieht in natürlicher Sprache. Der Mitarbeiter muss sich nicht durch lange Dokumentationen quälen, sondern kann die KI genau nach der Information fragen, die er braucht. Das gesamte Firmenwissen ist in Echtzeit verfügbar.

Kunden-Kommunikation

Sie können Ihr Local GPT als Kunden-Chatbot einsetzen, der sofort auf Produktfragen eingeht. Ebenso kann schneller auf Support-Anfragen reagiert werden, weil das PrivateGPT automatisch E-Mails formuliert. Nicht zuletzt hilft die KI dabei, Rechtschreib- und Grammatikfehler zu vermeiden, was zu einem professionellen Unternehmensauftritt beiträgt.

Analytics

Mit einer PrivateGPT-Lösung können Sie Unternehmens-Daten sicher und schnell analysieren. Das hilft Ihnen bei der Entscheidungsfindung, beispielsweise wenn es darum geht, in neue Märkte zu expandieren.

Software-Development

Ein PrivateGPT unterstützt Ihre Developer, indem es Code-Snippets anbietet. Auch beim Debugging von Anwendungen kann die Lösung helfen. Nicht zuletzt werden sich Ihre Entwickler schneller durch komplexe technische Dokumentationen arbeiten, wenn sie den KI-Assistenten hinzuziehen.

Rechtsanwälte

Rechtsanwälte müssen riesige Mengen Text verarbeiten – ein klassischer Use Case für LLMs. Weil die Daten äußerst sensibler Natur sind, kommen öffentliche LLMs jedoch nicht infrage. Hier kann ein PrivateGPT Abhilfe schaffen. Es analysiert in Rekordzeit große Mengen Text, erstellt Verträge und fasst Gerichtsakten zusammen, ohne dass irgendwelche Daten die Kanzlei verlassen.

5 Best Practices für die Umsetzung

Mit diesen Best Practices gelingt die Einführung eines PrivateGPT.

1. Entwickeln Sie Use Cases

PrivateGPTs sind kein Selbstzweck, sondern sollten immer an konkrete Use Cases gekoppelt sein. Überlegen Sie sich im Team, wo die größten Chancen im Unternehmen bestehen. Tipp: Befragen Sie auch Ihre Kunden, insbesondere nach Pain Points. Vielleicht werden Support-Anfragen nicht schnell genug beantwortet – ein idealer PrivateGPT-Use-Case.

2. Wählen Sie Ihr Deployment-Modell

Möchten Sie maximale Kontrolle über Ihre Daten? Dann ist ein On-Prem-Modell wahrscheinlich das richtige für Sie. Möchten Sie Ihre Lösung leicht erweitern können und zukunftsfähig gestalten? Dann ist ein Private-Cloud-Modell unter Umständen besser geeignet. Erwägen Sie, einen externen Provider wie Proact um Rat zu fragen. Solche Provider haben Erfahrung mit beiden Modellen und verstehen, was Sie benötigen.

3. Wählen Sie Ihr LLM

Nicht jedes Unternehmen benötigt zwangsläufig das größte und neueste LLM. Wenn Ihre Use Cases überschaubar sind, dann reicht unter Umständen auch eine weniger leistungsfähige Lösung. Sie benötigen dann entsprechend weniger Computing- und Storage-Kapazitäten, sparen sich also Geld.

4. Achten Sie auf die Benutzeroberfläche

Achten Sie darauf, wie intuitiv die Benutzeroberfläche Ihres PrivateGPT ist. Das Ziel sollte es sein, auch weniger technikaffinen Mitarbeitern die Nutzung von KI „schmackhaft“ zu machen. Im Idealfall kann das Interface flexibel angepasst werden.

5. Betreiben Sie Monitoring

Betreiben Sie Monitoring, nicht nur was die Performanz Ihrer KI-Systeme angeht, sondern auch, wie oft und wie gerne Ihre User mit dem PrivateGPT interagieren. Die beste KI-Lösung nützt nichts, wenn Ihre Anwender sie links liegen lassen. In diesem Zusammenhang kann es sinnvoll sein, User-Schulungen durchzuführen, um Berührungsängste abzubauen. Auch hierbei unterstützt Proact Sie.

Realisieren Sie Ihr PrivateGPT – mit Proact!

Möchten Sie die Vorteile eines PrivateGPT nutzen und wünschen sich dafür einen erfahrenen Begleiter? Dann sollten Sie sich mit unseren Proact-Experten unterhalten. Wir sind Fujitsu-Partner, einem der führenden Anbieter für generative KI im eigenen Rechenzentrum.

Für die Implementierung (siehe auch Blogartikel PrivateGPT: Wie die Einführung gelingt) gehen wir gemeinsam mit unseren Partnern in vier Schritten vor:

1. Bedarfsanalyse

Gemeinsam mit Ihrem Inhouse-Team analysieren wir, welche Rolle KI in Ihrem Unternehmen spielen soll. Wo sind die größten Produktivitäts-Zuwächse zu erwarten? Wie kann Mehrwert für Kunden erzeugt werden? Was sind die „Low Hanging Fruits“?

2. Infrastruktur-Anpassungen

Im nächsten Schritt stellen wir sicher, dass Ihre Infrastruktur den Anforderungen von KI gewachsen ist bzw. modernisieren sie. Dabei können wir Sie sowohl mit leistungsstarken On-Prem-Lösungen als auch mit leicht skalierenden Private-Cloud-Lösungen unterstützen.

3. Implementierung & Training

Steht die Infrastruktur, spielen wir Ihr bevorzugtes LLM auf. Auch beim Training Ihrer neuen KI-Lösung unterstützen wir Sie. Wir beraten Sie, welche Dokumente und Datenbanken Sie Ihrem PrivateGPT zur Verfügung stellen sollten, um optimale Ergebnisse zu erhalten.

4. Optimierung & Support

Auch nach der Einführung lassen wir Sie nicht alleine. Wir optimieren Ihr PrivateGPT fortlaufend, spielen Updates auf und stehen Ihnen jederzeit bei Support-Anfragen zur Verfügung.

Das klingt interessant? Dann kontaktieren Sie uns jetzt für ein kostenloses Beratungsgespräch. Wir freuen uns schon, von Ihnen zu hören!