PrivateGPT: Wie die Einführung gelingt

Unternehmen möchten die Vorteile von generativer KI nutzen, ohne Datenschutz- oder andere Rechtsverletzungen zu begehen. Die Lösung? Ein PrivateGPT. Dieses Large Language Model (LLM) wird lokal installiert und betrieben. Sensible Daten können also nicht nach außen abfließen.

Die Umsetzung stellt jedoch eine gewisse Herausforderung dar: KI ist eine neue Technologie und in vielen KMU fehlt das entsprechende Know-how. In diesem Artikel erfahren Sie, welche Punkte es zu beachten gilt, damit die Einführung reibungslos verläuft.

Warum ein PrivateGPT?

Ein lokal gehostetes LLM bietet Ihrem Unternehmen eine Reihe von Vorteilen (siehe auch Blogartikel KI lokal betreiben: Die Vorteile von PrivateGPTs).

Datenschutz & Compliance

Wenn Sie Unternehmensdaten in ein öffentliches Modell wie ChatGPT einspeisen, besteht die Gefahr, dass sensible Daten auch von Usern außerhalb Ihrer Organisation abgerufen werden können. Damit riskieren Sie nicht nur Wettbewerbsnachteile, sondern auch Compliance-Verletzungen.

Ein PrivateGPT beugt diesen Gefahren vor. Weil sämtliche Daten auf Ihren lokalen Servern bzw. in der speziell abgesicherten Private Cloud lagern, ist ein Datenabfluss unwahrscheinlich. Zudem können Sie über ein Berechtigungsmanagement auch intern kontrollieren, wer welche Informationen zu sehen bekommt (siehe Blogartikel PrivateGPT: Rechtliche und ethische Aspekte).

Performance

Die Server eines PrivateGPTs befinden sich näher am Unternehmens-User als die Server eines öffentlichen Modells. Das wirkt sich positiv auf Latenzzeiten aus. Für anspruchsvolle Workloads wie Debugging kann das ein entscheidender Vorteil sein.

Weniger Routineaufgaben

LLMs sind sehr gut darin, Ihren Mitarbeitern zeitintensive Routineaufgaben abzunehmen. Ihre Team-Mitglieder können sich so voll auf kreative und strategische Aufgaben konzentrieren. Gleichzeitig steigt die Mitarbeiterzufriedenheit, weil monotone Tätigkeiten entfallen.

Bessere Entscheidungen

In vielen Unternehmen werden wichtige Entscheidungen immer noch „aus dem Bauch heraus“ getroffen. Die Sachlage ist zu komplex, um sie vollständig zu durchschauen.

Hier kann ein LLM Abhilfe schaffen. Es kann mit hunderten oder tausenden von Variablen umgehen und diese sinnvoll gegeneinander abwägen. Wichtige Zukunftsentscheidungen können so datengestützt getroffen werden.

Zufriedene Kunden

Ein PrivateGPT kann die Customer Experience deutlich verbessern. Zum Beispiel kann schneller und genauer auf Support-Anfragen reagiert werden. Ebenso können Reklamationen schneller bearbeitet werden.

Besseres Marketing

Ein PrivateGPT kann Marketing-Inhalte genau auf verschiedene Zielgruppen abstimmen und das in Echtzeit. Außerdem können schnell neue Textinhalte generiert und sogar visualisiert werden, zum Beispiel für Social-Media-Posts.

In 10 Schritten zum PrivateGPT

Befolgen Sie diese 10 Schritte, um Ihr PrivateGPT erfolgreich einzuführen.

1. Definieren Sie Ihre Use Cases

Um das für Sie richtige PrivateGPT aufzusetzen, sollten Sie zunächst Ihre Use Cases definieren. Davon hängen alle weiteren Entscheidungen ab, wie die Wahl der verwendeten Hardware, des Modells usw. Der Use Case bestimmt auch die Ressourcen-Zuteilung. Wenn Sie Ihr PrivateGPT nur für weniger komplexe Anwendungen benötigen, kommen Sie wahrscheinlich auch mit weniger anspruchsvoller Hardware, weniger Speicherplatz oder einer älteren Software-Version aus. Umgekehrt gehen komplexe Use Cases mit höheren Anforderungen einher.

2. Wählen Sie Ihr LLM

Es gibt mittlerweile eine Vielzahl von Large Language Models. Bekannte Beispiele sind Llama 3, Mistral oder Falcon. Auch hier ist es entscheidend, Klarheit über den Use Case zu haben. Beispielsweise ist Llama 3 ein gutes Allrounder-LLM. Es eignet sich für KI-Assistenten, die Ihre Mitarbeiter bei einer Vielzahl von Aufgaben unterstützen. Mistral ist besonders gut darin, Daten aus existierenden Dokumenten abzufragen, zum Beispiel aus Verträgen und Akten. Wenn Sie KI-Anwendungen stärker auf Endgeräten als in der Cloud ausführen möchten, dann könnte Falcon die beste Wahl sein.

Es kann hilfreich sein, sich für die Auswahl des richtigen Modells an einen externen Provider wie Proact zu wenden. Diese Provider haben bereits verschiedene Modelle für eine Vielzahl von Kunden implementiert und verstehen, welches LLM für ein bestimmtes Unternehmen am meisten Sinn macht.

3. Wählen Sie Ihr Deployment-Modell

Eine zentrale Frage für PrivateGPTs: Wird die Lösung on-prem aufgesetzt, also im eigenen Rechenzentrum gehostet oder wird das PrivateGPT in einer speziell abgesicherten Private Cloud untergebracht?

Beide Varianten haben Vor- und Nachteile. Bei der On-Prem-Variante haben Unternehmen maximale Kontrolle über ihre Daten. Allerdings skalieren solche Lösungen meist weniger gut.

Die Private-Cloud-Variante skaliert normalerweise besser, speziell, wenn Sie mit einem externen Cloud-Provider zusammenarbeiten. Zudem ist eine Cloud-Lösung auch erreichbar, wenn Ihre Mitarbeiter von unterwegs aus auf sie zugreifen möchten.

Umgekehrt bietet eine Private Cloud tendenziell weniger Kontrolle über Ihre Daten. Sie sind ein Stück weit vom Provider und seinen Sicherheitsvorkehrungen abhängig. Genauso müssen Sie darauf vertrauen, dass User ihre mobilen Endgeräte im Blick behalten, um unbefugte Zugriffe zu vermeiden.

4. Stellen Sie Ressourcen bereit

Falls Sie Ihr PrivateGPT on-prem installieren möchten, sollten Sie sich über die notwendige Hardware informieren. Dies betrifft vor allem drei Komponenten:

1. Prozessoren
2. RAM-Lösung
3. Speicherplatz

Herkömmliche CPUs können mit anspruchsvollen KI-Workloads schnell überfordert sein. Deshalb werden meist GPUs (Graphics Processing Units) verwendet, wie NVIDIA A100 und H100. Alternativ können Sie auch TPUs (Tensor Processing Units) von Google verwenden oder NPUs (Neural Processing Units) von anderen Herstellern wie Intel oder AMD.

GPUs sind für viele verschiedene KI-Use-Cases geeignet und damit die flexibelste der drei Lösungen. TPUs sind im Vergleich weniger vielseitig, allerdings energieeffizienter. Außerdem können sie leicht über die Google Cloud bezogen werden. NPUs sparen den meisten Strom, sind aber vergleichsweise weniger leistungsfähig als die anderen Lösungen. Sie kommen häufig für Edge- und Mobile-Use-Cases zum Einsatz.

Weiterhin erfordert das Training von LLMs große Mengen Arbeitsspeicher (RAM). Auch die Unterbringung der Trainingsdaten muss geregelt werden – die Speicherlösung muss trotz der großen Menge Daten ausreichend schnell sein. Das stellt hohe Anforderungen an die Storage-Infrastruktur.

Doch damit nicht genug: Sie müssen auch die entsprechenden KI-Experten finden, welche die unterschiedlichen Komponenten sinnvoll orchestrieren. In Zeiten des IT-Fachkräftemangels keine leichte Aufgabe.

Für viele Unternehmen kann es Sinn machen, ein PrivateGPT-Paket über einen spezialisierten Provider zu beziehen. Ein bekanntes Beispiel ist die Lösung von Fujitsu. Das Paket wird inklusive der benötigten Hardware ausgeliefert. Alle Komponenten sind bereits perfekt aufeinander abgestimmt. Proact ist Fujitsu-Partner und hilft Ihnen bei der Implementierung, steht Ihnen für Support-Anfragen zur Verfügung und führt Mitarbeiter-Schulungen durch. Kontaktieren Sie uns jetzt, um mehr zu erfahren.

5. Bereiten Sie Ihr Datenset vor

Ihr PrivateGPT ist nur so gut wie das Datenset, das Sie für das Training verwendet haben. Deswegen sollte hier einiger Aufwand betrieben werden:

• Kuratieren Sie Ihre Daten im Vorfeld, um sicherzustellen, dass die Daten sachlich richtig sind und einen geschäftlichen Mehrwert bieten
• Falls nötig, überführen Sie Rohdaten in das benötigte strukturierte Format
• Anonymisieren Sie die Daten, insbesondere um gesetzlichen Anforderungen an den Datenschutz gerecht zu werden
• Prüfen Sie weitere Compliance-Anforderungen. Diese können sich je nach Industrie und Unternehmensgröße deutlich unterscheiden, Stichwort NIS-2 und DORA
• Entfernen Sie Duplikate, um das Modell-Training zu beschleunigen und Ihre Systeme zu entlasten
• Stellen Sie Datenkonsistenz sicher. Dies ist insbesondere in kritischen Industrien wie dem Gesundheitswesen oder der Finanzbranche entscheidend. Daten-Abweichungen könnten hier verheerende Folgen haben

Darüber hinaus sollten Sie sich über die ethische Qualität der Daten Gedanken machen, insbesondere falls Sie planen, Ihr PrivateGPT für sensible Use Cases wie Einstellungsprozesse zu verwenden.

6. Trainieren Sie Ihr LLM

In dieser Phase erfolgt das eigentliche Training des KI-Modells. Dieser Prozess kann je nach Use Case und Größe des Datensets mehrere Tage, Wochen oder sogar Monate in Anspruch nehmen. Wichtig: Koordinieren Sie diese Phase mit anderen Workloads im Unternehmen, um sicherzustellen, dass es nicht zu Compute-Engpässen kommt.

Wichtig für das Training sind die sogenannten Weights (= „Gewichte“). Dabei handelt es sich um Zahlenwerte, die festlegen, wie wichtig ein bestimmtes Merkmal ist. Das betrifft zum Beispiel die Bildanalyse: Damit die KI zwischen einer Katze und einem Hund unterscheiden kann, wird sie bestimmte Merkmale (Ohrenform, Schnauze, Fellmusterung) stärker berücksichtigen als andere (Anzahl der Beine).

Je besser die Weights auf Ihre Unternehmensanforderungen abgestimmt sind, desto besser der Output des LLMs. Hierin besteht ein entscheidender Vorteil von PrivateGPTs gegenüber öffentlichen KI-Modellen. ChatGPT und Co. erlauben es dem User nicht, die Weights an den jeweiligen Use Case anzupassen. Dagegen können die Weights eines PrivateGPTs feinjustiert werden, beispielsweise was interne Fachbegriffe oder branchenspezifische Anforderungen angeht.

Um die besten Ergebnisse zu erzielen, sollte neben der Kuration der Daten auch Reinforcement Learning betrieben werden, basierend auf menschlichem Feedback (engl. Reinforcement Learning from Human Feedback, RLHF). Dafür bewerten die menschlichen Mitarbeiter die Antworten des LLMs. Dies hilft der KI, zu verstehen, welche Informationen und welcher Kommunikationsstil gefragt sind.

Wenn Sie dagegen ein schnelles Deployment anstreben, können Sie auf Pre-Trained Weights zurückgreifen. Das hat auch den Vorteil, dass Sie weniger Rechenleistung benötigen. Der Nachteil ist, dass der Output unter Umständen weniger relevant ist.

Eine dritte Variante sind Hybrid-Modelle. Hierbei wird die PrivateGPT-Lösung mit Pre-Trained Weights ausgeliefert, die aber nachjustiert werden können. Ein Beispiel ist das PrivateGPT-Angebot von Fujitsu. Für viele KMU sind solche Hybrid-Lösungen ein guter Kompromiss aus Leistung, Flexibilität und Kosten. Proact unterstützt Sie bei der Einführung der Fujitsu-Lösung.

7. Implementieren Sie PETs

Privacy-Enhancing Technologies (PETs) bezeichnen Methoden, um die Sicherheit der Datenverarbeitung zu verbessern. So können Sie Ihr PrivateGPT trainieren, ohne sensible Informationen offenzulegen.

Wichtige PETs sind:

• Differential Privacy: Hier wird gezielt „Rauschen“ zu Daten und Abfragen hinzugefügt, um die Identität von Personen zu verschleiern. Zum Beispiel könnten die Antworten einer Umfrage zufällig unterschiedlichen Befragten zugewiesen werden. Das Ergebnis bleibt gleich, aber die Privatsphäre geschützt.

• Federated Learning: Das Training der KI erfolgt dezentralisiert auf verschiedenen Endgeräten. Es müssen keine Rohdaten an den Server übermittelt werden, nur Modell-Updates werden geteilt.

• Homomorphe Verschlüsselung: Berechnungen werden auf Grundlage von verschlüsselten Daten durchgeführt. So sind hochwertige Analysen möglich, ohne Daten offenzulegen.

• Synthetic Data: Hier werden künstlich erzeugte Daten für das Modell-Training verwendet. Ein Beispiel sind KI-generierte Bilder von Menschen, um die Gesichtserkennung des Modells zu schärfen.

8. Schützen Sie Ihre KI-Assets

PrivateGPTs verarbeiten große Mengen von sensiblen Daten. Das lockt Angreifer an. Es gibt zwei hauptsächliche Bedrohungsszenarien:

1. Veröffentlichung der Daten: Häufig drohen Hacker mit der Veröffentlichung von sensiblen Unternehmensdaten (zum Beispiel Kundendaten) im Darknet. Das Unternehmen muss ein hohes Lösegeld zahlen, um das zu verhindern.

2. Data Poisoning: Die Angreifer könnten versuchen, das Trainings-Datenset der KI zu „vergiften“, also mit Daten anzureichern, die falsch oder ethisch fragwürdig sind. Das könnte dazu dienen, einen Mitbewerber zu diskreditieren.

Beugen Sie diesen Risiken vor, indem Sie die folgenden Sicherheitsmaßnahmen umsetzen:

• Access Management: Nur befugte Mitarbeiter sollten auf das PrivateGPT zugreifen können. Differenzieren Sie aber noch weiter. Zum Beispiel sollte ein Vertriebsmitarbeiter Verkaufszahlen abfragen können, aber keinen Zugriff auf die neuesten Konstruktionspläne haben. Realisieren lässt sich das durch eine rollenbasierte Zugriffskontrolle. Erwägen Sie zusätzlich eine Multi-Faktor-Authentifizierung, insbesondere wenn Mitarbeiter von unterwegs aus auf das PrivateGPT zugreifen.

• Verschlüsselung: Alle gespeicherten Daten sollten durch Verschlüsselung geschützt werden. Das betrifft sowohl die Verschlüsselung im Ruhezustand als auch im Transit, beispielsweise, wenn KI-Output in Datenbanken eingespeist wird. Durch Verschlüsselung sind Ihre Daten auch dann geschützt, falls Hacker bereits in Ihre Systeme eingedrungen sind.

• Logging: Protokollieren Sie alle Zugriffe auf Ihr PrivateGPT. Mit entsprechenden Tools können Sie leicht Anomalien ausmachen und Nutzer vorsorglich ausschließen. Außerdem hilft Logging dabei, nach einem Sicherheitsvorfall Schwachstellen zu rekonstruieren.

• Adversarial Training: Hierbei wird das Modell gezielt auf Täuschungsversuche vorbereitet. Dem Modell werden manipulierte Daten vorgesetzt, so wie sie auch Hacker verwenden. Mit der Zeit lernt die KI, solche Daten auszumachen und zurückzuweisen.

• Schulung: Durch Schulungen können Sie Ihre Mitarbeiter für Sicherheitsrisiken sensibilisieren, zum Beispiel Phishing-Angriffe oder unsichere Passwörter.

9. Betreiben Sie Monitoring & Optimierung

Sie sollten Ihr neues PrivateGPT fortlaufend überwachen und optimieren. Berücksichtigen Sie die folgenden Aspekte:

• Technische Updates: KI-Technologien entwickeln sich rasant weiter und Ihr PrivateGPT sollte diesem Umstand Rechnung tragen. Updaten Sie Ihre Hardware regelmäßig, um am Ball zu bleiben. Genauso sollten Sie regelmäßige Software-Updates durchführen. Die Entwicklungssprünge von einer LLM-Version zur nächsten sind zum Teil gravierend. ChatGPT-User wissen das. Ähnliches gilt für LLMs im PrivateGPT-Segment.

• Sicherheits-Updates: Informieren Sie sich regelmäßig über neue Bedrohungsszenarien und sichern Sie Ihre KI-Assets entsprechend ab. Sie müssen um jeden Preis verhindern, dass Angreifer Zugriff auf das System erhalten, um Data Poisoning oder Erpressungsversuchen vorzubeugen.

• Compliance-Updates: Die regulatorischen Anforderungen an Unternehmen ändern sich ständig. Für KI gilt das in besonderem Maße, weil es sich um eine neue, sich sprunghaft weiterentwickelnde Technologie handelt. Es steht zu erwarten, dass sich die Gesetzgebung in den nächsten Jahren mehrfach ändern wird. Ihr PrivateGPT muss hier Schritt halten.

• Ethische Überprüfungen: LLMs können unter Umständen ethisch fragwürdige Antworten liefern. Zum Beispiel könnte die KI die Vergabe von Krediten an Herkunftsfaktoren knüpfen. Hier sollten Sie regelmäßig entsprechende Tests durchführen, um solche Verirrungen aufzudecken.

Neben diesen fortlaufenden Maßnahmen sollten Sie mindestens einmal jährlich einen Audit durchführen, um Ihr PrivateGPT auf Herz und Nieren zu prüfen. Dokumentieren Sie die Ergebnisse dieser Audits, um Transparenz zu schaffen und Compliance-Vorgaben zu erfüllen.

10. Entwickeln Sie einen Notfallplan

Falls es zu einem Sicherheitsvorfall bei Ihrem PrivateGPT kommt, sollten Sie einen Notfallplan in der Tasche haben. Dieser Plan sollte die folgenden Themen abdecken:

• Informations-Politik: Der Plan sollte klare Vorgaben machen, welche Stakeholder bei einem Vorfall benachrichtigt werden müssen und in welcher Reihenfolge. Das schließt nicht nur das IT-Team und die Mitarbeiter ein, sondern auch externe Parteien, falls zum Beispiel Kundendaten geleakt wurden.

• Isolation & Schadensbegrenzung: Überlegen Sie, wie Sie Ihre KI-Systeme während eines Vorfalls am besten isolieren. Das kann von einer Mikrosegmentierung bis zum Abschalten der Systeme reichen. Erwägen Sie auch, welche wirtschaftlichen Konsequenzen jede dieser Optionen hat.

• Ursachenanalyse & Remediation: Klären Sie, was die Ursache für den Breach war. Implementieren Sie neue Sicherheits-Maßnahmen, um die Lücke zu schließen.

Implementieren Sie Ihr PrivateGPT – mit Proact!

Möchten Sie ein PrivateGPT bei sich im Unternehmen einführen und wünschen sich dafür einen zuverlässigen Partner? Dann sollten Sie sich mit unseren Proact-Experten unterhalten. Wir sind Fujitsu-Partner, einem der führenden Anbieter für generative KI im eigenen Rechenzentrum. Wir begleiten Sie gemeinsam auf dem gesamten Weg – von der ersten Idee bis zur Inbetriebnahme.

1. Analyse

Im ersten Schritt betrachten wir Ihre Ausgangssituation. Was sind Ihre konkreten Use Cases und welche Anforderungen leiten sich daraus ab? Welche Infrastruktur existiert bereits und kann weiter genutzt werden? Was muss ergänzt werden? Nicht zuletzt: Welche Datenquellen für das Training der KI existieren? Um diese Fragen zu beantworten, arbeiten wir eng mit Ihrem Inhouse-Team zusammen.

2. Strategie

Im zweiten Schritt entwickeln wir gemeinsam eine maßgeschneiderte Strategie für Ihr PrivateGPT. Wir betrachten Deployment-Modelle, Hardware-Optionen und LLM-Modelle. Wir orchestrieren diese Komponenten und achten auf eine optimale Einbindung in Ihre bestehende Infrastruktur.

3. Systeme

Nun bereiten wir Ihre Systeme vor. Wir ergänzen KI-optimierte Prozessoren, rüsten RAM-Speicher auf und implementieren eine leistungsfähige Gesamt-Infrastruktur-Lösung. Außerdem spielen wir gemeinsam mit unseren Partnern die LLM-Software auf.

4. Modelltraining

Damit Ihr PrivateGPT hochwertigen Output liefert, muss es mit den richtigen Daten trainiert werden. Wir helfen Ihnen dabei, Ihre Unternehmensdaten zu bereinigen und zu strukturieren. Zudem richten wir Feedback-Prozesse ein.

5. Sicherheit

Wir implementieren eine Reihe von Sicherheitsmaßnahmen, um Ihre KI-Assets optimal zu schützen. Das reicht von einem Berechtigungsmanagement über Verschlüsselungstechnologien bis hin zu Disaster-Recovery-Maßnahmen.

6. Monitoring & Support

Auch nach dem Go-live lassen wir Sie nicht alleine. Wir optimieren Ihr KI-Modell gemeinsam mit unseren Partnern fortlaufend und nehmen Feinjustierungen vor. Auch bei Support-Anfragen stehen wir Ihnen jederzeit zur Verfügung. Und nicht zuletzt führen wir User-Schulungen durch, denn das beste digitale Tool ist nur so gut wie die Menschen, die es nutzen.

Kurz gesagt – Proact ist Ihr Rundum-Partner für PrivateGPTs. 

Das klingt interessant? Dann kontaktieren Sie uns jetzt für ein kostenloses Beratungsgespräch. Wir freuen uns schon, von Ihnen zu hören!