LLM im Unternehmen: Der CTO-Leitfaden zu Datenschutz, RAG und Compliance

Schnelle Antwort

LLM-Einführung im Unternehmen bedeutet den disziplinierten Betrieb großer Sprachmodelle in einer kontrollierten, datenschutzwahrenden Umgebung — typischerweise eine private virtuelle Cloud mit einem Open-Weight-Modell oder einem Modell mit vertraglich zugesicherter Zero-Retention, geerdet durch Retrieval-Augmented Generation (RAG) statt durch Fine-Tuning auf Geheimnissen. Richtig umgesetzt werden vertrauliche Daten nur zur Beantwortung einer Frage gelesen und niemals in die Trainingsgewichte eines geteilten Modells aufgenommen.

Die Angst ist berechtigt: „Wenn ich unsere vertraulichen Daten in einen öffentlichen Chatbot gebe — trainiert er darauf und leakt unsere Geschäftsgeheimnisse?" Für einen CTO im Unternehmen darf die Antwort kein beruhigendes Schulterzucken sein. Sie muss ein technisch erzwungenes und vertraglich garantiertes Nein sein. Dieser Leitfaden zeigt den Weg dorthin.

Die Einführung ist längst nicht mehr das Schwierige. In der globalen McKinsey-Umfrage geben 88 % der Organisationen an, KI in mindestens einer Geschäftsfunktion einzusetzen — doch nur rund 6 % sind „High Performer", die überdurchschnittlichen Wert schöpfen, und 47 % berichten von mindestens einer negativen Folge generativer KI.^[1] Genau in der Lücke zwischen dem Ausrollen eines Modells und dem sicheren Ausrollen lebt Governance. Zum strategischen Kontext dieser Verschiebung siehe unseren GEO-Definitionsleitfaden.

Trainiert ChatGPT auf den Daten meines Unternehmens?

Das hängt vollständig davon ab, welches Produkt und welche Stufe Sie nutzen — und genau hier gehen die meisten Risikobewertungen schief. OpenAI erklärt, dass Eingaben und Ausgaben für Business-Angebote und die API (seit dem 1. März 2023) standardmäßig nicht zum Modelltraining verwendet werden; API-Daten werden bis zu 30 Tage zur Missbrauchskontrolle aufbewahrt und dann gelöscht, und berechtigte Enterprise-Kunden können auf unterstützten Endpunkten Zero Data Retention beantragen.^[2] Consumer-Stufen verhalten sich anders. Die Lehre: Übertragen Sie eine Consumer-Richtlinie nie auf den Enterprise-Vertrag — und nehmen Sie nichts an, sondern verifizieren Sie die Stufe schriftlich.

Was ist die „Walled Garden"-Architektur für private LLMs?

Für eine Bank, ein Pharmaunternehmen oder eine Kanzlei ist die sicherste Haltung eine VPC (Virtual Private Cloud), die eine private Instanz eines Open-Weight-Modells hostet — Familien wie Llama oder Mistral sind gängige Selfhosting-Optionen —, sodass Inferenzdaten niemals eine kontrollierte Grenze verlassen. Verwaltete Single-Tenant-Optionen (etwa Azure OpenAI Service oder AWS Bedrock) können vergleichbare Anforderungen vertraglich erfüllen, ohne dass Sie selbst GPUs betreiben. Beide Ansätze teilen ein Ziel: eine prüfbare Datengrenze, die Sie vor einer Aufsichtsbehörde verteidigen können.

Öffentliche KI vs. private KI: der direkte Vergleich

Die Unterscheidung, die Ihr Compliance-Risiko bestimmt, lautet nicht „OpenAI vs. Open Source" — sondern es ist der Datenverarbeitungsvertrag hinter dem Modell, das Sie tatsächlich betreiben. Die folgende Tabelle bildet die Dimensionen ab, die ein CTO wirklich freigibt.

Was ist RAG — und warum ist es für den Datenschutz im Unternehmen entscheidend?

Retrieval-Augmented Generation kombiniert einen vortrainierten Generator mit einer Live-Suche über eine externe Wissensquelle, sodass das Modell seine Antworten in Dokumenten erden kann, auf denen es nie trainiert wurde — die Technik, die Lewis et al. auf der NeurIPS 2020 vorstellten.^[5] Für ein Unternehmen ist das die datenschutzwahrende Alternative dazu, Geheimnisse in Modellgewichte einzubrennen: Ihre Daten bleiben in einem Speicher, den Sie kontrollieren, und das Modell liest zur Anfragezeit lediglich die relevanten Passagen.

Wie RAG Schritt für Schritt funktioniert

1. Ingestion: Interne Dokumente werden in Chunks zerlegt und in Vektor-Embeddings umgewandelt (numerische Bedeutungsrepräsentationen).
2. Speicherung: Diese Vektoren werden in einer Vektordatenbank indexiert — verbreitet sind etwa Pinecone oder Weaviate — innerhalb Ihrer kontrollierten Umgebung.
3. Retrieval: Stellt eine Mitarbeiterin eine Frage, durchsucht das System den Index nach den semantisch relevantesten Passagen.
4. Generierung: Diese Passagen samt Frage gehen an das LLM — mit der Anweisung, strikt nur aus dem bereitgestellten Kontext zu antworten.

Das Modell „lernt" die Daten nie; es liest sie für eine einzige Antwort und behält nichts über diese Anfrage hinaus. Deshalb ist RAG, nicht Fine-Tuning, das Standardmuster für vertrauliche Korpora — es entkoppelt Antwortqualität von dauerhafter Memorierung. Unser Leitfaden zum Knowledge-Graph-Schema erklärt, wie Sie diese Quelldaten für präzises Retrieval strukturieren.

Welche Compliance-Frameworks gelten für KI im Unternehmen?

Vier Referenzen decken die meisten CTO-Pflichten ab, und Sie sollten benennen können, wo jede greift.

• NIST AI Risk Management Framework (AI RMF 1.0): ein freiwilliges, in den USA veröffentlichtes Rahmenwerk rund um vier Funktionen — Govern, Map, Measure und Manage — zum Management von KI-Risiken über den gesamten Lebenszyklus.^[4]
• EU-KI-Verordnung (AI Act): eine risikobasierte Verordnung, die am 1. August 2024 in Kraft trat und Systeme als inakzeptabel, hoch, begrenzt oder minimal riskant einstuft — mit Pflichten, die bis 2026 und darüber hinaus gestaffelt in Kraft treten.^[3]
• DSGVO: Die Verordnung (EU) 2016/679 regelt die Verarbeitung personenbezogener Daten — einschließlich alles, was ein LLM aufnimmt, abruft oder protokolliert — und macht Datenresidenz und Rechtsgrundlage für EU-Daten nicht verhandelbar.^[7]
• SOC 2: Die AICPA-Berichterstattung gegen die Trust Services Criteria — Sicherheit, Verfügbarkeit, Verarbeitungsintegrität, Vertraulichkeit und Datenschutz — ist der Bericht, den Sie von jedem KI-Anbieter zur Validierung seiner Kontrollen anfordern.^[6]

Was sollten CTOs KI-Anbieter vor der Unterschrift fragen?

Im Einkauf wird Governance gewonnen oder verloren. Bringen Sie diese Fragen in den Vertrag, nicht ins Verkaufsgespräch:

• „Werden unsere Daten zum Training oder zur Verbesserung Ihrer Modelle genutzt?" (Die Antwort muss schriftlich Nein lauten.)
• „Wie lange genau werden Eingaben und Ausgaben aufbewahrt, und bekommen wir Zero Data Retention?"
• „Können Sie das Single-Tenant bereitstellen, und in welcher Region werden die Daten verarbeitet und gespeichert?"
• „Stellen Sie einen aktuellen SOC-2-Type-II-Bericht bereit und unterstützen Sie einen DSGVO-Auftragsverarbeitungsvertrag?"
• „Wie dokumentieren Sie die Konformität mit der EU-KI-Verordnung für die Risikoklasse unseres Anwendungsfalls?"

Häufig gestellte Fragen

Ist es sicher, einen öffentlichen Chatbot für vertrauliche Geschäftsdaten zu nutzen?

Nur auf einer Stufe, deren schriftliche Bedingungen Training auf Ihren Eingaben ausschließen und die Aufbewahrung definieren — und selbst dann sollten Sie für regulierte Daten Single-Tenant-Betrieb bevorzugen. Der sicherste Standard: vertrauliche Anfragen über einen privaten Endpunkt leiten, nicht über eine Consumer-App.

Was ist der Unterschied zwischen Fine-Tuning und RAG für Unternehmensdaten?

Fine-Tuning brennt Informationen in die Modellgewichte ein, wo sie schwer zu löschen sind und unvorhersehbar auftauchen können. RAG hält Ihre Daten in einem externen Speicher, den das Modell zur Anfragezeit liest. Für vertrauliche oder sich häufig ändernde Korpora ist RAG in der Regel das sicherere und wartbarere Muster.

Muss ich ein Open-Weight-Modell selbst hosten, oder genügt eine private Cloud-API?

Beides kann konform sein. Selfhosting gibt Ihnen maximale Kontrolle über die Datengrenze; eine verwaltete Single-Tenant-API verlagert die Betriebslast zum Anbieter, schließt Training vertraglich aber weiterhin aus und legt die Residenz fest. Entscheiden Sie nach Risikoklasse, Personal und Prüfanforderungen — nicht nach Hype.

Gilt die EU-KI-Verordnung auch für interne, rein mitarbeiterbezogene KI-Tools?

Potenziell ja. Die Pflichten der Verordnung folgen der Risikoklassifizierung des Systems und Ihrer Rolle (Anbieter oder Betreiber) — nicht der Frage, ob das Tool öffentlich zugänglich ist. Ordnen Sie jeden Anwendungsfall einer Risikoklasse zu und dokumentieren Sie das; behandeln Sie dies als Rechtsfrage für Ihre konkrete Bereitstellung.^[3]

Was garantiert „Zero Data Retention" eigentlich?

Es bedeutet, dass Prompts und Ausgaben nach Abschluss einer Anfrage nicht gespeichert werden, wodurch das standardmäßige Aufbewahrungsfenster entfällt. Die Verfügbarkeit ist anbieter- und endpunktspezifisch und oft auf berechtigte Enterprise-Kunden beschränkt — bestätigen Sie also, welche Endpunkte qualifizieren, bevor Sie sich darauf verlassen.

Wie halten wir Mitarbeitende davon ab, Geheimnisse in öffentliche KI-Tools einzufügen?

„Schatten-KI" ist ein Governance-Problem, nicht nur ein technisches. Stellen Sie ein sanktioniertes internes Tool bereit, das wirklich nützlich ist, veröffentlichen Sie eine klare Nutzungsrichtlinie und flankieren Sie beides mit DLP-Kontrollen. Menschen umgehen Regeln, wenn der konforme Weg langsamer ist als der riskante — machen Sie also den sicheren Weg zum einfachen.

Welche Zertifizierungen sollte ein KI-Anbieter für Unternehmen vorweisen?

Mindestens: ein aktueller SOC-2-Type-II-Bericht und ein DSGVO-fähiger Auftragsverarbeitungsvertrag. Je nach Branche können auch ISO/IEC 27001 und branchenspezifische Nachweise relevant sein. Zertifizierungen sind notwendige Belege — aber kein Ersatz dafür, die Datenbedingungen selbst zu lesen.

Das Fazit für CTOs

LLM-Einführung im Unternehmen ist kein Modellauswahl-Problem; es ist ein Datengrenzen-Problem. Wählen Sie das Bereitstellungsmuster, das Ihnen eine verteidigbare Grenze gibt, erden Sie das Modell mit RAG statt mit memorierten Geheimnissen, und messen Sie jede Anbieterzusage an einem schriftlichen Vertrag und einem SOC-2-Bericht. Tun Sie das, und „leakt das unsere Geschäftsgeheimnisse?" hört auf, eine Angst zu sein, und wird zu einer kontrollierten, prüfbaren Antwort. Wie wir die Wirkung dieser internen Tools messen, zeigt unser Analytics-Leitfaden.