DSGVO und AI Act: Prüfpunkte vor dem Einsatz generativer KI

Eine Personalreferentin fügt einen Lebenslauf in einen Online-Assistenten ein, um eine Zusammenfassung zu erhalten: Innerhalb weniger Sekunden hat ihr Unternehmen personenbezogene Daten an einen Dritten übermittelt, möglicherweise außerhalb der Union, und ein KI-System in einem Bereich eingesetzt, den das europäische Recht genau beobachtet. Hier steht, Text für Text, was man prüfen sollte, bevor es so weit kommt, nach dem Stand des Rechts zum 1. Oktober 2026.

Zwei Texte, zwei Logiken

Zwei europäische Verordnungen gelten gleichzeitig für den Einsatz generativer KI im Unternehmen. Die Datenschutz-Grundverordnung, DSGVO, regelt jede Verarbeitung personenbezogener Daten, also jede Information, die sich auf eine identifizierbare Person bezieht. Sie gilt, sobald ein Name, eine E-Mail-Adresse oder eine Kundenakte in eine Anfrage gelangt. Die Verordnung über künstliche Intelligenz, AI Act genannt, regelt die KI-Systeme selbst nach dem Risikoniveau ihrer Verwendung, unabhängig davon, ob sie personenbezogene Daten verarbeiten.

Der AI Act unterscheidet den Anbieter, der das System entwickelt oder in Verkehr bringt, und den Betreiber, der es unter seiner Verantwortung beruflich einsetzt. Ein Unternehmen, dessen Beschäftigte für ihre Arbeit einen Chat-Assistenten nutzen, ist ein Betreiber, gleich welcher Größe. Es hat nicht die Pflichten eines Modellanbieters, aber es hat welche.

Die DSGVO denkt in Verarbeitungen und Zwecken. Der AI Act denkt in Systemen und Verwendungen. Dieselbe Handlung, einen Lebenslauf zusammenzufassen, fällt unter beide: unter die DSGVO, weil der Lebenslauf personenbezogene Daten enthält, unter den AI Act, weil die Personalauswahl zu den in Anhang III der Verordnung aufgeführten Hochrisikobereichen gehört.

Der Zeitplan des AI Act, im Juli 2026 geändert

Die Verordnung (EU) 2024/1689 ist am 1. August 2024 in Kraft getreten, mit gestaffelter Anwendung. Die verbotenen Praktiken, wie Social Scoring oder bestimmte Formen der Manipulation, und die Pflicht zur KI-Kompetenz gelten seit dem 2. Februar 2025. Die Regeln für KI-Modelle mit allgemeinem Verwendungszweck und die Organisation der Governance gelten seit dem 2. August 2025. Die Europäische Kommission gibt an, dass die Verordnung am 2. August 2026 mit wenigen Ausnahmen anwendbar geworden ist und dass die Transparenzregeln zu diesem Datum in Kraft treten.

Diese Ausnahmen stammen aus dem Digital-Omnibus zur KI, einem Vereinfachungstext, den die Kommission am 19. November 2025 vorgeschlagen hat. Nach einer politischen Einigung am 7. Mai 2026 hat ihn das Europäische Parlament am 16. Juni 2026 und der Rat am 29. Juni angenommen. Als Verordnung (EU) 2026/1744 veröffentlicht, ist er am 27. Juli 2026 in Kraft getreten. Er verschiebt die Pflichten für Hochrisikosysteme nach Anhang III, darunter solche für Personalauswahl, Bildung oder den Zugang zu bestimmten Dienstleistungen, auf den 2. Dezember 2027. Hochrisikosysteme, die in Produkte integriert sind, die bereits einer sektoralen Gesetzgebung unterliegen, wie Maschinen oder Medizinprodukte, haben bis zum 2. August 2028 Zeit.

Der Omnibus fügt ein Verbot hinzu, anwendbar ab dem 2. Dezember 2026: das von Systemen, die nicht einvernehmliche intime Bilder oder Darstellungen sexuellen Missbrauchs von Kindern erzeugen. Er gewährt außerdem Anbietern von Systemen, die bereits auf dem Markt sind, eine Frist bis zum 2. Dezember 2026, um die von ihnen erzeugten synthetischen Inhalte erkennbar zu kennzeichnen.

Schließlich schreibt er Artikel 4 zur KI-Kompetenz neu. Die frühere Formulierung verlangte von Anbietern und Betreibern, ein ausreichendes Kompetenzniveau bei ihrem Personal sicherzustellen. Die neue verlangt von ihnen, Maßnahmen zur Förderung dieser Kompetenz zu ergreifen, unter Berücksichtigung der Kenntnisse der Personen und des Einsatzkontexts, ohne ein bestimmtes Niveau zu fordern. Die Pflicht wurde nicht verschoben: Sie gilt für jedes Unternehmen, das ein KI-System in seiner Tätigkeit einsetzt.

Die Sanktionen bleiben die des Artikels 99: bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes für verbotene Praktiken, bis zu 15 Millionen oder 3 % für die meisten anderen Pflichten, darunter die der Betreiber und die Transparenzpflichten. Für kleine und mittlere Unternehmen gilt der niedrigere der beiden Beträge als Obergrenze.

Was der AI Act von einem nutzenden Unternehmen verlangt

Die meisten Büroanwendungen, eine E-Mail verfassen, eine Besprechung zusammenfassen, eine Anleitung übersetzen, gehören nicht zum Hochrisikobereich. Für sie beschränken sich die Betreiberpflichten auf zwei Punkte: das Personal nach Artikel 4 schulen und informieren und die Transparenzregeln des Artikels 50 beachten.

Artikel 50 zielt vor allem auf verbreitete Inhalte. Ein Betreiber, der ein realistisch manipuliertes Bild, einen solchen Ton oder ein solches Video veröffentlicht, muss darauf hinweisen, dass sie erzeugt oder manipuliert wurden. Ein von KI erzeugter und zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse veröffentlichter Text muss ebenfalls gekennzeichnet werden, es sei denn, er wurde unter redaktioneller Verantwortung einer identifizierten Person von einem Menschen geprüft. Die Information muss klar und spätestens beim ersten Kontakt mit dem Inhalt gegeben werden.

Die Pflichten werden schwerer, wenn die Verwendung unter Anhang III fällt, zum Beispiel die Vorauswahl von Bewerbungen oder die Bewertung von Beschäftigten. Artikel 26 verpflichtet den Betreiber dann, die Überwachung des Systems fachkundigen Personen mit der nötigen Befugnis zu übertragen, die automatisch erzeugten Protokolle mindestens sechs Monate aufzubewahren, vor der Inbetriebnahme am Arbeitsplatz die Arbeitnehmervertreter und die betroffenen Beschäftigten zu informieren und die Dokumentation des Anbieters zu nutzen, um die von der DSGVO vorgesehene Folgenabschätzung durchzuführen. Diese Pflichten gelten ab dem 2. Dezember 2027, aber ein heute gestartetes Projekt wird zu diesem Zeitpunkt in Betrieb sein.

In Frankreich hat die Regierung am 9. September 2025 ein Aufsichtsschema vorgestellt, das die Koordination der DGCCRF überträgt und die Aufsicht auf mehrere Behörden verteilt, darunter die CNIL für Hochrisikosysteme im Bereich Beschäftigung und Bildung und die Arcom für synthetische Inhalte. Dieses Schema sollte durch ein Gesetz bestätigt werden; man muss seinen Fortschritt prüfen, wenn man ein Projekt startet.

DSGVO: die Fragen vor der ersten Anfrage

Die DSGVO verbietet den Einsatz generativer KI nicht. Sie verlangt, für jede Verwendung, die personenbezogene Daten berührt, die üblichen Fragen zu beantworten: welcher Zweck, auf welcher Rechtsgrundlage unter denen des Artikels 6, mit welchen unbedingt erforderlichen Daten, für wie lange, mit welcher Information der Personen und wie diese ihre Rechte ausüben. Die Verarbeitung muss im Verzeichnis der Verarbeitungstätigkeiten stehen.

Generative KI bringt eine Schwierigkeit hinzu: Was in eine Anfrage eingeht, kann an anderer Stelle wieder herauskommen. Der Europäische Datenschutzausschuss, in dem die nationalen Behörden zusammenkommen, hat am 17. Dezember 2024 eine Stellungnahme zu KI-Modellen abgegeben. Darin vertritt er, dass ein auf personenbezogenen Daten trainiertes Modell nicht in jedem Fall als anonym gelten kann: Es muss im Einzelfall geprüft werden, dass die Wahrscheinlichkeit, Daten über Personen daraus zu extrahieren, vernachlässigbar ist. Er räumt ein, dass das berechtigte Interesse bestimmte Verarbeitungen begründen kann, sofern ein Test in drei Schritten bestanden wird: festgestelltes Interesse, Erforderlichkeit der Verarbeitung, Abwägung mit den Rechten der Personen.

Für ein nutzendes Unternehmen ist die praktische Folge einfach. Man muss wissen, ob der Anbieter die Anfragen zum Training seiner Modelle weiterverwendet, und dies vertraglich ablehnen können. Die CNIL erinnert in ihren Fragen und Antworten vom Juli 2024 zur generativen KI daran, dass die Zugänglichkeit eines Datums nicht genügt, um seine Weiterverwendung durch den Anbieter zu erlauben.

Die DSGVO selbst könnte sich ändern. Die Kommission hat am 19. November 2025 einen zweiten Teil des Digital-Omnibus vorgeschlagen, der unter anderem die Definition des personenbezogenen Datums berührt. Ende September 2026 befand sich dieser Teil noch in erster Lesung, ohne Verhandlungsmandat des Rates. Die geltenden Regeln gelten also unverändert.

Der Anbieter: Auftragsverarbeiter, und mit welchem Vertrag

Verarbeitet ein Dienstleister personenbezogene Daten im Auftrag eines Unternehmens, ist er dessen Auftragsverarbeiter im Sinne von Artikel 28 der DSGVO. Ein Vertrag muss dann Gegenstand, Dauer, Art und Zweck der Verarbeitung sowie die Datenkategorien festlegen und den Dienstleister verpflichten, nur auf Weisung zu handeln, die Sicherheit zu gewährleisten, weitere Auftragsverarbeiter nur mit Genehmigung einzusetzen und die Daten bei Vertragsende zu löschen oder zurückzugeben.

Die Verbraucherangebote der Online-Assistenten sind in der Regel nicht für diesen Rahmen konzipiert. Die professionellen Angebote sind es öfter, aber die Bedingungen variieren. Die CNIL unterscheidet drei Betriebsarten. Vor Ort behält die Organisation die Kontrolle über die Infrastruktur. In der Cloud braucht es einen Auftragsverarbeitungsvertrag, der die Verantwortlichkeiten und die zulässigen Zugriffe auf die Daten abgrenzt. Über eine API sieht die CNIL das Risiko als am höchsten an und empfiehlt, dort keine personenbezogenen Daten zu übermitteln und die Klauseln zur Übermittlung außerhalb der Union zu beachten.

Ein Punkt verdient genaues Lesen: Verwendet der Anbieter die erhaltenen Daten für eigene Zwecke weiter, etwa zur Verbesserung seiner Modelle, handelt er nicht mehr nur im Auftrag seines Kunden. Die Einordnung jedes Beteiligten ändert sich dann, mit ihren Folgen für die Haftung. Der Vertrag muss diese Frage schwarz auf weiß klären.

Sensible Daten und Geschäftsgeheimnisse

Artikel 9 der DSGVO verbietet grundsätzlich die Verarbeitung bestimmter Datenkategorien: ethnische Herkunft, politische Meinungen, religiöse Überzeugungen, Gewerkschaftszugehörigkeit, genetische und biometrische Daten, Gesundheit, Sexualleben und sexuelle Orientierung. Die Ausnahmen sind begrenzt und müssen vor jeder Verarbeitung festgestellt werden. Eine Krankschreibung, ein Hinweis auf eine Behinderung in einer Personalakte oder ein ärztlicher Bericht, in einen Online-Assistenten eingefügt, gehören dazu.

Die CNIL empfiehlt, je nach Betriebsart die erlaubten und verbotenen Verwendungen festzulegen und die Eingabe bestimmter vertraulicher Informationen, etwa solcher, die unter das Geschäftsgeheimnis fallen, zu untersagen, wenn das Werkzeug extern gehostet wird. Sie empfiehlt außerdem, die Nutzer über Funktionsweise und Grenzen des Systems zu schulen und sie zu bitten, die Ergebnisse zu prüfen, bevor sie sie übernehmen.

Übermittlungen außerhalb der Union und Cloud Act

Kapitel V der DSGVO regelt die Übermittlung personenbezogener Daten außerhalb der Union. In die Vereinigten Staaten beruhen die meisten heute auf dem Datenschutzrahmen EU-USA, den die Kommission im Juli 2023 angenommen hat. Am 3. September 2025 wies das Gericht der Europäischen Union in der Rechtssache T-553/23 die Klage des französischen Abgeordneten Philippe Latombe gegen diesen Rahmen ab. Der Kläger legte am 31. Oktober 2025 Rechtsmittel beim Gerichtshof ein, eingetragen unter der Nummer C-703/25 P. Solange der Gerichtshof nicht entschieden hat, bleibt die Rechtsgrundlage dieser Übermittlungen umstritten, und ihr Stand muss bei der Auswahl eines Werkzeugs geprüft werden.

Der Cloud Act, ein US-Gesetz von 2018, fügt eine weitere Exposition hinzu. Er hat eine Bestimmung in das US-Bundesgesetzbuch eingefügt, Abschnitt 2713 von Titel 18, die Anbieter von Kommunikations- und Speicherdiensten, die dem US-Recht unterliegen, verpflichtet, auf Anordnung die Daten herauszugeben, die sich in ihrem Besitz, ihrer Obhut oder unter ihrer Kontrolle befinden, ob diese Daten in den Vereinigten Staaten oder anderswo gespeichert sind. Das Hosting in einem europäischen Rechenzentrum beseitigt diese Exposition also nicht, wenn der Dienstleister dem US-Recht unterliegt.

Für das Unternehmen gehören diese beiden Elemente zur Risikoanalyse. Für jedes Werkzeug muss man das Land des Dienstleisters und seiner eigenen Unterauftragnehmer festhalten, das Rechtsinstrument, das die Übermittlung absichert, und was geschähe, wenn dieser Rahmen fiele.

Protokollieren, ohne zu überwachen

Die Protokollierung besteht darin, in einem System aufzuzeichnen, wer was wann getan hat. Sie dient dazu, Missbrauch zu erkennen, nach einem Vorfall zu ermitteln und die eigene Konformität nachzuweisen. Die CNIL hat am 18. November 2021 eine Empfehlung dazu veröffentlicht. Sie rät darin, die Spuren der Zugriffe und Handlungen berechtigter Nutzer sechs Monate bis ein Jahr aufzubewahren, wobei eine längere Dauer begründet und dokumentiert werden muss und in den meisten Fällen drei Jahre nicht überschreiten soll.

Bei generativer KI verdoppelt sich die Frage. Die Protokolle eines Assistenten enthalten oft den Text der Anfragen und Antworten, also personenbezogene Daten und manchmal Geschäftsgeheimnisse. Sie sind selbst eine Verarbeitung, die zu sichern, zeitlich zu begrenzen und vor übermäßiger Überwachung der Beschäftigten zu schützen ist. Für Hochrisikosysteme legt der AI Act für den Betreiber eine Mindestaufbewahrung der Protokolle von sechs Monaten fest. Man muss wissen, wo diese Protokolle gespeichert sind, wer sie lesen kann und ob sie dem Anbieter zugänglich sind.

Die Folgenabschätzung als Entscheidungsinstrument

Die Datenschutz-Folgenabschätzung, DSFA, ist nach Artikel 35 der DSGVO obligatorisch, wenn eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten der Personen mit sich bringt. Die europäischen Behörden haben neun Kriterien festgelegt, darunter sensible Daten, Verarbeitung in großem Umfang, schutzbedürftige Personen, Verknüpfung von Datensätzen und innovative Nutzung einer Technologie. Eine Verarbeitung, die mindestens zwei Kriterien erfüllt, gilt als eine Abschätzung erfordernd.

Die CNIL stellt klar, dass neuere Techniken, darunter generative KI, unter das Kriterium der innovativen Nutzung fallen, anders als bewährte statistische Methoden. Sie listet außerdem KI-spezifische Risiken auf, die in die Analyse einzubeziehen sind: Erzeugung falscher Inhalte, diskriminierende Verzerrungen, Angriffe zur Extraktion von Daten aus dem Modell. Ein von der Personalabteilung an Beschäftigtenakten genutzter Assistent erfüllt somit schnell zwei Kriterien.

Die DSFA ist kein weiteres Formular. Gut durchgeführt, zwingt sie dazu, den tatsächlichen Datenfluss zu beschreiben, die Betriebsoptionen zu vergleichen und die getroffene Wahl zu dokumentieren. Oft entdeckt ein Unternehmen in dieser Phase, dass ein Teil seiner Anwendungen nicht über einen externen Dienst laufen sollte.

Was eine Verarbeitung vor Ort ändert

Das Modell auf einer in den Räumen des Unternehmens installierten Maschine laufen zu lassen, verändert mehrere Antworten. Die CNIL empfiehlt diese Betriebsart für personenbezogene oder vertrauliche Daten, weil sie die Risiken einer Extraktion durch Dritte begrenzt. Greift kein Dienstleister auf die Anfragen zu, gibt es weder eine Übermittlung außerhalb der Union noch auf diesem Weg eine Exposition gegenüber dem Cloud Act noch eine Weiterverwendung der Daten zum Training eines fremden Modells. Die Kette der Auftragsverarbeitung verkürzt sich, und die Protokolle bleiben unter der Kontrolle des Unternehmens.

Es beseitigt nicht den Rest. Rechtsgrundlage, Datenminimierung, Information der Personen, Sicherheit, Aufbewahrungsfristen und Folgenabschätzung bleiben geschuldet. Die Pflichten des AI Act hängen nicht davon ab, wo das Modell läuft: Eine Vorauswahl von Bewerbungen bleibt eine Hochrisikoverwendung, ob sie in einem amerikanischen Rechenzentrum oder in einem Serverschrank ausgeführt wird. Und wenn ein Dienstleister die Fernwartung mit Zugriff auf die Daten übernimmt, wird er wieder zum Auftragsverarbeiter.

Die Verarbeitung vor Ort verlagert auch einen Teil der technischen Verantwortung auf das Unternehmen: Sicherheitsupdates, Zugriffskontrolle, Sicherungen. Der rechtliche Gewinn setzt eine ordnungsgemäß administrierte Maschine voraus.

Vor der Unterschrift

Die Prüfung besteht aus einer kurzen Reihe von Punkten. Eine schriftliche Richtlinie unterscheidet erlaubte und verbotene Verwendungen. Jede Verwendung wird danach eingestuft, ob sie personenbezogene Daten berührt, und darunter sensible Daten. Für jedes Werkzeug kennt das Unternehmen den Ort der Verarbeitung der Anfragen, den Dienstleister, das Recht, dem er unterliegt, und das Rechtsinstrument, das eine mögliche Übermittlung absichert. Der Vertrag untersagt die Weiterverwendung der Daten zum Training oder regelt sie. Die Protokolle haben einen festgelegten Speicherort, festgelegte Zugriffe und eine festgelegte Aufbewahrungsdauer. Die unter Anhang III des AI Act fallenden Verwendungen sind erfasst, die Folgenabschätzung wird durchgeführt, wo sie geboten ist, und das Personal hat eine angemessene Schulung erhalten.

Dieser Artikel beschreibt den Stand der Texte zum 1. Oktober 2026. Er stellt keine Rechtsberatung dar: Jeder Einzelfall, insbesondere solche aus den Bereichen Personal, Gesundheit oder internationale Übermittlungen, erfordert die Einschätzung einer Juristin oder eines Juristen oder der oder des Datenschutzbeauftragten. Um die Frage des Datenstandorts zu beantworten, entwickelt HOMN Maschinen, die Anfragen vor Ort verarbeiten; die übrigen Fragen dieser Liste bleiben Sache jedes Unternehmens.

Ist ein Unternehmen, das ChatGPT oder Copilot nutzt, vom AI Act betroffen?

Ja. Es ist Betreiber im Sinne der Verordnung. Es muss mindestens Maßnahmen zur KI-Kompetenz für sein Personal ergreifen (Artikel 4) und die Transparenzregeln des Artikels 50 einhalten. Schwerere Pflichten kommen hinzu, wenn die Verwendung zum Hochrisikobereich gehört, wie die Personalauswahl.

Gelten die Hochrisikopflichten des AI Act seit August 2026?

Nein. Die Verordnung (EU) 2026/1744, am 27. Juli 2026 in Kraft getreten, hat sie für Systeme nach Anhang III auf den 2. Dezember 2027 und für in regulierte Produkte integrierte Systeme auf den 2. August 2028 verschoben.

Braucht man für generative KI eine Folgenabschätzung?

Nicht grundsätzlich. Sie ist obligatorisch, wenn die Verarbeitung ein hohes Risiko birgt, das vermutet wird, sobald zwei der neun europäischen Kriterien erfüllt sind. Die CNIL zählt generative KI zu den innovativen Nutzungen, was bereits ein Kriterium darstellt. Sie empfiehlt, eine durchzuführen.

Genügt ein KI-Hosting in Europa, um den Cloud Act auszuschließen?

Nein. Der Cloud Act zielt auf Anbieter, die dem US-Recht unterliegen, gleichgültig, wo die Daten gespeichert sind. Nur eine Verarbeitung durch einen Dienstleister, der diesem Recht nicht unterliegt, oder auf einer Maschine des Unternehmens ohne externen Zugriff schließt diese Exposition aus.