1,1 Millionen Euro Bußgeld, unter anderem weil eine Datenschutz-Folgenabschätzung fehlte: Das traf Volkswagen 2022 für ein Testfahrzeug mit KI-gestützter Unfallvermeidung, wie die Landesbeauftragte für den Datenschutz Niedersachsen feststellte. Für jedes Unternehmen, das heute ein KI-System mit personenbezogenen Daten einführt, stellt sich dieselbe Frage: Verlangt Artikel 35 der Datenschutz-Grundverordnung (DSGVO) eine Datenschutz-Folgenabschätzung, bevor der Betrieb beginnt?
Kurzfassung
- Eine Datenschutz-Folgenabschätzung ist nach Artikel 35 DSGVO Pflicht, sobald eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen mit sich bringt, und viele KI-Systeme erfüllen dieses Kriterium bereits durch automatisierte Bewertung oder Profiling.
- Bei einem Verstoß gegen diese Pflicht drohen laut Artikel 83 Absatz 4 DSGVO Bußgelder bis 10 Millionen Euro oder 2 Prozent des weltweiten Jahresumsatzes.
- Das betrifft jedes Unternehmen, das ein KI-System zur automatisierten Bewertung, Einstufung oder umfangreichen Auswertung personenbezogener Daten einsetzt oder einführen will.
Was eine Datenschutz-Folgenabschätzung ist
Eine Datenschutz-Folgenabschätzung, kurz DSFA, ist eine vorab durchzuführende Risikoprüfung. Artikel 35 Absatz 1 DSGVO verlangt sie, wenn eine Verarbeitung, insbesondere bei neuen Technologien, voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat. Das Unternehmen beschreibt darin die geplante Verarbeitung, bewertet Erforderlichkeit und Verhältnismäßigkeit und legt Maßnahmen fest, die das Risiko für die Betroffenen senken, bevor die Verarbeitung beginnt.
Der Gesetzgeber nennt KI-Systeme dabei ausdrücklich als Beispiel für eine “neue Technologie”, die eine Prüfung wahrscheinlicher macht. Das heißt nicht, dass jedes KI-System automatisch eine DSFA auslöst. Es heißt, dass die Einstufung bei KI-gestützter Verarbeitung genauer geprüft werden muss als bei etablierter Software.
Die drei Pflichtfälle nach Artikel 35 DSGVO
Artikel 35 Absatz 3 DSGVO nennt drei Fallgruppen, bei denen eine DSFA ausdrücklich erforderlich ist.
Systematische, umfassende Bewertung mit Rechtswirkung. Eine automatisierte Verarbeitung, einschließlich Profiling, bewertet persönliche Aspekte einer Person systematisch und umfassend, und auf dieser Grundlage werden Entscheidungen mit Rechtswirkung oder ähnlich erheblicher Beeinträchtigung getroffen. Ein Bewerber-Scoring oder eine automatisierte Bonitätsprüfung fällt typischerweise hierunter.
Umfangreiche Verarbeitung besonderer Datenkategorien. Gesundheitsdaten, biometrische Daten oder Daten zu strafrechtlichen Verurteilungen werden in großem Umfang verarbeitet, etwa durch ein System, das medizinische Dokumentation automatisiert erfasst und auswertet.
Systematische, umfangreiche Überwachung öffentlich zugänglicher Bereiche. Videoanalyse mit automatisierter Personenerkennung in Einkaufszentren oder Bahnhöfen ist das klassische Beispiel, unabhängig davon, ob ein Mensch oder ein KI-System die Auswertung übernimmt.
Wann KI-Systeme die Risikoschwelle reißen
Nicht jede Verarbeitung lässt sich einem der drei Fälle eindeutig zuordnen. Für diese Grenzfälle hat die Artikel-29-Datenschutzgruppe, heute der Europäische Datenschutzausschuss, neun Kriterien definiert, anhand derer sich ein hohes Risiko erkennen lässt: Bewerten oder Einstufen, automatisierte Entscheidungsfindung mit Rechtswirkung, systematische Überwachung, vertrauliche oder höchst persönliche Daten, Verarbeitung in großem Umfang, Abgleichen oder Zusammenführen von Datensätzen, Daten zu schutzbedürftigen Betroffenen, innovative Nutzung neuer Technologien, und ob Betroffene an der Ausübung eines Rechts oder einer Dienstleistung gehindert werden.
Die Leitlinien halten dazu fest: Erfüllt ein Verarbeitungsvorgang zwei oder mehr dieser Kriterien, ist vielfach ein hohes Risiko gegeben, und eine DSFA wird notwendig. Ein KI-gestütztes Bewerber-Screening erfüllt allein schon “Bewerten oder Einstufen” und “innovative Nutzung neuer Technologien”, oft zusätzlich “automatisierte Entscheidungsfindung”, und reißt die Schwelle damit deutlich.
Was die Positivlisten der Aufsichtsbehörden zu KI sagen
Nach Artikel 35 Absatz 4 DSGVO veröffentlichen die Aufsichtsbehörden Listen von Verarbeitungsvorgängen, für die eine DSFA verpflichtend ist. Die deutschen Landesdatenschutzbehörden haben dafür 2018 inhaltlich abgestimmte Länderlisten herausgegeben. Die Liste des Landesbeauftragten für den Datenschutz Baden-Württemberg nennt unter Position 9 ausdrücklich: Einsatz von künstlicher Intelligenz zur Verarbeitung personenbezogener Daten zur Steuerung der Interaktion mit Betroffenen oder zur Bewertung persönlicher Aspekte, mit dem Beispiel eines Callcenters, das die Stimmungslage von Anrufern automatisiert auswertet.
Eine 2018er-Liste, keine KI-Neuerung
Die Positivlisten stammen aus 2018 und wurden seitdem nicht umfassend neugefasst. Die Nennung von KI-Profiling ist also keine neue Reaktion auf generative KI, sondern galt schon, bevor der Begriff im Mittelstand ankam. Wer seine KI-Workflows erst jetzt gegen diese Liste prüft, prüft gegen eine seit Jahren geltende Vorgabe nach.
Was die Aufsichtsbehörden 2024 zu KI konkret klarstellen
Zwei Dokumente aus 2024 übersetzen das für den konkreten KI-Einsatz. Die Datenschutzkonferenz hat am 6. Mai 2024 ihre Orientierungshilfe “Künstliche Intelligenz und Datenschutz” veröffentlicht und stellt dort klar, dass eine DSFA bei KI-Systemen vielfach notwendig sein soll, gerade weil Verantwortliche oft zu wenig Information über das eingesetzte Modell haben und diese aktiv beim Anbieter einfordern müssen. Das Bayerische Landesamt für Datenschutzaufsicht hat Anfang 2024 eine Checkliste “Datenschutzkonforme KI” veröffentlicht, die Unternehmen anweist, bei jedem KI-Einsatz zu prüfen, ob eine DSFA erforderlich ist, und den Datenschutzbeauftragten frühzeitig einzubinden.
Beide Dokumente ersetzen keine Einzelfallprüfung. Sie zeigen aber, dass die Aufsichtsbehörden die Frage nicht mehr nur theoretisch stellen, sondern konkret bei KI-Einführungen nachfragen. Wie sich die zugehörige Anbieterprüfung dazu verhält, beschreibt der Beitrag Auftragsverarbeitungsvertrag mit KI-Anbietern: Der Vertrag regelt die Beziehung zum Anbieter, die DSFA bewertet das Risiko für die Betroffenen. Beide gehören zur selben Einführung, keines ersetzt das andere.
So läuft die Folgenabschätzung für ein KI-System ab
Eine DSFA folgt in der Praxis einem festen Ablauf, unabhängig davon, ob am Ende ein KI-System oder eine klassische Anwendung bewertet wird.
- Verarbeitung beschreiben. Welche Daten fließen in das System, zu welchem Zweck, über welchen Zeitraum, und wer hat Zugriff auf die Ausgabe.
- Erforderlichkeit und Verhältnismäßigkeit prüfen. Lässt sich derselbe Zweck mit weniger Daten oder einem weniger eingreifenden Verfahren erreichen.
- Risiken für die Betroffenen bewerten. Welche Folgen hätte eine Fehleinschätzung, ein Datenleck oder eine diskriminierende Verzerrung für die Person, nicht für das Unternehmen.
- Abhilfemaßnahmen festlegen. Technische und organisatorische Maßnahmen, die das verbleibende Risiko senken, etwa ein Freigabeschritt durch einen Menschen oder eine eingeschränkte Datengrundlage.
- Ergebnis dokumentieren. Bleibt nach den Maßnahmen ein hohes Restrisiko, verlangt Artikel 36 DSGVO vor Beginn der Verarbeitung eine Konsultation der Aufsichtsbehörde.
Der Datenschutzbeauftragte ist nach Artikel 35 Absatz 2 DSGVO einzubeziehen, trifft die Entscheidung aber nicht allein. Verantwortlich bleibt das Unternehmen als Verantwortlicher im Sinne der DSGVO. Wie sich diese Einstufung zur Frage verhält, ob dasselbe System zusätzlich als Hochrisiko-KI-System nach dem EU AI Act gilt, beschreibt der Beitrag Hochrisiko-KI-System einstufen.
Was bei einer fehlenden Folgenabschätzung droht
Fehlt eine erforderliche DSFA, kann die Aufsichtsbehörde nach Artikel 58 Absatz 2 DSGVO von ihren Abhilfebefugnissen Gebrauch machen, einschließlich eines Bußgelds nach Artikel 83 Absatz 4 DSGVO. Der Rahmen reicht bis 10 Millionen Euro oder 2 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist, derselbe Rahmen wie bei einem fehlenden Auftragsverarbeitungsvertrag.
Volkswagen zahlte dafür ein reales Beispiel: Die Landesbeauftragte für den Datenschutz Niedersachsen verhängte im Juli 2022 ein Bußgeld von 1,1 Millionen Euro, nachdem ein Testfahrzeug mit nicht gekennzeichneten Kameras zur Erprobung eines Fahrassistenzsystems bei einer Verkehrskontrolle aufgefallen war. Neben der fehlenden Kennzeichnung und einem fehlenden Auftragsverarbeitungsvertrag zählte die Behörde die fehlende Datenschutz-Folgenabschätzung ausdrücklich zu den festgestellten Verstößen.
Verhältnis zur Grundrechte-Folgenabschätzung nach dem EU AI Act
Der EU AI Act verlangt zusätzlich zur DSFA eine Grundrechte-Folgenabschätzung nach Artikel 27, allerdings nur für bestimmte Betreiber: öffentliche Stellen, private Unternehmen, die öffentliche Dienstleistungen erbringen, sowie Betreiber bestimmter Hochrisiko-KI-Systeme aus Anhang III, konkret Kreditwürdigkeitsprüfung und Risikobewertung bei Lebens- und Krankenversicherungen. Für die meisten Mittelstandsunternehmen greift diese zusätzliche Pflicht also nicht.
Wo sie greift, ergänzt sie eine vorhandene DSFA, statt sie zu ersetzen: Die Grundrechte-Folgenabschätzung prüft zusätzlich Diskriminierungsrisiken, den Zugang zu wesentlichen Leistungen und die menschliche Aufsicht über das System, also Fragen, die über reinen Datenschutz hinausgehen. Beide Prüfungen lassen sich dokumentatorisch zusammenführen, wenn dieselbe Verarbeitung betroffen ist.
Was jetzt zu tun ist
Drei Schritte bringen die DSFA-Lage für ein KI-Vorhaben in einen geprüften Zustand.
- Prüfe für jedes geplante oder laufende KI-System, ob es einen der drei Pflichtfälle aus Artikel 35 Absatz 3 DSGVO erfüllt oder mindestens zwei der neun Risikokriterien reißt.
- Dokumentiere das Ergebnis schriftlich, auch wenn die Antwort “keine DSFA nötig” lautet, mit Datum, Begründung und verantwortlicher Person.
- Führe bei einem positiven Befund die DSFA vor Produktivstart durch, binde den Datenschutzbeauftragten ein, und kläre frühzeitig, ob eine Konsultation nach Artikel 36 DSGVO nötig wird.
