Nahezu hundert Prozent Trefferquote – so hoch ist laut einer aktuellen Studie das Risiko, dass sich einzelne Patientinnen und Patienten aus bestimmten medizinischen KI-Modellen re-identifizieren lassen. Forscher der TU München haben gemeinsam mit dem Imperial College London und dem Hasso-Plattner-Institut nachgewiesen, dass bisherige Sicherheitsbewertungen für Medizin-KI systematisch zu optimistisch waren.
Für Geschäftsführung, HR-Leitung und CFOs in Unternehmen mit Gesundheitsbezug ist das keine akademische Randnotiz. Wer betriebliches Gesundheitsmanagement digitalisiert, Wearables oder Gesundheits-Apps für Mitarbeitende einführt oder als Health-Tech-Unternehmen KI-Modelle mit Patientendaten trainiert, übernimmt mit dem Datenschutzrisiko auch ein konkretes Haftungsrisiko.
Dieser Beitrag ordnet die Studienergebnisse rechtlich ein und zeigt, welche Pflichten aus DSGVO, BDSG und der neuen EU-KI-Verordnung folgen – und was Unternehmen beim Einkauf oder Betrieb von Gesundheits-KI konkret prüfen müssen.
Was hat die TUM-Studie zum Datenschutzrisiko von Medizin-KI herausgefunden?
Die Studie zeigt, dass medizinische KI-Modelle einzelne Personen weit verlässlicher preisgeben können als bisherige Durchschnittswerte vermuten ließen. Die Forschenden griffen KI-Modelle an, die auf sieben etablierten medizinischen Datensätzen trainiert wurden, <cite index="13-8">darunter einer mit 21.799 Elektrokardiogrammen und einer mit 377.110 Röntgenaufnahmen des Brustkorbs</cite>.
Im Zentrum der Untersuchung standen sogenannte Membership Inference Attacks. <cite index="9-7,9-8">Solche Angriffe zielen darauf ab, festzustellen, ob die Daten einer bestimmten Person zum Training eines Modells verwendet wurden – bislang galten gängige Medizin-KI-Modelle als weitgehend sicher vor solchen Angriffen.</cite> Das Problem lag in der Messmethode: <cite index="9-9,9-10">bisherige Risikobewertungen haben immer nur das durchschnittliche Risiko über alle Patientinnen und Patienten gemessen, während das TUM-Team erstmals das Risiko auf Ebene einzelner Personen untersuchte – mit einem deutlich anderen Ergebnis.</cite>
Das Resultat ist eindeutig: <cite index="9-11">während die Angriffe für einen Großteil der Datensätze erfolglos blieben, ließen sich manche Patientinnen und Patienten mit nahezu hundertprozentiger Sicherheit den Modellen zuordnen.</cite> Studienleiter Daniel Rückert bringt die Konsequenz auf den Punkt: „Das ist kein verschmerzbares Risiko." Gesundheitsdaten seien hochsensibel und ein gemitteltes Sicherheitsversprechen greife für die tatsächlich Betroffenen zu kurz.
Besonders anfällig waren Personen, deren Merkmale im Trainingsdatensatz selten vorkamen. <cite index="11-1">Betroffen sind vor allem Menschen mit seltenen Erkrankungen oder aus Minderheitengruppen, deren Daten sich leichter aus dem Modell herauslesen lassen als die der Mehrheit.</cite> Das Datenschutzrisiko ist damit nicht gleichmäßig verteilt, sondern trifft gerade die Personengruppen, die ohnehin schon vulnerabel sind.
Warum betrifft das Datenschutzrisiko auch Unternehmen außerhalb der Medizin?
Das Risiko trifft jedes Unternehmen, das Gesundheitsdaten von Mitarbeitenden, Kunden oder Patientinnen und Patienten in KI-Systeme einspeist – nicht nur Kliniken und Forschungseinrichtungen. Betriebliches Gesundheitsmanagement, Werksarzt-Software, Employee-Assistance-Programme, Wearable-Auswertungen und digitale Gesundheits-Benefits arbeiten zunehmend mit KI-gestützter Analyse.
Für Health-Tech-Startups und Medizinprodukte-Hersteller, die eigene Diagnose- oder Risikomodelle trainieren, ist die Studie unmittelbar relevant: Wer ein Modell zur Tumoranalyse, Bildauswertung oder Risikoprognose auf Basis von Patientendaten entwickelt, trägt das gleiche Re-Identifizierungsrisiko wie die untersuchten Forschungsdatensätze. Ein realistisches Szenario aus der Studie verdeutlicht die Tragweite: <cite index="4-9,4-10">findet ein Angreifer heraus, dass die Daten einer Person für das Training eines Tumor-Analyse-Modells verwendet wurden, kann diese Information über Datenanalysen von Drittanbietern oder Risikoprofile an einen Versicherer gelangen.</cite> Die Betroffenen würden dann als Hochrisikopatienten eingestuft – oft ohne den Grund je zu erfahren.
Auch Unternehmen ohne eigene KI-Entwicklung sind betroffen, sobald sie Gesundheits-KI von Drittanbietern einkaufen. Personalabteilungen, die Analyse-Tools für Fehlzeiten-Management, Burnout-Prävention oder betriebsärztliche Vorsorge einführen, verarbeiten faktisch Gesundheitsdaten im Sinne von Art. 9 DSGVO – unabhängig davon, wer das zugrunde liegende Modell trainiert hat.
In der Beratungspraxis zeigt sich das Muster regelmäßig bei mittelständischen Unternehmen, die im Zuge der Digitalisierung ihres Gesundheitsmanagements vorschnell Cloud-basierte KI-Tools einführen. Ein typischer Fall: Ein Personalverantwortlicher aus einem Industrieunternehmen im Rhein-Main-Gebiet beauftragt ein KI-gestütztes Vorsorge-Tool, ohne vorab zu prüfen, ob der Anbieter eine Datenschutz-Folgenabschätzung durchgeführt oder das Modell gegen Membership-Inference-Angriffe abgesichert hat. Erst eine nachträgliche Vertragsprüfung deckt die Lücke auf.
Praxis-Tipp
Forscher der TU München weisen nach, dass sich einzelne Patientinnen und Patienten mit nahezu hundertprozentiger Wahrscheinlichkeit bestimmten KI-Modellen zuordnen lassen, obwohl der Durchschnittswert über alle Datensätze sicher wirkte.
Welche rechtlichen Pflichten treffen Unternehmen beim Einsatz von Gesundheits-KI?
Gesundheitsdaten unterliegen als besondere Kategorie personenbezogener Daten einem verschärften Schutzregime nach Art. 9 DSGVO. Ihre Verarbeitung ist grundsätzlich untersagt, es sei denn, eine der eng gefassten Ausnahmen greift – etwa eine ausdrückliche Einwilligung oder eine gesetzliche Erlaubnis nach § 22 BDSG.
Setzt ein Unternehmen ein KI-System ein, das Gesundheitsdaten verarbeitet und dabei ein hohes Risiko für die Rechte und Freiheiten der Betroffenen mit sich bringt, ist eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO verpflichtend. Die TUM-Studie liefert hierfür ein konkretes Argument: Ein pauschaler Verweis auf ein „durchschnittlich sicheres" Modell genügt nicht mehr, wenn nachweisbar einzelne Personen mit hoher Wahrscheinlichkeit re-identifizierbar sind.
Zusätzlich verlangt Art. 32 DSGVO angemessene technische und organisatorische Maßnahmen zum Schutz der Verarbeitung. Die Studie liefert dazu einen konkreten Ansatzpunkt: <cite index="5-7,5-8">mit der Modellgröße steigt nicht nur die diagnostische Leistung, sondern häufig auch das Datenschutzrisiko, in den Experimenten teils um Größenordnungen.</cite> Größere, leistungsfähigere Modelle sind also nicht automatisch die sicherere Wahl – ein Kriterium, das in Vergabeentscheidungen für Gesundheits-KI bislang selten berücksichtigt wird.
Als technische Schutzmaßnahme empfehlen die Studienautoren mathematisch nachweisbare Verfahren. <cite index="5-10,5-11">Differential Privacy schützt nachweislich die Daten jeder einzelnen Person, unabhängig davon, wie einzigartig diese ist – wichtig ist dabei, den Schutz auf Patientenebene und nicht nur auf Ebene einzelner Datensätze anzusetzen.</cite> Für Unternehmen bedeutet das: Bei der Auswahl eines KI-Anbieters gehört die Frage nach solchen Schutzverfahren in jede Vertragsverhandlung. Wer zusätzlich ärztliche Schweigepflicht-relevante Daten verarbeitet, muss auch § 203 StGB im Blick behalten, der die unbefugte Offenbarung fremder Geheimnisse unter Strafe stellt.
Wichtig zu wissen
Besonders gefährdet sind Personen mit seltenen Erkrankungen oder untypischen Befunden, weil sie in Trainingsdaten unterrepräsentiert sind und dadurch leichter identifizierbar werden.
Welche Haftungsrisiken drohen Geschäftsführung und HR-Leitung konkret?
Verstöße gegen die DSGVO bei der Verarbeitung von Gesundheitsdaten können Bußgelder nach Art. 83 DSGVO auslösen, die sich am weltweiten Konzernumsatz orientieren. Für KMU mit begrenzten Compliance-Ressourcen ist bereits das Prüfungs- und Nachweisrisiko erheblich, weil die Aufsichtsbehörden bei besonderen Datenkategorien einen strengeren Maßstab anlegen als bei allgemeinen personenbezogenen Daten.
Neben dem Unternehmen selbst gerät auch die Geschäftsführung persönlich in den Blick. Verletzt die Geschäftsleitung ihre Organisationspflicht, indem sie den Einsatz von Gesundheits-KI mit klar benannten Risikenprüfung freigibt, kann dies als Pflichtverletzung im Innenverhältnis gewertet werden – mit möglichen Regressansprüchen der Gesellschaft. Diese Verantwortung lässt sich nicht vollständig auf externe KI-Anbieter oder IT-Dienstleister delegieren; vertragliche Zusicherungen entbinden nicht von der eigenen Prüfpflicht.
Ein weiteres Risiko betrifft die Reputation. Wird bekannt, dass ein Unternehmen Gesundheitsdaten über ein re-identifizierbares KI-Modell verarbeitet hat, drohen neben behördlichen Verfahren auch Schadenersatzforderungen Betroffener sowie ein Vertrauensverlust bei Mitarbeitenden und Kunden. Gerade im Gesundheitskontext reagieren Betroffene sensibel, weil die Folgen einer Re-Identifizierung – etwa bei Versicherungsentscheidungen – gravierend und oft nicht rückgängig zu machen sind.
Die Rechtsprechung der Aufsichtsbehörden und Gerichte tendiert bei der Verarbeitung besonderer Datenkategorien zu einem strengen Sorgfaltsmaßstab: Wer technische Schutzmaßnahmen nicht dem Stand der Technik entsprechend implementiert, kann sich nicht auf allgemeine Branchenüblichkeit berufen, wenn eine konkrete Studienlage – wie die der TUM – auf ein bekanntes Risiko hinweist.
So sichern Unternehmen ihre Gesundheits-KI-Projekte rechtlich ab
Der wirksamste Schutz beginnt vor der Beauftragung eines KI-Anbieters, nicht danach. Unternehmen sollten jeden Anbieter von Gesundheits-KI vertraglich zur Offenlegung der eingesetzten Schutzverfahren gegen Membership Inference Attacks verpflichten, bevor ein Vertrag unterschrieben wird.
Vor dem produktiven Einsatz gehört eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO auf die Checkliste, ergänzt um eine Dokumentation der Rechtsgrundlage nach Art. 9 DSGVON und § 22 BDSG. Wichtig ist dabei, die Prüfung nicht nur auf Datensatz-Ebene, sondern auf Ebene einzelner Betroffener durchzuführen – genau der Punkt, den die TUM-Studie als bisherige Schwachstelle identifiziert.
In Verträgen mit KI-Anbietern und Auftragsverarbeitern sollten Unternehmen konkrete Nachweispflichten verankern: Zertifizierungen, unabhängige Sicherheitsaudits und die vertragliche Zusicherung, dass Schutzmechanismen wie Differential Privacy zum Einsatz kommen, wo dies technisch möglich ist. Fehlen solche Nachweise, ist ein Vertragsschluss ohne begleitende Rechtsprüfung ein vermeidbares Risiko.
Für HR-Leitung und Geschäftsführung empfiehlt sich zudem eine regelmäßige Überprüfung bereits laufender Gesundheits-KI-Anwendungen, weil sich Bedrohungslage und Studienstand schnell weiterentwickeln. Wer betriebliches Gesundheitsmanagement, Wearables oder KI-gestützte Vorsorge-Tools einsetzt, sollte den Prüfprozess anwaltlich begleiten lassen, um Haftungsrisiken frühzeitig zu erkennen und vertraglich abzusichern.
Ihre Checkliste auf einen Blick
- Forscher der TU München weisen nach, dass sich einzelne Patientinnen und Patienten mit nahezu hundertprozentiger Wahrscheinlichkeit bestimmten KI-Modellen zuordnen lassen, obwohl der Durchschnittswert über alle Datensätze sicher wirkte.
- Besonders gefährdet sind Personen mit seltenen Erkrankungen oder untypischen Befunden, weil sie in Trainingsdaten unterrepräsentiert sind und dadurch leichter identifizierbar werden.
- Gesundheitsdaten gelten nach Art. 9 DSGVO als besondere Kategorie personenbezogener Daten – ihre Verarbeitung in KI-Modellen erfordert erhöhte technische und organisatorische Schutzmaßnahmen.
- Unternehmen, die Gesundheits-KI einsetzen oder einkaufen, müssen eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO durchführen, wenn ein hohes Risiko für Betroffene besteht.
- Verstöße gegen die Datenschutz-Grundverordnung bei der Verarbeitung von Gesundheitsdaten können Bußgelder nach Art. 83 DSGVO sowie eine persönliche Verantwortlichkeit der Geschäftsführung nach sich ziehen.
Fazit
Die TUM-Studie macht deutlich, dass Durchschnittswerte bei der Sicherheitsbewertung von Gesundheits-KI in die Irre führen können. Für Unternehmen mit Gesundheitsdatenbezug bedeutet das: Compliance-Prüfungen müssen künftig auf Ebene einzelner Betroffener ansetzen, nicht nur auf Ebene des Gesamtdatensatzes.
Wer Gesundheits-KI einkauft, entwickelt oder im betrieblichen Gesundheitsmanagement einsetzt, trägt ein rechtliches Risiko, das sich durch vertragliche Vorkehrungen, eine saubere Datenschutz-Folgenabschätzung und die Wahl geprüfter Anbieter deutlich reduzieren lässt.
