Künstliche Intelligenz und Medizinprodukte - Einhaltung der KI-Verordnung

Gestern, am 1. August 2024, ist die KI-Verordnung ("KI-VO") in Kraft getreten. Sie ist als Produktregulierung konzipiert und reguliert KI-Systeme sowie KI-Modelle mit allgemeinem Verwendungszweck. Die KI-Verordnung hat erhebliche Auswirkungen auf den Gesundheitssektor, in dem KI-Systeme bereits in großem Umfang eingesetzt werden, z. B. zur Diagnose von Krankheiten, als klinische Entscheidungshilfe, zur Klassifizierung und Analyse von Gesundheitsdaten, zur Optimierung der medizinischen Therapie und Behandlung, aber auch in Telemonitoring-Tools, Medizinrobotern, Wearables für Patient:innen oder medizinischen Chatbots. Die umfassenden Verpflichtungen der KI-Verordnung kommen zu einem bereits stark regulierten Sektor und einem langwierigen Verfahren für das Inverkehrbringen von Produkten hinzu.

Handlungsempfehlung:

Akteure, die KI-Systeme im Gesundheitswesen bereitstellen, verwenden, vertreiben oder importieren, sollten jetzt handeln, um die rechtzeitige Umsetzung sicherzustellen. Dazu gehören die Ermittlung des Anwendungsbereichs der KI-Verordnung, die Durchführung einer detaillierten Lückenanalyse im Hinblick auf die in der Verordnung über Medizinprodukte ("MDR") oder die Verordnung über In-Vitro-Diagnostika ("IVDR") festgelegten Verpflichtungen, die enge Zusammenarbeit mit den notifizierenden Behörden und die Beachtung der künftigen Leitlinien und technischen Standards der EU-Kommission.

Wir helfen Ihnen gerne dabei, sich einen Überblick über die umfassenden Verpflichtungen zu verschaffen und Lösungen zu ermitteln, die am besten zu Ihren unternehmerischen Bedürfnissen passen.

Im Folgenden stellen wir Ihnen einige Aspekte vor, die Sie beachten sollten.

Anwendungsbereich und Definition von KI-Systemen

Die Regelungen für KI-Systeme gelten für alle KI-Systeme, die in der EU in Verkehr gebracht oder in Betrieb genommen werden, unabhängig von der Niederlassung in der EU oder einem Drittland. Außerdem gelten sie, wenn die von dem KI-System erzeugte Ausgabe in der EU verwendet wird.

In Übereinstimmung mit der OECD-Definition definiert die KI-Verordnung KI-Systeme als:

"ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können"

Nur wenige Fälle fallen nicht in den Anwendungsbereich der KI-Verordnung. Dazu gehören KI-Systeme, eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung (F&E) entwickelt und in Betrieb genommen werden, wenn der Betreiber nur die Durchführung von Forschungs-, Test- oder Entwicklungstätigkeiten beabsichtigte oder das KI-System unter einer freien und Open-Source Lizenz angeboten wird oder werden soll. Die Unterscheidung kann schwierig sein, insbesondere im Hinblick auf F&E und die Durchführung von klinischen Prüfungen/Leistungsstudien (siehe auch unten).

Risikobasierter Ansatz

Die komplexe Regulierungsstruktur der KI-Verordnung folgt einem risikobasierten Ansatz. KI-Systeme werden daher in die Kategorien unannehmbares Risiko, Hochrisiko, bestimmte KI-Systeme mit Transparenzpflichten und minimales Risiko eingeteilt. 

Die KI-Verordnung sieht umfassende Verpflichtungen vor, insbesondere in Hinblick auf Hochrisiko-KI-Systeme. Dies ist für den Gesundheits- und MedTech-Sektor von großer Bedeutung, da die meisten Medizinprodukte, die künstliche Intelligenz einsetzen, als Hochrisiko-KI-Systeme eingestuft werden. Gemäß Art. 6 (1) KI-VO sind KI-Systeme als Hochrisiko einzustufen, wenn:

• das KI-System als Sicherheitsbauteil eines Produkts verwendet werden soll oder selbst ein solches Produkt ist,
• das Produkt unter die Harmonisierungsrechtsvorschriften der Union fällt, z. B. unter die MDR oder IVDR, und
• das Sicherheitsbauteil oder das Produkt selbst muss einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts gemäß den Harmonisierungsrechtsvorschriften der Union unterzogen werden.

Die KI-Verordnung sieht jedoch Ausnahmen vor, nach dem – abweichend von Art. 6 (1) KI-VO –  KI-Systeme, die

• eine eng gefasste Verfahrensaufgabe durchführen,
• das Ergebnis einer bereits abgeschlossenen menschlichen Tätigkeit verbessern,
• Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern erkennen, und nicht dazu gedacht sind, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen, oder
• eine vorbereitende Aufgabe für eine Bewertung durchführen

nicht den Verpflichtungen für Hochrisiko-KI-Systeme mit hohem Risiko unterliegen. Solche Systeme müssen lediglich die Dokumentations- und Registrierungsanforderungen erfüllen. Daher ist es wichtig, im Detail zu analysieren, ob das KI-System unter die umfassenden Verpflichtungen für Hochrisiko-KI-Systeme fällt oder eine Ausnahme darstellt.

Akteure und Verpflichtungen

Die KI-Verordnung richtet sich an verschiedene Akteure, die den Verpflichtungen nachkommen müssen:

• Anbieter (eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich; z. B. Hersteller von medizinischen Geräten)
• Betreiber (eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet; z. B. Krankenhäuser, Praktiker, Nutzer)
• Einführer (z. B. eine natürliche oder juristische Person, die ein KI-System in Verkehr bringt, das den Namen oder die Handelsmarke einer in einem Drittland niedergelassenen natürlichen oder juristischen Person trägt)
• Händler (z. B. eine natürliche oder juristische Person, die ein KI-System auf dem Unionsmarkt bereitstellt und nicht der Anbieter oder Einführer ist)

Den Anbieter treffen die meisten Verpflichtungen. Dazu gehören Verpflichtungen in Bezug auf Registrierung, Daten und Daten-Governance, technische Dokumentation, Aufzeichnungen, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit, ein Qualitätsmanagementsystem, ein Risikomanagementsystem, Überwachung nach dem Inverkehrbringen, Konformitätsbewertung, EU-Konformitätserklärung und CE-Kennzeichnung.

Besondere Aufmerksamkeit sollte auch den Fällen gewidmet werden, in denen Sie als Anbieter betrachtet werden können, obwohl Sie das KI-System (nur) nutzen und betreiben. Dies ist der Fall, wenn

• Sie Ihren Namen oder Ihre Handelsmarke auf das bereits in Verkehr gebrachte oder in Betrieb genommene Hochrisiko-KI-System setzen,
• Sie eine wesentliche Änderung an einem bereits in Verkehr gebrachten oder in Betrieb genommenen Hochrisiko-KI-System so vornehmen, dass es ein Hochrisiko-KI-System bleibt,
• Sie die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, das nicht als Hochrisiko-KI-System eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändern, dass das KI-System zu einem Hochrisiko-KI-System wird.

Ob Ihre Tätigkeit unter einen dieser Fälle fällt, sollte sorgfältig geprüft werden, da Sie in diesem Fall wesentlich umfangreichere Verpflichtungen erfüllen müssen. Wir beraten Sie gerne zu den Lösungen, die am besten zu Ihren unternehmerischen Bedürfnissen passen.

Besondere Herausforderungen für den Gesundheitssektor

Unsere Erfahrung zeigt, dass es für den Gesundheitssektor einige sehr spezifische Herausforderungen gibt, auf die wir in den folgenden Abschnitten näher eingehen.

Zusammenspiel zwischen der KI-Verordnung und der MDR und IVDR
Die MDR und die IVDR regulieren bereits Medizinprodukte und In-vitro-Diagnostika, die als auf künstlicher Intelligenz basierende Software qualifiziert sind. Auch diese Verordnungen sehen ähnliche Verpflichtungen wie die KI-Verordnung vor, z. B. in Bezug auf die technische Dokumentation, das Risikomanagement und die Konformitätsbewertung. Die KI-Verordnung sieht jedoch vor, dass es keine Doppelarbeit geben soll (siehe in Bezug auf die Konformitätsbewertung Erwägungsgrund 124). Es ist daher eine sorgfältige Analyse erforderlich, welche Anforderungen zusätzlich zur MDR und IVDR zu erfüllen sind.

Kontinuierlich lernende KI-Systeme
Auch die Bewertung der Konformität von kontinuierlich lernenden KI-Systemen stellt eine Herausforderung dar. Insbesondere sollte sorgfältig geprüft werden, wann ein kontinuierlich lernendes KI-System einer neuen Konformitätsbewertung unterzogen werden muss. Die KI-Verordnung zieht die Grenze dort, wo das KI-System Gegenstand einer wesentlichen Änderung ist, solange seine Leistung zum Zeitpunkt der ursprünglichen Konformitätsbewertung nicht vorab vom Anbieter festgelegt wurde (Art. 43 (4) KI-VO).

Durchführung von klinischen Untersuchungen/Leistungsstudien
Klinische Untersuchungen und Leistungsstudien sind für die Entwicklung von Medizinprodukten von entscheidender Bedeutung. Daher ist eine detaillierte Analyse erforderlich, wann solche Untersuchungen und Leistungsstudien unter die KI-Verordnung fallen, da sie als "Inbetriebnahme" zu betrachten sind, oder ob die vorgesehene Praxis nicht in den Anwendungsbereich der KI-Verordnung fällt, da sie als Forschung und Entwicklung betrachtet wird (siehe oben).

Benannte Stellen
Benannte Stellen, die für die Bewertung von Medizinprodukten zuständig sind, können auch als notifizierte Stellen der KI-Verordnung benannt werden. Dies ermöglicht eine gemeinsame CE-Kennzeichnung, Konformitätsbewertung und technische Dokumentation, die die Einhaltung der MDR, IVDR und KI-VO gewährleistet. Allerdings verfügt nicht jede Benannte Stelle über das notwendige Personal und die erforderlichen Kapazitäten. Es ist daher wichtig, in engem Kontakt mit den Benannten Stellen zu bleiben und gegebenenfalls rechtzeitig den Wechsel zu einer anderen, für KI-Systeme notifizierten Stelle zu veranlassen.

Inverkehrbringen
Die umfassenden Verpflichtungen der KI-Verordnung erweitern den bereits stark regulierten Gesundheits- und MedTech-Sektor und den langwierigen Prozess des Inverkehrbringens von Produkten auf dem Gesundheitsmarkt. Dies wird sich auf die Ressourcen (Zeit, Budget, etc.) auswirken, die für die Entwicklung und den Einsatz von Medizinprodukten bereitgestellt werden. Es ist von entscheidender Bedeutung, sich der Tatsache bewusst zu sein, dass spezifische Verpflichtungen im Entwicklungsprozess umgesetzt werden sollten. Dies gilt insbesondere für die Verpflichtungen in Bezug auf Daten und Data-Governance, da es schwierig oder sogar unmöglich sein könnte, die zugrunde liegenden Daten und Data-Governance nachträglich anzupassen, wenn die notifizierte Stelle letztlich der Ansicht ist, dass Konformität nicht erreicht wurde.

Risiken und Sanktionen

Bei Nichteinhaltung der Verpflichtungen aus der KI-Verordnung können hohe Geldbußen verhängt werden:

• Ein verbotenes KI-System, das in die Kategorie des unannehmbaren Risikos fällt und daher nicht in Verkehr gebracht oder in Betrieb genommen werden darf, kann mit einer Geldbuße von bis zu 35.000.000 EUR oder 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres belegt werden.
• Bei einem Hochrisiko-KI-System, das die entsprechenden Verpflichtungen nicht erfüllt, kann eine Geldbuße von bis zu 15.000.000 EUR oder 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt werden.

Wir helfen Ihnen gerne dabei, sich einen Überblick über die umfassenden Verpflichtungen zu verschaffen und Lösungen zu ermitteln, die am besten zu Ihren unternehmerischen Bedürfnissen passen.

Unterstützende Autorin

Lea Köttering ist Referendarin im Tech & Data Team im Hamburger Büro von Fieldfisher. Ihr Tätigkeitsschwerpunkt liegt im Bereich Datenschutzrecht und Künstliche Intelligenz, wobei sie besonderen Wert auf Anwendungen und Entwicklungen im Life Sciences Sektor legt.