EU AI Act

Die Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (kurz: AI ACT, KI-Gesetz) ist weltweit der erste Versuch, KI-Systeme umfassend (sektor- und anwendungsübergreifend) in Hinblick auf Entwicklung, Inverkehrbringen und Betrieb zu regulieren. Das im August 2024 in Kraft getretene Gesetz stellt somit einen Rechtsrahmen mit umfangreichen Verpflichtungen in Bezug auf die Entwicklung, Integration und Anwendung von KI-Technologie dar.

Inhalt

Was versteht der EU AI Act unter einem KI-System?

Artikel 3, Abs. 1 des KI-Gesetzes definiert ein KI-System als ein „maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

Wen betrifft die Verordnung?

Das KI-Gesetz gilt laut Artikel 2 für alle Unternehmen, öffentlichen sowie privaten Akteure, die ein KI-System beruflich nutzen – und zwar sowohl innerhalb der EU als auch außerhalb, sofern die KI-Technologie in der EU in Verkehr gebracht wird oder ihre Verwendung Auswirkungen auf dortige Menschen hat.

Sowohl Hersteller, Anbieter und Betreiber müssen die entsprechenden Anforderungen erfüllen. Allerdings gilt dies nicht ausnahmslos. So sind etwa KI-Projekte und Anwendungen im Rahmen von Forschung, Entwicklung oder der Erprobung von Prototypen vor dem Inverkehrbringen vom EU AI Act ausgenommen, ebenso wie KI-Systeme, die ausschließlich für militärische Zwecke und Zwecke der Verteidigung oder der nationalen Sicherheit eingesetzt werden.

Ab wann gilt das KI-Gesetz?

Der EU AI Act trat am 1. August 2024 in Kraft. Ab diesem Stichtag gelten Übergangsfristen für die Umsetzung (gem. Artikel 113):

Ab 2. Februar 2025 (sechs Monate nach Inkrafttreten) gelten die Verbote von Praktiken mit unannehmbarem Risiko (siehe unten).

Ab 2. August 2025 (zwölf Monate nach Inkrafttreten) gelten die Governance-Regeln und die Verpflichtungen für KI-Modelle für allgemeine Verwendungszwecke (ein KI-System, das „auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen“ [Artikel 3, Abs. 66]).

Ab 2. August 2026 (zwei Jahre nach Inkrafttreten) gelten auch die Anforderungen für KI-Systeme mit begrenztem und geringem Risiko.

Ab 2. August 2027 (drei Jahre nach Inkrafttreten) gelten die Regelungen für die in Anhang I der Verordnung aufgeführten Hochrisikosysteme.

Welche Produkte fallen unter den EU AI Act?

Der EU AI Act regelt KI-Systeme und Produkte mit integrierter KI-Technologie, die in der EU in Verkehr gebracht oder in Betrieb genommen werden. In Hinblick auf die Zweckbestimmung und die mit dem Einsatz verbundenen Risiken teilt er diese in vier Kategorien ein. Unter Risiko wird dabei „die Kombination aus der Wahrscheinlichkeit des Auftretens eines Schadens und der Schwere dieses Schadens“ verstanden (Artikel 3, Abs. 2). Mit steigender Risikoklasse steigen auch die gesetzlichen Anforderungen.

Risikokategorien

Unannehmbares Risiko:
Alle KI-Systeme und KI-basierten Praktiken, die als eindeutige Bedrohung für die Sicherheit, den Lebensunterhalt und die Rechte von Menschen gelten. Dazu zählen etwa KI-Systeme zum Social Scoring, zur biometrischen Kategorisierung (um daraus z. B. eine Rassenzugehörigkeit abzuleiten), zur kognitiven Verhaltensmanipulation oder zur Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen.

Hohes Risiko:
KI-Systemen, die sich nachteilig auf die Sicherheit der Menschen oder Grundrechte auswirken können. In Anhang III ist eine Liste solcher Hochrisiko-KI-Systeme beigefügt, die laufend angepasst werden kann. Die Kategorie umfasst KI-Systeme, die nicht zu den Systemen mit unannehmbarem Risiko gehören, jedoch ein hohes Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen (z. B. KI-Systeme zur Eignungsbewertung für eine medizinische Behandlung, einen Arbeitsplatz oder eine Kreditvergabe).

Eine weitere wichtige Gruppe von Hochrisikosystemen sind KI-Produkte oder Produkte mit sicherheitsrelevanten KI-Komponenten aus den Bereichen Medizintechnologie, Spielzeuge, Aufzüge, Fahrzeuge, Flugzeuge oder kritische Infrastrukturen, sofern sie gemäß bestehenden sektoralen Rechtsvorschriften der EU einer Konformitätsbewertung durch Dritte unterzogen werden müssen (Einleitung, Abs. 50). Für Herstellung und Betrieb solcher KI-Systeme mit hohem Risiko gelten strenge Anforderungen (siehe unten).

Begrenztes Risiko: KI-Systeme, die mit Menschen interagieren, z. B. Chatbots und KI-Systeme zum Generieren oder Verändern von Bildern, Videos, Audios oder Texten. Hier gelten besondere Transparenzpflichten, insbesondere müssen Nutzer darüber informiert werden, dass es sich um KI-generierte Inhalte handelt. Zudem müssen die Datenschutzanforderungen (z. B. der DSGVO) eingehalten werden.

Minimales Risiko: KI-Systeme, die nicht in die oben genannten Kategorien fallen und die keine bedeutenden Risiken für die Gesundheit, Sicherheit oder Grundrechte darstellen (z. B. Spamfilter oder Videospiele). Für diese Systeme gelten bisher keine besonderen Anforderungen. Allerdings sind für die Einstufung als KI-System mit minimalem Risiko eine technische Dokumentation und eine entsprechende Risikobewertung notwendig.

Welche Anforderungen gelten für Hochrisikosysteme?

Bevor Hochrisiko-KI-Systeme in der EU in Verkehr gebracht oder in Betrieb genommen werden, müssen sie laut EU AI Act einer strengen Konformitätsbewertung unterzogen werden. Zudem müssen Anbieter von Hochrisiko-KI-Systemen ein Qualitäts- und Risikomanagementsystem einführen und Sicherheitsanforderungen während des gesamten KI-Lebenszyklus umsetzen. Die wichtigsten Anforderungen sind:

Sicherstellung eines ausreichenden Maßes an KI-Kompetenz der Mitarbeitenden, die mit dem Betrieb und der Nutzung von KI-Systemen befasst sind (Artikel 4)
Einrichtung und Umsetzung eines Risikomanagementsystems (Artikel 9)
Management der Daten für Training, Validierung und Tests (Artikel 10)
Erstellung technischer Dokumentationen (Artikel 11)
Einhaltung der Aufzeichnungspflichten (Artikel 12), einschließlich der Speicherung automatisch generierter Logs (Artikel 19)
Gewährleistung eines angemessenen Maßes an Transparenz und Informationen für Benutzer (Artikel 13) und weiterer Transparenzpflichten (Kapitel IV)
Ermöglichung menschlicher Aufsicht (Artikel 14)
Gewährleistung von Genauigkeit, Robustheit und Cybersicherheit (Artikel 15)
Einrichtung und Umsetzung eines Qualitätsmanagementsystems (Artikel 17)

An welchen Standards können sich Hersteller und Entwickler orientieren?

Bisher (Ende 2024) gibt es nur wenige Informationen über die Spezifikation, das Design und die Überprüfung von funktional sicheren KI-Systemen – ebenso wenig wie darüber, wie KI-Technologie für Funktionen mit sicherheitsrelevanten Auswirkungen eingesetzt werden kann. Entsprechende Normen bzw. die Harmonisierung entsprechender Normen sollen bis Ende April 2025 von europäischen Normungsorganisationen ausgearbeitet und veröffentlicht sowie anschließend von der europäischen Kommission geprüft werden.

Eine erste allgemeine Orientierung kann unterdessen der Technical Report TR ISO/IEC 5469:2024 geben. Allerdings bietet auch der Technical Report kaum detaillierte Vorgehensweisen, wie etwa die Kompatibilität einer KI-Technologie mit den Anforderungen der funktionalen Sicherheit geprüft bzw. nachgewiesen werden kann.

Welche Strafen drohen bei Verstößen gegen den EU AI Act?

Bei Verstößen sollen von den Mitgliedsstaaten Strafen erhoben werden, die „wirksam, verhältnismäßig und abschreckend“ sein sollen (Artikel 99, Abs. 1, 2). Je nach Verstoß sind das etwa Geldbußen bis zu maximal 35 Mio. Euro oder 7 Prozent des weltweiten Vorjahresumsatzes – bei großen Unternehmen gilt der jeweils höhere, für KMU und Startups der geringere Betrag.

Bezugsquellen

Der Gesetzestext des EU AI Act ist in allen Amtssprachen der EU online abrufbar: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32024R1689

Ein Überblick über die Anhänge findet sich unter: https://artificialintelligenceact.eu/de/ai-act-explorer/

Unterstützung bei der Implementierung von KI-Technologien

NewTec unterstützt Hersteller von sicherheitsgerichteten Systemen mit KI-Komponenten bei der Identifikation der relevanten Sicherheitsaspekte, der System-, Fehler- und Risikoanalyse sowie der Einhaltung regulatorischer Anforderungen.

Fragen? Lesen Sie gerne in unserem Whitepaper "Künstliche Intelligenz und Sicherheit" oder kontaktieren Sie uns: Kontakt.

Oder rufen Sie uns an unter +49 7302 9611-0.