KI-Risikoklassen: Pflichten für Unternehmen

Mit der KI-Verordnung (KI-VO), auch EU AI-Act genannt, hat die Europäische Union einen weltweit einzigartigen Vorstoß für die Regulierung von Künstlicher Intelligenz (KI) verabschiedet, um deren Nutzung in Einklang mit geltendem EU-Recht zu ermöglichen. Gleichzeitig sollen damit die in der EU hohen Standards wie etwa im Bereich Datenschutz vollumfänglich bewahrt werden.

Ein zentrales Element dabei ist die Einteilung in verschiedene KI-Risikoklassen. Unternehmen, die KI etwa für die Effizienzsteigerung von Prozessen nutzen möchten, sollten daher im Vorfeld die Einordnung ihrer spezifischen Anwendung gründlich prüfen, um rechtzeitig Maßnahmen zur Einhaltung der Compliance einleiten zu können.

Wird eine KI als hochrisikobehaftet eingestuft, sind die Pflichten für Unternehmen besonders umfangreich. Wir fassen die verschiedenen KI-Risikoklassen und die damit verbundenen Pflichten zusammen und geben nachfolgend einen Überblick über die möglichen Konsequenzen für betroffene Unternehmen.

Der EU AI-Act und die Risikoklassen

Der AI-Act unterscheidet grundsätzlich vier verschiedene KI-Risikoklassen:

1. Inakzeptables Risiko (Artikel 5 KI-VO)
2. Hohes Risiko (Artikel 6 KI-VO)
3. Begrenztes Risiko (Artikel 50 KI-VO)
4. Minimales Risiko

Diese Klassifizierung folgt dem Grundsatz, dass die regulatorischen Anforderungen proportional zur potenziellen Gefährdung durch das KI-System steigen, sofern diese nicht durch die Verordnung verboten werden. Bei Hochrisiko-KIs im Speziellen werden dabei weitreichende Anforderungen für Anbieter, Betreiber, Einführer und Händler der entsprechenden Systeme gestellt.

Die genannten Risikoklassen hatten wir bereits in einem vorherigen Beitrag behandelt, wir fassen die wichtigsten Erkenntnisse noch einmal zusammen und gehen insbesondere näher auf die damit verbundenen Pflichten für Unternehmen ein.

Inakzeptables Risiko (Artikel 5 KI-VO)

Der AI-Act verbietet bestimmte KI-Anwendungen, die als unzumutbare Risiken für Einzelpersonen oder die Gesellschaft eingestuft werden. Beispiele dafür sind Anwendungen, die sehr tief in die Grundrechte von Betroffenen eingreifen oder bei denen das Schadenspotenzial unangemessen hoch wäre. Dazu gehören:

• Manipulative KI-Techniken, die das Verhalten von Nutzern unbewusst beeinflussen (z. B. unterschwellige psychologische Manipulation, auch Dark Patterns genannt).
• Soziale Bewertungssysteme (Social Scoring) durch private oder staatliche Akteure, die Personen auf Basis ihres Verhaltens systematisch bewerten.
• Biometrische Identifikation in Echtzeit in öffentlichen Räumen, mit wenigen Ausnahmen für sicherheitsrelevante Zwecke.
• Einsatz von KI zur Massenüberwachung ohne angemessene rechtliche Kontrolle.
• Einsatz von KI zur Verhaltensvorhersage durch Strafverfolgungsbehörden, wenn dies allein auf Grundlage persönlicher Eigenschaften oder Merkmale (Profiling) erfolgt.

Das Inverkehrbringen bzw. die Nutzung solcher KI-Systeme ist damit innerhalb der EU verboten. Bei Missachtung drohen Strafen in Höhe von 35 Millionen Euro oder bis zu 7 % des weltweiten Jahresumsatzes.

Hohes Risiko (Artikel 6 KI-VO)

Hochrisiko-KI im Sinne der KI-VO umfasst Anwendungen, die erhebliche Auswirkungen auf die Grundrechte oder die Sicherheit von Menschen haben können, bei denen jedoch unter Einhaltung strenger Vorgaben eine rechtskonforme Entwicklung bzw. Nutzung möglich ist. Beispiele hierfür sind:

• KI in kritischen Infrastrukturen (Energie, Verkehr, Wasserversorgung, Gesundheitswesen).
• KI zur Personalrekrutierung oder -bewertung, z. B. automatisierte Bewerberauswahl.
• KI zur Kreditvergabe, die die Bonitätsbewertung beeinflusst bzw. Zugriff auf Daten zur Kreditwürdigkeit hat.
• KI in der Justiz und Strafverfolgung, z. B. zur Risikoanalyse von Straftätern.

Weitere Bereiche, für die KI-Systeme automatisch als hochrisikobehaftet eingestuft werden, werden in den Anhängen zur KI-VO aufgeführt.

Unternehmen sollten außerdem darauf achten, dass auch eine nicht generell als hochriskant eingestufte KI je nach Nutzungsart (Art 25 Abs. 1 lit. c) oder durch in der Zukunft liegende Updates des Anbieters als Hochrisiko-KI eingestuft werden kann.

Die Einstufung als Hochrisiko-KI hat für Unternehmen, die mit diesen arbeiten, weitreichende Konsequenzen. Die Verordnung unterscheidet hier zwischen Entwicklern, Händlern, Einführern und Betreibern, für die jeweils eigene Bestimmungen gelten.

Für Betreiber im Speziellen können diese Pflichten wie folgt grob zusammengefasst werden:

• Nutzende Unternehmen müssen sich an Betriebsanleitungen halten und die Funktionsweise stetig überwachen.
• Es muss eine adäquat dafür qualifizierte menschliche Aufsicht für die KI existieren. Die KI darf nicht autonom operieren.
• Natürliche Personen müssen bei Entscheidungen, die Hochrisiko-KI über diese treffen, informiert werden.
• In bestimmten Fällen müssen Anbieter oder Betreiber zusätzlich Prüfungen auf etwaige Auswirkungen auf Grundrechte durchführen.

Unternehmen müssen insbesondere prüfen, ob sie lediglich als Betreiber im Sinne der KI-VO gelten, oder zusätzlich die Kriterien beispielsweise als Anbieter oder Einführer erfüllen. Anbieter sind beispielsweise Unternehmen, die die Entwicklung eines KI-Systems in Auftrag geben.

Insbesondere für Anbieter von Künstlicher Intelligenz sind die rechtlichen Anforderungen sehr hoch. Es werden beispielsweise hohe Auflagen für die Qualität der Trainingsdaten, menschliche Aufsicht, Dokumentationspflichten sowie die Zusammenarbeit mit Behörden festgelegt.

Bei Missachtung drohen Unternehmen auch hier empfindliche Strafen.

Begrenztes Risiko (Artikel 50 KI-VO)

KI-Systeme können weiterhin den Transparenzpflichten nach Art. 50 KI-VO unterfallen. Hier wird oft von einem “begrenzten Risiko” gesprochen. Allerdings können diese Pflichten auch zusätzlich für solche KI-Systeme bestehen, welche ein hohes Risiko im Sinne des Art. 6 KI-VO aufweisen. Ein begrenztes Risiko kann vorliegen, wenn etwa eine der folgenden Bedingungen erfüllt ist:

• Die Anwendung ist für die direkte Interaktion mit natürlichen Personen bestimmt wie bspw. Chatbots.
• Die Anwendung wird für die generative Erzeugung von Inhalten wie Texten, Bildern, Audioinhalten oder Videos verwendet (dazu gehört auch ChatGPT).
• Die Anwendung ist in der Lage, Emotionen zu erkennen oder eine biometrische Kategorisierung vorzunehmen.
• Die Anwendung ist in der Lage, sogenannte „Deep Fakes“ zu erzeugen.

Nutzer, die mit einer solchen KI-Anwendung interagieren oder deren Daten von ihr ausgewertet werden, müssen im Voraus darüber informiert werden (Transparenzpflicht), wenn es nicht aus dem Kontext bereits offensichtlich ist.

Inhalte, die mit KI erzeugt wurden, müssen außerdem als solche gekennzeichnet werden (Kennzeichnungspflicht). Ausnahmen bestehen dann, wenn vom Betreiber eingegebene Inhalte durch die KI nur leicht verändert werden.

Es bestehen zusätzliche Ausnahmen zu den genannten Pflichten in Fällen, in denen KI-Anwendungen zur Aufdeckung, Verhütung oder Verfolgung von Straftaten eingesetzt werden.

In jedem Fall muss eine sorgfältige Prüfung erfolgen, was für ein individuelles KI-System zu beachten ist.

Minimales Risiko

Als KI mit minimalem oder keinem Risiko können alle KI-Anwendungen bezeichnet werden, die nicht unter eine der vorgenannten Risikoklassen fallen. Auch hier bestehen jedoch grundsätzliche Pflichten für Unternehmen, die beispielsweise im Artikel 4 der KI-VO festgelegt werden. Dort heißt es:

„Die Anbieter und Betreiber von KI‑Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI‑Systemen befasst sind, über ein ausreichendes Maß an KI‑Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI‑Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI‑Systeme eingesetzt werden sollen, zu berücksichtigen sind.“

Unternehmen sollten also in jedem Fall für eine angemessene Aus- bzw. Weiterbildung Ihrer Mitarbeiter sorgen, die sogenannte KI-Kompetenz.

Folgen für Unternehmen

Unternehmen, die planen mit KI-Systemen zu arbeiten, diese zu entwickeln oder Inverkehr zu bringen, sollten bereits im Voraus die Einstufung in eine der gegebenen Risikokategorien prüfen und ggf. Maßnahmen zur Erreichung vollständiger Compliance ergreifen. Dazu gehört beispielsweise eine adäquate Aus- bzw. Weiterbildung von mit der Aufsicht betrauten Mitarbeitenden.

Gerade für kleinere Unternehmen sind die internen Ressourcen hierfür jedoch oft begrenzt. Insbesondere der Umgang mit Hochrisiko-KI kann ohne externe Unterstützung vor Herausforderungen stellen.

Es ist daher ratsam, die Risikoklasse von KI-Anwendungen vor deren Einsatz von Experten prüfen zu lassen. Diese können im nächsten Schritt auch bei der Ausarbeitung von Maßnahmen für die Sicherstellung der Compliance eine aktive Rolle einnehmen.

Für eine erste Einschätzung können Sie das KI-VO Compliance Tool auf unserer Website nutzen.

Wir unterstützen Unternehmen im Bezug auf die Einordnung von KI-Systemen und den gesetzeskonformen Umgang mit Hochrisiko-KIs zur Sicherstellung größtmöglicher Rechtssicherheit. Kontaktieren Sie uns gerne direkt mit Ihrem Anliegen.