KI-Schulungen her, Emotionsanalyse weg – Erste Regelungen der KI-VO anwendbar

Die KI-VO ist im August letzten Jahres in Kraft getreten. Während die Mehrzahl der Vorgaben aus der KI-VO erst am 2. August 2026 anwendbar werden, gelten die ersten Regelungen bereits seit 2. Februar dieses Jahres.  Für Unternehmen sind hierbei insbesondere zwei Aspekte relevant. Zum einen müssen Unternehmen schon jetzt die KI-Kompetenz ihrer Mitarbeiter sicherstellen, zum anderen ist der Einsatz von KI-Systeme, die ein unzumutbares Risiko aufweisen, ab sofort verboten.

Schauen wir uns das im Einzelnen an.

KI-Kompetenz

Gemäß Art. 4 KI-VO müssen Unternehmen sicherstellen, dass ihre Mitarbeiter „über ein ausreichendes Maß an KI-Kompetenz“ verfügen, wenn Sie mit KI-Systemen arbeiten. Ob die gegebene Kompetenz ausreichend ist, bemisst sich dabei sowohl an deren Wissen als auch am Verwendungskontext.

Hier kommt auf Unternehmen also ein Schulungsaufwand zu. Es geht nicht nur um technische Fragen des Systems, sondern auch um mögliche Auswirkungen für Datenschutz und Urheberrecht oder mögliche inhärente Diskriminierung. Daher müssen Unternehmen schon jetzt wissen, wie KI-eingesetzt wird, welche Auswirkungen KI haben kann, ob das alle betroffenen Mitarbeiter in Gänze verstehen und mit welchen Maßnahmen mögliche Defizite behoben werden können.

Verbotene Systeme

Die zweite wichtige Regelung bezieht sich auf das Verbot von KI-Systemen, welche gemäß Art. 5 KI-VO ein unzumutbares Risiko für die Betroffenen darstellen.  Details zur Risikoeinstufung finden Sie in diesem Beitrag. Dieses Verbot erstreckt sich explizit auf die Verwendung solcher Systeme, die bereits im Einsatz sind. In den anderen Vorgaben beschränkt sich die KI-VO zumeist auf die Regulierung des Inverkehrbringens (also z. B. das Verkaufen) eines KI-Produkts und die Inbetriebnahme (also den Einsatz eines Systems) und lässt gemäß seiner Konzeption als Produktsicherheitsgesetz die Verwendung außen vor.

Was heißt das für Unternehmen?

Die KI-VO verbietet vom Wortlaut her „Praktiken“, keine KI-Systeme. Allerdings kann eine „Praxis“ auch das Verwenden eines KI-Systems sein, welches z. B. Manipulationstechniken einsetzt.

Art. 5 Abs. 1 KI-VO zählt acht Praktiken auf, von denen die meisten nur für staatliche Stellen oder Unternehmen mit sehr speziellen und teilweise ethisch höchst fragwürdigen Geschäftsmodellen relevant sind.

Es bestehen aber zwei Ausnahmen, denn verboten sind auch das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, wenn sie Folgendes leisten:

• Erstens Profiling, sofern dies zum Nachteil eines Betroffenen führen kann und diese Schlechterstellung unverhältnismäßig ist oder in keinem Zusammenhang zum Umstand der Datenerhebung stehen. Verboten ist Profiling aber nur, wenn weitere Bedingungen wie Datenerhebung über einen längeren Zeitraum erfolgt und die Daten in Zusammenhängen erhoben werden, die nicht auf einen definierten Zweck bezogen sind. Dieses Verbot zielt primär auf die Unterbindung von „Social Scoring“ ab. Der Einsatz von KI zur Gewinnung von Kundenprofilen auf der Grundlage vorheriger Käufe etc. sind also weiterhin nicht verboten.
• Zweitens Erkennen und Ableiten von Emotionen einer natürlichen Person am Arbeitsplatz oder in einer Bildungseinrichtung.

Insbesondere im zweiten Fall sind zahlreiche Use-Cases im HR-Bereich (Bewerbung und Assessment Center, Entwicklung von Führungskräften) denkbar, bei denen der Einsatz eines KI-Systems seit Anfang des Monats verboten ist.

Handlungsbedarf?

Unternehmen sollte daher jene Bereiche genau unter die Lupe nehmen, in denen Profiling und Emotionserkennung möglich sind. Unterschätzen Sie nicht, dass KI-Fähigkeit einer IT-Lösung auch erst lange nach Ausrollen des Systems durch ein Software-Upgrade zum Bestandteil eines Tools werden kann und dieser Umstand daher nicht immer in allen Dokumentationssystemen erfasst ist.

Dabei ist rechtlich derzeit nicht eindeutig geklärt, ob bereits die Fähigkeit eines Systems ausreicht, damit das System als Ganzes verboten ist, oder ob nur die tatsächliche Nutzung einer solchen Fähigkeit eines Systems ausschlaggebend ist. Eine Software-Suite eine US-Herstellers bietet ggfs. Features an, deren Einsatz nach Verständnis der KI-VO verboten sind, welche aber vom Unternehmen nicht genutzt werden. Daher sollten diese Features und Module in der Dokumentation genau abgegrenzt werden, damit die tatsächlich eingesetzten Funktionen nicht kompromittiert werden.

Über die Fortschritte in diesen Fragen werden wir sie auf dem Laufenden halten. Hier finden Sie außerdem druckfrisch die 140-seitigen Leitlinien der EU-Kommission zu den verbotenen KI-Systemen.

Sie wollten die KI-Kompetenz ihrer Mitarbeiter einschätzen oder notwendige Schulungen durchführen? Sie wollen feststellen, ob Ihr 360°-Persönlichkeitsbewertungs-Tool unter die Kategorie der verbotenen Systeme fällt? Sprechen Sie uns an. Sie wollen die wichtigen Entwicklungen im Bereich KI-Compliance im Auge behalten? Abonnieren Sie unseren Newsletter.