KI-VO: Was ist ein KI-System?

In den kommenden Wochen werden wir in diesem Blog die wichtigsten Aspekte der KI-Verordnung vorstellen, analysieren und Handlungsempfehlungen präsentieren. Den Auftakt macht dieser Beitrag zum zentralen Objekt der KI-VO, dem KI-System.

Was ist ein KI-System? Die EU-Verordnung zur Künstlichen Intelligenz (KI-VO), englisch: „AI Act“, reguliert nicht Künstliche Intelligenz insgesamt, sondern beschränkt seinen Anwendungsbereich auf „KI-Systeme“. Wichtige Aspekte des Technologiefelds „Künstliche Intelligenz“ wurden bewusst außerhalb des Anwendungsbereichs gestellt. Die Einschränkung auf „KI-Systeme“ folgt dem grundlegenden Ansatz der Verordnung, welche vom Gesetzgeber als Produktsicherheitsgesetz konzipiert ist. Schauen wir uns daher als Auftakt einer Reihe von Beiträgen in diesem Blog den Begriff genauer an.

Die Begriffsbestimmung in der Verordnung

Art. 3 Abs. 1 Nr. 3 KI-VO definiert ein KI-System in Sinne des Gesetzes als

“ein maschinengestütztes System, das für einen in wechselndem Maße autonomen Betrieb ausgelegt sind (sic!), das nach seiner Einführung anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ergebnisse wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen hervorgebracht werden, die physische oder virtuelle Umgebungen beeinflussen können;“

Art. 3 Abs. 1 Nr. 3 KI-VO

Bei dieser Definition fallen sofort vage Begriffe und Kompromissformeln ins Auge. Als eindeutige Kriterien bleiben vorerst übrig, dass ein KI-System im Sinne der Verordnung maschinengestützt ist und aus dem Input ableitet, wie ein Output generiert werden soll. Der Output besteht aus Vorhersagen, Inhalten, Empfehlungen oder Entscheidungen, die wiederum Einfluss auf die Umgebungen („environments“) nehmen können.

So weit, so unklar.

Erläuterungen im Erwägungsgrund

In den Erwägungsgründen hat der Gesetzgeber weitere Hinweise gegeben, wie die Verordnung interpretiert werden soll. Für unsere Frage ist insbesondere Erwägungsgrund 12 wichtig. Dieser grenzt ein KI-System von „herkömmlicher“ und „einfacherer“ Software ab und schließt Systeme aus, die „auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen“. Weiter stellt der Erwägungsgrund als Unterscheidungsmerkmal zu anderen Formen von Software heraus, dass KI-Systeme etwas Neues ableiten können. Die Fähigkeit zum Ableiten basiere dabei auf Konzepten wie maschinellem Lernen und logik- und wissensgestützten Konzepten. Des Weiteren ginge diese Fähigkeit über die „einfache Datenverarbeitung“ hinaus und ermögliche „Lern-, Schlussfolgerungs- und Modellierungsprozesse“.

Der Erwägungsgrund geht nicht darauf ein, was unter „Einfluss nehmen“ zu verstehen ist. Wohl aber greift er den Begriff der Umgebungen auf. Diese sollen „als Kontexte verstanden werden, in denen KI-Systeme betrieben werden“. Diese beiden Begriffe müssen aber zusammen gedacht werden. Die Literatur setzt die Messlatte für die Einflussnahme recht niedrig an. Georg Borges geht davon aus, dass ein System bereits auf die Umgebung Einfluss nimmt, sobald es eine Information generiert, die von einer weiteren Entität weiterverarbeitet wird. Diese Information kann, muss aber nicht, in der Form von Bewertungen, Entscheidungen oder Klassifikationen vorliegen.

Der Anspruch an die Beschaffenheit der Autonomie wird nicht präzise definiert. Es wird lediglich festgestellt, dass ein KI-System in der Lage sein muss, ohne Intervention durch einen Menschen zu operieren, wobei die Mindestschwelle hier vorerst offen bleibt, also sehr niedrig anzusetzen ist. Die Anpassungsfähigkeit hingegen scheint keine notwendige Bedingung zu sein; sie wird lediglich als Möglichkeit („kann“) aufgeführt, dient also wohl eher als starker Hinweis.

Unter Berücksichtigung des Erwägungsgrundes 12 kommen wir vorläufig zu folgendem Ergebnis: ein KI-System ist eine Software (im weiteren Sinne) oder eine Maschine, bei der Software eine Komponente ist. Dank dieser Software kann das System aus einem Input einen Output ableiten, der über simple, manuell festgelegte Wenn-Dann-Beziehungen hinausgeht und somit ein Mindestmaß an Autonomie aufweist. Eine gewisse Lern- bzw. Anpassungsfähigkeit des Systems ist ein Indikator für das Vorliegen eines KI-Systems, aber kein notwendiges Kriterium. Der Output des KI-Systems muss dabei in der Lage sein, die (physische oder virtuelle) Umgebungen zu beeinflussen.

Definition bewusst offen

Somit ist der Erwägungsgrund unverzichtbar für ein Verständnis der Begriffs. Trotzdem lässt die KI-VO viele Fragen offen. Der Gesetzgeber ist sich dessen durchaus bewusst und drückt in dem Erwägungsgrund die Überzeugung aus, dass der Begriff „KI-System“ eng mit internationalen Organisationen abgestimmt werden müsse, welche sich mit KI befassen. Diese Abstimmung solle Rechtssicherheit, internationale Konvergenz und hohe Akzeptanz ermöglichen, dabei gleichzeitig flexibel bleiben, um dem technischen Fortschritt gerecht zu werden.

Was heißt das für die Praxis?

In der Praxis wird die erste Frage bei der Umsetzung der KI-VO lauten: „Trifft das auf uns überhaupt zu?“. Es muss also festgestellt werden, für welche der eingesetzten oder einzuführenden bzw. vertriebenen Softwarelösungen und Maschinen die KI-VO anwendbar ist. Die obige Erörterung verdeutlicht, dass diese Frage nicht immer leicht zu beantworten ist. Diskussionsbedürftig ist insbesondere, wie hoch die Anforderungen an das eigenständige Ableiten durch ein KI-System anzusetzen sind. Es gibt Stimmen in der Datenschutz-Community, die davon ausgehen, dass derzeit noch keine Produkte auf dem Markt sind, die unter den Anwendungsbereich der KI-Verordnung fallen, weil das geforderte Maß an Autonomie bisher nicht erreicht würde (so z. B. Nina Diercks in der letzten BvD-News). Andere hingegen verstehen bereits einen Saugroboter als KI-System. Der Gesetzgeber seinerseits geht sehr wohl davon aus, dass derzeit verwendete Lösungen als KI-Systeme im Sinne der KI-VO zu gelten haben.

Prüfliste: Ist das Produkt ein KI-System?

Wenn ein Unternehmen auf der sicheren Seite sein will, darf es bei der Frage, welche Produkte und Lösungen unter die KI-Verordnung fallen, die Schwelle also nicht zu hoch ansetzen. Die folgenden Prüfpunkte sollten vorläufig (!) die Frage beantworten helfen, ob ein hergestelltes oder eingesetztes Produkt in den Anwendungsbereich der KI-VO fällt:

• Weist das Produkt oder die Softwarekomponente die Fähigkeit auf, aus einem Input
  einen Output abzuleiten?
• Ist diese Ableitung mehr als eine Abfolge von Wenn-Dann-Beziehungen, die von
  einem Menschen formuliert wurden?
• Ist das System zu Lern-, Schlussfolgerungs- und Modellierungsprozesse (oder
  vergleichbarem) befähigt?
• Kommt das System beim Generieren des Outputs zu einem gewissen Ausmaß ohne die
  Intervention eines Menschen aus?
• Führt der Output des Systems zur Änderung des Zustands einer anderen Entität
  oder informiert der Output die Aktivität einer anderen Entität?

Wenn alle Punkte mit „Ja“ beantwortet werden, fällt das Produkt wahrscheinlich in den Anwendungsbereich der KI-VO. Angesichts der unklaren Begrifflichkeiten führt die Anwendung dieser unmittelbar aus der KI-VO herausgearbeiteten Prüfpunkte nicht immer zu einem eindeutigen Ergebnis. Daher kann es empfehlenswert sein, ein bisschen über die (vorläufigen) Definition der KI-VO hinauszudenken. Der Gesetzgeber hat sich bemüht, Regulierung für ein amorphes Phänomen zu ermöglichen. Irgendwie ist allen klar, was eigentlich gemeint ist, aber offensichtlich ist dieses Phänomen in einem politischen Prozess nur schwer in Worte zu fassen. Daher können wir zusätzlich auf unser Alltagsverständnis zurückgreifen, wenn wir entscheiden müssen, welches System in einer Organisation unter die Definition fällt. Dabei sollten folgende Eigenschaften des Systems berücksichtigt werden:

• Nichtlinearität und Unvorhersehbarkeit: minimale Unterschiede im Input können zu großen Unterschieden im Output führen. Damit verbunden ist es schwierig, den Output des Systems genau vorherzusagen
• Anpassungsfähigkeit und Lernfähigkeit: Systeme entwickeln bessere Lösungsstrategien auf der Grundlage der zuvor gemachten Erfahrungen
• Selbstorganisation: Muster oder Strukturen entstehen ohne direkte Kontrolle oder Vorgabe.

Je ausgeprägter diese Merkmale vorliegen, desto wahrscheinlicher fällt das System unter die KI-Verordnung. Bekannte Systeme wie Midjourney oder ChatGPT fallen daher höchstwahrscheinlich in den Anwendungsbereich. Betroffen sind aber auch spezialisierte Systeme wie diese Fingerabdruckanalysesoftware, bei der die Entwickler feststellten, dass das System andere Merkmale analysiert, als die Forensiker bisher betrachtet haben. Uns hilft wahrscheinlich ja bald auch eine KI, um festzustellen, was im Verständnis der EU tatsächlich ein KI-System ist.

Sie wollen aber nicht so lange warten und wünschen Beratung zum Thema oder wollen zunächst einen Überblick gewinnen, was die KI-Verordnung für ihr Unternehmen bedeutet? Sprechen Sie uns an.

Sie möchten über die neusten Entwicklungen im Datenschutz und KI-Compliance auf dem Laufenden bleiben? Dann abonnieren Sie einfach unseren Newsletter!