|
|
|
 |
|
|
|
|
|
| |
| Verbotene KI-Anwendungen |
| Roeland de Bruin |
| Der Einsatz von KI bietet zahlreiche Möglichkeiten, das gesellschaftliche Leben voranzubringen. Doch wie bei vielen neuen Technologien hat auch KI ihre Schattenseiten. Böswillige können KI für falsche Zwecke einsetzen, was sie zu einem mächtigen und neuen Instrument für Manipulation, Ausbeutung und soziale Kontrolle macht. |
Um dies so weit wie möglich zu verhindern, hat die Europäische Union versucht, in den KI-Sektor einzugreifen, indem sie bestimmte Anwendungen von KI, die die EU-(Grund-)Rechte grob verletzen würden, verbietet. Insbesondere das Recht auf Nichtdiskriminierung, die Privatsphäre und die Rechte des Kindes würden unter Druck geraten, so die Union.
Um diese Rechte zu schützen, wurden acht Verbote für den Einsatz von KI formuliert. Diese Verbote werden im Folgenden zusammen mit möglichen Ausnahmen erörtert. Nicht alle Verbote sind absolut, und es ist daher wichtig zu prüfen, ob eine beabsichtigte Anwendung von KI unter eine Ausnahmekategorie fällt und daher unter bestimmten Bedingungen noch zulässig ist.
Diese Verbote gelten nicht nur für Parteien, die ein solches KI-System vermarkten (Anbieter), sondern grundsätzlich auch für Parteien, die ein solches System verwenden (Betreiber). Es ist daher ratsam, vor dem Einsatz eines KI-Systems zu prüfen, ob es unter eine dieser verbotenen Kategorien fällt. In der Tat ist die strengste Sanktion innerhalb der AI-Verordnung für Verstöße gegen dieses Verbot reserviert, denn es können Geldbußen von bis zu € 35.000.000,= oder 7 % des weltweiten Gesamtumsatzes eines Unternehmens verhängt werden.
1. Manipulative Techniken
Unter keinen Umständen ist es zulässig, das Verhalten von Personen durch den Einsatz manipulativer KI-Techniken so wesentlich zu ändern, dass ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird. Das ist der Fall, wenn Personen Entscheidungen treffen, die sie ohne den Einsatz von KI nicht getroffen hätten mit der Folge, dass ihr Verhalten unter Einfluss des Outputs von KI dieser oder anderen Personen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.
Beispiele für solche manipulativen Techniken sind die Verwendung bestimmter Audio- oder Videostimuli, die von den Personen nicht wahrgenommen werden können, aber dennoch ihr Verhalten beeinflussen. Zum Beispiel durch die Einblendung eines Bildes für weniger als 50 Millisekunden, was das Verhalten beeinflussen kann, aber normalerweise nicht bewusst wahrgenommen wird. Der Begriff umfasst jedoch auch weniger eingreifende Techniken, bei denen sich Personen ihrer Verwendung bewusst sind, aber dennoch keine freie Wahl treffen können.
Nicht jede Technik, die das Verhalten von Menschen beeinflusst, kann als manipulativ im Sinne der Verordnung eingestuft werden. So wurde präzisiert, dass die derzeitigen allgemeinen Werbepraktiken nicht darunterfallen, obwohl argumentiert werden kann, dass sie die freie Entscheidung der Menschen in gewissem Maße beeinflussen.
Um unter dieses Verbot zu fallen, muss der Grad der Manipulation deutlich höher sein. Ein Beispiel ist die Nutzung der „virtuellen Realität“ in einer Weise, dass eine Person nicht mehr zwischen Realität und Fiktion unterscheiden kann.
2. Missbrauch von Vulnerabilität oder Schutzbedürftigkeit
Neben allgemeinen manipulativen Techniken kann ein KI-System auch dafür entworfen sein, spezielle Personen, die sich in einer schutzbedürftigen Position befinden, auszubeuten. Dass manche Menschen gefährdeter sind, um ausgebeutet zu werden, kann z.B. auf Alter, Minderjährigkeit, eine bestimmte Behinderung, extreme Armut oder die Zugehörigkeit zu einer bestimmten Minderheit zurückzuführen sein. Ein KI-System, das eines dieser Merkmale missbraucht, um das Verhalten dieser Personen in einer Weise zu beeinträchtigen, die ihnen selbst oder anderen Schaden zufügt oder zufügen kann, ist verboten.
Dieses Verbot steht jedoch bestimmten medizinischen KI-Anwendungen nicht entgegen, die beispielsweise Menschen mit psychischen Erkrankungen zugutekommen könnten. Hier ist es wichtig, dass der Einsatz von KI immer den geltenden medizinischen Standards und Gesetzen entspricht und dass die ausdrückliche Zustimmung des Patienten oder seines gesetzlichen Vertreters eingeholt wurde.
3. Soziale Bewertungen
Ein KI-system, das Personen über einen bestimmten Zeitraum auf Grundlage ihres Verhaltens eine Bewertung zuweist und Konsequenzen damit verknüpft, steht im Widerspruch zum EU-Grundsatz der Nichtdiskriminierung. Der Grund dafür ist, dass solche Systeme inhärente Vorurteile gegenüber bestimmten Gruppen von Personen enthalten können, was zu einer ungerechten und nachteiligen Behandlung von natürlichen Personen oder Gruppen von Personen führen kann. Aus diesem Grund ist ein KI-gesteuertes Sozialkreditsystem, wie es derzeit in bestimmten Teilen Chinas eingesetzt wird, verboten. Dieses Verbot gilt unabhängig davon, ob ein solches KI-System von einer Regierung oder einer privaten Partei eingesetzt wird.
Dies bedeutet jedoch nicht, dass KI nicht zur Beurteilung von Personen auf Grundlage ihres Verhaltens eingesetzt werden darf und um Konsequenzen damit zu verknüpfen. So ist beispielsweise der Einsatz von KI zur Bestimmung der Höhe von Leistungen grundsätzlich zulässig, obwohl dies auch weitreichende Folgen für die betroffenen Personen haben kann. Das Verbot richtet sich auf das Vorhandensein eines Gesamtergebnisses, das sich auf die Handlungen von natürlichen Personen in anderen Bereichen als denen auswirkt, für die die Daten ursprünglich erhoben wurden.
4. Profiling bzw. Risikobewertung in Bezug auf Straftaten
Wenn ein KI-System dazu verwendet wird, die Wahrscheinlichkeit abzuschätzen, dass eine Person eine Straftat begeht, kann das gegen den Grundsatz der Unschuldsvermutung verstoßen. Es ist daher verboten, KI-Systeme einzusetzen, die allein auf Grundlage persönlicher Merkmale (wie Geburtsort, Anzahl der Kinder oder Autotyp) und Profiling (die automatisierte Sammlung und Verarbeitung von Daten über eine Person, um ein Bild von ihrem Verhalten zu erhalten und vorherzusagen) die Wahrscheinlichkeit analysieren, dass eine Person eine Straftat begehen wird.
Der Einsatz von KI bei der Beurteilung von Personen im Rahmen strafrechtlicher Ermittlungen ist jedoch zulässig, wenn bereits ein auf objektiven und überprüfbaren Tatsachen beruhender und durch menschliche Einschätzung begründeter Verdacht besteht, dass diese Person an einer Straftat beteiligt ist.
5. Datenbanken zur Gesichtserkennung
Die groß angelegte, wahllose Durchsuchung des Internets und der Bilder von Überwachungskameras zur Erfassung von Gesichtsbildern verletzt das Recht auf Privatsphäre der betroffenen Personen. Wenn dies zu dem Zweck geschieht, eine Datenbank mit Gesichtsbildern zu erstellen oder zu erweitern, ist der Einsatz eines KI-Systems zu diesem Zweck verboten.
6. Ableiten bzw. Erkennen von Emotionen
Da Menschen Emotionen auf unterschiedliche Weise zeigen, besteht die Möglichkeit, dass ein KI-System, das Emotionen erkennt, eine diskriminierende Wirkung haben könnte, wenn an seine Ausgabe Konsequenzen geknüpft werden. Aus diesem Grund ist der Einsatz eines KI-Emotionserkennungssystems am Arbeitsplatz oder in der Ausbildung verboten, es sei denn, das System wird ausschließlich zu medizinischen oder sicherheitstechnischen Zwecken eingesetzt, beispielsweise von einem Arbeitsmediziner. Die Erkennung von Schmerzen und Müdigkeit fällt jedoch nicht unter die Emotionserkennung. So ist beispielsweise ein KI-System, das Müdigkeit bei einem Lkw-Fahrer erkennt, nicht verboten.
7. Biometrische Kategorisierung
KI-Systeme, die Menschen auf Grundlage biometrischer Daten (wie Größe, Augenfarbe oder Gangart) in Gruppen einteilen, um besondere personenbezogene Daten über diese Personen abzurufen, sind verboten. Zu den besonderen personenbezogenen Daten gehören politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen, Ethnie, Sexualleben oder sexuelle Orientierung.
Eine Ausnahme von diesem Verbot gilt, wenn ein solches System im Bereich der Strafverfolgung, zum Filtern oder Kennzeichnen rechtmäßig erlangter personenbezogener Daten verwendet wird.
8. (Biometrische) Echtzeit-Fernidentifizierung
Systeme zur biometrischen Echtzeit-Fernidentifizierung verwenden Live-Kamerabilder von öffentlichen Plätzen, um Personen auf Grundlage ihrer persönlichen Daten zu erkennen. Bei ausreichender Kameraüberwachung könnte das System so den Standort einer Person in einer Stadt verfolgen. Der Einsatz dieser Systeme für die Strafverfolgung, z.B. zum Aufspüren eines Verdächtigen, ist im Prinzip verboten, es sei denn, es werden strenge Bedingungen erfüllt.
Zum einen darf das System nur zu den folgenden Zwecken eingesetzt werden:
- Die gezielte Suche nach Opfern von Entführung, Menschenhandel, sexueller Ausbeutung oder anderen vermissten Personen.
- Verhinderung einer unmittelbaren Bedrohung für das Leben oder die körperliche Unversehrtheit einer Person.
- Verhinderung eines terroristischen Anschlags.
- Aufspüren einer Person, die einer schweren Straftat verdächtigt wird, wie Terrorismus, Menschenhandel, sexuelle Ausbeutung von Kindern und Kinderpornografie, Drogenhandel, Waffenhandel, Mord, schwere Körperverletzung, Handel mit menschlichen Organen, Handel mit nuklearen Substanzen oder Entführung.
Wenn eine der oben genannten Situationen eintritt, ist der Einsatz eines Echtzeit-Identifizierungssystems durch die Polizei nur dann zulässig, wenn zu diesem Zweck eine richterliche Anordnung vorliegt, es sei denn, es handelt sich um eine sehr dringende Situation, in der die richterliche Überprüfung nachträglich erfolgen muss.
Haftungsausschluss
Dieses Dokument dient lediglich der Information und es können daraus keine Rechte abgeleitet werden. Für weitere eigenständige Recherchen konsultieren Sie bitte die anderen Informationsdokumente von Kienhuis Legal zur AI-Verordnung.
Bei speziellen Fragen wenden Sie sich bitte an unser German Desk. |
|
 |
| |
|
|
