AI Act
AI Act – Regulatorik künstlicher Intelligenz
Neue regulatorische Herausforderungen beim Einsatz von künstlicher Intelligenz
Man kann durchaus behaupten, dass Europa im Vergleich zu China und den USA im Thema künstlicher Intelligenz (KI) weit abgeschlagen ist. Sowohl Geld, Talente, Rechenleistung, aber vor allem auch Daten liegen zu größten Teilen außerhalb Europas. Die EU sieht jedoch in der Politik einen Hebel, um sich nicht weiter abhängen zu lassen und möchte mit dem Artificial Intelligence Act (AI Act) einen weltweiten Standard aufbauen, wie KI in Zukunft gestaltet werden soll. Mit dem aktuell im Entwurf unterbreitet die Europäische Kommission einen Vorschlag zur Regulierung von künstlicher Intelligenz (KI) innerhalb der gesamten EU. Das Ziel der Regularie ist, einen Rahmen für die Nutzung von KI zu schaffen, der menschliche Grundrechte sichert. Betroffen sind dabei eine große Zahl an Unternehmen, insbesondere Finanzunternehmen, die mit der neuen Regulierung umfangreiche Maßnahmen umsetzen müssen.
Der erste große Streitpunkt ist dabei bereits die Definition, was unter den Begriff künstlicher Intelligenz fällt. Nach aktuell vorgeschlagener Definition fallen neben den üblichen Vertretern (Neuronale Netzen, Regressionen, etc.) auch regelbasierte Ansätze unter die Regularie, die Vorhersagen oder Entscheidungen treffen oder Empfehlungen aussprechen. Dabei ist es irrelevant, ob das System direkt mit einem Kunden/Anwender agiert oder nicht. Nach Einschätzung von NEXGEN fallen damit ca. 95% aller IT-Anwendungen unter den AI Act, daher dürfte über die Definition wohl bis zur letzten Sekunde diskutiert werden.
Erstgespräch anfragen
Sladjan
Seferovic
Tristan
Pötzsch
Patrick
Gschwendtner
Paul
Wunderlich
Einordnung von KI und Maßnahmen
Der AI Act schlägt eine vierstufige Taxonomie vor, die KI-Implementierung gemäß deren Risiken einordnet und entsprechende Anforderungen stellt. Mit dieser Taxonomie gehen einige Anforderungen an die IT-Governance einher, allen voran die Entwicklung eines internen Systems zur Risikoklassifizierung von KI-Komponenten und Systemen.
Vor allem die Klasse der Hoch-Risiko-Systeme erfordert besondere Aufmerksamkeit, wobei lauf EU-Schätzungen etwa 15% aller KI-Systeme in diese Klasse fallen. Für diese Systeme müssen bestehende Risikomanagementsysteme um KI-spezifische Komponenten wie Kontrollen beim Design und Betrieb von Modellen erweitert werden oder komplett neu aufgesetzt werden. Diese Systeme müssen unbedingt die folgenden Punkte enthalten:
Anforderungen an Hochrisikosysteme
- Daten müssen für KI-Anwendungen relevant, repräsentativ, fehlerfrei und vollständig sein. Dafür müssen Data Governance- und Datenverwaltungsverfahren eingeführt werden, um bereits bei der Konzeption von Datenverarbeitungen mögliche Verzerrungen oder Vorurteile zu vermeiden. Darüber hinaus muss eine klare Darstellung der Beweggründe und Auswahlkriterien für Datenquellen erfolgen.
- KI-Systeme müssen unter der Transparenzpflicht konzipiert und entwickelt werden, um Nutzern eine angemessene Interpretation und Verwendung der Ergebnisse zu ermöglichen. Das bedeutet, dass sie mit digitalen Gebrauchsanweisungen versehen werden, die vollständige, korrekte und eindeutige Informationen enthalten und barrierefrei zugänglich sein müssen.
- KI-Systemen müssen immer einer Aufsicht unterliegen. Das schließt sowohl eine technische Aufsicht ein, die Anomalien und Fehlfunktionen erkennt, als auch eine menschliche Aufsicht, die die Fähigkeiten und Grenzen des Systems vollständig versteht.
- Es wird weiter gefordert, dass Systeme während ihres Lebenszyklus Anforderungen an Genauigkeit, Robustheit und Cybersecurity erfüllen und widerstandsfähig gegen Risiken und schädliche Eingriffe sein müssen. Anbieter von Hochrisiko-KI-Systemen müssen geeignete technische und organisatorische Maßnahmen ergreifen und Cybersicherheit gewährleisten.
- Alle Maßnahmen müssen regelmäßig in Form interner Audits überprüft und gemäß den Anforderungen des AI-Acts dokumentiert werden. Jedes neue System muss vor dem Go-Live intern freigegeben werden.
- Alle Modelle müssen in eine EU-Datenbank eingetragen werden, die Informationen über alle hochriskante KI-Systeme enthält. Dabei werden nicht die Modelle selbst, aber alle relevanten Informationen zu dem System abgelegt, wie bspw. der Use-Case des KI-Systems, Auflistung der EU-Mitgliedsstaaten, in welchen das System arbeitet und ob das System aktuell im Markt operiert oder zurückgenommen ist.
Diskussionspunkte im AI Act
Bis zur finalen Veröffentlichung des AI Acts (vermutlich 2024) ist noch vor Allem in der Definition von KI noch viel Klärung nötig. Nach derzeitigem Stand würden außerordentlich viele Systeme als KI eingeordnet werden, was zu einer Überregulierung führen kann.
Ebenso ist bei der endgültigen Einordnung in Risikoklassen weitere Konkretisierung zu erwarten. Anhand des KI-gestützten KYC-Verfahrens, welches zur Überprüfung der Kundenidentität genutzt wird, sind Unklarheiten in der Einordnung leicht ersichtlich.
Mit einer von KI getriebenen biometrischen Identifizierung von natürlichen Personen fiel das KYC-Verfahren mit der ursprünglichen Fassung des AI Acts eindeutig in die Hochrisikoklasse. Diese Einordnung ist jedoch abhängig vom Grad des Eingriffs durch den Menschen. Ist das KI generierte Ergebnis unmittelbar wirksam und nicht menschlich validiert, handelt es sich um ein System mit hohem Risiko und alle damit verbundenen Maßnahmen sind erforderlich. Wird das Ergebnis jedoch durch eine natürliche Person validiert, wird das KYC-Verfahren als System mit geringem oder sogar keinem Risiko eingestuft, für welche eine reine Transparenzpflicht beim Kunden erforderlich ist oder ein Code of Conduct empfohlen wird.
Schlussfolgerungen und Handlungsempfehlungen
Durch den AI Act ergeben sich einerseits weitgehende Chancen, allen voran ein Vertrauens- und Akzeptanzgewinn der Nutzer von KI durch Minimierung von Risiken und einem Sicherheitsgewinn durch festgelegte Standards und Regeln. Andererseits birgt er aber auch einige Risiken, die vor allem Unternehmen mit hohen Umsetzungskosten und mit Non-Compliance-Sanktionen ähnlich zu Verstößen gegen das DSGVO treffen kann.
Um solchen Gefahren vorzubeugen, sollten betroffene Unternehmen nicht bis zur Umsetzungsphase warten, sondern bereits jetzt erste Schritte auf Basis der derzeitigen Entwürfe durchführen:
- Falls nicht vorhanden sollte unabhängig von den Risikoklassen der KI-Systeme ein Code of Conduct einführt werden. Dadurch werden z.B. Richtlinien für den verantwortungsvollen Umgang mit KI oder zum Datenschutz festgelegt.
- Aktuelle Entwicklungen um die neue Verordnung sollten stetig verfolgt werden, da regelmäßig nachgeschärft wird, wodurch u.a. die nötigen Maßnahmen spezifiziert werden. Dadurch kann mit Inkrafttreten der finalen Fassung frühzeitig mit der Umsetzung begonnen werden.
- Die vorhandenen KI-Systeme sollten bereits jetzt identifiziert und nach aktuellem Stand in Risikoklassen eingeordnet werden. Basierend auf dieser Einschätzung und nach Analyse der existierenden Strukturen kann die Umsetzung der bereits klar definierten Anforderungen vorbereitet werden.
Disclaimer: Bei der Erstellung des Inhalts ist die größtmögliche Sorgfalt verwendet worden, dennoch bleiben Änderungen, Irrtümer und Auslassungen vorbehalten. Die getroffenen Aussagen basieren auf Beurteilungen, historischen Daten und rechtlichen Einschätzungen zum Zeitpunkt der Erstellung des Inhalts. Alle Angaben erfolgen ohne Gewähr für die inhaltliche Richtigkeit und Vollständigkeit. Die Überlassung des Inhalts erfolgt nur für den internen Gebrauch des Empfängers. Die Aufbereitung stellt keine Rechts- oder Anlageberatung dar. Diese muss individuell unter Berücksichtigung der Umstände des Einzelfalls erfolgen.
Für eine bessere Lesbarkeit wird auf dieser Website das generische Maskulinum verwendet, wobei alle Geschlechter gleichermaßen gemeint sind.