Die wachsende Bandbreite an Anwendungsgebieten von Systemen der Künstlichen Intelligenz (KI-Systeme) spielt auch in der öffentlichen Verwaltung eine immer größere Rolle. Hier kann der Einsatz von KI dazu beitragen, die Effizienz des Verwaltungshandelns zu erhöhen und die Kommunikation mit Bürgerinnen und Bürgern, etwa durch Dialog- und Antwortsysteme, zu verbessern. Die Einsatzmöglichkeiten reichen von KI-Systemen zur Personal- und Einsatzplanung und für Beurteilungsverfahren, über die Analyse großer Datenbestände und Entscheidungsvorlagen bis hin zu KI-Systemen bei Sicherheitsbehörden. Zu den zuletzt genannten KI-Systemen zählen etwa Vorhersagen zu Kriminalitätsentwicklungen, biometrische Gesichtserkennungen und sogenannte Predictive Policing.
In rechtlicher Hinsicht sind dabei unter anderem datenschutzrechtliche Vorgaben sowie insbesondere zukünftig die „Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz“ (KI-VO) zu beachten. Der Gesetzesentwurf, der voraussichtlich Ende 2023 oder Anfang 2024 in Kraft treten wird, normiert einen umfassenden Rechtsrahmen für den Einsatz von KI-Systemen innerhalb der EU und ist von hoher praktischer Bedeutung für Produkthersteller, Einführer, Händler und Nutzer. Einbezogen in den Adressatenkreis sind ausdrücklich neben natürlichen oder juristischen Personen auch Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System entwickeln oder entwickeln lassen oder in eigener Verantwortung verwenden.
Folgende Eckpunkte des Entwurfs der KI-VO sind besonders hervorzuheben:
- (Weite) gesetzliche Definition des Begriffs „KI-System“;
- risikobasierter Ansatz mit Verpflichtungen für Hersteller, Betreiber und Nutzer in Abhängigkeit vom jeweiligen Risiko des KI-Systems;
- die Risikostufen reichen von inakzeptablen, verbotenen KI-Systemen, über KI-Systeme mit hohem Risiko bis hin zu solchen mit geringem Risiko;
- Regelungen zur Rechtsdurchsetzung und Aufsicht über die Einhaltung der KI-VO sowie ein Bußgeldkatalog mit unterschiedlichen Sanktionsstufen.
Jetzt Rahmenbedingungen für rechtskonformen KI-Einsatz analysieren
Behörden und öffentliche Stellen sollten sich frühzeitig mit den rechtlichen Rahmenbedingungen für einen rechtskonformen Einsatz von KI-Systemen befassen. Zwar werden derzeit spezifische Ausnahmen der KI-VO für die öffentliche Hand noch diskutiert. Gleichwohl zeichnet sich ab, dass einzelne KI-Systeme als hochriskant eingestuft werden könnten. Dazu zählen zum Beispiel solche zum Einsatz in den Bereichen Migration, Asyl und Grenzkontrolle, zur (automatischen) Vergabe von Sozialleistungen oder biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zur Strafverfolgung. Um die Grundrechte zu gewährleisten, sind die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz dieser KI-Systeme besonders bedeutsam.
Öffentliche Stellen sollten Risiko- und Qualitätsmanagementsystem einrichten
Behörden und öffentliche Stellen sollten daher ein Risiko- und Qualitätsmanagementsystem einrichten. Denn auch gegenüber diesen Adressaten sieht die KI-VO nachträgliche Kontrollen, Transparenzpflichten und Durchsetzungsmechanismen vor. Hierfür sollen die EU-Mitgliedstaaten geeignete Überwachungs- und Aufsichtsbehörden einrichten. Mit dieser Maßnahme soll sichergestellt werden, dass die Anforderungen und Standards der KI-VO eingehalten und von den zuständigen Behörden sogenannte KI-Reallabore zur Erprobung und Validierung von KI-Systemen in einer kontrollierten Umgebung vor ihrem Inverkehrbringen eingerichtet werden, wenngleich der Entwurf der KI-VO es bislang den Mitgliedsstaaten überlässt, ob und inwieweit die Sanktionen der KI-VO auch für Behörden und öffentliche Stellen gelten sollen.
Im Ergebnis bringt die Umsetzung der KI-VO vielschichtige Anforderungen für die öffentliche Hand mit sich. Wichtig ist dabei vor allem der Aufbau einer KI-Governancestruktur, um Prozesse beispielsweise zu folgenden Themen zu etablieren:
- Auswahl und Qualität von KI-Systemen
- Risikoklassifizierung und -bewertung über den gesamten Lebenszyklus des KI-Systems
- Dokumentation
- Einhaltung von Informations- und Transparenzpflichten
- Durchführung möglicher vorgeschriebener Konformitätsbewertungsverfahren
- Überwachung der Einhaltung rechtlicher und ethischer Rahmenbedingungen
Wir beantworten Ihnen gerne alle Fragen zum Gesetzentwurf und unterstützen Sie dabei, die rechtlichen Rahmenbedingungen für den Einsatz von KI praxisorientiert, effektiv und gesetzeskonform umzusetzen.
