BaFin-Aufsicht für KI-Systeme: Eine regulatorische Einordnung für Banken und Versicherer

Die EU-KI-Verordnung wird stufenweise anwendbar. Für Unternehmen ist deshalb nicht nur ein einzelner Stichtag maßgeblich. Vielmehr muss für jede KI-Anwendung geprüft werden, welcher Regelungstatbestand einschlägig ist und ab welchem Zeitpunkt die jeweiligen Pflichten gelten.

• Seit dem 2. Februar 2025 sind die Vorschriften über verbotene KI-Praktiken sowie bestimmte KI-Anwendungen anwendbar.
  
  
• Ab dem 2. August 2026 werden weitere wesentliche Vorschriften der EU-KI-Verordnung anwendbar. Dazu gehören insbesondere bestimmte Transparenzpflichten sowie weitere organisatorische und aufsichtsrechtliche Anforderungen. Welche konkreten Pflichten für ein Unternehmen gelten, hängt von seiner Rolle nach der EU-KI-Verordnung, der Art des eingesetzten KI-Systems und dessen rechtlicher Risikoklassifizierung ab.
  
  
• Ab dem 2. Dezember 2027 gelten die Anforderungen der EU-KI-Verordnung für eigenständige Hochrisiko-KI-Systeme, insbesondere für die in Anhang III der Verordnung aufgeführten Anwendungen. Für Hochrisiko-KI-Systeme, die in unionsrechtlich regulierte Produkte integriert sind oder als deren Sicherheitskomponente eingesetzt werden, gelten gesonderte Anwendungstermine.

Hinweis zur Abgrenzung: Die Anwendungstermine der EU-KI-Verordnung gelten unabhängig davon, welche nationale Behörde im Einzelfall zuständig ist. Die BaFin übernimmt Marktüberwachungs- und Aufsichtsaufgaben, soweit ihr diese für bestimmte KI-Systeme im regulierten Finanzsektor gesetzlich zugewiesen sind.

Für andere KI-Anwendungen können andere Marktüberwachungs-, Datenschutz- oder Fachaufsichtsbehörden zuständig sein. Die Behördenzuständigkeit muss daher für jeden konkreten Anwendungsfall gesondert bestimmt werden. Aus der bloßen Tatsache, dass eine KI-Anwendung von einer Bank oder einem Versicherungsunternehmen eingesetzt wird, folgt nicht automatisch eine ausschließliche Zuständigkeit der BaFin.

Aus dem Text lassen sich für Banken, Versicherer und andere Finanzunternehmen sehr konkrete Pflichten ableiten. Diese unterteilen sich in Dinge, die zwingend umzusetzen sind (Handlungspflichten), und Praktiken, die strikt verboten sind (Unterlassungspflichten).

Hier ist die konkrete Ableitung:

1.) Unterlassungspflichten (Was nicht mehr getan werden darf)

a.) Verzicht auf verbotene KI-Praktiken (bereits seit 02.02.2025 gültig): 

Unternehmen müssen prüfen, ob eine geplante oder bereits eingesetzte KI-Anwendung unter einen der ausdrücklich geregelten Verbotstatbestände der EU-KI-Verordnung fällt. Die Verordnung untersagt bestimmte, abschließend beschriebene Praktiken, etwa einzelne Formen manipulativer oder ausbeuterischer KI-Nutzung, bestimmte Formen des Social Scoring sowie gesetzlich definierte biometrische Anwendungen.

Nicht jede fehlerhafte, diskriminierende oder datenschutzwidrige KI-Anwendung ist automatisch eine verbotene KI-Praxis im Sinne der EU-KI-Verordnung. Sie kann jedoch gegen andere Vorschriften der KI-Verordnung, die Datenschutz-Grundverordnung, das Allgemeine Gleichbehandlungsgesetz oder finanzaufsichtsrechtliche Anforderungen verstoßen.

Unternehmen sollten deshalb neben der Prüfung der ausdrücklichen Verbote stets auch eine gesonderte Datenschutz-, Diskriminierungs- und Aufsichtsrechtsprüfung durchführen.

b.) Vermeidung rechtswidriger Benachteiligungen:

KI-Systeme dürfen nicht zu rechtswidrigen Benachteiligungen von Kunden oder anderen betroffenen Personen führen. Finanzunternehmen müssen insbesondere prüfen, ob verwendete Daten, Modellannahmen, Entscheidungsregeln oder technische Näherungswerte bestimmte Personengruppen systematisch und ohne ausreichende sachliche Rechtfertigung benachteiligen.

Eine unterschiedliche Behandlung ist nicht in jedem Fall unzulässig. Sie muss jedoch auf rechtlich zulässigen, nachvollziehbaren und für den jeweiligen Geschäftszweck geeigneten Kriterien beruhen. Neben der EU-KI-Verordnung sind hierbei insbesondere das Datenschutzrecht, das Allgemeine Gleichbehandlungsgesetz sowie sektorspezifische aufsichtsrechtliche Anforderungen zu berücksichtigen.

Praxisbeispiel zur algorithmischen Benachteiligung: Wie schnell solche Risiken in der Praxis schlagend werden, zeigt das Szenario einer automatisierten Baufinanzierung. Setzt eine Bank hierfür ein KI-System ein, das neben klassischen Bonitätsdaten auch scheinbar neutrale Näherungswerte (sog. Proxy-Daten) wie Postleitzahlen oder das Konsumverhalten auswertet, droht eine unbewusste systematische Diskriminierung. Führt der Algorithmus beispielsweise dazu, dass Antragstellern aus bestimmten Postleitzahlengebieten – etwa mit einem hohen Anteil an Alleinerziehenden oder Menschen mit Migrationshintergrund – pauschal eine schlechtere Risikoklasse zugewiesen wird, obwohl ihre individuelle finanzielle Leistungsfähigkeit für den Kredit ausreicht, liegt eine unzulässige Benachteiligung vor. Ein solcher Fall verstößt gravierend gegen das Allgemeine Gleichbehandlungsgesetz (AGG) sowie die Datenqualitätsanforderungen der EU-KI-Verordnung und zieht im Ernstfall empfindliche Sanktionen sowie Reputationsschäden nach sich.

c.) Rechtliche Grenzen automatisierter Entscheidungen und Anforderungen an die menschliche Aufsicht

Vollständig oder weitgehend automatisierte Entscheidungen sind nicht generell verboten. Ihre Zulässigkeit hängt von der konkreten Anwendung, der Wirkung für die betroffene Person und den jeweils einschlägigen Rechtsvorschriften ab.

Bei Hochrisiko-KI-Systemen müssen die gesetzlich vorgesehenen Maßnahmen der menschlichen Aufsicht wirksam ausgestaltet werden. Die zuständigen Personen müssen insbesondere in der Lage sein, die Funktionsweise und Grenzen des Systems angemessen zu verstehen, Auffälligkeiten zu erkennen und – soweit erforderlich und rechtlich vorgesehen – Ergebnisse nicht zu übernehmen, das System zu übersteuern oder seine Nutzung zu unterbrechen.

Führt eine ausschließlich automatisierte Verarbeitung zu einer rechtlichen oder ähnlich erheblichen Wirkung für eine natürliche Person, ist zusätzlich zu prüfen, ob die besonderen Anforderungen der Datenschutz-Grundverordnung an automatisierte Einzelentscheidungen erfüllt sind. Hierzu können insbesondere Informations-, Interventions- und Anfechtungsmöglichkeiten gehören.

2.) Handlungspflichten (Was aktiv umgesetzt werden muss)

a.) Governance und Risikomanagement (Auf Ebene der Geschäftsleitung)

aa.) Verantwortungsübernahme: Verantwortung der Geschäftsleitung: Die Geschäftsleitung trägt im Rahmen ihrer gesetzlichen Leitungs- und Organisationspflichten die Gesamtverantwortung dafür, dass der Einsatz von KI ordnungsgemäß organisiert und in das Risikomanagement des Unternehmens eingebunden wird. Operative Aufgaben können delegiert werden; die Pflicht zu einer angemessenen Auswahl, Steuerung und Überwachung der verantwortlichen Bereiche bleibt jedoch bestehen.

bb.) Fachliche und organisatorische Vorbereitung: Unternehmen müssen die für ihre KI-Anwendungen einschlägigen Anforderungen systematisch ermitteln und in geeignete Prozesse, Kontrollen und Verantwortlichkeiten überführen. Dazu können insbesondere eine regulatorische Gap-Analyse, ein vollständiges KI-Inventar, die Klassifizierung der eingesetzten Systeme sowie der gezielte Aufbau von KI-Kompetenz gehören.

cc.) Risikomanagement aufbauen: Es muss ein „wirksames Risikomanagement“ speziell für KI-Systeme implementiert werden.

dd.) Anforderungen an Entwicklung und Beschaffung: Bei der Entwicklung, Beschaffung und Nutzung von KI-Systemen müssen Unternehmen die jeweils einschlägigen Anforderungen an Sicherheit, Robustheit, Datenqualität, Transparenz und den Schutz vor rechtswidriger Benachteiligung berücksichtigen. Bei Drittanbieterlösungen sind diese Anforderungen durch geeignete Auswahl-, Prüfungs-, Vertrags- und Überwachungsprozesse abzusichern.

b.) Menschliche Kontrolle („Human in the Loop“)

Kennzeichnung bestimmter KI-Interaktionen: Interagieren natürliche Personen unmittelbar mit einem KI-System, müssen sie grundsätzlich darüber informiert werden, dass sie mit einem KI-System kommunizieren, sofern dies für sie nicht bereits aufgrund der Umstände offensichtlich ist. Unternehmen sollten daher insbesondere Chatbots und vergleichbare digitale Kundenschnittstellen prüfen und erforderliche Hinweise klar, verständlich und rechtzeitig in den jeweiligen Interaktionsprozess integrieren.

Bei ausschließlich automatisierten Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung für natürliche Personen ist zusätzlich zu prüfen, ob die besonderen Anforderungen der Datenschutz-Grundverordnung eingehalten werden. Dazu können insbesondere Informations-, Interventions- und Anfechtungsmöglichkeiten gehören.

c.) Transparenzpflichten (Umzusetzen bis 02.08.2026)

Kennzeichnung von Interaktionen: Wenn Kunden unmittelbar mit einer KI interagieren (z. B. über Chatbots im Kundenservice), muss eine Transparenzpflicht erfüllt werden. Der Kunde muss wissen, dass er mit einer Maschine kommuniziert.

d.) Hochrisiko-Compliance (Umzusetzen bis 02.12.2027)

aa.) Identifikation und Absicherung von Hochrisiko-Systemen: Unternehmen müssen prüfen, ob sie Systeme betreiben, die als Hochrisiko gelten. Im Text explizit genannt:

Systeme zur Kreditwürdigkeitsprüfung (Banken).

Systeme zur Risikobewertung in der Lebens- und Krankenversicherung.

bb.) Erfüllung der KI-VO: Für diese identifizierten Hochrisiko-Systeme müssen die strengen Anforderungen der EU-KI-Verordnung (z. B. bezüglich Datenqualität, Dokumentation, Überwachung) fristgerecht erfüllt werden.

Fazit für die Compliance: Der Einsatz von KI ist nicht lediglich als strategisches oder technisches Thema zu behandeln. Abhängig von der konkreten Anwendung ergeben sich verbindliche Anforderungen aus der EU-KI-Verordnung, dem Datenschutzrecht, dem Antidiskriminierungsrecht und dem Finanzaufsichtsrecht. Verstöße können behördliche Maßnahmen, Bußgelder, zivilrechtliche Ansprüche und erhebliche Reputationsschäden nach sich ziehen. KI-Governance sollte deshalb als fester Bestandteil des unternehmensweiten Compliance- und Risikomanagementsystems ausgestaltet werden.

Aus dem Text sowie den daraus resultierenden aufsichtsrechtlichen Prinzipien ergeben sich erhebliche Haftungs- und Sanktionsrisiken, insbesondere für die Führungsebene. Der Text stellt unmissverständlich klar: „Die Verantwortung für den Einsatz von KI liegt bei den beaufsichtigten Unternehmen und ihren Geschäftsleitungen.“

Daraus lassen sich folgende konkrete Haftungsrisiken für die beteiligten Personen und Organe ableiten:

1.) Risiken für die Geschäftsleitung (Vorstand / C-Level)

Da die BaFin die Geschäftsleitung explizit in die Pflicht nimmt, ergeben sich hier die größten persönlichen Risiken:

Organisationsverschulden (Persönliche Innenhaftung):

Verletzt ein Mitglied der Geschäftsleitung schuldhaft seine gesetzlichen Leitungs-, Organisations- oder Überwachungspflichten und entsteht dem Unternehmen dadurch ein Schaden, kann grundsätzlich eine persönliche Innenhaftung in Betracht kommen. Dies kann beispielsweise relevant werden, wenn wesentliche regulatorische Anforderungen trotz erkennbarer Risiken nicht umgesetzt oder keine angemessenen Kontroll- und Risikomanagementstrukturen eingerichtet wurden. Ob tatsächlich eine Haftung nach § 93 AktG, § 43 GmbHG oder anderen Vorschriften besteht, ist stets anhand der konkreten Pflichtverletzung, des Verschuldens, der Kausalität und des entstandenen Schadens zu beurteilen.

Aufsichtsrechtliche Konsequenzen („Fit & Proper“):

Mängel beim Einsatz von KI können auch im Rahmen der aufsichtsrechtlichen Beurteilung der ordnungsgemäßen Geschäftsorganisation sowie der Zuverlässigkeit und fachlichen Eignung von Geschäftsleitungsmitgliedern berücksichtigt werden. Besonders relevant können schwerwiegende, wiederholte oder nicht behobene Organisations- und Kontrollmängel sein. Welche aufsichtsrechtlichen Maßnahmen im Einzelfall in Betracht kommen, hängt von Art, Dauer und Schwere des Verstoßes sowie vom Verhalten der verantwortlichen Personen ab.

2.) Risiken für das Unternehmen (als juristische Person)

Auch wenn das Unternehmen keine „natürliche Person“ ist, treffen es die primären Sanktionen der Behörde, welche sich wiederum auf Stakeholder und Management auswirken:

Bußgelder und weitere behördliche Maßnahmen:

Verstöße gegen die EU-KI-Verordnung können mit erheblichen Bußgeldern geahndet werden. Die konkrete Höhe richtet sich unter anderem nach der verletzten Vorschrift, der Schwere und Dauer des Verstoßes, dem Verschulden sowie der Größe und wirtschaftlichen Leistungsfähigkeit des betroffenen Unternehmens. Daneben können je nach Zuständigkeit und Rechtsgrundlage weitere aufsichtsrechtliche Maßnahmen angeordnet werden.

Reputationsverlust:

Strafen wegen algorithmischer Diskriminierung („faire Zugänge verwehrt“) oder verbotenen Praktiken führen zu enormen Reputationsschäden bei Kunden und Investoren.

3.) Risiken für Compliance-Officer, Risikomanager & IT-Leiter

Auch die zweite Führungsebene trägt abgeleitete Risiken:

Pflichten der beauftragten Fachbereiche:

Werden Aufgaben im Zusammenhang mit KI-Governance, Compliance, Risikomanagement oder technischer Umsetzung an einzelne Beschäftigte oder Führungskräfte übertragen, müssen diese die ihnen zugewiesenen Aufgaben sorgfältig, fachgerecht und innerhalb ihrer Befugnisse erfüllen. Pflichtverletzungen können abhängig von Funktion, Verantwortungsumfang, Verschulden und arbeitsvertraglicher Ausgestaltung arbeitsrechtliche oder haftungsrechtliche Folgen haben.

„Garantenstellung der Compliance“ :

Eine persönliche straf- oder zivilrechtliche Verantwortlichkeit von Compliance-Beauftragten oder anderen Beschäftigten entsteht jedoch nicht allein aufgrund ihrer Funktion. Sie setzt eine konkrete Rechtspflicht, eine zurechenbare Pflichtverletzung und die weiteren Voraussetzungen der jeweils einschlägigen Haftungsnorm voraus. Bei erkannten wesentlichen Verstößen müssen die zuständigen Stellen angemessen reagieren, die Geschäftsleitung informieren und auf geeignete Abhilfemaßnahmen hinwirken.

Zusammenfassend ist der Einsatz von KI kein ausschließlich technisches Thema, sondern eine unternehmensweite Governance- und Compliance-Aufgabe. Geschäftsleitungen müssen für angemessene Strukturen, klare Verantwortlichkeiten und wirksame Kontrollmechanismen sorgen. Eine persönliche Haftung für Verstöße oder Bußgelder tritt jedoch nicht automatisch ein, sondern setzt eine individuell zurechenbare und schuldhafte Pflichtverletzung sowie die weiteren Voraussetzungen der einschlägigen Haftungsnorm voraus.