90 Prozent der Wissensarbeiter in deutschen Unternehmen nutzen generative KI bereits aktiv, aber nur 37 Prozent der IT-Leitungen wissen, welche Tools im eigenen Haus laufen. Das ist das Ergebnis des Logicalis CIO Report 2026, und es beschreibt keine Ausnahme, sondern den Normalzustand.
Wer auf diese Lage mit einem Verbots-Rundschreiben reagiert, verliert zweimal: Die Mitarbeitenden wechseln auf das nächste Browser-Tab, und das Unternehmen verliert die letzte Sichtbarkeit über die eigene KI-Nutzung. Was stattdessen wirkt, ist eine KI-Governance mit fünf konkreten Bausteinen, die Innovation zulässt und gleichzeitig steuerbar bleibt.
Kurzfassung
KI-Governance ist kein weiteres Compliance-Dokument, sondern fünf operative Maßnahmen: KI-Inventar, Risikoeinstufung je Workflow, Datenfluss-Dokumentation, Rollen und Verantwortlichkeiten sowie eine KI-Richtlinie mit Schulungsnachweisen. Wer mit einem strukturierten Audit startet, hat die Grundlagen in vier Wochen.
Warum KI-Governance 2026 nicht mehr optional ist
Bis Ende 2023 war generative KI im Unternehmenskontext ein Experiment von Frühadoptern. Heute ist sie Standard: 40,9 Prozent der deutschen Unternehmen setzen KI ein, 2023 waren es noch 13,3 Prozent (Bitkom Studie KI in Deutschland 2026). Was daraus folgt, ist ein Governance-Problem, das sich nicht von selbst löst.
Drei Entwicklungen machen strukturierte KI-Governance dringlicher als zuvor:
EU AI Act und nationale Umsetzung. Der EU AI Act ist seit August 2024 vollständig in Kraft. Im Februar 2026 hat das Bundeskabinett das Durchführungsgesetz (KI-MIG) beschlossen, das die nationale Aufsichtsstruktur und Behördenzuständigkeiten festlegt. Verantwortlichkeiten und Dokumentationspflichten sind damit keine Ankündigung mehr, sondern geltendes Recht. Die konkreten Schulungspflichten daraus erklärt der Beitrag EU AI Act Schulungspflicht.
Bring Your Own AI ist der Status quo. Die Bitkom-Studie zeigt, dass 50 Prozent der Unternehmen Datenschutz bereits als KI-Innovationsbremse wahrnehmen. Wo das Unternehmen keinen offiziellen Weg anbietet, suchen Mitarbeitende ihn selbst. Das Phänomen heißt Bring Your Own AI, es ist vergleichbar mit der Schatten-IT der frühen 2010er-Jahre, nur schneller und unsichtbarer.
Haftung folgt dem Einsatz. Wenn ein KI-System Entscheidungen im Unternehmen unterstützt und dabei ein Fehler passiert, ist Unwissenheit keine Haftungsabwehr. Das gilt für Hochrisiko-Systeme unter dem AI Act ebenso wie für allgemeine zivilrechtliche Verantwortung.
KI-Governance vs. KI-Richtlinie: Wo der Unterschied liegt
Ein verbreitetes Missverständnis: Eine KI-Nutzungsrichtlinie ist nicht dasselbe wie KI-Governance. Die Richtlinie ist ein Dokument. Governance ist das Gesamtsystem, das dieses Dokument einbettet und wirksam macht.
| Begriff | Was es ist | Was es nicht leistet |
|---|---|---|
| KI-Richtlinie | Dokument mit Nutzungsregeln | Keine Kontrolle, ob sie eingehalten wird |
| KI-Governance | System aus Rollen, Prozessen, Monitoring | Keine operativen Nutzungsanweisungen |
| Datenschutz / DSGVO | Rechtliche Teilanforderung | Kein vollständiger Governance-Rahmen |
| IT-Governance | Infrastruktur- und Systembetrieb | Kein Modell-Lifecycle, keine KI-Risikosteuerung |
KI-Governance macht die Richtlinie operativ wirksam, indem sie Verantwortlichkeiten, Prozesse und Monitoring dahinter stellt.
Die fünf Bausteine einer wirksamen KI-Governance
Baustein 1: KI-Inventar
Bevor du steuerst, musst du wissen, was läuft. Ein KI-Inventar dokumentiert alle im Unternehmen eingesetzten KI-Systeme und Tools, inklusive jener, die Mitarbeitende auf eigene Initiative einsetzen.
Das klingt aufwendig, ist aber pragmatisch umsetzbar. Ausgangspunkte sind bestehende Software-Verzeichnisse aus dem IT-Asset-Management, eine Befragung der Fachbereiche, und die Auswertung von Browser-Daten auf Firmengeräten (mit Betriebsrat abstimmen, falls vorhanden). Das Inventar muss nicht perfekt sein, um nützlich zu sein. 80 Prozent der tatsächlichen KI-Nutzung zu erfassen, ist ein brauchbarer Start.
Baustein 2: Risikoeinstufung je Workflow
Der EU AI Act unterscheidet vier Risikoklassen: inakzeptables Risiko, Hochrisiko, begrenztes Risiko und minimales Risiko. Für die meisten Mittelständler gilt: Die überwiegende Mehrheit der eingesetzten Tools fällt in die unteren beiden Kategorien.
Die relevante Frage ist nicht die abstrakte Klassifizierung, sondern: Für welchen Workflow wird das Tool eingesetzt, und welche Daten fließen dabei? Ein Dokumentenassistent, der öffentlich verfügbare Marktberichte zusammenfasst, ist eine andere Risikoeinstufung als ein KI-System, das an einer Kreditentscheidung mitwirkt. Wer Workflows einmal strukturiert bewertet, merkt schnell, wo die tatsächlichen Risiken liegen, oft nicht dort, wo man es vermutet.
Welche Workflows unter das Hochrisiko-Regime fallen und was das konkret bedeutet, erklärt der Beitrag Datenschutzkonforme KI.
Baustein 3: Datenfluss-Dokumentation
Für jeden KI-Workflow, der mit unternehmensrelevanten Daten arbeitet, braucht es eine Antwort auf drei Fragen:
- Woher kommen die Daten? Quellsystem, Format, Datenkategorie.
- Wohin gehen sie? Wird ein externer Dienst aufgerufen? Liegt der Server in der EU? Gibt es einen Auftragsverarbeitungsvertrag?
- Was passiert danach? Werden Eingaben für das Training des Modells verwendet? Wie lange werden Prompts gespeichert?
Diese Dokumentation ist Pflicht für alle Workflows, bei denen personenbezogene oder vertrauliche Unternehmensdaten verarbeitet werden. Für alles andere reicht ein einfacher Eintrag im Inventar.
Baustein 4: Rollen und Verantwortlichkeiten
KI-Governance scheitert dort, wo niemand zuständig ist. Das bedeutet nicht, dass ein Unternehmen sofort eine eigene KI-Abteilung braucht. Es bedeutet, dass für jeden KI-relevanten Entscheidungstyp klar ist, wer entscheidet.
Eine pragmatische Minimalstruktur für den Mittelstand:
- KI-Koordinator:in (1 Person, Teilzeit): Pflegt das Inventar, koordiniert Freigaben, ist Ansprechperson für Mitarbeitende. Das kann die IT-Leitung sein, ein Datenschutzbeauftragter oder jemand aus dem Fachbereich.
- Freigabeprozess (2 bis 3 Personen): Wer darf neue KI-Tools einführen? Welche Schwelle löst eine formale Prüfung aus? Wer gibt das Okay?
- Eskalationspfad: Was passiert bei einem KI-Vorfall? Wer wird informiert, was wird dokumentiert?
Baustein 5: KI-Richtlinie und Schulungsnachweise
Erst am Ende kommt das Dokument. Eine KI-Richtlinie, die auf einem funktionierenden Governance-System aufsetzt, ist kurz und wirksam. Sie beantwortet: Welche Tools sind für welche Zwecke freigegeben? Was darf unter keinen Umständen in ein KI-System eingegeben werden? Wie läuft der Freigabeprozess? Wer ist Ansprechperson?
Schulungsnachweise sind Pflicht
Der AI Act verpflichtet zu nachweisbarer KI-Kompetenz beim eingesetzten Personal. Einmalige Briefings reichen nicht aus. Die Schulungspflicht gilt nicht nur für Hochrisiko-Systeme, sondern für alle Anwender KI-basierter Systeme im Unternehmen.
Besondere Anforderungen für regulierte Branchen
KI-Governance im Allgemeinen ist eine Sache, KI-Governance in regulierten Branchen eine andere.
Steuerberatungskanzleien unterliegen berufsrechtlichen Anforderungen, die über Datenschutzrecht und AI Act hinausgehen. Mandatsdaten sind besonders schützenswert, und die Berufsordnungen verlangen für sensible digitale Verarbeitungswege besondere Sorgfalt. Ein KI-Tool, das Mandantendaten verarbeitet, muss im Rahmen der Kanzlei-Governance anders bewertet werden als ein Tool, das allgemeine Recherchen unterstützt. Vertiefung: Datenschutzkonforme KI für Steuerberater.
Family Offices verarbeiten Familien-, Portfolio- und Beteiligungsdaten mit einem vertraulichen Charakter, der weit über formale Anforderungen hinausgeht. Die Familie erwartet, dass Daten das Haus nicht verlassen. KI-Governance muss hier nicht nur regulatorische Anforderungen abdecken, sondern auch mandatsbezogene Vertraulichkeitserwartungen. Vertiefung: KI für Family Offices.
Unternehmen mit besonders sensiblen Workflows (Gesundheitswesen, Finanzdienstleistungen, öffentliche Verwaltung) sollten die Risikoeinstufung besonders sorgfältig durchführen. Für kritische Verarbeitungswege empfiehlt sich hier der Aufbau einer privaten KI-Infrastruktur: Eigene KI-Infrastruktur.
KI-Governance Schritt für Schritt einführen
KI-Governance-Projekte scheitern häufig nicht an der Komplexität, sondern am falschen Einstiegspunkt. Wer mit einer großen konzeptionellen Richtlinie anfängt und dann merkt, dass das Inventar fehlt, fängt von vorne an.
Die richtige Reihenfolge:
- Inventar zuerst. Zwei Wochen, Befragung der Fachbereiche, Auswertung vorhandener IT-Daten.
- Risikoeinstufung der Top-5-Workflows. Nicht alle Tools auf einmal, nur die fünf mit der höchsten Datenrelevanz.
- Rollen klären. Wer ist KI-Koordinator:in? Wer entscheidet über neue Tools?
- Richtlinie schreiben. Erst jetzt, mit echter Grundlage.
- Schulungen dokumentieren. Einmalig oder rollierend, mit Nachweis.
Wer strukturierte Unterstützung für diesen Prozess sucht: Das KI-Prozess-Audit ist ein 30-Minuten-Erstgespräch, das Priorisierung, Datenschutzlage und AI-Act-Relevanz für den eigenen Kontext einordnet.
Häufige Fragen zur KI-Governance im Unternehmen
Brauchen wir einen eigenen KI-Beauftragten? Für die meisten Mittelständler ist das eine Teilzeitrolle, keine neue Vollzeit-Stelle. Entscheidend ist, dass jemand diese Aufgabe explizit trägt.
Wie umfangreich muss die KI-Richtlinie sein? Kurz genug, damit sie gelesen wird. Eine Seite mit klaren Nutzungsregeln und einem Freigabeprozess ist besser als ein 20-seitiges Dokument, das in der Schublade verschwindet.
Was gilt für Tools, die Mitarbeitende privat nutzen und danach beruflich? Das ist genau das Bring-Your-Own-AI-Problem. Klare Nutzungsregeln mit einem offiziellen Alternativangebot sind die einzige belastbare Antwort. Verbote ohne Alternative funktionieren nicht.
Wie oft muss die Governance aktualisiert werden? Mindestens einmal im Jahr, plus bei jeder wesentlichen Änderung im KI-Einsatz oder bei neuen Regulierungsupdates. Das Inventar sollte quartalsweise geprüft werden.
