KI-Tools für Unternehmen gibt es in drei Kategorien: Cloud-Dienste, die der Anbieter betreibt, Open-Weight-Modelle, die ein Unternehmen selbst hostet, und eine private KI-Infrastruktur im eigenen Rechenzentrum. Laut Bitkom nutzen 57 Prozent der Unternehmen ab 20 Beschäftigten KI (Befragung von 603 Unternehmen im Sommer 2026), im Vorjahr waren es 36 Prozent. Dieser Beitrag ordnet den Markt nach Stand Oktober 2026.
Kurzfassung
- KI-Tools für Unternehmen gliedern sich in Cloud-Dienste, Open-Weight-Modelle zum Selbsthosten und private KI-Infrastruktur.
- Die Wahl hängt vor allem von der Datenart ab, Modellqualität liegt bei den Spitzenmodellen laut LMArena eng beieinander (Stand: September 2026).
- Das betrifft Mittelständler vor der Tool-Entscheidung, die Kontrolltiefe, Datenschutz und Betriebsaufwand abwägen müssen.
Drei Kategorien im Überblick
Cloud-Dienste: Der Anbieter betreibt die Infrastruktur, die Abrechnung läuft pro Nutzer oder Nutzung. Der Einstieg ist einfach, die Daten verlassen aber das eigene Netz.
Open-Weight-Modelle: Die Gewichte sind frei verfügbar, das Unternehmen betreibt das Modell auf eigener oder gemieteter Hardware. Das gibt Datenkontrolle, verlangt aber technisches Wissen.
Private KI-Infrastruktur: Eine vollständige KI-Umgebung im eigenen Rechenzentrum oder in einer deutschen Cloud. Sie bietet die meiste Kontrolle bei dem höchsten Aufwand.
| Kriterium | Cloud | Open-Weight | Private Infrastruktur |
|---|---|---|---|
| Einstiegshürde | Niedrig | Mittel | Hoch |
| Datenschutzniveau | Mittel (mit AVV) | Hoch | Sehr hoch |
| Laufende Kosten | Pro Nutzer/Monat | Variabel | Niedrig nach Anlaufphase |
| Anpassbarkeit | Gering | Hoch | Sehr hoch |
| Betriebsaufwand | Keiner | Mittel | Hoch |
| Geeignet für | Einstieg, Büro-KI | Sensible Daten, Entwickler | Regulierte Branchen |
Cloud-Dienste im Vergleich
Cloud-KI ist der schnellste Weg in den Tagesbetrieb: kein Server, keine GPU. Dafür gibst du die Kontrolle über die Verarbeitung ab, was je nach Datenart ein Risiko ist. Welche Modelle aktuell wie viel kosten und wo sie in der EU laufen, steht im LLM-Vergleich für Unternehmen.
ChatGPT Enterprise (OpenAI). OpenAI bietet für Business- und Enterprise-Tarife einen Auftragsverarbeitungsvertrag. Das Standardmodell GPT-6.1 Sol ist laut OpenAI mit Datenresidenz in der EU nutzbar, Details im Beitrag GPT-6.1 Sol. Der Anbieter sitzt in den USA, was bei bestimmten Datenkategorien eine Rolle spielt.
Claude (Anthropic). Claude Opus 5.5 erschien am 22. September 2026 und kostet laut Anthropic 4 US-Dollar je 1 Million Input-Token und 20 US-Dollar je 1 Million Output-Token (Stand: Oktober 2026). Direkt über die Anthropic-API gibt es keine eigene EU-Region, eine garantierte EU-Verarbeitung läuft über AWS Bedrock oder Google Vertex AI. Mehr im Beitrag Claude Opus 5.5.
Microsoft 365 Copilot. Wer Word, Excel, Outlook und Teams nutzt, bekommt Copilot direkt darin und rechnet pro Nutzer und Monat ab. Der Dienst folgt den Datenschutzvorgaben von Microsoft 365, die Funktionen sind auf dieses Umfeld zugeschnitten. Was Lizenzen im Betrieb kosten, steht in Microsoft Copilot Kosten.
Mistral Vibe Enterprise. Mistral hat seinen Sitz in Frankreich und unterliegt europäischem Recht. Seit November 2025 besteht laut SAP eine Partnerschaft für eine souveräne KI-Plattform in Europa. Ob das für deinen Fall genügt, hängt von der Datenart und vom Vertrag ab.
Gemini (Google). Google punktet bei Multimodalität und der Integration in Google Workspace. Das Spitzenmodell Gemini 4 Argon ist nach Angaben von Google zunächst nur für ausgewählte Teams freigegeben, siehe Gemini 4 Argon.
DeepL Write Pro. DeepL ist kein universelles Sprachmodell, sondern auf Textqualität und Übersetzung spezialisiert. Für Betriebe mit viel mehrsprachiger Kommunikation ist es eine Ergänzung zu den anderen Diensten.
DeepSeek im Unternehmen
Die Berliner Datenschutzbeauftragte hat die DeepSeek-Apps am 27. Juni 2025 bei Apple und Google als rechtswidrige Inhalte gemeldet, weil Nutzerdaten nach China übermittelt werden. Mehrere Landesdatenschutzbehörden prüfen laut unserem Beitrag DeepSeek V4.1 Flash auch die gehostete API. Die offenen Gewichte lassen sich dagegen innerhalb der EU selbst betreiben.
Open-Weight-Modelle zum Selbsthosten
Open-Weight-Modelle sind bei vielen Aufgaben auf dem Niveau kommerzieller Angebote und verursachen keine Gebühren pro Nutzer. Dafür trägt das Unternehmen Hardware und Betrieb. Eine Auswahl nach Stand Oktober 2026, jeweils mit dem Hinweis, dass sich die Liste schnell ändert.
Mistral Large 3 erschien im Dezember 2025 unter Apache-2.0-Lizenz, ein Mixture-of-Experts-Modell mit 675 Milliarden Parametern, davon 41 Milliarden aktiv. Die Größe verlangt einen Verbund mehrerer Grafikkarten.
gpt-oss-120b und Gemma 4 gelten laut unserem LLM-Vergleich als naheliegende Kandidaten für den Eigenbetrieb, beide unter Apache 2.0. Anders als Llama 4 haben sie dort keine Nutzungsbeschränkung für multimodale Funktionen in der EU.
DeepSeek V4.1 Flash hat offene Gewichte unter MIT-Lizenz, braucht aber auch in 4-Bit-Quantisierung etwa 280 Gigabyte Grafikspeicher. Für die meisten Mittelständler kommt es deshalb nur über eine verwaltete Private Cloud infrage.
Private KI-Infrastruktur
Bei einer privaten Infrastruktur läuft das Modell im eigenen Rechenzentrum oder in einer deutschen Cloud, im Normalbetrieb gehen keine Prompts an externe Modellanbieter. Für regulierte Branchen ist das häufig der naheliegende Weg. Vier Bausteine kommen oft vor:
- Ollama: der einfachste Einstieg, ein Befehl und eine OpenAI-kompatible API. Gut für Proof-of-Concepts und kleine Teams.
- vLLM: ein Serving-Framework für hohen Durchsatz bei vielen gleichzeitigen Anfragen.
- AnythingLLM: eine Plattform mit Modell-Anbindung, RAG und Oberfläche in einem Paket.
- Open WebUI: eine browserbasierte Chat-Oberfläche für jedes OpenAI-kompatible Backend.
Anton Brinckmann empfiehlt einen hybriden Ansatz: Cloud für allgemeine Aufgaben, private Infrastruktur für sensible Workloads. Die Deploymentpfade beschreibt Private KI-Infrastruktur für Unternehmen.
Auswahlkriterien
Datenschutz und Compliance
Das wichtigste Kriterium ist die Datenart, nicht die Modellqualität. Bei jedem Cloud-Dienst mit personenbezogenen Daten braucht es einen Auftragsverarbeitungsvertrag (AVV) und eine Prüfung des Verarbeitungsorts. Serverstandort und Vertragsqualität unterscheiden sich je nach Anbieter deutlich.
Für Betreiber von KI-Systemen gilt Artikel 4 des EU AI Act. Seit dem Inkrafttreten der Digital-Omnibus-Verordnung (EU) 2026/1744 am 27. Juli 2026 ist das eine Bemühenspflicht zur Förderung der KI-Kompetenz, Details im Beitrag EU AI Act Schulungspflicht. Zur Datenschutzseite je Ablauf siehe Datenschutzkonforme KI.
Integration
KI-Tools, die nicht in bestehende Abläufe eingebunden sind, werden selten genutzt. Microsoft 365 Copilot ist in Microsoft 365 am direktesten integriert. Für SAP und Salesforce gibt es Konnektoren der Anbieter und von Partnern. Selbst betriebene Modelle lassen sich über OpenAI-kompatible Schnittstellen in fast jede Software einbinden.
Kosten
Cloud-Dienste summieren sich bei größeren Teams pro Nutzer und Monat, ohne dass das Unternehmen Infrastruktur besitzt. Private Infrastruktur verlangt eine höhere Anfangsinvestition für Hardware und Einrichtung. Ab welcher Auslastung sich das gegenüber Cloud-Lizenzen rechnet, lässt sich nur mit den eigenen Nutzerzahlen berechnen.
Anpassung
Die meisten Einführungen laufen mit Basismodellen und RAG (Retrieval-Augmented Generation), also dem Abruf eigener Dokumente zur Laufzeit. Das ist flexibler und leichter zu aktualisieren als ein feinabgestimmtes Modell und senkt das Risiko erfundener Antworten, mehr dazu in KI-Halluzinationen im Unternehmen.
Tools nach Einsatzbereich
Dokumente und Analyse
Dokumentenverarbeitung ist ein häufiger und wirtschaftlich naheliegender Einsatz im Mittelstand. Wo Menschen heute Informationen aus Rechnungen, Verträgen oder Berichten abtippen, kann KI die Extraktion übernehmen. Je nach Datenart passt eine andere Kategorie.
| Datenart | Naheliegende Kategorie |
|---|---|
| Allgemeine Verträge, Berichte | Cloud-Dienst mit AVV |
| Datenschutzkritische Dokumente | Open-Weight-Modell im Eigenbetrieb |
| Vollständige Datenhoheit nötig | Private Infrastruktur mit OCR |
Kommunikation und Support
Für Protokolle und Meetings gibt es Werkzeuge mit EU-Hosting, worauf dabei rechtlich zu achten ist, steht in KI-Meeting-Protokolle im Unternehmen. Für Kundenkommunikation reicht je nach Anforderung ein Cloud-Dienst oder ein selbst betreibbares Framework wie Rasa.
Wissensmanagement
Hier wirkt RAG am direktesten. Interne Handbücher und Prozessbeschreibungen lassen sich mit AnythingLLM oder Open WebUI plus Vektordatenbank durchsuchbar machen. Wie das im Büroalltag aussieht, zeigt KI im Büro.
Prozessautomatisierung
Bei Prozessautomatisierung stecken Modelle in Abläufen, die Daten weitergeben und Systeme ansprechen. Was das bedeutet und wie die Umsetzung aussieht, beschreibt KI-Prozessautomatisierung. Für Entwicklungsteams gibt es GitHub Copilot, Tabnine bietet laut Hersteller eine selbst betreibbare Variante für Code, der das Netz nicht verlassen soll.
Größe des Unternehmens
Bis 50 Beschäftigte: Cloud-Dienste mit AVV sind meist der pragmatische Einstieg, Microsoft 365 Copilot bei vorhandener Microsoft-Umgebung, sonst Claude oder Mistral Vibe.
50 bis 500 Beschäftigte: Hier hilft die Frage, welche Datenkategorien verarbeitet werden. Unkritische Daten laufen über Cloud mit AVV, sensible über Ollama oder AnythingLLM auf eigenem Server, ein hybrider Ansatz mit Mistral API und lokalen Modellen ist möglich.
Ab 500 Beschäftigten: Bei hohem Nutzungsvolumen kann sich private Infrastruktur rechnen. Für den Einsatz im Tagesgeschäft eignet sich vLLM als Serving-Framework mit einem Open-Weight-Modell nach Wahl.
Wer die Tool-Wahl vom Anwendungsfall her angehen will, findet im Beitrag KI-Use-Cases finden einen Weg zur Priorisierung.
