Du hast drei Wege zur eigenen Unternehmens-KI. Zwei davon dauern ein Wochenende. Einer sechs Monate. Welcher zu Deinem Unternehmen passt, hängt an drei Fragen, nicht an Hype und nicht an Buzzword-Architektur.
Dieser Artikel zeigt Dir die drei realistischen Wege, die wir bei Mittelständlern in OWL und bundesweit umsetzen. Mit Kostenrange, DSGVO-Status und konkreten Use Cases. Am Ende weißt Du, welche Variante zu Dir passt und wie Du in sechs Schritten startest.
Was ist eine eigene KI eigentlich?
Der Begriff „eigene KI“ wird inflationär benutzt. Für viele bedeutet er einen ChatGPT-Account mit Firmenlogo. Für uns bedeutet er etwas anderes: Eine KI-Lösung, bei der Deine Daten unter Deiner Kontrolle bleiben, das Verhalten Deinen Prozessen folgt und die Nutzung nicht von einem einzigen externen Anbieter abhängt. Das ist keine technische Spielerei, sondern eine strategische Entscheidung für Datensouveränität und Flexibilität.
Abgrenzung: Eine Standard-ChatGPT-Nutzung per Web-Interface ist keine eigene KI. Auch ein Team-Abo bei OpenAI ist noch keine eigene KI. Eigene KI beginnt dort, wo Du mindestens eine der drei Dimensionen selbst kontrollierst: die Datenbasis, das Modell-Verhalten oder die Infrastruktur.
Die drei Wege im Vergleich
Fast alle Unternehmens-KI-Projekte lassen sich auf eine dieser drei Varianten zurückführen. Die Reihenfolge ist nach steigendem Aufwand sortiert.
Weg 1: Custom GPT auf OpenAI
Was geht: Ein Custom GPT ist ein vorkonfigurierter Chatbot auf OpenAI-Basis, den Du mit eigenen Dokumenten und Anweisungen trainierst. Du lädst Deine Wissensdatenbank hoch, definierst den Ton und die Aufgabe, und das Team nutzt die KI über eine eigene URL im Team-Workspace.
Was nicht geht: Deine Daten fließen durch die OpenAI-Infrastruktur. Für besonders sensible Informationen ist das problematisch. Der Custom GPT ist nur so gut wie die Dateien, die Du hochlädst, und reagiert nicht in Echtzeit auf Veränderungen in Deinen Live-Systemen.
Aufwand: Ein Wochenende bis eine Woche für die Erstkonfiguration. Laufende Pflege 1 bis 2 Stunden pro Monat.
Weg 2: RAG auf Azure OpenAI oder Anthropic mit eigenen Daten
RAG steht für Retrieval-Augmented Generation. Der Trick: Dein eigener Datenbestand (Dokumente, CRM-Daten, Wiki) wird in einer Vektordatenbank abgelegt. Wenn die KI eine Frage bekommt, sucht sie zuerst in dieser Datenbank und antwortet dann mit dem konkret gefundenen Wissen Deines Unternehmens.
Gehostet in der EU über Azure OpenAI Service bleibt die Datenverarbeitung im europäischen Rechtsraum. Alternativ geht der gleiche Aufbau mit Anthropic Claude. Die Antworten sind deutlich präziser als bei Custom GPT, weil die KI nicht nur trainierte Allgemeinheiten, sondern Dein konkretes Firmenwissen verwendet.
Aufwand: Eine Projektphase von 4 bis 8 Wochen für die Erstumsetzung. Laufende Pflege ca. 4 bis 8 Stunden pro Monat.
Weg 3: Private LLM on-prem mit Llama oder Mistral
Bei dieser Variante hostest Du ein komplettes Sprachmodell in Deiner eigenen Infrastruktur oder in einer von Dir kontrollierten Cloud. Meta Llama und Mistral bieten leistungsfähige Open-Source-Modelle, die Du ohne Anbieter-Abhängigkeit betreiben kannst. Die Daten verlassen Dein Netz nie.
Der Vorteil: maximale Datensouveränität und keine API-Kosten pro Anfrage. Der Nachteil: Hardware-Kosten (ein GPU-Server für produktiven Einsatz startet bei rund 15.000 Euro Anschaffung), laufende Wartung und ein Modell, das meist eine Stufe unter den Top-Commercial-Modellen liegt.
Aufwand: 3 bis 6 Monate für die Erstumsetzung. Dedizierter Admin-Aufwand für Updates und Monitoring.
Die drei Entscheidungsfragen
Welcher Weg der richtige ist, entscheiden nicht Deine IT-Begeisterung oder Dein Budget, sondern diese drei Fragen.
Wie sensibel sind Deine Daten?
Arbeitest Du mit Gesundheitsdaten, Finanzinformationen, Kundendaten aus regulierten Branchen oder intellektuellem Eigentum, das nie nach außen darf? Dann scheidet Weg 1 aus, Weg 2 wird zur Standardwahl, Weg 3 wird interessant. Geht es um normale Geschäftskommunikation, interne Handbücher oder Marketing-Inhalte, ist Weg 1 oft ausreichend.
Wie viele Nutzer sollen Zugriff haben?
Unter 20 Nutzern rechnet sich fast immer Weg 1. Zwischen 20 und 200 Nutzern wird Weg 2 kosteneffizient, weil API-Kosten mit der Nutzung skalieren, aber weiterhin flexibel bleiben. Ab 200 regelmäßigen Nutzern kippt das Verhältnis: Weg 3 mit einmaliger Hardware-Investition wird langfristig günstiger als API-Kosten pro Anfrage.
Wie individuell muss das Verhalten sein?
Soll die KI nur Fragen aus einer Wissensdatenbank beantworten, reicht Weg 1. Soll sie in Deine CRM-, ERP- oder Ticketing-Systeme greifen, brauchst Du mindestens Weg 2. Soll sie trainingsspezifisch auf Dein Fachvokabular oder Deine Spezialbranche reagieren (z. B. technische Dokumentation in einer Nische), wird Weg 3 relevant, weil Du Modelle Fine-tunen kannst.
Kostenrange nach Weg
Damit Du eine realistische Orientierung hast, hier die Preisrange für ein typisches Mittelstandsprojekt.
| Weg | Projektkosten | Laufende Kosten (Monat) | Zeit bis Go-live |
|---|---|---|---|
| Weg 1: Custom GPT | 1.500 bis 5.000 Euro | 30 bis 200 Euro (OpenAI-Lizenzen) | 1 bis 3 Wochen |
| Weg 2: RAG auf Azure/Anthropic | 12.000 bis 35.000 Euro | 200 bis 1.500 Euro (API + Infrastruktur) | 4 bis 8 Wochen |
| Weg 3: Private LLM on-prem | 40.000 bis 150.000 Euro | 500 bis 3.000 Euro (Wartung + Strom) | 3 bis 6 Monate |
Die Preistreiber sind vor allem die Anzahl der Systeme, an die die KI angebunden werden soll, die Komplexität der Datenquellen und die gewünschte Verfügbarkeit (99 Prozent versus 99,9 Prozent). Für die meisten Mittelständler in OWL und NRW ist Weg 2 der Sweet Spot: flexible Anbindung, EU-Hosting, überschaubare Kosten.
DSGVO und NIS2: Was bei eigener KI wirklich zählt
Die meisten Unsicherheiten rund um eigene KI drehen sich um Datenschutz. Die gute Nachricht: Alle drei Wege lassen sich DSGVO-konform umsetzen, wenn drei Punkte stimmen.
Erstens der Datenstandort. Alle Anbieter, deren Services Du nutzt, müssen einen Auftragsverarbeitungsvertrag (AVV) stellen. Bei Azure OpenAI in der EU oder Anthropic für Unternehmen sind die Daten vertraglich auf europäischem Boden. Bei Weg 1 auf OpenAI ist das schwieriger, weil Daten in die USA fließen, was das EU-US Data Privacy Framework zwar adressiert, aber nicht für jeden Use Case absichert.
Zweitens die Dokumentation. Du musst transparent dokumentieren, welche Daten die KI verarbeitet, wie lange sie gespeichert werden und wer darauf zugreifen kann. Eine Datenschutz-Folgenabschätzung (DSFA) ist bei Weg 2 und 3 fast immer Pflicht, weil automatisierte Entscheidungen betroffen sind.
Drittens die Zugriffskontrolle. Nicht jeder Mitarbeiter braucht Zugriff auf jede KI-Funktion. Role-based-Access-Control ist Pflicht, nicht Kür. Das Prinzip der Datensparsamkeit gilt auch innerhalb der KI-Nutzung.
Wenn Du Unternehmen in kritischen Sektoren bist und damit in den Anwendungsbereich von NIS2 fällst, kommt zusätzlich die Pflicht zur dokumentierten IT-Sicherheitsarchitektur hinzu. Passwort-Policies, Backup-Strategien, Incident-Response-Pläne. Die gute Nachricht: Wer seine KI sauber aufsetzt, erfüllt automatisch einen großen Teil dieser Anforderungen mit.
Drei Use Cases aus dem Mittelstand
Konkrete Anwendungen, die wir in Mittelstandsprojekten immer wieder sehen.
Interner Wissens-Chatbot auf SharePoint-Daten
Ausgangslage: Ein Unternehmen mit 150 Mitarbeitern nutzt SharePoint als Dokumentenablage. Das Problem: Niemand findet, was er sucht. Die HR-Handbücher, Prozess-Dokumentationen, Onboarding-Unterlagen sind irgendwo, aber nirgendwo auffindbar.
Lösung: Ein RAG-Chatbot (Weg 2) wird mit SharePoint verbunden, indiziert alle freigegebenen Dokumente nachts und ist tagsüber als Teams-Bot erreichbar. Mitarbeitende fragen „Wo finde ich die Reisekosten-Richtlinie?“ und bekommen einen direkten Link zur aktuellen Version.
Ergebnis: Dokumentensuche geht von durchschnittlich 7 Minuten auf unter 30 Sekunden. IT-Ticket-Volumen für „Ich finde XY nicht“-Fragen sinkt um rund 40 Prozent.
Angebots-Assistent mit firmenspezifischen Templates
Ausgangslage: Ein Ingenieurbüro im produzierenden Gewerbe schreibt pro Monat 20 bis 40 Angebote. Jedes Angebot braucht technische Beschreibungen, die aus alten Projekten übernommen und angepasst werden.
Lösung: Ein Custom GPT (Weg 1) wird mit den letzten 50 anonymisierten Angeboten und den Standard-Textbausteinen trainiert. Vertriebsmitarbeitende geben die Kernparameter ein, der Assistent schlägt passende Textbausteine vor und erstellt einen Entwurf im Firmendesign.
Ergebnis: Angebotserstellungszeit sinkt von durchschnittlich 3 Stunden auf 45 Minuten. Die Konsistenz der Angebote steigt, weil alle auf derselben Sprachbasis aufbauen.
CRM-Lead-Qualifizierung mit lokalem Embedding
Ausgangslage: Ein B2B-Software-Anbieter bekommt pro Woche 60 Formular-Einsendungen. Die Qualität ist sehr heterogen: echte Kaufinteressenten neben Bewerbungen, Spam und allgemeinen Anfragen.
Lösung: Eine Private-LLM-Variante (Weg 3) liest jede Einsendung, prüft sie gegen die historischen Muster erfolgreicher Deals aus dem CRM, gibt jedem Lead einen Score zwischen 0 und 100 und leitet alles ab 60 an den Vertrieb weiter. Der Rest wird automatisiert beantwortet und archiviert.
Ergebnis: Vertrieb spart etwa 8 Stunden pro Woche, die vorher für manuelle Vorqualifizierung draufgingen. Abschlussquote bei qualifizierten Leads stieg um 18 Prozent, weil der Vertrieb nur noch die relevanten Fälle nachverfolgt.
In sechs Schritten zur ersten eigenen Unternehmens-KI
Wenn Du jetzt starten willst, sieht der pragmatische Ablauf so aus.
Schritt 1: Use-Case-Screening (1 Woche). Finde zwei bis drei konkrete Prozesse mit messbarem Zeit- oder Qualitätsgewinn.
Schritt 2: Weg-Entscheidung (1 bis 3 Tage). Beantworte die drei Entscheidungsfragen und wähle Weg 1, 2 oder 3.
Schritt 3: Datenbasis aufräumen (2 bis 4 Wochen, kann parallel laufen). Egal welcher Weg: saubere Daten schlagen jedes Modell. Prüfe Deine Dokumente, CRM-Daten und Wissensdatenbanken auf Aktualität und Vollständigkeit.
Schritt 4: Proof of Concept (1 bis 4 Wochen). Mit einem kleinen Ausschnitt der Daten und einem Use Case testest Du, ob die Lösung funktioniert. Das ist der entscheidende Moment, um noch Richtung zu ändern.
Schritt 5: Go-live (2 bis 12 Wochen, je nach Weg). Vollständige Anbindung, DSGVO-Check, Zugriffskonzept, Team-Schulung, dokumentierter Rollback-Plan.
Schritt 6: Messung und Skalierung (laufend). In den ersten 30 Tagen misst Du Nutzungsintensität, Qualität der Antworten und Zeit-/Qualitätsgewinne. Auf dieser Basis entscheidest Du, ob Du den nächsten Use Case angehst.
Wenn Du bei diesem Weg Unterstützung brauchst, ist das genau unser Terrain. Wir haben unternehmenseigene KI-Systeme für Mittelständler in allen drei Varianten umgesetzt, und auf Wunsch auch den kompletten Weg über strategische KI-Beratung begleitet.
Wenn Dein Einstieg einfacher sein soll
Wenn das nach zu viel klingt für den Anfang, fang kleiner an: Ein individueller Chatbot ist oft der einfachere Einstieg in KI-gestützte Prozesse und erprobt die Organisation für spätere Agenten-Projekte.
Umgekehrt: Wenn Dein Interesse mehr in Richtung automatisierte Prozessabwicklung geht, ist der logische nächste Schritt nach der eigenen KI-Basis der KI-Agent, der auf dieser KI-Basis arbeitet.
Häufige Fragen
Was kostet eine eigene KI im Mittelstand?
Die realistische Range liegt zwischen 1.500 Euro (Custom GPT als Einstieg) und rund 150.000 Euro für eine vollständige Private-LLM-Infrastruktur. Für die meisten KMU ist Weg 2 (RAG auf Azure) mit 12.000 bis 35.000 Euro Projektkosten und 200 bis 1.500 Euro laufenden Kosten pro Monat der passende Einstieg.
Ist ChatGPT selbst hosten möglich?
Die Antwort ist nuanciert. ChatGPT als Produkt von OpenAI kannst Du nicht selbst hosten. Du kannst aber Modelle wie Llama 3, Mistral Large oder Mixtral in Deiner eigenen Infrastruktur betreiben und bekommst damit eine vergleichbare Funktionalität. Der Qualitätsunterschied zu den kommerziellen Top-Modellen ist in den letzten 12 Monaten deutlich geschrumpft.
Wie lange dauert ein Custom-GPT-Projekt?
Ein einfacher Custom GPT steht nach ein bis zwei Tagen. Ein sauber aufgesetzter Custom GPT mit Dokumentation, Testing und Rollout-Plan braucht zwei bis drei Wochen. Das Tempo ist der Hauptvorteil von Weg 1 gegenüber den anderen Varianten.
Was passiert, wenn OpenAI seine Preise erhöht?
Ein realistisches Risiko bei Weg 1 und Weg 2. Die Mitigation: Baue von Anfang an auf austauschbare Modell-Anbieter (z. B. mit einem Abstraction-Layer wie LiteLLM oder LangChain), damit Du bei Preiserhöhungen innerhalb weniger Tage zu Anthropic, Google Gemini oder Open-Source wechseln kannst. Weg 3 ist gegen Preiserhöhungen weitgehend immun, hat dafür andere Risiken in Betrieb und Wartung.
Wann brauche ich eine Datenschutz-Folgenabschätzung?
Immer dann, wenn die KI personenbezogene Daten verarbeitet und automatische Entscheidungen trifft, die für Betroffene Konsequenzen haben. Das betrifft zum Beispiel Bewerber-Scoring oder Kunden-Klassifikation. Im Zweifel lohnt sich eine DSFA, auch wenn sie nicht zwingend vorgeschrieben ist: Sie zwingt zum sauberen Denken und spart spätere Behörden-Konflikte.
Dein nächster Schritt
Wenn Du wissen willst, welcher der drei Wege zu Deinem Unternehmen passt, bevor Du Geld investierst, buchen wir ein 45-minütiges Screening. Wir gehen mit Dir drei konkrete Use Cases durch, beantworten die drei Entscheidungsfragen gemeinsam und zeigen Dir eine grobe Kostenrange für Deinen Kontext. Am Ende hast Du eine klare Richtung, egal ob Du mit uns weiterarbeitest oder intern umsetzt.
Jetzt Erstgespräch buchen oder direkt auf unsere Unternehmenseigene-KI-Leistung schauen. Wir bauen für den Mittelstand in OWL, NRW und bundesweit. Pragmatisch, EU-konform, messbar.
