Hinweis: Dieser Artikel gibt einen technischen Überblick und ersetzt keine Rechtsberatung.
Das Problem mit öffentlichen KI-Diensten
Wer Texte, E-Mails oder Verträge in einen öffentlichen KI-Chat kopiert, gibt diese Daten an einen externen Anbieter weiter – häufig mit Sitz in den USA. Für personenbezogene Daten, Geschäftsgeheimnisse oder vertrauliche Kundendokumente ist das heikel: Sie brauchen eine Rechtsgrundlage, müssen die Datenübermittlung prüfen und wissen oft nicht genau, wie lange und wofür die Daten gespeichert werden.
Die Alternative: ein eigenes Sprachmodell
Leistungsfähige Sprachmodelle gibt es heute auch als frei nutzbare Modelle („Open-Weight“), etwa aus den Familien Llama, Mistral, Qwen oder gpt-oss. Diese lassen sich auf einem eigenen GPU-Server betreiben. Ihre Mitarbeiter nutzen dann eine Chat-Oberfläche, die sich ähnlich anfühlt wie ChatGPT – nur dass alle Anfragen und Dokumente auf Ihrem Server in Österreich oder Deutschland bleiben.
Typische Einsatzbereiche
- Interner Wissensassistent: Fragen zu Handbüchern, Richtlinien und Projektunterlagen beantworten – mit Quellenangabe.
- Texte und E-Mails: Entwürfe schreiben, zusammenfassen, übersetzen.
- Kundensupport: Antwortvorschläge auf Basis Ihrer bisherigen Tickets und Produktdokumentation.
- Dokumentenverarbeitung: Rechnungen, Verträge oder Formulare auslesen und strukturieren.
- Programmierung: Code-Assistent für Ihr Entwicklerteam, ohne dass Quellcode das Haus verlässt.
Wie funktioniert das technisch?
Eine eigene KI-Lösung besteht im Kern aus vier Bausteinen:
GPU-Server
Die Hardware, auf der das Modell läuft – je nach Modellgröße zum Beispiel mit NVIDIA RTX PRO 6000, H100 oder H200.
Inferenz-Server
Software wie vLLM oder Ollama stellt das Modell bereit und beantwortet Anfragen – auch von mehreren Nutzern gleichzeitig.
Wissensanbindung (RAG)
Ihre Dokumente werden durchsuchbar gemacht. Die KI sucht bei jeder Frage die passenden Stellen heraus und antwortet auf dieser Grundlage.
Oberfläche & Anbindung
Eine Chat-Oberfläche für Mitarbeiter mit Benutzerverwaltung – oder eine Schnittstelle (API) für Ihre eigene Software.
Welche GPU Sie brauchen, hängt vor allem vom Grafikspeicher ab, den das Modell benötigt. Die Details erklärt der Ratgeber GPU-Server für KI.
Worauf Sie beim Datenschutz achten sollten
- Server-Standort in der EU und ein europäischer Vertragspartner
- Auftragsverarbeitungsvertrag mit dem Hosting-Anbieter
- Zugriffsrechte: Wer darf welche Dokumente über die KI abfragen?
- Protokollierung bewusst festlegen – was wird gespeichert und wie lange?
- Mitarbeiter informieren, welche Daten in welches System dürfen
Beim Einsatz von KI gelten zusätzlich die Vorgaben des EU AI Act, zum Beispiel zu Transparenz und KI-Kompetenz der Mitarbeiter. Lassen Sie die rechtlichen Fragen für Ihren konkreten Einsatzfall prüfen.
Was kostet eine eigene KI?
Die größten Kostenfaktoren sind der GPU-Server (abhängig von Modellgröße und Nutzerzahl) und die einmalige Einrichtung. Im Gegenzug fallen keine Gebühren pro Nutzer oder pro Anfrage an – bei vielen Mitarbeitern oder intensiver Nutzung ist ein eigener Server daher oft günstiger als Abonnements für jeden Arbeitsplatz. Wir erstellen Ihnen gern eine unverbindliche Einschätzung.
So starten Sie
- Einen konkreten Anwendungsfall wählen – zum Beispiel den Wissensassistenten für ein Team.
- Mit einem mittelgroßen Modell auf einem einzelnen GPU-Server beginnen.
- Mit echten Nutzern testen und Feedback sammeln.
- Erst dann ausbauen: größere Modelle, mehr Dokumente, weitere Teams.
Wir begleiten Sie dabei von der Hardware bis zur fertigen Lösung: GPU-Server in Österreich bzw. Deutschland, Einrichtung von Modell und Oberfläche und – als Softwareentwickler – die Anbindung an Ihre bestehenden Systeme.
Häufige Fragen
Ist ein eigenes Sprachmodell so gut wie ChatGPT?
Für die meisten Unternehmensaufgaben – Texte, Zusammenfassungen, Fragen zu eigenen Dokumenten – liefern aktuelle offene Modelle sehr gute Ergebnisse. Bei sehr komplexen Spezialaufgaben können die größten kommerziellen Modelle noch Vorteile haben.
Wird die KI mit meinen Daten trainiert?
Nein, nicht ohne Ihr Zutun. Beim RAG-Ansatz werden Ihre Dokumente nur bei der Beantwortung von Fragen herangezogen, das Modell selbst bleibt unverändert. Ein Fine-Tuning auf eigene Daten ist möglich, aber eine bewusste Entscheidung.
Brauche ich dafür eigene IT-Experten?
Nein. Wir richten Server, Modell und Oberfläche ein und übernehmen auf Wunsch auch den laufenden Betrieb und die Updates.