Corporate LLM

Ihr eigenes Firmen-ChatGPT,
mit Ihrem Wissen

Kurz gesagt: Ein Corporate LLM ist ein KI-Sprachmodell nur für Ihr Unternehmen. Es beantwortet Fragen Ihrer Mitarbeitenden aus Ihrem eigenen Firmenwissen, nennt dabei die Quelle und hält sich an die Zugriffsrechte. Ihre Daten werden nicht zum Training fremder Modelle verwendet. Betrieben wird es im EU-Rechenzentrum mit Auftragsverarbeitungsvertrag oder auf eigenen Servern in Ihrem Haus. COS Waidmann richtet Corporate LLMs für den Mittelstand ein, bindet sie an ERP und Dokumentenmanagement an und betreut sie im Betrieb, aus Ravensburg für Oberschwaben, den Bodensee und das Allgäu und remote in ganz Deutschland, Österreich und der Schweiz.

Das Problem

Das Wissen Ihres Betriebs steckt in Ordnern, Postfächern, im ERP und in den Köpfen erfahrener Kolleginnen und Kollegen. Wer eine Antwort sucht, sucht lange oder fragt nach und unterbricht damit jemand anderen. Gleichzeitig kopieren Mitarbeitende Firmeninterna in öffentliche Chat-Werkzeuge, weil die so bequem sind, und niemand weiß mehr verlässlich, wo diese Daten landen.

Unsere Lösung

Ein Corporate LLM, das so einfach zu bedienen ist wie ChatGPT, aber ausschließlich Ihr Firmenwissen nutzt, unter Ihrer Kontrolle läuft und an die Systeme angebunden ist, mit denen Sie ohnehin arbeiten. Wir planen es mit Ihnen, richten es ein und betreuen es, mit festen Ansprechpartnern, als IT-Systemhaus aus Ravensburg seit 1964.

EUHosting mit AV-Vertrag
Vor Ortauf Wunsch auf eigenem Server
1964Systemhaus in Ravensburg

Was ein Corporate LLM leistet

Fragen statt suchen,
mit Quelle

01

Antworten aus Ihrem Firmenwissen

Handbücher, Richtlinien, Produktdaten, Angebote und Protokolle werden per Frage zugänglich. Die Antwort stützt sich auf Ihre Unterlagen, nicht auf das allgemeine Internetwissen eines Modells.

02

Jede Antwort mit Quelle

Zu jeder Antwort nennt das System die Dokumente, aus denen sie stammt. So lässt sich jede Aussage prüfen, und niemand muss einer KI blind vertrauen.

03

Zugriffsrechte wie im Haus

Die Buchhaltung sieht Buchhaltungsunterlagen, der Vertrieb Vertriebsunterlagen. Das Corporate LLM übernimmt die Berechtigungen, die in Ihren Systemen ohnehin gelten.

04

Angebunden an ERP und DMS

Wir verbinden das System mit eEvolution, Sage 100, enventa, ELO und weiteren Quellen über Schnittstellen. Es entsteht keine neue Insel, sondern ein Zugang zu dem Wissen, das schon da ist.

05

Datenschutz zuerst geklärt

Welche Daten angebunden werden, wo sie verarbeitet werden und wer zugreift, legen wir vor dem Start DSGVO-konform fest. Ihre Dokumente trainieren keine fremden Modelle.

06

Betrieb und Pflege

Nach dem Start betreuen wir das System weiter: neue Quellen, Updates, Überwachung und Ansprechpartner, die Ihre Umgebung kennen, per Fernwartung und in der Region auch vor Ort.

Wie funktioniert ein Corporate LLM technisch?

Ein Corporate LLM besteht aus zwei Teilen: einem Sprachmodell, das Texte versteht und formuliert, und einer Suche über Ihre eigenen Quellen. Das Verfahren dahinter heißt Retrieval Augmented Generation (RAG). Stellt eine Mitarbeiterin eine Frage, sucht das System zuerst in den angebundenen Dokumenten und Datenbanken die passenden Stellen, prüft dabei ihre Zugriffsrechte und gibt nur diese Ausschnitte an das Sprachmodell weiter. Das Modell formuliert daraus eine Antwort und nennt die Quellen.

Der wichtigste Unterschied zu einem selbst trainierten Modell: Ihr Wissen steckt nicht im Modell, sondern bleibt in Ihren Quellen. Ändert sich ein Dokument, gilt ab sofort der neue Stand. Das ist aktueller, nachvollziehbarer und deutlich günstiger als ein eigenes Training, das für die allermeisten Mittelständler weder nötig noch sinnvoll ist.

Cloud, EU-Rechenzentrum oder eigener Server?

Die Frage, wo das Corporate LLM läuft, entscheidet über Datenschutz, Aufwand und Leistungsfähigkeit. Wir beraten dazu neutral, weil wir als Systemhaus beide Wege anbieten.

KriteriumEU-Rechenzentrum mit AV-VertragEigener Server im Haus
Speicherort der DatenRechenzentrum in der EU, vertraglich geregeltIhr eigenes Netzwerk, kein Dokument verlässt das Haus
Aktualität der ModelleZugang zu aktuellen, leistungsstarken ModellenLokal einsetzbare Modelle, oft technisch weniger aktuell
AufwandÜberschaubar, kein eigener Hardware-BetriebHöher: Anschaffung, Betrieb und Wartung eigener Hardware
Passend fürDie meisten Anwendungsfälle im MittelstandBesonders sensible Bestände, etwa Personal- oder Konstruktionsdaten

Öffentliche Chat-Werkzeuge mit privaten Gratis-Konten sind für Firmendaten keine Option: Es fehlt der Auftragsverarbeitungsvertrag, und die Eingaben können zu Trainingszwecken verwendet werden. Genau diese Lücke schließt ein Corporate LLM.

Warum ein Systemhaus und keine reine KI-Agentur?

Ein Sprachmodell allein beantwortet keine Frage zu Ihrem Betrieb. Den Wert bekommt ein Corporate LLM erst durch die Anbindung an die Systeme, in denen Ihr Wissen liegt, und durch einen Betrieb, der auch nach dem Projekt funktioniert. Wir arbeiten seit Jahrzehnten mit den ERP-, Dokumenten- und Zeiterfassungssystemen des Mittelstands, kennen deren Datenstrukturen und Berechtigungen und liefern bei Bedarf die Server-Hardware gleich mit. Software und KI entwickeln wir im eigenen Haus. Beratung, Anbindung, Infrastruktur und Betreuung kommen damit aus einer Hand, und im Störungsfall gibt es keine Schuldzuweisungen zwischen Anbietern.

Wie läuft die Einführung ab?

  1. Erstgespräch und Analyse: Welche Fragen kosten heute die meiste Zeit, und in welchen Quellen stehen die Antworten? Daraus wählen wir einen Pilotbereich.
  2. Datenschutz und Betriebsort: Wir legen fest, welche Daten angebunden werden, wer zugreifen darf und ob das System im EU-Rechenzentrum oder auf eigenem Server läuft.
  3. Pilot: Ein bis zwei Quellen werden aufbereitet und angebunden, ausgewählte Mitarbeitende testen mit echten Fragen. Für diesen Schritt sind wenige Wochen realistisch.
  4. Ausbau und Betrieb: Überzeugt der Pilot, binden wir weitere Abteilungen und Quellen an und betreuen das System im laufenden Betrieb.

Wie ein Firmen-Copilot im Alltag aussieht und für welche Betriebe er sich lohnt, zeigt unser Ratgeber Firmen-Copilot: KI-Assistent für Firmenwissen. Weitere KI-Anwendungen, etwa für Belege, E-Mails oder Telefon, finden Sie bei unseren KI-Workflows. Ob sich ein fertiges Werkzeug oder eine eigene Lösung lohnt, beleuchtet der Ratgeber KI-Tool oder Eigenentwicklung.

Gut zu wissen

Häufige Fragen zum Corporate LLM

Was ist ein Corporate LLM?

Ein Corporate LLM ist ein KI-Sprachmodell, das innerhalb Ihres Unternehmens arbeitet und auf Ihr eigenes Firmenwissen zugreift: Handbücher, Verträge, Angebote, Produktdaten, Prozessbeschreibungen, auf Wunsch auch Daten aus ERP und Dokumentenmanagement. Ihre Mitarbeitenden stellen Fragen in normaler Sprache, wie bei ChatGPT, und bekommen Antworten, die sich auf Ihre Unterlagen stützen, mit Verweis auf die Quelle. Anders als ein öffentliches Chat-Werkzeug läuft es unter Ihrer Kontrolle: Sie bestimmen, welche Quellen angebunden sind, wer was sehen darf und wo die Daten verarbeitet werden. Gängige andere Bezeichnungen sind Firmen-LLM, Unternehmens-KI, Firmen-ChatGPT oder Firmen-Copilot. Gemeint ist immer dasselbe: Ihr Wissen, per Frage zugänglich, ohne dass es in fremde Hände gerät.

Wird die KI mit unseren Daten trainiert?

Nein. Ein Corporate LLM wird in der Regel nicht mit Ihren Daten trainiert, und wir setzen es auch nicht so um. Das Verfahren heißt Retrieval Augmented Generation, kurz RAG: Bei jeder Frage sucht das System zuerst die passenden Stellen in Ihren angebundenen Dokumenten und gibt nur diese Ausschnitte an das Sprachmodell weiter, das daraus die Antwort formuliert. Ihre Dokumente dienen ausschließlich der Beantwortung Ihrer eigenen Fragen, nicht dem Training fremder KI-Modelle. Das hat zwei praktische Vorteile: Neue oder geänderte Unterlagen stehen sofort zur Verfügung, ohne dass ein Modell neu trainiert werden muss, und jede Antwort lässt sich auf ihre Quelle zurückführen. Wird ein Dokument gelöscht, fließt es auch nicht mehr in Antworten ein.

Mehr dazu: Ratgeber: Firmen-Copilot für internes Wissen

Wo laufen unsere Daten: Cloud, EU oder eigener Server?

Das entscheiden wir mit Ihnen vor dem Start, abhängig davon, wie sensibel Ihre Bestände sind. Für die meisten Betriebe ist die Verarbeitung in einem EU-Rechenzentrum mit Auftragsverarbeitungsvertrag die passende Wahl: aktuelle Modelle, überschaubarer Betriebsaufwand, rechtlich sauber geregelt. Besonders sensible Bestände, etwa Personalunterlagen, Konstruktionsdaten oder vertrauliche Verträge, lassen sich auch auf eigenen Servern in Ihrem Haus betreiben. Dann verlässt kein Dokument Ihr Netzwerk, dafür sind Anschaffung und Betrieb aufwendiger, und die lokal einsetzbaren Modelle sind oft technisch weniger aktuell als die großen Cloud-Modelle. Als Systemhaus liefern wir die Server-Hardware bei Bedarf mit und betreiben sie. Welche Fragen vor dem ersten Projekt geklärt sein sollten, beschreibt unser Ratgeber zu KI und Datenschutz.

Mehr dazu: Ratgeber: KI und Datenschutz · Server & Cloud

Was kostet ein Corporate LLM?

Eine seriöse Pauschale gibt es nicht, weil der Aufwand vor allem davon abhängt, wie viele und welche Quellen angebunden werden und wo das System läuft. Die Kosten setzen sich aus drei Blöcken zusammen: der Ersteinrichtung mit Auswahl, Aufbereitung und Indexierung der Quellen, dem laufenden Betrieb samt Hosting oder eigener Hardware und gegebenenfalls Anpassungen, wenn später neue Quellen oder Dokumenttypen dazukommen. Deshalb beginnen wir mit einem Pilot für einen klar umrissenen Bereich mit ein bis zwei Quellen. Danach wissen Sie, was das System in Ihrem Betrieb leistet und was der Ausbau kosten würde, bevor Sie sich festlegen. Im kostenlosen Erstgespräch schätzen wir den Rahmen für Ihren konkreten Fall ein.

Wie lange dauert die Einführung?

Für einen ersten Pilotbereich mit ein bis zwei angebundenen Quellen sind wenige Wochen realistisch, von der Auswahl der Dokumente bis zu den ersten produktiven Antworten. Die meiste Zeit fließt dabei nicht in die Technik, sondern in die Frage, welche Unterlagen verlässlich und aktuell genug sind, um daraus Antworten zu erzeugen. Veraltete oder widersprüchliche Dokumente führen zu veralteten oder widersprüchlichen Antworten, deshalb klären wir das zuerst. Der Ausbau auf weitere Abteilungen und Quellen folgt Schritt für Schritt, wenn der Pilot überzeugt.

Kann das Corporate LLM auf unser ERP und unser Dokumentenmanagement zugreifen?

Ja, und genau hier liegt der Unterschied zwischen einem reinen KI-Anbieter und einem Systemhaus. Wir arbeiten seit Jahrzehnten mit den Systemen, in denen das Wissen mittelständischer Betriebe tatsächlich liegt: ERP-Systeme wie eEvolution, Sage 100 und enventa, Dokumentenmanagement mit ELO und Zeiterfassung mit TIME-INFO. Wir kennen deren Datenstrukturen und Berechtigungskonzepte und binden sie über Schnittstellen an, sodass das Corporate LLM zum Beispiel Artikeldaten, Kundenhistorie oder archivierte Belege berücksichtigen kann, immer im Rahmen der Rechte, die der fragende Mitarbeiter ohnehin hat. Wie eine saubere Anbindung entsteht, zeigt unser Ratgeber zum Programmieren von Schnittstellen.

Mehr dazu: Schnittstelle programmieren lassen · ERP & Warenwirtschaft · Dokumentenmanagement (ELO)

Bieten Sie Corporate LLMs auch außerhalb der Region Ravensburg an?

Ja. Unser Sitz ist Ravensburg, in Oberschwaben, am Bodensee und im Allgäu sind wir auch vor Ort, etwa für Workshops, die Einrichtung eigener Server oder die Schulung Ihrer Mitarbeitenden. Software- und KI-Projekte wie ein Corporate LLM setzen wir darüber hinaus in ganz Deutschland, Österreich und der Schweiz remote um. Die laufende Betreuung erfolgt mit festen Ansprechpartnern, die Ihr System kennen, und per Fernwartung.

Wo liegt Ihr Firmenwissen heute ungenutzt?

Kostenloses Erstgespräch: Wir schauen uns an, welche Fragen in Ihrem Betrieb die meiste Zeit kosten, und sagen ehrlich, ob sich ein Corporate LLM dafür lohnt.

Lieber direkt sprechen? 0751 363627-0 (Mo–Fr 08–17 Uhr)

Kostenlos und unverbindlich · Antwort in einem Werktag · ehrliche Einschätzung statt Verkaufsdruck