Das KI-Gateway für Azure: Jede Abteilung nutzt KI, Sie sehen die Kosten pro Projekt.

Ein KI-Gateway ist eine zentrale Schicht zwischen Anwendungen und KI-Modellen. Anwendungen sprechen nicht direkt mit einem Anbieter, sondern mit dem Gateway, das Zugriff, Nutzung und Protokollierung an einer Stelle regelt. MODUS ist ein KI-Gateway für Azure, läuft in Ihrem eigenen Azure-Tenant und verwaltet zusätzlich LLM-Definitionen, Chat-Sitzungen und die Anbindung von RAG.

Eine LLM-Definition ist der Eintrag in MODUS, über den eine Anwendung ein Sprachmodell nutzt. Sie enthält Modell, Systemnachricht, Nutzungsgrenzen und Gültigkeitsdauer. Ändern Sie die Definition, gilt die Änderung für jede Anwendung, die sie nutzt.

Microsoft Foundry (früher Azure AI Foundry) stellt die Modelle und KI-Dienste bereit. MODUS regelt, wie Ihre Projekte sie nutzen: welche Dienste ein Projekt bekommt, mit welchen Nutzungsgrenzen und welchen Verbrauch es verursacht. Dazu kommen LLM-Definitionen mit Systemnachricht und Gültigkeitsdauer, Chat-Sitzungen und die Anbindung von Azure AI Search und Azure Document Intelligence.

Das AI Gateway in Azure API Management setzt eine eingerichtete API-Management-Instanz voraus, die viele Unternehmen erst aufbauen müssten. MODUS braucht kein API Management und lässt sich später dahinterhängen, wenn Sie eines einführen. MODUS steuert außerdem feiner: Eine LLM-Definition enthält neben Modell und Nutzungsgrenzen auch Systemnachricht und Gültigkeitsdauer, und der Verbrauch wird jedem Projekt zugeordnet. Weil MODUS auf Kubernetes läuft, ist es zudem nicht an Azure gebunden.

MODUS stellt alle KI-Dienste bereit, die in Azure verfügbar sind, vom Machine-Learning-Modell bis zum Sprachmodell aus Azure OpenAI. Welche davon ein Projekt nutzt, richtet sich nach seinen Anforderungen. Wollen Sie Microsoft Foundry umgehen, bindet MODUS auch Anbieter außerhalb von Azure an, etwa Anthropic, Mistral, die OpenAI-API oder Dienste wie OpenRouter.

Ein Projekt ist eine Anwendung oder ein Vorhaben mit eigener Kostenzuordnung in MODUS. Nutzt eine Abteilung dieselbe Kostenzuordnung für mehrere Anwendungen, ist das ein Projekt. Wie viele Nutzer und Anwendungen dahinterstehen, spielt für den Preis keine Rolle.

Zum Ende der Laufzeit wird MODUS deaktiviert. Die MODUS-Datenbank mit Ihren Definitionen und Einstellungen liegt in Ihrer Subscription und bleibt dort.

Ja. MODUS erfasst den Tokenverbrauch jeder Anfrage und ordnet ihn dem jeweiligen Projekt zu. Damit ist nachvollziehbar, welches Projekt wie viele Tokens verbraucht, auch wenn sich mehrere Anwendungen ein Azure-OpenAI-Deployment teilen. Das ist die Grundlage, um KI-Kosten intern zu verrechnen.

Das legen Sie fest. Completions und Chats können dauerhaft gespeichert werden, nur flüchtig im Arbeitsspeicher liegen oder gar nicht gespeichert werden. Im letzten Fall bleiben nur Metadaten wie der Tokenverbrauch. Bei dauerhafter Speicherung entfernt MODUS den Bezug zu Benutzer und Sitzung, die Inhalte der Chats bleiben unverändert. Sollen keine Inhalte dauerhaft liegen, wählen Sie die flüchtige Speicherung oder nur Metadaten.

Standardmäßig in einer Azure-Subscription in Ihrem eigenen Tenant, auf Azure Kubernetes Service mit getrennten Umgebungen für Integration, Test und Produktion. Definitionen und Einstellungen liegen in einer MODUS-Datenbank in derselben Subscription. Weil MODUS auf Kubernetes läuft, lässt es sich auch on-premises oder in einer anderen Cloud betreiben. Den laufenden Betrieb können Sie selbst übernehmen oder im Rahmen von ASTRA an uns übergeben.

ASTRA: Azure Managed Service

Eine Azure-Subscription, in die wir MODUS deployen, und Ihre Vorgaben zu Domain und Zertifikaten. Den Aufbau übernehmen wir vollständig per Bicep, er dauert rund einen Monat.

Azure Document Intelligence liest Text, Tabellen und Strukturen aus PDFs, Scans und Formularen aus. Azure AI Search durchsucht diese Inhalte. MODUS bindet beide Dienste an, damit ein Modell Fragen auf Grundlage Ihrer eigenen Dokumente beantwortet, etwa zu Wartungsanleitungen oder Prüfprotokollen. Dieses Verfahren heißt Retrieval Augmented Generation (RAG).

Nein. MODUS ist ein Produkt der DEVDEER GmbH. DEVDEER ist Microsoft Cloud Solution Provider.