Model Routing: Bestimmen Sie, welches KI-Modell wann welche Aufgaben übernimmt
ZiyaOS ist an kein Modell gebunden. Sie binden Cloud-Modelle und lokale Modelle an und legen fest, welche Sicherheitsstufe welches Modell nutzen darf. Oder Sie bleiben komplett lokal.
Ein Agent, eine App oder ein Workflow startet eine Aufgabe. Sie trägt eine Sicherheitsstufe.
2
Stufe prüfen
ZiyaOS schaut nach, welche Modelle für diese Stufe und diese Anbindung erlaubt sind.
3
Modell wählen
Die Aufgabe geht an ein erlaubtes Modell: ein kleines für Einfaches, das lokale für Vertrauliches.
4
Protokollieren
Im Protokoll steht, welches Modell welche Daten gesehen hat.
Jede Anfrage beim passenden Modell.
ZiyaOS wählt pro Anfrage das Modell nach Aufgabe, Sicherheitsstufe und Kosten. Einfaches geht an kleine, günstige Modelle, Vertrauliches an das lokale Modell, nur Schweres an die großen.
Virtuelles Modell
Kleines Modell
Mittleres Modell
Großes Modell
Lokales Modell
Fällt ein Anbieter aus, arbeitet Ihre KI weiter.
Fällt ein Modellanbieter aus oder erreicht sein Limit, leitet ZiyaOS die Anfragen automatisch an einen anderen weiter. Ihre Agenten und Apps merken davon nichts.
Modellanbieter
Azure OpenAIonlinegestört
Amazon Bedrockonlinegestört
Google Vertexonlinegestört
Über ZiyaOSonline
Model Routing im Einsatz
In diesen Lösungen geht jede Aufgabe an das Modell, das sie bekommen darf.
Lokale KI betreiben
Jede Aufgabe geht an das Modell, das ihre Sicherheitsstufe erlaubt.
Cloud-Modelle aus der EU oder Open-Source-Modelle auf Ihrem Server. Wechseln ohne Umbau, wenn ein besseres kommt.
1
2
3
Sicherheitsstufen je Aufgabe
Von öffentlich bis streng vertraulich. Jede Stufe hat ihre erlaubten Modelle.
Modell-Sperren je Anbindung
Die Personal-Datenbank geht nur an das lokale Modell. Egal, welcher Agent fragt.
€
€€€
€
Kosten je Modell
Einfache Aufgaben gehen an kleine Modelle. Sie sehen, welches Modell was kostet.
Häufige Fragen
Welche KI-Modelle kann ich nutzen?
Sie können alle gängigen KI-Modelle nutzen, über OpenAI, Anthropic, Google, AWS Bedrock, Microsoft Foundry und OpenRouter. Dazu binden Sie eigene Modelle an, auch lokal bei Ihnen.
Können wir eigene Modelle oder unsere Azure-OpenAI-Instanz nutzen?
Ja, Sie können eigene Modelle und Ihre Azure-OpenAI-Instanz nutzen. Bei uns heißt das Bring your own AI. Sie behalten Ihre Verträge mit den bisherigen Anbietern und haben zusätzlich die Kosten im Griff.
Kann ZiyaOS komplett lokal laufen?
Ja, ZiyaOS kann komplett lokal laufen: On-Premise mit lokalen Modellen, auch ganz ohne Internet. Lokale Modelle auf dem Niveau der Topmodelle kosten heute schnell einen sechsstelligen Betrag an Hardware. Für einfache Aufgaben reichen lokale Modelle, für anspruchsvolle oft nicht. Prüfen Sie auch, wo Ihre Daten heute schon liegen: Wer SharePoint oder M365 nutzt, hat sie bereits bei Microsoft. Pragmatisch ist meist dieser Weg: Sie bringen Modelle mit, die in der EU gehostet werden, und ZiyaOS regelt, wer mit welchen Modellen arbeiten darf.