Xinity

Xinity ist eine Plattform, mit der Unternehmen Sprachmodelle auf eigener Hardware betreiben, statt Daten an Cloud-KI-Dienste zu senden. Die Engine stellt eine OpenAI-kompatible API bereit, sodass bestehende Anwendungen nur die Basis-URL ändern müssen. Sie verteilt Anfragen auf mehrere Modelle und GPUs und nutzt intern Inferenz-Engines wie vLLM und Ollama. Ein Dashboard ergänzt Modellverwaltung, Rollen und Rechte, Nutzungsauswertung und Audit-Protokolle. Entwickelt wird Xinity von der Xinity FlexCo aus Wien.

Xinity wird nicht als Cloud-Dienst betrieben, sondern auf der Hardware des Kunden installiert, etwa auf eigenen Servern oder GPU-Clustern. Inferenz-Anfragen und Daten verlassen laut Anbieter die Infrastruktur des Kunden nicht. Der Speicherort hängt damit vom jeweiligen Betreiber ab, AWS, Google Cloud oder Azure sind nicht Teil des Produkts. Die Website selbst wird laut Datenschutzerklärung über Framer mit Rechenzentren in der EU betrieben, für Terminbuchungen und das Code-Hosting werden Calendly und GitHub aus den USA genannt.

Gateway, Daemon, CLI, Datenbankschema und gemeinsame Bibliotheken stehen unter der Apache-2.0-Lizenz und dürfen auch kommerziell genutzt werden. Das Dashboard ist unter der Elastic License v2 veröffentlicht, der Quellcode ist einsehbar, die Nutzung ist jedoch lizenzrechtlich eingeschränkt. Die kostenlose Community-Stufe deckt bis zu 120 GB VRAM ab und ist für nicht-kommerzielle Nutzung vorgesehen. Höhere Kapazitäten, SSO und kommerzielle Lizenzen sind Teil der Bezahltarife. Der Code liegt öffentlich auf GitHub.