Triton Control gir NVIDIA Triton på Kubernetes ett kontrollpanel

NVIDIA Triton er en solid inferensserver. Arbeidsflyten rundt den er ikke det: modellrepositorier ligger ett sted, S3-legitimasjon et annet, Kubernetes-ressurser et tredje, og modellkonfigurasjon, endepunktstester, ytelseskjøringer og tilgangsstyring fordeler seg på hver sine verktøy. Triton Control er et åpent kontrollpanel som kobler de stegene sammen.

Prosjektet ligger på versjon 1.2.2 og består av ett kombinert bilde med Nginx, Angular og FastAPI, distribuert gjennom en Helm-chart. Det registrerer og styrer Triton-instanser du allerede har, og kan selv rulle ut nye når det kjører i Kubernetes. S3-integrasjonen har gjenbrukbare profiler og en innebygd filutforsker, MLflow-sporingen er Kubernetes-styrt med varig lagring, og Argo Workflows er lagt inn som autentisert proxy bak samme innlogging.

«Triton Control kobler sammen de stegene uten å erstatte Triton eller skjule den underliggende modellingeniørkunsten.» — Triton Control, i prosjektets egen beskrivelse

Per-bruker utviklingsmiljøer kjører på code-server rett i nettleseren, og OIDC-innlogging er testet mot Microsoft Entra ID, Keycloak og Dex. Prosjektet oppgir også at Kubernetes-utrullingen er kjørt med Argo CD som styrer Helm-releasen i en GitOps-flyt.

Det er verdt å vite hva du ikke får uten Kubernetes. Docker Compose og Podman Compose fungerer for lokal evaluering, men da faller selvutrullede Triton-deployments, utviklingsmiljøene, den styrte MLflow-instansen, Argo Workflows og Perf Analyzer bort. Da sitter du igjen med registrering av eksisterende instanser og inferenstesting.

Hva bør du gjøre?

1. Start med Compose-varianten hvis du bare vil se på grensesnittet. Bildet er publisert, du trenger ikke bygge noe, og UI-et svarer på port 8080 med API-et på 8000.
2. Bytt ut hemmelighetene og databasepassordet i compose.yaml før du lar oppsettet stå. Standardverdiene er ment for utvikling.
3. Gå rett på Helm-charten hvis det du faktisk er ute etter er ytelsesmåling eller utviklingsmiljøer. De funksjonene finnes bare i Kubernetes-varianten.