LiteLLM slipper Moyai: selvhostet kodeagent som kuttet Devin-regningen med 79 %
onsdag 7. oktober · KI-generert · Kilde: LiteLLM Docs
Prøv Moyai, LiteLLMs selvhostede kodeagent som gjør Slack-oppgaver om til pull requests for rundt en femtedel av Devin-prisen, men vent med å bygge på koden til repoet har fått en lisens.
101 872 dollar på 31 dager. Så mye betalte LiteLLM for Devin, selv om kodeagenten bare ble brukt internt, skriver selskapet i lanseringsinnlegget for Moyai 7. oktober. Moyai er agenten teamet bygde for å erstatte den: Du gir den en oppgave i Slack eller nettleseren, den redigerer koden i en egen skymaskin, kjører testene og leverer en pull request mens laptopen din står av.
«Vi ville peke kodeagenten mot våre egne modeller og vår egen rutinglogikk, og betale for inferens i stedet for seter.» — Ishaan Jaffer, Tin Lo og Moe Khalil, LiteLLM
Hver økt får et eget arbeidsområde med terminal, filsystem og nettleser, og store oppgaver kan deles på parallelle arbeideragenter som kjører på hver sin maskin. Agent-loopen velger du per økt: Hermes, Claude Agent SDK, Codex, OpenCode, Deep Agents eller Tool Loop. Her spriker kildene litt. Lanseringsinnlegget kaller Hermes standard, mens README-en sier at nye økter starter med Claude Agent SDK og prompt caching.
Alle modellkall går gjennom LiteLLM-gatewayen, så du kan bytte fra GPT-6 Astra til Claude Opus 5.5 eller GLM-5.3 mellom to meldinger, og forbruket føres på kollegaen som sendte forespørselen. Leverandørnøklene blir liggende på serveren, og sandkassen ser dem aldri.
Regnestykket har et hull. I innlegget fra 3. oktober, der Tin Lo forklarer hvordan teamet bygde agenten på to dager, står samlet kostnadsoversikt på listen over det som gjenstår: modellforbruket skal slås sammen med regningene fra Render, Modal og Temporal. Lanseringsinnlegget sier ikke om 700 dollar per dag dekker den infrastrukturen. Samtidighet er heller ikke ferdig testet. Teamet har satt et tak på 100 sandkasser, men har bare verifisert fem arbeideragenter med 20 testtilfeller hver.
Det største forbeholdet er juridisk. LiteLLM kaller Moyai åpen kildekode, men repoet BerriAI/moyai har ingen LICENSE-fil, og GitHubs lisens-API svarer 404. Uten lisens gjelder vanlig opphavsrett, og du har ingen uttrykkelig rett til å endre eller videredistribuere koden.
Moyai samler dessuten alle nøklene dine i LiteLLM-gatewayen. 30. september publiserte LiteLLM en kritisk advisory med CVSS 9,9: En bruker med internal_user-rettigheter kunne eskalere til proxy_admin og kjøre vilkårlige kommandoer på verten via MCP stdio-endepunktet.
Hva bør du gjøre?
- Start med den lokale UI-forhåndsvisningen fra README-en, som gir simulerte svar uten API-nøkler, før du deployer til Modal og begynner å betale for compute.
- Oppdater LiteLLM til en patchet versjon (1.100.4, 1.101.3, 1.102.2 eller 1.103.1, avhengig av hvilken linje du står på) før du peker Moyai mot gatewayen.
- Test feilsituasjonene før du skalerer, slik Tin Lo anbefaler:
«Test et avbrudd under deploy, en duplisert Slack-hendelse og en feilet lagring av arbeidsområdet før du øker samtidigheten.» — Tin Lo, AI Product Engineer i LiteLLM
Bakgrunn
Moyai startet som et internt verktøy bygd på fem tjenester: Render for webapp, Google-innlogging og database, Modal for sandkassene, Temporal Cloud for orkestrering og gjenoppretting etter avbrudd, Hermes Agent som agent-loop og LiteLLM for modelltilgang. Tilstanden ligger i SQLite på Render-disken, og hver sandkasse holdes varm i fem minutter etter et svar. Agenten kan åpne en pull request etter godkjenning fra en administrator, men har ingen verktøy for å godkjenne eller merge.