OpenAI skrev om lagringstjenesten Habitat fra Python til Rust med to ingeniører og Codex

«Vi satset på at Codex og GPT ville gjøre migreringen gjennomførbar når vi en dag måtte forlate Python. Det veddemålet slo til.» Det skriver OpenAI i første del av en todelt serie om Habitat, plattformen som gir produktene deres rask tilgang til data. I andre kvartal 2026 skrev to ingeniører hele tjenesten om til Rust med Codex og GPT-5.5. Rust-versjonen tar nå 95 prosent av produksjonstrafikken og er ifølge OpenAI 6 ganger mer CPU-effektiv og 15 ganger mer minneeffektiv enn Python-utgaven.

Habitat startet midt i 2024 som et Python-bibliotek mot Azure Cosmos DB. Et år senere måtte hver endring koordineres på tvers av dusinvis av tjenester, og én utrulling av regional sharding tok flere dager før et team rullet tilbake til en gammel klient med feil og utløste nettopp utfallet de ville unngå. Løsningen var å gjøre biblioteket til en egen tjeneste, fortsatt i Python.

«Når en gjennomsnittlig brukerforespørsel gir hundrevis av databasekall, er det det tregeste kallet brukeren merker» — OpenAI, om Habitat

Mest av det OpenAI lærte handler om halelatens i asyncio. Mye CPU-arbeid i hver prosess ga planleggingsforsinkelse på opptil hundrevis av millisekunder, så teamet måler forsinkelsen i event-loopen direkte og kjører få samtidige forespørsler per prosess. Én synder var feature flag-konfigurasjonen fra Statsig: den ble hentet hvert minutt uten jitter og var så stor at alle arbeiderprosessene i en pod stoppet opp for å parse den samtidig.

Den mest overførbare feilen satt i aiohttp. TCPConnector gjenbruker som standard den sist returnerte tilkoblingen (LIFO), og under trafikktopper fikk trege prosesser dermed stadig mer trafikk. OpenAI patchet tilkoblingspoolen til FIFO, noe som brøt tilbakekoblingen og jevnet ut belastningen også i normal drift.

Habitat eksponerer bevisst et enkelt NoSQL-API i stedet for fri SQL, fordi én dyr ny spørring på en varm sti tidligere kunne ta ned Postgres-databasen. Kjører du en asyncio-tjeneste med aiohttp, er standardinnstillingen for gjenbruk av tilkoblinger og ukontrollert polling av konfigurasjon to konkrete steder å se etter samme problem.