Nvidias fortrinn flytter seg fra GPU-en til resten av racket

«Vera er viktig fordi det bare er så mye minne du får plass til i én enkelt server eller en hvilken som helst beregningsplattform.» - Jason Hardy, visepresident for lagringsteknologi i Nvidia

Etter kvartalstallene onsdag har fortellingen om Nvidia skiftet, skriver TechCrunch. Den gamle versjonen var at hyperskalerere som Amazon og Google nå bygger egne brikker, og at Nvidias forsprang derfor forvitrer. Den nye er at forspranget aldri lå bare i GPU-en. Når beregningskraften vokser til gigawattskala, blir det å dirigere data den harde delen, og Nvidia selger allerede maskinvaren for akkurat det laget.

Vera Rubin-arkitekturen som rulles ut nå, parer Rubin-GPU-en med en Vera-CPU og egne racks for lagring og nettverk. Vera-CPU-ens oppgave er å få data fram til GPU-en til riktig tid. Hardy oppgir opptil tre ganger forbedring i disse operasjonene, og sier det er dette som lar flash-lagringen brukes fullt ut uten å bli flaskehals.

OpenAI angriper det samme problemet fra motsatt kant. I et blogginnlegg tidligere denne måneden skriver selskapet at Jalapeño-brikken er designet for å minimere dataflytting og kommunikasjonsforsinkelser, ved at hele arbeidslasten holdes innenfor ett sammenkoblet system. Ulik metode, samme logikk: effektivitet gjennom smartere trafikkstyring i stedet for flere prosessorsykluser.

For deg som leier beregningskraft betyr dette at tokens per watt i økende grad avgjøres av ting som ikke står i GPU-spesifikasjonen. Konkurransen har flyttet seg et lag opp, og der er det foreløpig færre leverandører med ferdige produkter.