MI355X gir 48 tokens per sekund per dollar på Kimi K3, mot 33 på B300

Nvidias B300 gir høyest rå gjennomstrømning. AMDs MI355X gir mest per krone. Wafer AI serverte Kimi K3 på begge, og landet på 1568 mot 952 tokens i sekundet i topp aggregat til B300-ens fordel, men til 2,4 ganger prisen per GPU.

Kimi K3 er på 2,8 billioner parametere, altså over 1,5 TB vekter før du har allokert KV-cache for 1 million tokens kontekst. En B200-node med åtte GPU-er tar det ikke. Da står du igjen med B300, som har 288 GB per GPU, eller MI355X, som har de samme 288 GB til lavere pris.

Veien dit gikk gjennom to feil i ROCm-stacken. Kimi K3 sender ikke med draft-tensorer, så spekulativ dekoding krever en ekstern draft-modell. Der krasjet verifiseringen i sglang med en NameError: ROCm-bygget definerer aldri top_k_renorm_prob, mens CUDA-bygget henter den fra sgl_kernel. Wafer skrev operasjonen i ren PyTorch, en sortering, en maskert nullstilling og en divisjon, og fikk 2,2 ganger raskere enkeltstrøm.

Den andre feilen rammet ventetiden brukeren faktisk kjenner. En kald prefill på 172 000 tokens tok 51 sekunder på MI355X mot 23 på B300, fordi AITERs raske MLA-kjerne ikke lastet: K3 på TP8 gir 12 attention-hoder per rang, og kjernen er bygget for 4, 8 eller multipler av 16. Nullpadding fra 12 til 16 hoder løste det, og prefillen gikk fra 4000 til 7000 tokens i sekundet opp til rundt 13 000.

«Achieving the best performance-per-dollar ratio on the MI355X was relatively out of the box.» — Wafer AI

Begge rettelsene ligger i programvarelaget, ikke i silisiumet. Manglende dag-null-støtte har vært hovedargumentet mot AMD til inferens, og her holdt det med to patcher noen andre allerede har skrevet.