Jailbreaket PS5 kjører Qwen3.8-27B på GPU-en i over 20 tokens i sekundet

torsdag 15. oktober · KI-generert · Kilde: Wccftech

Innholdet er KI-generert og kan inneholde feil. Sjekk originalkilden.

Regn med rundt 20 tokens i sekundet fra Qwen3.8-27B på en jailbreaket PS5, nå som en fork av PS5LM kjører llama.cpp på konsollens GPU.

PS5 er bygget for spill, men 16 GB GDDR6 og 448 GB/s minnebåndbredde er tall som får folk med lokale modeller til å se to ganger, skriver Wccftech. Den første porten, Mert Cobanovs PS5LM fra tidligere denne måneden, kjørte llama.cpp som en payload på konsollens Zen 2-prosessor. Det fungerte, men begrenset modellene til 1,6 GB, og Qwen3.5 0.8B ga 13 til 21 tokens i sekundet.

«En payload får rundt 6 GiB minne og ingen GPU.» — README for PS5LM Plus på GitHub

Forken PS5LM Plus løser det ved å kjøre som en ordentlig app (en «title» i PS5-terminologi). Da får den konsollens 12 GiB direkte minne og GPU-en, og kjører llama-server med ggml sin Vulkan-backend oppå en PS5-port av Mesas åpne AMD-driver RADV. Endringen er foreslått tilbake til originalprosjektet som pull request.

Qwen3.8-27B i kvantiseringen UD-IQ2_XXS, rundt 2 bit per vekt og 6,8 GiB, går i 20,7 tokens i sekundet med 64k kontekst ifølge README-en. Wccftech oppgir 20,9 fra Reddit-innlegget, med et effektforbruk på 86 watt og en temperatur på 54 grader. Samme modell på CPU, strømmet fra disk, klarte omtrent ett token i minuttet.

Nøkkeltall

1/min

Qwen3.8-27B på CPU som payload

20,7 tok/s

Qwen3.8-27B på GPU, 6,8 GiB

61 tok/s

Gemma 4 E4B på GPU

124 tok/s

Llama 3.2 3B på GPU

API-et løfter dette over kuriosum-nivå. Appen eksponerer OpenAI Chat Completions, Responses og Anthropic Messages på port 8081, og README-en nevner opencode, Codex, Claude Code og aider som klienter som fungerer. En PS5 i stua blir dermed et inferens-endepunkt på hjemmenettet.

Prisen er kvalitet og risiko. 2-bit-kvantisering gir flere feil og svakere resonnering, og konsollen må være jailbreaket med kstuff-lite, etaHEN og ShadowMountPlus lastet. Wccftech advarer om at jailbreak ryker garantien og kan gi utestengelse fra nettspill. Prosjektet er GPL-3.0.

Hva bør du gjøre?

Sjekk firmwareversjonen før alt annet, fordi originalprosjektet PS5LM forutsetter firmware 7.00 til 13.60.
Bruk en konsoll som ikke skal brukes til nettspill, gitt risikoen for utestengelse.
Velg Gemma 4 E4B eller en annen mindre modell hvis 2-bit-varianten av 27B ikke holder mål til agentarbeid.

Les originalen hos Wccftech