DeepSeek V4.1 Flash-1017 slår Opus 5 på fire av elleve tester og deles under MIT-lisens
lørdag 17. oktober · KI-generert · Kilde: Hugging Face
Test DeepSeeks nye Flash-snapshot på agentoppgavene dine via API-et, for de MIT-lisensierte vektene på rundt 510 GB passer ikke på en hjemmeserver.
42,3 poeng på Terminal-Bench 4.0, opp 11,1 poeng fra 31,2, er en av de største forbedringene i tabellen DeepSeek har publisert for DeepSeek-V4.1-Flash-1017. DeepSeek kaller modellen en mindre oppdatering av DeepSeek-V4.1-Flash, og ifølge OpenRouter er det dette snapshotet fra 17. oktober DeepSeek nå serverer under API-navnet deepseek-flash. Repoet ble opprettet på Hugging Face 17. oktober, drøye fem uker etter at forrige V4.1 Flash-repo kom 10. september. Vektene og koden ligger under MIT-lisens.
«Sterkere benchmark-resultater, raskere fullføring av oppgaver og kortere svar enn forrige versjon» — DeepSeek, i lanseringsnotatet
I DeepSeeks egen tabell slår 1017-versjonen Anthropics Opus 5 på fire av elleve tester: DeepSWE v1.1 (77,0 mot 74,0), Automation-Bench (60,5 mot 50,3), Agents' Last Exam (35,4 mot 28,6) og Apex Bench (72,1 mot 65,8). Opus 5 leder fortsatt klart på HLE uten verktøy (56,3 mot 42,6), ProgramBench (37,0 mot 29,1) og Terminal-Bench (51,8 mot 42,3), der DeepSeek kjørte testen gjennom Claude Code. Tabellen sammenligner med GPT-5.6 Sol, mens 6.1 er den nyeste Sol-versjonen, påpeker en bruker i Hacker News-diskusjonen. Opus 5.5, som flere i tråden bruker side om side med DeepSeek Flash, er heller ikke med. Alle tallene er DeepSeeks egne.
Størrelsen oppgis ulikt. Hugging Face teller 763 milliarder parametre i safetensors-filene, mens OpenRouter beskriver en sparse mixture-of-experts med en ryggrad på 552 milliarder parametre, der bare 8 milliarder er aktive på input og 16 milliarder på output. Komprimert KV-cache bruker omtrent en fjerdedel av minnet til forrige Flash-generasjon, og kontekstvinduet er 1 million tokens. DeepSeek anbefaler temperature 1,0 og max_tokens på minst 256K.
Å kjøre den selv er en annen sak. Filoversikten i Hugging Face-API-et lister 48 safetensors-filer på til sammen omtrent 510 GB. Eksempelet i inference-mappen konverterer vektene til én fil per tensor-parallell rank med MP=8 og starter generate.py med torchrun og åtte prosesser. Det følger heller ingen Jinja chat-mal med. Prompt-formatet ligger i en Python-referanse (encoding.py) og i deepseek-recipe, et sett Rust-biblioteker med Python-bindinger, så verktøy som henter chat-malen fra modellfilene, må håndtere formatet separat.
«å kjøre denne lokalt er tøft (svært kostbart)» — jononor, på Hacker News
Via API koster modellen $0,15 per million input-tokens og $0,60 per million output-tokens hos OpenRouter, samme pris som forrige Flash. I enkelte tidsvinduer på hverdager dobles prisen til $0,30 og $1,20. DeepSeek åpnet samtidig Search- og Fetch-API-ene for alle til $0,75 per 1000 kall per endepunkt. Kall via server-side verktøy i DeepSeeks eget kodeverktøy, Claude Code og Codex er gratis for DeepSeeks API-kunder fram til 31. oktober klokken 16:00 UTC.
Hva bør du gjøre?
- Kjør dine egne agentoppgaver mot deepseek-flash før du stoler på tabellen, siden alle tallene kommer fra DeepSeek selv.
- Oppgrader DeepSeeks eget kodeverktøy til v0.2.1-rc.1 eller nyere hvis du bruker det, siden modellen er optimalisert for den versjonen.
- Prøv Search- og Fetch-verktøyene fra Claude Code mot DeepSeeks API før gratisperioden slutter 31. oktober.