DeepSeek åpner DeepInfer under Apache 2.0, men motoren krever B200 eller Ascend 950

«DeepInfer was originally built primarily on vLLM, with additional inspiration from SGLang and TensorRT-LLM.» Slik krediterer DeepSeek opphavet i README-en til DeepInfer, inferensrammeverket selskapet sier driver sine egne storskala-tjenester. Repoet ble opprettet 16. oktober, er lisensiert under Apache 2.0 og har passert 3 200 stjerner på GitHub. Eneste støttede modell er DeepSeek-V4.1-Flash.

Under panseret ligger DeepSeeks egne kjerner (FlashMLA, DeepGEMM, DeepEP), attention DP og MoE expert parallelism, og spekulativ dekoding der utkast-tokens verifiseres etter et konfidensestimat, med maks 5 utkast-tokens som standard. To funksjoner er nyttige for deg som kjører evals på agenter: batch-invariant inferens, som gir identisk resultat uansett hvilke andre forespørsler som deler batchen, og deterministisk sampling med fast seed. Begge virker bare på NVIDIA. Strukturert output med regex, JSON schema eller EBNF er også med.

Maskinvaren er den store begrensningen. DeepInfer støtter kun NVIDIA SM100 og Huawei Ascend 950. SM100 tilsvarer compute capability 10.0, som NVIDIAs egen oversikt bare lister for B200 og GB200. GeForce RTX 5090 og RTX PRO 6000 står på 12.0. Ytelsestallene i README-en er målt på 4 GPU-er for prefill og 64 for decode.

Utgivelsen dekker dessuten bare offline-inferens. Et KV-cache-system, disaggregering av prefill og decode og lastbalansering mellom replikaer følger ikke med, så du får ikke en ferdig API-tjeneste ut av boksen. Kravene er Linux, GCC 13 eller nyere, Python 3.12 og CUDA 13.

Hva bør du gjøre?

1. Har du B200-tilgang i skyen, test deterministisk sampling med DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0 og fast seq_seed for reproduserbare eval-kjøringer.
2. Kjører du modeller på RTX-kort hjemme, bli på vLLM eller SGLang. DeepInfer lister ikke forbruker-Blackwell som støttet maskinvare.