Netflix erstattet tusenvis av håndlagde features med tekst

Dagens produksjonsmodell hviler på tusenvis av håndlagde features over brukere, titler og interaksjoner, med egne arkitekturer for sekvensmodellering, feature-interaksjoner og fler-måls-optimering. GenRec, som Netflix beskriver i et innlegg på Netflix Tech Blog 30. juli, snur på det: brukerhistorikk, tittelmetadata og kontekst skrives om til vanlig tekst, og en språkmodell scorer hver tittel i katalogen. Netflix kaller skiftet en flytting fra feature engineering til context engineering.

Modellen bygges i to faser. Fase 1 tilpasser en åpen språkmodell på Netflix-egne korpus og oppdateres sjelden. Fase 2 etterlærer denne modellen på rangeringsdata og rangeringsmål, og friskes opp ofte for å fange nytt innhold og endret smak. På toppen ligger et katalogbevisst scoringshode som bare kan gi poeng til titler som faktisk finnes hos Netflix, en direkte motvekt mot at generelle språkmodeller finner på titler utenfor katalogen.

Kostnaden styres av tre grep. Modellene er små eller destillerte, i eksperimentene fra rundt én til ti milliarder parametere. Konteksten komprimeres hardt: lavsignal-hendelser som svært korte avspillinger droppes, bingeing oppsummeres, og høysignal-hendelser beholdes i sin helhet. Og modellen kjøres i prefill-only-modus på Netflix sin egen vLLM-stack, altså ett enkelt gjennomløp som scorer hele kandidatsettet i stedet for å generere tekst token for token.

«Kontekstvinduet blir vårt nye budsjett for features» — Ying Li, Arjun Rao og Shradha Sehgal, Netflix

Resultatene er målt både offline og online. Offline slo GenRec produksjonsrangereren med om lag 1,6 prosent på Mean Reciprocal Rank, med rundt 40 ganger færre merkede treningseksempler i fase 2. Online kjørte Netflix en A/B-test på omtrent 10 prosent av trafikken i rundt fire uker, og rapporterer statistisk signifikante forbedringer på både kortsiktige og langsiktige mål.

Netflix oppgir også at kontekstlengden kunne kuttes til rundt en tredjedel med neglisjerbart tap i offline-metrikker, og siden serveringskostnaden er omtrent proporsjonal med kontekstlengden, falt kostnaden tilsvarende.

Den overførbare lærdommen for deg som bygger noe mindre ligger i kompresjonsarbeidet, ikke i modellstørrelsen. Netflix bruker mesteparten av innsatsen på å velge hva som skal inn i konteksten, hvor detaljert det skal beskrives, og hvordan prompten struktureres for å dele prefiks og treffe cachen. Det er samme øvelse enten katalogen din er 10 000 titler eller 100 dokumenter.