Billig modell dikter opp kategorien, embeddings finner den ekte

Doug Turnbull beskriver i et blogginnlegg 10. august et grep som snur den vanlige framgangsmåten for klassifisering. Problemet han tar tak i kjenner alle som har prøvd å få en språkmodell til å holde seg innenfor et fast vokabular av merker, farger eller kategorier. Modellen skal ikke finne på noe nytt, den skal velge blant verdier systemet ditt allerede kjenner.

Den etablerte løsningen er strukturert output. I Pydantic bygger du en literal med alle lovlige verdier og sender den med hver forespørsel. Turnbull viser det med Wayfairs WANDS-datasett for netthandel, der en spørring som «wood coffee table» skal plasseres i én av flere hundre kategorier med stier som «Furniture / Living Room Furniture / Coffee Tables & End Tables / Coffee Tables». Det virker, skriver han, men skjemaet må sendes over til modellen hver eneste gang, og det finnes en øvre grense for hvor mye du får plass til.

Grepet hans er å slutte å sende vokabularet i det hele tatt. I stedet ber han en liten og billig modell om å finne på plausible kategorier som passer spørringen, uten at den vet noe om hva som faktisk finnes. Modellen svarer med noe i riktig form, men feil innhold, for eksempel «Furniture / Living Room / Tables / Coffee». Den stien finnes ikke i taksonomien.

Det er nettopp der oppløsningen skjer. Turnbull bygger et sett med embeddings av de ekte kategoriene i minnet, embedder den oppdiktede stien med samme MiniLM-modell, og tar prikkproduktet for å finne den nærmeste ekte kategorien. Ut kommer den riktige Wayfair-stien. Ett grep i prompten hjelper modellen å treffe formen: vis den noen eksempler på hvordan kategoriene dine ser ut, uten å vise hele lista.

Gevinsten er todelt. Du slipper å sende skjemaet ved hver forespørsel, og oppgaven blir lett nok til at små og billige modeller klarer den. Turnbull bruker gpt-5.4-mini i eksemplene sine.

Hva bør du gjøre?

1. Bygg embedding-settet av det ekte vokabularet ditt i minnet først. Det er den delen som avgjør presisjonen, ikke prompten.
2. Legg noen få eksempler på kategoriformen i prompten i stedet for hele vokabularet. Det er formen modellen trenger å treffe.
3. Mål treffsikkerheten mot dagens strukturerte output før du bytter. Nærmeste nabo i embedding-rommet er ikke alltid riktig kategori, særlig når to kategorier ligger tett.