Konfidensscoren fra LLM-en din er et psykologisk triks, ikke en måling
Mangler selvrapporterte konfidensscorer fra språkmodeller den kalibreringen mot fasit som gjør tilsvarende tall brukbare i klassisk maskinlæring.
«Det du har bygget, er et psykologisk trygghetstriks», skriver Justin Flick om mønsteret han har møtt hos flere selskaper: en JSON-struktur med en response-nøkkel og en confidence-nøkkel, gjerne som et flyttall mellom 0 og 100. Det får utdataene til å føles mer troverdige uten å gjøre dem mer troverdige, mener han.
Sammenligningen han bruker er klassisk maskinlæring. En klassifikator gir en score som faktisk fungerer som en proxy for sikkerhet, ikke fordi tallet er riktig i utgangspunktet, men fordi det finnes en avtalt metodikk for å korrigere det: Platt-skalering, isotonisk regresjon og temperaturskalering, tilpasset mot holdt-ut fasit og kontrollert med pålitelighetsdiagrammer og Brier-score. Det er nettopp dette maskineriet som mangler når noen legger til et confidence-felt i et Pydantic-skjema.
En studie Flick viser til, «Rescaling Confidence», fant at modeller ikke bruker 0-til-100-skalaen som et spekter i det hele tatt. De klumper seg på runde ankerverdier: over 78 prosent av svarene landet på bare tre verdier på tvers av seks modeller, og én modell svarte nøyaktig 100 i 68 prosent av tilfellene. Grovere skalaer gjorde det bedre på metakognitiv sensitivitet enn 0-til-100-baselinjen.
Alternativene han peker på er målinger utenfra, ikke selvrapportering. Semantisk entropi, publisert av Farquhar med flere i Nature, sampler modellen gjentatte ganger, klynger svarene etter mening framfor ordlyd og måler entropien mellom meningsklyngene. Det krever flere kall og et eksternt sammenligningssteg, altså en måling utført på modellen, ikke et tall den rapporterer om seg selv.
«Hvis modellen er klar over nok til å vite at noe er galt, så bare rett det. Hvis den ikke er det, måler ikke konfidensscoren den gir meg noe som helst» — Justin Flick
Flick refererer også forskningen som taler mot ham: Tian med flere fant at prompting kombinert med temperaturskalering kan halvere kalibreringsfeilen. Poenget hans er at det krever finjustering, valgt prompt-strategi eller etterskalering, altså arbeid du ikke får gratis av et Pydantic-felt.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.