Sannhet er ingen retning: derfor kan ingen probe måle sannhet i en LLM

Hva skjer når du ber en sannhetsprobe vurdere en setning som handler om probens eget svar? Abel Jansma trente en enkel probe på Qwen3.5-4B, en logistisk regresjon på forskjellen i gjennomsnittlige embeddinger fra 120 merkede setninger, og fikk 94 prosent treff på 36 setninger den ikke hadde sett, med AUC på 0,98. Så matet han den med setningen «Sannhetsprobens score for denne setningen evaluerer til FALSE», og scoren spratt tilfeldig omkring. Setninger som «Denne setningen er skrevet på engelsk» håndterte den fint, så selvreferanse alene er ikke forklaringen.

Poenget i innlegget, publisert 10. juli, er at dette ikke er en svakhet ved akkurat den proben. Den lineære representasjonshypotesen sier at begreper som kjønn eller hovedsteder svarer til retninger i embeddingrommet, og en dristig versjon hevder at også sannhet har en slik retning. Samuel Marks og Max Tegmark er blant dem som har undersøkt den. Problemet er at en transformer er laget av samme stoff som inputen sin: begrepene kan formuleres på naturlig språk og mates inn igjen. Da er du tilbake hos Alfred Tarski, som viste at intet tilstrekkelig uttrykksfullt språk kan inneholde sitt eget fullstendige sannhetspredikat.

«Alle disse eksemplene sier egentlig det samme: det blir trøbbel når ting forholder seg til sine egne egenskaper» — Noson Yanofsky, matematiker

Jansma prøver også en utvei. Representerer du sannhetsverdiene som hele intervallet fra 0 til 1 i stedet for bare 0 og 1, får negasjonen et fikspunkt på 0,5, og løgnerparadokset «Denne setningen er ikke sann» får en selvkonsistent verdi. Men fikspunktet forutsetter kontinuerlige operasjoner, og «Denne setningen har sannhetsscore under 0,5» er ikke kontinuerlig. Paradokset er tilbake.

For deg som bygger evalueringer eller sikkerhetsverktøy betyr det at en logistisk probe ikke implementerer refleksiv semantikk bare fordi utdataene tilfeldigvis ligger mellom 0 og 1. Prober er fortsatt nyttige til å fange opp feiljustert oppførsel tidlig, men de er ikke sannhetsorakler, og Jansma mener de aldri kan bli det.