Underfoot måler hvordan Apples modell på enheten drifter mellom OS-bygg
Frys en promptsuite og kjør den mot hvert OS-bygg: Underfoot viser at Apples modell på enheten avviste et møtereferat i én rammeverkversjon og besvarte nøyaktig samme tekst i en annen.
Samme prompt, to Apple-bygg, to helt ulike utfall. FoundationModels 1.1.7 i iOS 26.3.1 stemplet et sammendrag av et kommunestyremøte som mulig usikkert innhold, mens versjon 1.5.2 på macOS 26.5.1 besvarte den samme teksten fem av fem ganger. Verktøyet som fanget forskjellen heter Underfoot og ble lagt ut på Hacker News 30. august.
Apple og Google bytter ut modellene i telefonen uten changelog og uten at du kan pinne en versjon, skriver utvikleren bak prosjektet. Underfoot fryser 28 prompter i ni kategorier, kjører hver av dem fem ganger per OS-bygg og lagrer svarene. På macOS 26.5.1 var alle 140 kjøringene byte-identiske, også de kreative kanariene som haikuet. Determinismen er hele poenget: endrer noe seg senere, er det OS-et som har endret seg, ikke sampling-støy. Når et bygg først er erstattet, kan modellen bak det aldri måles igjen.
To funn treffer alle som bygger på Apples rammeverk. Hver eneste prompt om strukturert output kom tilbake pakket inn i JSON-kodegjerder, helt deterministisk. Koden din må altså strippe dem i dag, og brekker den dagen en OS-oppdatering slutter å sette dem. Det andre funnet er verre: i iOS-simulatoren svarte availability-sjekken i SystemLanguageModel at modellen var tilgjengelig, hvorpå alle 140 generasjonene feilet med ModelManagerError 1026, reprodusert identisk i en ny runde.
Avvisningen av møtereferatet er den mest urovekkende. Modellen kjørte aldri i det tilfellet: det var inngangsklassifikatoren som slo til, og den lever i OS-bygget, ikke i modellvektene. Apple kan altså endre avvisningsatferd uten å røre modellen din.
Prosjektet er ferskt og lite: repoet ble opprettet 16. juli, sist oppdatert 29. august, og har én stjerne. Det er skrevet i Dart.
Hva bør du gjøre?
- Test parseren din mot begge tilfeller, både JSON med kodegjerder rundt og uten. I dag kommer gjerdene alltid.
- Ikke stol på availability-sjekken alene i CI. Kjør én billig testgenerering før du starter en full suite, ellers starter du kjøringer som ikke kan fullføres.
- Vil du måle din egen promptportefølje over tid, ligger testriggen og diff-motoren MIT-lisensiert på GitHub under Umer9538/underfoot.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.