Modeller som kjører på mobil har vanligvis bare noen få milliarder parametere aktive om gangen. The Information melder at oppstartsselskapet PrismML har fått en modell med 27 milliarder parametere til å kjøre på en iPhone 17 Pro, uten å sende noe som helst til en server.
Modellen er Qwen 3.6, den åpne språkmodellen fra kinesiske Alibaba. PrismML planlegger å slippe sin versjon som åpen kildekode tirsdag 14. juli, og sier den takler oppgaver som programvareutvikling. Selskapet har ifølge The Information også hatt møter med Apple om hvordan teknologien kan tas i bruk.
«Oppstartsselskapet PrismML sier det har krympet Qwen 3.6, en åpen språkmodell utviklet av den kinesiske internettgiganten Alibaba, til å kjøre på en iPhone 17 Pro» — The Information
For deg som bygger lokalt er det lisensen og minnebruken som avgjør, ikke parametertallet i overskriften. En modell på 27 milliarder parametere krever aggressiv kvantisering for å få plass i telefonens RAM, og PrismML har ikke offentliggjort hvilken metode de bruker. Apple har fra før kjøpt oppstartsselskapet Q.ai for angivelig 2 milliarder dollar, og utviklet dagens Siri AI sammen med Google.
Hva bør du gjøre?
- Les lisensvilkårene når koden slippes 14. juli, før du bygger noe som avhenger av modellen.
- Mål minnebruken på egen enhet i stedet for å stole på parametertallet. Kvantiseringsgraden avgjør om modellen i det hele tatt laster.
- Behandle Apple-interessen som ubekreftet. The Information bygger på anonyme kilder, og verken Apple eller PrismML har bekreftet noe offentlig.