Ifølge en rapport fra The Information, gjengitt av The Decoder, har enkelte Amazon-ingeniører allerede begynt å destillere Anthropics modeller for internt bruk. Grepet henger sammen med en reforhandlet partneravtale: fra neste år betaler Amazon for Anthropics modeller basert på antall tokens som prosesseres, ikke compute-timer. Påstanden er ubekreftet, og en Amazon-talsperson avviser at endringene fra det utvidede samarbeidet vil øke kostnadene.
Modelldistillering betyr at en mindre «elev»-modell trenes på utdataene fra en større «lærer»-modell, slik at den arver mye av oppførselen til en brøkdel av inferens-kostnaden. For Amazon skal poenget ifølge rapporten være å bygge egne, billigere kopier som gjør mindre av arbeidet avhengig av å kalle Claude direkte. Anthropic gir angivelig visse rettigheter til slik bruk, sammenlignet i rapporten med Apples avtale med Google Gemini.
Overgangen fra compute-timer til token-basert prising er kjernen i hvorfor økonomien endrer seg. Når du betaler per compute-time, er kostnaden knyttet til maskinen; når du betaler per token, skalerer regningen direkte med volumet av det modellen leser og skriver. For en aktør som kjører modellene i stor skala internt, kan det etter det The Information beskriver skyve kostnadene kraftig oppover, selv om Anthropic på sin side peker på lave priser sett opp mot ytelsen modellene leverer.
For deg som bygger på Claude via API er dette et signal om at leverandørens egne storkunder vurderer distillering som kostnadsdemping. Amazon tilbyr allerede en distilleringstjeneste på Bedrock, men Claude-modellene er ikke tilgjengelige der, kun Amazons egne Nova-modeller og Metas Llama støttes. Rapporten sier også at Amazon utforsker alternativer som OpenAI og sine egne Nova-modeller, etter å ha investert opptil 25 milliarder dollar mer i Anthropic og opptil 50 milliarder dollar i OpenAI i år.
At selv en av Anthropics tetteste partnere angivelig leter etter måter å redusere token-eksponering på, sier noe om hvor følsom driftsøkonomien blir når prisen kobles til volum. For de som bygger, er lærdommen at token-forbruk er den variabelen som avgjør regningen fremover, uansett hvor billig prisen per token ser ut isolert.