Kredittmeglere tilbyr 100 000 dollar i inferens per dag

100 000 dollar i inferens per dag. Det var tilbudet Matt Lenhard fikk da han i en gjennomgang publisert 10. august sporet opp e-postadressene til flere token-meglere og kontaktet dem selv. Megleren delte ikke ut leverandørnøkler direkte, men fungerte som en proxy som etter alt å dømme plukker fra en pool av nøkler og videresender forespørselen.

Lenhard skriver at han først hørte om markedet fra en venn som fikk tilbud om Anthropic-tokener til kraftig rabatt, og at flere grunnleggere rapporterte det samme: innboksen fylles av folk som vil kjøpe eller selge inferens utenom leverandøren. Kredittbytte mellom oppstartsselskaper er ikke nytt, men Vectoral beskriver et marked som nå er kommersialisert, med egne nettsteder. AI Credits og AICreditMart drives som rene kredittmarkedsplasser, mens CheapCredits, Tokvana og Neokens presenterer seg som rutere med rabatt fra volumkjøp.

«40 prosent rabatt er svært usannsynlig med mindre du er en av leverandørens største kunder» — Matt Lenhard, Vectoral

Lenhard anslår at det på tvers av nettsteder, forum og Telegram-kanaler tilbys kreditter for titalls millioner dollar. Tokener har blitt en pseudovaluta med nok likviditet i markedet til å bære misbruk, skriver han, og innstramminger ligger neppe langt unna når leverandørene begynner å telle kostnader.

For deg som bygger betyr det at billig inferens fra en mellommann har en risiko du ikke ser: du vet ikke hvilken konto forespørselen din havner på, eller hva som skjer med prosjektet ditt den dagen kontoen stenges.