Agenter bygde samme app i 12 rammeverk: Hono+htmx billigst på 2,67 dollar, Angular dyrest på 4,97
søndag 1. november · KI-generert · Kilde: nolanlawson.com
Mål hva rammeverket ditt koster agenten: i Nolan Lawsons test var Angular nesten dobbelt så dyrt å få bygget som Hono+htmx.
Frontend-miljøet har lenge valgt rammeverk på magefølelse, og nå skrives apper om fordi et rammeverk visstnok er «bedre for agenter». Utvikleren Nolan Lawson ville se tall og lot Claude Code med Opus 5.5 på høy effort bygge den samme Pokémon-appen fem ganger i hvert av tolv rammeverk, testet mot en egen spesifikasjonssuite, skriver han på bloggen sin.
Median API-kostnad, slik Claude Code rapporterer den, gikk fra 2,67 dollar for Hono+htmx og 2,76 for Astro til 4,97 dollar for Angular. Lawson betalte ikke dette selv, han kjørte på et Max-abonnement til 100 dollar i måneden. SvelteKit havnet på 4,28 dollar fordi agentene leste migreringsguiden til SvelteKit v3 i hver eneste kjøring, trolig fordi versjonen er for ny for treningsdataene til Opus 5.5. Angular feilet to av fem ganger: agenten bygde en SSR-app som avviste alt annet enn localhost, selv om spesifikasjonen sa at appen skulle stå bak en reverse proxy.
Variansen er stor. Den billigste React Router-kjøringen (2,82 dollar) var billigere enn den dyreste Hono+htmx-kjøringen (3,19), og ren JavaScript med Vite kostet 2,98, mer enn både Astro og Nuxt.
Lighthouse-poengene for ytelse og tilgjengelighet lå mellom 97 og 100 for alle, så forskjellene viste seg heller i JavaScript-mengde og kodelinjer. Astro sendte null JavaScript til nettleseren, Next.js mest. Hono+htmx-appen ble 1370 linjer, Angular-appen 2009, og for en agent koster hver linje tokens også ved senere endringer, påpeker Lawson.
Lawson installerte offisielle MCP-servere og skills der de fantes, men agentene brukte dem ujevnt: Nuxt-MCP-en ble aldri brukt, og TanStack Starts skill-filer ble bare oppdaget i to av fem kjøringer.
«Jeg har for eksempel en sterk mistanke om at dagens kull av MCP-er og skills kanskje gjør mer skade enn nytte.» — Nolan Lawson
Appen er liten og innholdsdrevet, nærmere Wikipedia enn Figma, og Lighthouse favoriserer flersidesapper, noe Lawson selv understreker. Benchmarken ligger på GitHub for den som vil kjøre den med andre agenter eller effort-nivåer. For deg som lar agenten velge stack er den mest overførbare lærdommen at en rammeverksversjon nyere enn modellens treningsdata gir ekstra tokenkostnad i hver kjøring.