Rails-benchmark: beste modell løser 35 prosent av ekte tickets

«Legg til japansk i appen, ASAP.» Slik skriver en produkteier en ticket til en utvikler, og slik er alle de 20 oppgavene i steg 2 av Agents on Rails formulert. Rails-teamet la ut resultatene 9. september: ti modeller fikk ekte feature-tickets mot Fizzy, 37signals' kanban-app, og den beste løste 35 prosent av kjøringene.

Steg 1 i august spurte bare om modellene kan Rails, og to av dem løste korpuset med 92 prosent. Oppgavene var små med vilje, og over halvparten av tiden fant modellene opp hjulet på nytt i stedet for å bruke rammeverket. Steg 2 spør om modellen kan ta imot en ticket og levere et ferdig resultat, målt av skjulte tester som karakteriserer mot det en erfaren utvikler ville sendt fra seg.

Forskjellen mellom topplasseringene handler mer om arbeidsmåte enn om kvalitet. Gemini 3.8 Flash leser og kjører alt: 200 steg og 27 minutter per kjøring. GPT-6 Astra bruker en tidel av stegene, er ferdig på 9 minutter og kostet 150,47 dollar for hele kampanjen, på standard innsatsnivå medium. GPT-5.6 Luna, som i steg 1 løste 46 av 63 oppgaver for 90 cent, fullførte 0 av 60 her.

Mønsteret går igjen over hele korpuset: hovedflyten virker som regel, og det er edge-casene kjøringene faller på. Tickets beskriver dem ikke, og modellene fyller dem ikke inn selv. Bare én kjøring innfridde kravet om at japansk skulle skipes komplett, og den var Fables.

Hva bør du gjøre?

1. Skriv ut edge-casene eksplisitt i tickets du gir en kodeagent. Det er der kjøringene faller, ikke på hovedflyten.
2. Sett tidsbudsjettet etter modellen. Kimi K3 gikk tom for tid 14 av 60 ganger innenfor 90 minutter.
3. Ikke velg modell på pris alene. Luna kostet 1,69 dollar for 60 kjøringer og leverte ingenting.