Prime Intellect mener du må kunne kjøre nøyaktig samme oppgavesett på tvers av miljøer og få ut en fullstendig logg av hver eneste kjøring for å vite om KI-agenten din faktisk ble bedre. Python-biblioteket deres har 4 329 stjerner og MIT-lisens, og v0.2.0 er første ordentlige utgivelse siden v0.1.14 i mai.
Kjernen i v1-API-et er et skille det gamle API-et blandet sammen. TaskData er de serialiserbare dataene for én rad, mens Task-klassen eier livssyklus-kroker, verktøy, metrikker, belønninger og dommere. Et Taskset laster typede oppgaver, og en egen kjøreramme definerer hvordan modellen faktisk kjøres. De to settes sammen til et miljø uten at du blander v1 og det gamle API-et.
Det praktiske utslaget er portabilitet. Ifølge utgivelsesnotatene kan det samme oppgavesettet kjøres som lokale subprosesser, i Docker, eller i eksterne sandkasser hos Prime og Modal. Modelltrafikken går gjennom et mellomlag som oversetter mellom leverandørdialektene, tar opp sporet mens kjøringen skjer, og lar deg gripe inn i både modellsvar og verktøyresultater.
Evalueringsflyten er også ny. uv run eval tar TOML-konfigurasjon, CLI-overstyringer, tørrkjøringer og samtidighetskontroll, og en avbrutt kjøring kan gjenopptas slik at bare manglende eller feilede rader kjøres om igjen. Resultatet havner i traces.jsonl, mens validate, debug og replay dekker miljøsjekk, interaktiv feilsøking og ny scoring av lagrede spor uten at modellen kalles på nytt.
Prisen er strenge Pydantic-konfigurasjoner og et v1 som ikke er ment å blandes med det gamle API-et. Har du miljøer bygget på v0.1.x, er dette en migrering, ikke en oppgradering du gjør i forbifarten.
Hva bør du gjøre?
- Prøv
replaymot lagrede spor hvis du allerede scorer agentkjøringer for hånd. Offline re-scoring lar deg endre belønningsfunksjonen uten å betale for nye modellkall. - Se gjennom katalogen
research-environmentsfør du skriver et miljø fra bunnen. v1 kommer med gjenbrukbare oppgavesett og et Harbor-grunnlag, og det er billigere å arve enn å bygge. - Planlegg migreringen nå hvis du kjører v0.1.x i produksjon. De to API-generasjonene er ikke ment å leve side om side i samme miljø.