Meituans LongCat-2.5 er 0,7 poeng bak Claude Opus 5 på Terminal Bench, men vektene er ikke ute
tirsdag 3. november · KI-generert · Kilde: LongCat
Test Meituans LongCat-2.5 via API-et nå, for vektene til modellen med 1,6 billioner parametere er fortsatt merket «Coming soon».
LongCat-2.5 scorer 88,4 på Terminal Bench v2.1, mens Claude Opus 5 står oppført med 89,1 og DeepSeek-V4.1-Flash med 90,6 i Meituans egen tabell. Meituan publiserte modellen på LongCat-bloggen 1. november. Det er en multimodal mixture-of-experts-modell med 1,6 billioner parametere totalt og rundt 48 milliarder aktive per token, bygget videre på LongCat-2.0.
Avstanden vokser på de tyngre oppgavene. På Terminal Bench v4.0 får LongCat-2.5 38,5 mot 53,9 for Opus 5, og på NL2Repo 60,5 mot 75,3. På BrowseComp har den derimot tabellens høyeste tall. Konkurrentenes tall på Terminal Bench og NL2Repo er hentet fra offentlige rapporter og ledertavler, mens Meituan kjørte sine egne med Claude Code v2.1.280 som agentmiljø.
Meituan forklarer kodeløftet med storskala forsterkningslæring på lange agentoppgaver. Treningsoppgavene lages fra GitHub-pull requests og tilhørende issues, og nettverkstilgang og git-historikk fjernes i miljøene for å hindre juks.
«Vi gjør også om reelle feilforløp fra agenter til reproduserbare, verifiserbare treningsoppgaver» — LongCat-teamet, Meituan
Modellen er trent på innenlandske KI-akseleratorer med under 80 GB minne per brikke. Til inferens kvantiserer Meituan både vekter og aktiveringer til 4 bit (W4A4). Mot en W8A8-baseline ga det 43,3 prosent høyere prefill-gjennomstrømning og 42,77 prosent høyere decode-gjennomstrømning i stresstester.
For deg som bygger er API-et det interessante. Det har både et OpenAI- og et Anthropic-kompatibelt endepunkt, 1M tokens kontekst og opptil 256K tokens output. Tidsbegrenset rabattpris er 0,30 dollar per million ucachede input-tokens, 0,006 dollar for cachet input og 1,20 dollar for output. På Hacker News meldte én bruker at den fylte 200K av kontekstvinduet på fem minutter, mens en annen fikk chatten til å svare på kinesisk på engelske spørsmål.
«Jeg finner benchmark-resultatene rett og slett ufattelige etter å ha sett den ytelsen» — springtimesun, Hacker News
Bakgrunn
LongCat-2.0 fikk 70,8 på Terminal Bench v2.1 og 3,0 på v4.0, så hoppet til 2.5 er stort på Meituans egne tall. En Hacker News-bruker kritiserte at bloggen sammenligner med modeller som GPT-5.5 og Opus 4.8 uten å forklare hvorfor, mens en annen påpekte at forhåndsversjonen kom 25. september.
Hva bør du gjøre?
- Pek et Anthropic-kompatibelt verktøy mot https://api.longcat.chat/anthropic med modellnavnet LongCat-2.5, og kjør dine egne oppgaver før du stoler på tabellen.
- Bygg agentøkter med stabil prompt-prefix: cachet input koster en femtiendedel av ucachet.
- Planlegg ikke lokal kjøring: selv med 4-biters vekter blir 1,6 billioner parametere rundt 800 GB.