MCPJam tester MCP-serveren din i 16 klienter før du merger

MCP-serveren din kan svare riktig på hvert verktøykall når du kjører den lokalt, og likevel svikte brukeren. Brukeren sitter nemlig ikke i produktet ditt, men i ChatGPT, Claude eller Cursor, og det er klienten som avgjør hvilket verktøy som kalles, med hvilke argumenter, og hvordan svaret blir presentert. MCPJam la 17. september ut en Show HN-lansering av en plattform bygget mot nettopp dette hullet, og lover testing i 16 eller flere større KI-klienter.

Plattformen består av fire deler. Inspector sender samme prompt til flere klienter samtidig og viser tracen fra hver, slik at du kan sammenligne hvordan produktet ditt faktisk oppfører seg. Swarms genererer agent-personaer fra en beskrivelse du skriver og kjører dem gjennom serveren for å finne hvor arbeidsflyten brekker. User Testing gir en delbar sandkasse-chat der ekte testere kan prøve de samme oppgavene, med rating per tur. Evals gjør arbeidsflytene om til repeterbare tester, og CI/CD-delen kjører dem på hver pull request, der en pass-rate under terskelen blokkerer merge.

«Brukerne dine er ofte ikke i produktet ditt lenger. Du ser ikke hva de ba om, hvordan agenten tolket det, eller om serveren din hjalp dem med å få resultatet de kom for.» — Prathmesh, administrerende direktør i MCPJam, i Show HN-tråden

Han ledet MCP-strategien hos Asana, inkludert selskapets ChatGPT- og Claude-lanseringer, og beskriver problemet som mangelen på en måte å teste slike integrasjoner slik man tester vanlig programvare. MCPJam oppgir at over 106 000 utviklere og mer enn 300 bedrifter bruker den åpne kjernen. Selve Inspector-repoet på GitHub står i 2214 stjerner og 284 forker.

Innvendingen kom raskt i lanseringstråden: antallet klienter er i ferd med å eksplodere, og en plattform som lover å speile hver klients nåværende oppførsel må holde tritt med alle sammen.

«Hvordan planlegger du å holde deg oppdatert mot det eksploderende antallet klienter brukerne faktisk kommer til å ha?» — amgutier, bruker i Show HN-tråden

Ett forbehold hvis du setter Inspector i CI: verktøyet har en RCE-historie. CVE-2026-23744, registrert som kritisk med CVSS-score 9.8 i GitHubs rådgivningsdatabase, rammet @mcpjam/inspector i versjon 1.4.2 og eldre, fordi HTTP-serveren bandt seg til 0.0.0.0 i stedet for 127.0.0.1. Et enkelt uautentisert kall mot /api/mcp/connect kunne starte en vilkårlig kommando. Feilen er rettet i 1.4.3, men et verktøy som per design snakker med lokale prosesser fortjener en sjekk av hvilken adresse det lytter på.

Prismodellen gir alle funksjonene gratis på den åpne kjernen, med 200 kreditter per dag og et engangstilskudd på 500 eval-iterasjoner. Pro og Team kjøper mer kreditt, ubegrenset trace-historikk og rollestyring, mens Enterprise legger til SSO, oppetids-SLA og databehandleravtale. Inspector, CLI, SDK, lokale evals og konformitetssjekkene er åpen kildekode.

Hva bør du gjøre?

1. Kjør @mcpjam/inspector i versjon 1.4.3 eller nyere, og verifiser at den lytter på 127.0.0.1 og ikke 0.0.0.0 før du åpner den i et delt nettverk.
2. Start med Evals mot de to eller tre klientene brukerne dine faktisk bruker, ikke alle 16. Terskelen for pass-rate er det som gir CI-gaten mening.
3. Bruk Swarms på feilstiene, ikke lykkestien. Det er de halvferdige oppgavene og de tvetydige argumentene som avslører hva verktøybeskrivelsene dine egentlig kommuniserer.