Tencent la ut UI-Mate-27B på Hugging Face helt uten kunngjøring

66,2 i snitt på WindowsAgentArena og 77,0 på OSWorld-Verified er tallene Tencent oppgir for UI-Mate-27B, en åpen GUI-agent på 27 milliarder parametere som ligger på Hugging Face under Apache 2.0. På OSWorkerBench oppgir modellkortet 41,00 i streng suksessrate og 76,86 i fremdrift. Alle tallene er Tencents egne, og ingen utenfor teamet har reprodusert dem.

Modellen er finjustert fra Qwen3.6-27B og trent med veiledet finjustering etterfulgt av forsterkningslæring i kjørbare GUI-miljøer, altså ved å faktisk styre skrivebord og ikke bare lese statiske skjermbilder. Den tar inn en oppgaveinstruksjon, skjermbilder og interaksjonshistorikk, og gir ut resonnement, en kort handlingsbeskrivelse og strukturerte verktøykall som er kompatible med pyautogui. Handlingsrommet dekker mus, tastatur, rulling, venting, brukerdialog og oppgavefullføring. To søskensjekkpunkter fulgte med: UI-Mate-9B for samme oppgave i mindre format, og UI-Mate-democua-27B for demonstrasjonsstyrt bruk.

Tencent kaller den ikke en chat-modell, og det er en advarsel du bør ta bokstavelig.

«UI-Mate er et agent-sjekkpunkt, ikke en frittstående modell for visuell chat» — modellkortet for UI-Mate-27B

Kortet anbefaler derfor den offisielle prompten, responsparseren og interaksjonsrammen fra GitHub-repoet Tencent/UI-Mate til alt som skal gjøre noe reelt. Serveringen har én detalj som lett gir feil: agenten holder fem skjermbilder i kontekst, og serveren må slippe inn minst seks bilder per prompt fordi det nyeste skjermbildet ankommer før det eldste kollapses.

Hele stabelen er kommersielt brukbar, ikke bare finjusteringen: basemodellen Qwen3.6-27B ligger også ute under Apache 2.0. Det er en forskjell fra de fleste åpne datamaskinbruk-agentene, der lisensen på basemodellen ofte setter grenser lenge før modellkvaliteten gjør det.

Kortet er også ærlig om hvor skjørt dette er i praksis. Oppførselen påvirkes av applikasjonsversjoner, skjermoppsett, skalering, latens og uventede grensesnittilstander, og modellen krever en ekstern kjøretid for i det hele tatt å utføre handlingene den foreslår. Benchmarkresultater garanterer ikke pålitelig utførelse i vilkårlige miljøer, som Tencent selv formulerer det.

Det praktiske poenget for deg er at det ikke finnes noe hostet API. Skal du prøve UI-Mate denne uken, laster du ned vektene og kjører dem selv. Repoet har ferdige eksempler: run_agent.py kjører mot et lokalt vLLM-endepunkt, med --replay for en komplett innspilt trajektorie eller --image og --instruction for ditt eget skjermbilde.

Hva bør du gjøre?

1. Server modellen med vLLM slik kortet viser: --tensor-parallel-size 2, --gpu-memory-utilization 0.85 og --limit-mm-per-prompt satt til seks bilder og null video.
2. Hent prompt og parser fra Tencent/UI-Mate før du skriver din egen agentløkke. En egenbygget prompt mot et agent-sjekkpunkt gir dårligere resultater enn tallene antyder.
3. Kjør den i et isolert miljø. Dette er en modell som styrer mus og tastatur på en ekte maskin, og benchmarktallene er foreløpig bare leverandørens egne.