Adapter fra dyrkede nerveceller skal gjøre KI-video fem ganger raskere på AWS

Under 0,1 prosent større blir grunnmodellen når oppstarten The Biological Computing Co. (TBC) legger på sitt proprietære programvarelag. Ifølge The Decoder har selskapet inngått et samarbeid med Amazon Web Services om en tekst-til-video-modell som skal generere video fem ganger raskere og med 80 prosent lavere inferenskostnad enn den åpne modellen den bygger på. Modellen skal kjøre på Trainium-brikker og selges i AWS Marketplace, men foreløpig finnes bare en venteliste.

Nevronene gjør ingen beregninger i produktet. TBC dyrker kortikale nerveceller på brikker med 4096 elektroder, stimulerer dem elektrisk og måler hvor langt aktiviteten sprer seg og hvor lenge den varer. Fra målingene bygger selskapet små adaptere som plugges inn i eksisterende diffusjonsmodeller og kjører på vanlige GPU-er.

Metoden er best dokumentert på den åpne Minecraft-verdensmodellen Oasis, en diffusjonsmodell på rundt 600 millioner parametere der små feil hoper seg opp fra bilde til bilde. TBCs «Neural Dynamics Adapter» på omtrent 156 000 parametere bygger inn én regel lest av cellene: aktivitet virker lokalt og dør så ut. Over ti testvideoer målte TBC differensiell entropi, et grovt mål på hvor mye visuell informasjon et bilde beholder:

En større adapter med rundt tre prosent ekstra parametere løftet bildefrekvensen fra om lag to til i underkant av ti bilder per sekund, fordi modellen tålte færre beregningssteg per bilde. En ekstern test fra Bluesky Compute i juli fant om lag 4,4 ganger lavere inferenskostnad.

The Decoder påpeker at fem ganger raskere og 80 prosent billigere er samme effekt oppgitt i to enheter. TBC oppgir verken grunnmodell, maskinvare, oppløsning, klipplengde eller kvalitetsmål for den kommersielle modellen, og har ikke publisert en kontrollert sammenligning mot destillasjon eller caching på samme grunnmodell.

For de som bygger, er Oasis-resultatet det interessante: et adapterlag med en innebygd lokalitetsregel slo LoRA, og den ideen kan du teste uten én eneste nervecelle.