Søndag 8. november

#kvantisering

75 saker med denne taggen

Søndag 1. november

1 sak

04.32

bootgpt: 11,5 KB int8-modell kjører fra oppstartssektoren og dikter opp en Linux-bootlogg

KI-generert · Kilde: GitHub

Fredag 30. oktober

2 saker

04.09

Doomformer kompilerer nevrale nett til DOOM-kart der 1 355 voodoo-dukker gjenkjenner sifre

KI-generert · Kilde: GitHub

00.12

Tinyworldformer: en verdensmodell på 26k parametere lager og spiller Breakout på en Pico 2 W

KI-generert · Kilde: GitHub

Onsdag 28. oktober

2 saker

04.09

Mesh Applied kjører Qwen3.8-27B i NVFP4 med 255 tokens/s på ett RTX 5090

KI-generert · Kilde: Mesh Applied

00.07

Tencent åpner Hy-Nomas: tekststyrt verdensgenerator under Apache 2.0 som kan kjøre på ett RTX 4090

KI-generert · Kilde: Hugging Face

Søndag 4. oktober

1 sak

08.13

Strata kjører Qwen3.8-Flash-Next med 125B parametere på et 12 GB-skjermkort

KI-generert · Kilde: GitHub

Onsdag 30. september

1 sak

08.15

AMD Gorgon Halo gir 192 GB minne i mini-PC, men første boks koster 6799 dollar

KI-generert · Kilde: The Register

Tirsdag 29. september

1 sak

12.17

Sju ESP32-S3 kjører Qwen2-0,5B i 1,58 bit på 1,5 watt, men gir foreløpig bare støy

KI-generert · Kilde: GitHub

Mandag 28. september

1 sak

16.12

Pocket Tank: 14M-modell destillert fra Gemma 4 styrer akvariefisk på ESP32-S3

KI-generert · Kilde: Electronics For You

Fredag 25. september

1 sak

00.17

PrismML viser 1-bit Bonsai-modell på 2 milliarder parametere for smartbriller

KI-generert · Kilde: AI News & Artificial Intelligence | TechCrunch

Onsdag 23. september

3 saker

16.16

Unsloth kjører Qwen-Image-2.1 lokalt på 11 GB VRAM og henter skills fra Claude Code

KI-generert · Kilde: Unsloth GitHub Releases

12.20

Aikido Altar krymper GLM-5.3 til 328 GB og beholder 23 av 25 sårbarhetsfunn

KI-generert · Kilde: Aikido Security

00.31

InstinctFlash gjør robotikkmodeller opptil 7,88 ganger raskere på Jetson Thor

KI-generert · Kilde: General-Instinct/InstinctFlash (GitHub)

Tirsdag 22. september

3 saker

21.30

Transformers kjører nå GGUF-kvanter på Apple Silicon med llama.cpps egne kernels

KI-generert · Kilde: Hugging Face - Blog

16.23

Dettmers-laben kjører en 125B-modell på ett 24 GB-kort

KI-generert · Kilde: Tim Dettmers

04.33

Edge0 kjører en 35B-modell fra SSD på 2,9 GiB aktivt minne

KI-generert · Kilde: Edge0/Edge0-35B-A3B-preview (Hugging Face)

Mandag 21. september

1 sak

20.52

Multiverse kutter halve dybden av Llama-3.3-70B og holder MMLU rundt 77

KI-generert · Kilde: Hugging Face - Blog

Søndag 20. september

2 saker

08.56

ByteShapes kvanter av Qwen3.8 27B: 13,1 GB gir 99,63 prosent av BF16

KI-generert · Kilde: ByteShape

08.35

Ternary Bonsai 2 27B presser Qwen3.8 27B ned i 5,9 GB

KI-generert · Kilde: PrismML

Torsdag 17. september

1 sak

12.39

BITCOS presser ternære modeller fra 1,625 til 1,485 bit per vekt

KI-generert · Kilde: arXiv

Onsdag 16. september

1 sak

00.42

Ollama 0.34.1 gjør MLX-import stabil og sender GGUF-konvertering over til llama.cpp

KI-generert · Kilde: Release notes from ollama

Onsdag 9. september

1 sak

08.15

LattePanda Mu Ultra kjører Qwen3.5-9B lokalt på 18 tokens i sekundet

KI-generert · Kilde: TechPowerUp

Onsdag 2. september

1 sak

08.22

Kevin Lewis kjører hele KI-stacken sin lokalt på en M4 Pro Mac mini

KI-generert · Kilde: Kevin Lewis (blogg)

Tirsdag 1. september

1 sak

20.23

29 787 åpne Ollama-servere, og hundrevis av dem kjører ingen modell

KI-generert · Kilde: day50.dev

Torsdag 27. august

2 saker

12.20

Qwen3.8 27B i 4 bit matcher fullmodellen: 17 gigabyte mot 55

KI-generert · Kilde: Quesma Blog

05.06

Simon Willison kjører Qwen3.8-Flash-Next lokalt på 72,5 gigabyte

KI-generert · Kilde: Simon Willison's Weblog

Tirsdag 25. august

1 sak

16.28

Multiverse-modell i 4 bit slår sin egen 16-bits kilde på 7 av 9 tester

KI-generert · Kilde: Hugging Face - Blog

Søndag 23. august

1 sak

00.27

Nvidias FP4-kvant flippet halvparten av tokenene ved 88k kontekst

KI-generert · Kilde: Level1Techs Forum

Lørdag 22. august

1 sak

00.45

Entropi-bonusen frøs 4-bits GLM-5.2 under RL-trening

KI-generert · Kilde: Patronus AI

Torsdag 20. august

1 sak

00.58

Unsloth Dynamic 3.0 presser Qwen3.8-27B ned i 6,2 GB

KI-generert · Kilde: Unsloth

Onsdag 19. august

2 saker

20.17

Ornith-1.5: åpne vekt-modeller med selvforbedringsløkke, matcher Claude Opus 4.8 på Terminal-Bench

KI-generert · Kilde: Ornith AI

16.27

Liquid AI trener 4-bit inn i modellen og beholder 97 prosent av BF16

KI-generert · Kilde: Hugging Face - Blog

Søndag 16. august

1 sak

12.17

To DGX Spark-maskiner matcher nå skyen på DeepSeek V4 Flash

KI-generert · Kilde: XDA Developers

Torsdag 13. august

1 sak

04.53

Ling-3.0-tiny aktiverer 1,3 av 7,9 milliarder parametere og kjører på 8,3 GiB

KI-generert · Kilde: Hugging Face

Tirsdag 11. august

2 saker

05.20

Needle 2 pakker verktøykall i 14 MB og kjører på en ESP32

KI-generert · Kilde: Hacker News - Newest: ""AI" "LLM" "Claude""

04.28

Simon Willison kjørte Muse Glimmer lokalt på 18,16 GB

KI-generert · Kilde: Simon Willison's Weblog

Fredag 7. august

2 saker

21.53

NanoMind-S3: 15,2 millioner parametere kjører på en ESP32-S3

KI-generert · Kilde: GitHub

21.47

Unsloth v0.1.525-beta: Kimi K3 lokalt krever 595 GB på disk

KI-generert · Kilde: Unsloth

Onsdag 5. august

1 sak

20.21

9,88 tokens i sekundet på en mikrokontroller til 10 dollar

KI-generert · Kilde: The Register

Tirsdag 4. august

1 sak

04.25

Baseten: kvantisering gjorde GLM-5.2 20 prosent raskere uten kvalitetstap

KI-generert · Kilde: Latent.Space

Mandag 3. august

1 sak

12.42

ROCm 7.14 halverte farten på én modell, men ikke på den ved siden av

KI-generert · Kilde: Level1Techs Forum

Fredag 31. juli

3 saker

12.20

Escha-W2 kjører en 35B MoE-modell i 2 bit på ett 24 GB-kort

KI-generert · Kilde: AI Insiders

00.28

runNburn kjører en 222 GiB modell på en Mac med 64 GiB minne

KI-generert · Kilde: GitHub (Show HN)

00.22

NightRun booter Raspberry Pi 5 rett inn i en språkmodell, uten operativsystem

KI-generert · Kilde: CNX Software

Torsdag 30. juli

2 saker

16.23

Unsloth kjører Kimi K3 lokalt, men minste kvantisering krever 595 GB disk

KI-generert · Kilde: Unsloth (GitHub)

12.22

VisionPsy-Nano kjører bildeforståelse på mobilen: 460 millioner parametere, Apache 2.0

KI-generert · Kilde: RuntimeWire

Onsdag 29. juli

1 sak

00.25

Neutrino-8B presser en 8B-modell ned i 3,88 GB med ternære vekter

KI-generert · Kilde: LavX News

Tirsdag 28. juli

1 sak

20.26

Gemma 4 E2B svarer på ett sekund der Qwen 3.5 4B bruker fem i Home Assistant

KI-generert · Kilde: How-To Geek

Mandag 27. juli

1 sak

00.18

POCKET-35B kjører uten grafikkort, men 88,4 prosent på GPQA blir 73,2 ved ett forsøk

KI-generert · Kilde: Awesome Agents

Søndag 26. juli

1 sak

04.28

28,9 millioner parametere kjører nå på en ESP32 til 8 dollar

KI-generert · Kilde: Hacker News - Newest: ""AI" "LLM" "Claude""

Lørdag 25. juli

1 sak

04.23

Kimi K3 slipper åpne vekter 27. juli, men nedlastingen er på 1,4 terabyte

KI-generert · Kilde: Tech Times

Fredag 24. juli

1 sak

04.28

quantprobe kjører 110B-modell på 16 GB RAM, men bare 0,19 tokens i sekundet

KI-generert · Kilde: Hacker News

Torsdag 23. juli

1 sak

12.28

Nunchaku Lite gir 4-bits diffusjon direkte i Diffusers

KI-generert · Kilde: Hugging Face - Blog

Onsdag 22. juli

1 sak

04.17

Nettside viser hvilken KI-modell laptopen din kan kjøre lokalt

KI-generert · Kilde: Show HN

Mandag 20. juli

1 sak

12.36

Bonsai 27B kjører 27 milliarder vekter på iPhone i 3,9 GB

KI-generert · Kilde: Hi-Tech.ua

Søndag 19. juli

1 sak

13.01

PrismML klemmer en 27 milliarder-parameter KI-modell ned til under 4 GB for iPhone

KI-generert · Kilde: Tech Times

Fredag 17. juli

1 sak

04.27

Apple vurderer PrismMLs komprimeringsteknologi for større KI-modeller på iPhone

KI-generert · Kilde: WinBuzzer

Onsdag 15. juli

2 saker

16.28

KronQ får 2-bit-modeller til å virke der GPTQ kollapser

KI-generert · Kilde: DEV Community

04.46

PrismML Bonsai 27B: 1-bit og ternære versjoner av Qwen3.6-27B kjører på laptop og telefon

KI-generert · Kilde: MarkTechPost

Tirsdag 14. juli

2 saker

16.24

StepFun slipper Step 3.7 Flash: 198 milliarder parametre på fire H100-kort

KI-generert · Kilde: Baseten

04.19

Kjør Qwen3.6 2,5x raskere lokalt med Unsloth NVFP4

KI-generert · Kilde: Creative AI News

Søndag 12. juli

1 sak

04.21

Unsloths NVFP4-quants kjører Qwen3.6 2,5x raskere, men bare på Blackwell

KI-generert · Kilde: DEV Community

Fredag 10. juli

1 sak

08.36

Colibri kjører GLM 5.2 på 25 GB RAM ved å streame eksperter fra disk

KI-generert · Kilde: GitHub

Torsdag 2. juli

1 sak

08.20

STAR-KV komprimerer KV-cache opptil 20x, valgt som ICML 2026-spotlight-artikkel

KI-generert · Kilde: AIJourn

Onsdag 1. juli

1 sak

20.22

SEMQ-metoden kutter minnebruk for KI-modeller uten å tape nøyaktighet

KI-generert · Kilde: The Register

Søndag 7. juni

1 sak

10.10

Gemma 4 får QAT-kvantisering: E2B-modellen krymper til 1 GB minne

KI-generert · Kilde: Google Blog

Onsdag 13. mai

1 sak

10.34

Lokale åpne modeller dobler intelligens hver 10. måned: 4,7x på to år, uendret laptop

KI-generert · Kilde: Hugging Face

Mandag 11. mai

1 sak

22.18

Lokale modeller på M4 med 24 GB minne: hva som faktisk er brukbart

KI-generert · Kilde: jola.dev

Onsdag 6. mai

2 saker

22.32

vibevoice.cpp: Microsofts VibeVoice kjører nå lokalt på llama.cpp-stacken via ggml

KI-generert · Kilde: GitHub: localai-org/vibevoice.cpp

02.15

Qwen3.6-35B kjører på Mac med 48 GB RAM på 77 tokens/sekund — komplett MLX-oppskrift

KI-generert · Kilde: DEV Community

Fredag 1. mai

2 saker

18.18

Intel auto-round v0.12.3: kvantiserer LLM til 2–4 bit på CPU og GPU med vLLM- og SGLang-støtte

KI-generert · Kilde: github.com/intel

14.16

Google TurboQuant: KV-cache-kompresjon kutter minnebruk 6x uten retrening

KI-generert · Kilde: AI Pressa

Tirsdag 21. april

1 sak

06.15

Ternary Bonsai kjører 8B-modell på 1,58 bits — 82 tokens/sek på M4 Pro uten GPU

KI-generert · Kilde: PrismML

Søndag 19. april

1 sak

22.10

Gemma 4 kjører i Chrome med WebGPU: prompt-til-Excalidraw i nettleseren, 3 GB RAM

KI-generert · Kilde: Hacker News / Show HN

Torsdag 2. april

1 sak

12.50

1-bit kvantisering og TurboQuant: kan lokale modeller bli like raske som skytjenester?

KI-generert · Kilde: LocalLlama