2.6 KiB
I Just Tried The Brand New Ternary Model And It's Great!
Sursa: https://youtu.be/lDlkkDs43aw Data: 2026-04-29 Canal: Anything LLM / Timothy Carbat Durata: ~25 min Tags: @work @tech #local-ai #llm #ternary #quantization
TL;DR
Prism ML a lansat primul model ternary viabil (Bonsai 8B Ternary), evoluția modelelor one-bit. Ternary folosește valori -1, 0, +1 în loc de -1/+1 (one-bit), ceea ce reduce eroarea de acuratețe la aproape zero față de FP16, cu resurse de 7-8x mai mici. File size ~2GB, memorie RAM ~2GB pentru un model de inteligență 8B. Rulabil local pe orice hardware (CPU, GPU, Mac M-series) via o versiune custom de llama.cpp de la Prism ML.
Puncte cheie
-
One-bit vs Ternary: One-bit = valori -1 sau +1 (adunare simplă, extrem de eficient). Ternary = valori -1, 0, +1 (1.58 biți efectivi) — mai precis, aproape la nivelul FP16.
-
Benchmark-uri: Ternary Bonsai 8B → 75.5 medie vs Qwen3 8B FP16 → 79.3. One-bit → 70. Gap mic față de modelul full, enorm față de quantizare clasică la 2-bit.
-
Resurse: Model FP16 8B = 16GB VRAM. Ternary 8B = ~2GB. De 7-8x mai mic, cu pierdere minimă de acuratețe.
-
Instalare: llama.cpp custom fork de la Prism ML (GitHub releases) + GGUF model de pe HuggingFace. Nu e one-click, necesită terminal, dar e simplu.
-
Integrare Anything LLM: Se configurează ca provider OpenAI generic cu
localhost:8080/v1. Suportă tools (web search, SQL, Gmail, Google Calendar, documente). -
Limitare actuală: Momentan doar până la 8B parametri. Dacă Prism ML antrenează un model 27B ternary, acesta ar putea rula pe telefon cu acuratețe completă — schimbă fundamental local AI.
-
Viitor local AI: Combinat cu context window improvements (turboquant), ~80% din taskurile zilnice de inferență pot fi făcute local, fără cloud.
Quote-uri notabile
"This is the future of local AI. Imagine being able to run Qwen3 27B with its full accuracy on your phone."
"Benchmarks should be used as a useful gauge to just eyeball if a model is worth your time — the only way to know if a model is good is to download it."
"We're saving on both sides of the puzzle and I really don't see how local models don't win."
Idei acționabile
- Testează Ternary Bonsai 8B local (LXC Ollama 104 sau direct pe server) — file size ~2GB, compatibil cu llama.cpp custom
- Urmărește Prism ML pentru modele >8B (27B ternary ar fi game-changer pentru Chatbot Maria sau asistență locală)
- Evaluează înlocuirea unor apeluri cloud API cu model ternary local pentru taskuri repetitive (reducere costuri)