# I Tested the Cheapest Path to 96GB of VRAM

**Video:** https://youtu.be/-aEHitayNts  
**Duration:** 19:48  
**Saved:** 2026-03-31  
**Tags:** #hardware #ai #vram #intel #gpu @work

---

## 📋 TL;DR

Testează 4x Intel ARC Pro B60 (24GB fiecare = 96GB VRAM total) ca alternativă ieftină la GPU-uri NVIDIA Pro ($650-800/card vs $2000-8500). Performanța reală: 574 tokens/sec peak cu DeepSeek R1 distilled (64 concurrency), dar Intel LLM Scaler stack rămâne în urmă cu modelele noi (lipsesc Qwen 3.5, GLM Flash 4.7). Concluzie: VRAM ieftin e util pentru agenți/office multi-user cu modele mari BF-16, dar stabilitatea și suportul modelelor noi sunt provocări.

---

## 🎯 Concepte Principale

### Intel ARC Pro B60 - Specificații
- **24GB GDDR6** per card ($650-800 Newegg/Sparkle)
- **456 GB/sec** memory bandwidth
- **200W** board power
- **4 cards = 96GB VRAM total** în server Xeon
- **Pitch:** Cea mai affordabilă densitate VRAM per sistem (vs NVIDIA RTX 6000 Pro $8500)

### Comparație cu Competiția (Same Price Range)
| GPU | VRAM | Bandwidth | Power | Price | Strategy |
|-----|------|-----------|-------|-------|----------|
| **Intel B60** | 24GB | 456 GB/s | 200W | $650-800 | Max VRAM density |
| **AMD RX 7900 XT** | 20GB | 800 GB/s | 315W | ~$800 | High bandwidth |
| **NVIDIA RTX Pro 2000** | 16GB GDDR7 | 288 GB/s | 70W | $800 | Low power, no cables |

- **AMD:** Mai puțin VRAM, mult mai mult bandwidth (800 GB/s)
- **NVIDIA:** GDDR7 nou, putere minimă (alimentat din PCI bus), card mic

### Benchmark Results (Single GPU, Qwen 34B BF-16)

**Concurrency 1 (Chat scenario):**
- **NVIDIA Pro 2000:** 5,223 t/s prompt | 27 t/s generation | 69W
- **Intel B60:** 22 GB folosit, 17% utilizare | 1,400 t/s prompt | 45 t/s gen | 120W
- **AMD RX 7900 XT:** 5,211 t/s prompt | **58 t/s gen** (fastest) | ~400W

**Concurrency 32 (Agentic/Multi-user):**
- **NVIDIA Pro 2000:** 1,313 t/s prompt | 232 t/s gen
- **Intel B60:** 7,941 t/s prompt | **497 t/s gen**
- **AMD RX 7900 XT:** 5,114 t/s prompt | 431 t/s gen

### 4x Intel B60 (96GB Total) - Real Usage

**System Power:**
- **Idle:** 372W (4 GPUs + Xeon server)
- **Load:** 800-940W peak (dar GPU-urile nu ating 200W max, doar 120-130W each)
- **Noise:** "Like an airplane" - foarte zgomotos sub load

**Models Tested:**
1. **DeepSeek R1 Distilled (Qwen 32B BF-16)** - 65GB disk
   - Concurrency 64: **574 t/s peak** | 289 t/s sustained gen | 1,425 t/s prompt
   - Concurrency 32: 512 t/s peak | 309 t/s sustained | 2,931 t/s prompt
   - Utilization: 21-22% per GPU, 24GB memory maxed

2. **Qwen Coder 30B MOE (BF-16)** - 61GB disk
   - Concurrency 1: 12,800 t/s prompt | 27 t/s gen
   - Concurrency 32: **Crashes** - prea multe requests, instabil
   - Load time: **7 minutes** (VLM startup foarte lent pentru modele mari)

3. **VS Code Agent Usage (Real-world):**
   - DeepSeek model: 15-17% util | 114-120W per GPU | ~800W system
   - 27 t/s generation (slower but usable)
   - Recunoaște fișiere, răspunde la întrebări cod

### Intel LLM Scaler Stack - Limitări Majore

**Problema:** Stack-ul Intel rămâne în urmă ~1 lună cu modelele noi
- ✅ **Available:** DeepSeek, Qwen MOE, GLM Flash (partial)
- ❌ **Missing:** Qwen 3.5 (latest coding model), GLM Flash 4.7 (nu se încarcă)
- **Versiune VLM:** Behind latest release (mid-March 2026)

**Implicații:**
- Nu poți folosi cele mai noi modele imediat
- Trebuie să folosești Intel LLM Scaler repo (GitHub open-source)
- Cadență update: ~1 lună întârziere

### Capcane Descoperite
1. **Heat & Noise:** Foarte fierbinți (burn risk) și zgomotoși sub load
2. **Instabilitate Concurrency:** Qwen Coder 30B crashes la concurrency 32
3. **Load Times:** 7+ minute pentru modele mari (65GB BF-16)
4. **Model Support:** Întârziere față de Ollama/VLM mainstream
5. **Coil Whine:** AMD RX 7900 XT cel mai zgomotos

---

## 💡 Quote-uri Importante

> "Is cheap VRAM actually useful or just cheap?"

> "NVIDIA RTX 6000 Pro was $10,000, now it's down to $8,500. But this [4x Intel B60] might be the most affordable 96GB of VRAM you can buy in a single system right now."

> "Intel's pitch here is pretty clear: $650 for 24GB. NVIDIA's 4090 has 24GB and cost me over $2,000."

> "You don't get the latest and greatest models because you have to use their [Intel] stack which is Intel LLM Scaler. The cadence is probably about a month or so behind."

> "We're using 933 watts of power now... These are pretty toasty over here. This is very hot. It will burn me if I leave my finger on there."

> "This is an example of real usage [VS Code agent with DeepSeek]. We're at about 800W for the machine. It's not bad."

---

## ✅ Aplicații Practice / Acțiuni

### Pentru Marius (ROA Context)

- [ ] **❌ NU recomand Intel B60 pentru ROA development** - Motivație:
  - Stack Intel LLM Scaler rămâne în urmă cu modelele noi (Qwen 3.5 missing)
  - Instabilitate la concurrency mare (crashes)
  - Heat + noise extreme (nu potrivit pentru office/home)
  - Load times 7+ minute pentru modele mari
  - Marius nu are nevoie de 96GB VRAM pentru taskuri curente

- [ ] **⚠️ Alternativă mid-range:** AMD RX 7900 XT (20GB, $800)
  - Bandwidth mai mare (800 GB/s vs 456)
  - Single card mai stabil decât 4x setup
  - Suport mainstream VLM/Ollama (fără Intel stack)
  - **Trade-off:** 20GB vs 24GB, dar suficient pentru majoritatea modelelor

- [ ] **✅ Option ieftină:** NVIDIA RTX Pro 2000 ($800, 16GB GDDR7)
  - 70W power (no extra cables)
  - Small form factor (potrivit desktop)
  - Suport NVIDIA mainstream
  - **Limită:** 16GB VRAM (modele mai mici, mai puțin context)

### General Insights

- [ ] **VRAM density vs Performance:** Mai mult VRAM ≠ mai rapid
  - AMD RX 7900 XT (20GB, 800 GB/s bandwidth) → fastest single-GPU throughput
  - Intel B60 (24GB, 456 GB/s) → mai mult context, dar mai lent
  
- [ ] **Agentic Workloads:** 64 concurrency sweet spot pentru Intel 4x B60
  - Sub 64: subutilizat
  - Peste 64: crashes sau diminishing returns

- [ ] **BF-16 Models Matter:** Testele cu full BF-16 (65GB disk) arată limitele reale
  - Qwen 32B distilled: 574 t/s peak (stabil)
  - Qwen Coder 30B: crashes la concurrency 32 (instabil)

- [ ] **Office Multi-User Scenario:** Intel 4x B60 ar putea funcționa DACĂ:
  - Users accept 7 min model load times
  - Zgomotul nu e problemă
  - Modelele folosite sunt suportate de Intel stack
  - Concurrency rămâne sub limita de crash

---

## 📊 Verdict Final

**Intel ARC Pro B60 (4x96GB):**
- ✅ **PRO:** Cel mai ieftin VRAM density ($650-800/24GB)
- ✅ **PRO:** Funcționează pentru agentic workflows (64 concurrency sweet spot)
- ❌ **CON:** Stack Intel rămâne în urmă ~1 lună cu modelele noi
- ❌ **CON:** Instabilitate la concurrency mare
- ❌ **CON:** Heat + noise extreme (burn risk, airplane noise)
- ❌ **CON:** Load times foarte lungi (7+ min pentru modele mari)

**Use Case Ideal:**
- Office cu mulți useri conectați simultan
- Agentic workflows cu concurrency 32-64
- Modele mari BF-16 cu context extensiv
- Users tolerează zgomot + întârzieri load

**NU pentru:**
- Home/desktop development (prea zgomotos/fierbinte)
- Latest models (Qwen 3.5, GLM Flash 4.7 missing)
- Production crítico (instabilitate crashes)

---

**Context suplimentar:**
- Video menționează "B50 video is right over here" → Intel pregătește flagship card
- Sponsor: Incogni (data broker removal service) - $60 off annual cu cod "alexiskin"