# Voice Bench Results — Discord Voice-to-Voice Spike

Generated: 2026-05-27 (BLOCKING Pas 1 din test plan)
Hardware: i7-6700T (Skylake mobile), Proxmox VM, no GPU
Budget original: STT p50 < 1.50s (per CEO plan aspirational)
Budget honest: 1.5-3s (per Outside Voice #1, baked in CEO plan)

## Final Recommendation: **PASS cu `small` model**

Script-ul a returnat auto-decision `FALLBACK_TINY` pentru că `small.p50=2.25s > 1.5s` literal. **Override manual**: `tiny` produce transcript ilizibil în RO ("muină să sun la nu a", "să mream in test de seare", "Stei putin") — inutilizabil pentru produs. `small @ 4 threads` cade în honest range-ul "1.5-3s" deja acceptat în CEO plan și produce transcript clean modulo normalizare numerică (deja în scope: `src/voice/normalize.py`).

**Implicații pentru implementare:**
1. Folosește `WhisperModel("small", device="cpu", compute_type="int8", cpu_threads=4)` în `src/voice/pipeline.py`.
2. Update plan latency budget: STT p50 = 2.25s (era 1.5s); perceived round-trip estimate = 3.5-5s (STT 2.25s + Claude TTFB 0.5-1s + streaming TTS first clause ~0.5s).
3. Streaming Claude→TTS rămâne critic — fără el, total perceived = 6-8s, peste limita conversațională.
4. Filler audio "Stai să-mi adun gândurile" (deja în plan) maschează cazurile p95 (>3s).
5. Document fallback la `tiny` DOAR pentru `/voice doctor` mode degraded (Whisper OOM etc.), nu pentru happy path.

## Two-Pass Comparison (threads=2 vs threads=4)

| Model | threads | p50 (s) | p95 (s) | mean RTF | Verdict |
|-------|--------:|--------:|--------:|---------:|---------|
| small | 2 | 3.25 | 3.63 | 0.67 | FAIL latency |
| **small** | **4** | **2.25** | **2.64** | **0.46** | **CHOSEN** (quality + honest range) |
| tiny | 2 | 0.50 | 0.57 | 0.10 | FAIL quality |
| tiny | 4 | 0.48 | 0.57 | 0.10 | FAIL quality |

CPU upgrade 2→4 cores: **`small` got 31% faster** (3.25s → 2.25s), `tiny` essentially unchanged (CPU-light enough că nu beneficiază). Confirmă că `small` e CPU-bound, `tiny` nu.

## Transcript Quality Side-by-Side (4 threads)

| Input | small @ 4t | tiny @ 4t |
|-------|-----------|-----------|
| "Salut, ce mai faci?" | "Salut ce mai faci!" | "Salut, ce mai fac?" |
| "Stai puțin să mă gândesc la asta." | "Stai putin să mă gândesc la asta." | "Stei putin să mă gândesc la asta." |
| "Am verificat în calendar și avem ședință cu echipa la trei după-amiază." | "Am verificat în calendari și avem sedință cu echipa la 3 după amiază." | "Am verificat în calendar și avem sedeință cu equipala 3 du pămiază." |
| "Costul total este o sută douăzeci și trei de lei și cincizeci de bani." | "Costul total este 120 și 3 delei și 50 de bani." | "Costul total este o suta 20 și 3 de lei și 50 de bani." |
| "Marius, vrei să-ți pun pe agenda de mâine să suni la NOAA?" | "Marius, vrei să-ți spun pe agenda de mâine să suni la noa a." | "Marius, vrei să-ți pun pe agenda de muină să sun la nu a." |
| "Vreau să-mi reamintești diseară..." | "Vreau să mi-răimintești di seară..." | "Vreau să mream in test de seare..." |

**Observații:**
- `small` greșeli: diacritice (`putin`/`puțin`, `sedință`/`ședință`), numbere ca digiti ("3" în loc de "trei"), acronime (NOAA→noa), aglutinare ("delei"/"de lei", "răimintești"/"reamintești").
- `tiny` greșeli: cuvinte INVENTATE ("mream", "muină", "equipala", "sunilă") — hallucination, nu doar misspell.

## Hardware Context

- Intel(R) Core(TM) i7-6700T CPU @ 2.80GHz (Skylake mobile, 2015)
- Cores online: 4 logical (din 8), upgrade de la 2 în timpul benchmark-ului
- RAM: 6.0Gi total, ~2.5Gi available
- No NVIDIA GPU (CPU-only inference)
- ctranslate2 4.7.2 + faster-whisper 1.2.1 + int8 quantization

## Open Questions pentru Decision Lock

1. **Budget relax oficial:** acceptăm 2.25s p50 în plan și comunicăm honest user-facing? Sau încercăm:
   - **Groq Whisper Large-v3 API** (~0.3s, free tier 14k req/day) — vine cu network dependency
   - **Deepgram Nova-2 RO streaming** ($, dar 0.2s streaming partial transcripts)
   - **Whisper.cpp + AVX2** (același small model, optimizat C++) — ~30% boost suplimentar potențial
2. **CPU bump:** dacă activăm restul de 4 cores offline (3-6) ar coborî `small.p50` la ~1.5s? Worth investigat (probabil VM resource cap, nu hardware limit).

## Raw Data

- `tools/voice_bench_results.json` — run curent (threads=4)
- `tools/voice_bench_results_threads2.json` — baseline (threads=2)
- `tasks/voice-bench-results-threads2.md` — narrative pentru baseline