# Fine-Tune the biggest open-source models (even with a bad PC)

**URL:** https://youtu.be/kxstlfc8Lw4  
**Durata:** 29:08  
**Autor:** David Andre  
**Data salvat:** 2026-07-08  
**Tags:** @work @growth @ai @llm @fine-tuning

---

## TL;DR

Tutorial complet despre cum se fine-tunează modele AI masive (ex: Kimi K2.7 — 1 trilion parametri) pe date proprii, fără hardware de sute de mii de dolari, folosind platforma **Fireworks AI** și tehnica **LoRA**. Cost real pentru un fine-tune: ~$131.

---

## Puncte cheie

- **Kimi K2.7** este comparat cu Opus 4 și GPT-5, dar de 6-8x mai ieftin — unul dintre cele mai bune modele open-source acum
- **3 ingrediente** pentru fine-tuning: un model open-source, GPU-uri (prin platformă), un dataset de calitate
- **LoRA (Low Rank Adaptation)** = tehnica principă: nu antrenezi toți parametrii (imposibil), ci un "adapter" mic peste modelul înghețat — mult mai ieftin și rapid
- **HuggingFace** = sursa principală pentru datasets; recomandă dataset-uri generate de modele mai mari (ex: Fable) dacă fine-tunezi un model mare
- **Fireworks AI** = platforma folosită pentru training și deployment — interfață simplă, suportă LoRA pe Kimi K2.7, cu GPU-uri Nvidia B300 Blackwell (288 GB VRAM)
- **Costul real**: fine-tune pe dataset Fable 5 (~4600 rânduri, 1 epocă) = **$131**; un dataset mai mare a costat $800
- **Format dataset**: JSONL în formatul specific Fireworks; autorul oferă un "skill" gratuit pentru conversia oricărui dataset HuggingFace la formatul corect
- **Agenți AI în workflow**: David folosește Pi Agent, Codex, Claude Code pentru a automatiza pașii: download dataset, conversie format, verificare, wiring backend
- **Comparație fine-tuned vs default**: versiunea fine-tunată pe Fable afișează chain-of-thought (gândire vizibilă), răspunsuri mai bine formatate — deoarece Fable include thinking traces în dataset
- **Deployment simplu pe Fireworks**: alegi modelul custom, region global, GPU-uri B300, autoscaling opțional — gata să servești inferențe

---

## Pași practici (flux)

1. Alege model open-source (ex: Kimi K2.7 code)
2. Alege dataset de pe HuggingFace (de preferință de la model mai mare decât cel pe care îl fine-tunezi)
3. Descarcă dataset cu HuggingFace CLI (`huggingface-cli download ...`) — necesită token HF
4. Convertește dataset în format JSONL compatibil Fireworks (min 1000 rânduri recomandat)
5. Pe Fireworks AI: Fine-tuning → Supervised → selectezi Kimi K2.7 code LoRA → uploadeazi dataset → start
6. Când e gata (~câteva ore): Deployments → Create → selectezi modelul custom → deploy pe B300
7. Testează comparând răspunsurile față de modelul default

---

## Quote-uri relevante

> "If you want to fine-tune powerful models such as the ones with one trillion parameters, you'll need a lot of cutting-edge GPUs... each of these GPUs is like $40,000 and you can even buy eight at minimum." — de aceea folosești o platformă cloud

> "High-quality data is one of the most important factors. If you have a shitty dataset, you're going to have a shitty model."

> "A lot of you are wasting money on running everything on Opus or GPT-5, while you could get much better usage if you had the most powerful model for the planning and then the smaller open-source models that are faster."

---

## Idei acționabile pentru Marius

- [ ] Kimi K2.7 merită testat ca alternativă la Claude pentru task-uri repetitive (cost 7x mai mic) @work
- [ ] Fireworks AI = opțiune concretă dacă vrei să fine-tunezi un model pe date ROA/ERP (ex: răspunsuri standardizate pentru chatbot Maria) @work
- [ ] Dataset-ul pentru fine-tune chatbot Maria s-ar putea construi din întrebările frecvente ale clienților — deja ai sursa @work

---

## Surse menționate

- Fireworks AI: https://fireworks.ai
- HuggingFace datasets: https://huggingface.co/datasets
- Kimi K2.7 API: (primul link din video)
- Skill conversie dataset: (al doilea link din video — davidonj.com/skills)