Marius Mutu
7b44749e5a
Jobul intern rula pe zile greșite (vineri/sâmbătă/marți în loc de joi/vineri/luni) din cauza convenției diferite de day-of-week dintre APScheduler și crontab standard. Scriptul standalone via OS crontab e mecanismul corect și funcțional — rămâne singura sursă. chore: sync stare working-tree — cron, KB notes, anaf-monitor snapshots
3.9 KiB
Fine-Tune the biggest open-source models (even with a bad PC)
URL: https://youtu.be/kxstlfc8Lw4
Durata: 29:08
Autor: David Andre
Data salvat: 2026-07-08
Tags: @work @growth @ai @llm @fine-tuning
TL;DR
Tutorial complet despre cum se fine-tunează modele AI masive (ex: Kimi K2.7 — 1 trilion parametri) pe date proprii, fără hardware de sute de mii de dolari, folosind platforma Fireworks AI și tehnica LoRA. Cost real pentru un fine-tune: ~$131.
Puncte cheie
- Kimi K2.7 este comparat cu Opus 4 și GPT-5, dar de 6-8x mai ieftin — unul dintre cele mai bune modele open-source acum
- 3 ingrediente pentru fine-tuning: un model open-source, GPU-uri (prin platformă), un dataset de calitate
- LoRA (Low Rank Adaptation) = tehnica principă: nu antrenezi toți parametrii (imposibil), ci un "adapter" mic peste modelul înghețat — mult mai ieftin și rapid
- HuggingFace = sursa principală pentru datasets; recomandă dataset-uri generate de modele mai mari (ex: Fable) dacă fine-tunezi un model mare
- Fireworks AI = platforma folosită pentru training și deployment — interfață simplă, suportă LoRA pe Kimi K2.7, cu GPU-uri Nvidia B300 Blackwell (288 GB VRAM)
- Costul real: fine-tune pe dataset Fable 5 (~4600 rânduri, 1 epocă) = $131; un dataset mai mare a costat $800
- Format dataset: JSONL în formatul specific Fireworks; autorul oferă un "skill" gratuit pentru conversia oricărui dataset HuggingFace la formatul corect
- Agenți AI în workflow: David folosește Pi Agent, Codex, Claude Code pentru a automatiza pașii: download dataset, conversie format, verificare, wiring backend
- Comparație fine-tuned vs default: versiunea fine-tunată pe Fable afișează chain-of-thought (gândire vizibilă), răspunsuri mai bine formatate — deoarece Fable include thinking traces în dataset
- Deployment simplu pe Fireworks: alegi modelul custom, region global, GPU-uri B300, autoscaling opțional — gata să servești inferențe
Pași practici (flux)
- Alege model open-source (ex: Kimi K2.7 code)
- Alege dataset de pe HuggingFace (de preferință de la model mai mare decât cel pe care îl fine-tunezi)
- Descarcă dataset cu HuggingFace CLI (
huggingface-cli download ...) — necesită token HF - Convertește dataset în format JSONL compatibil Fireworks (min 1000 rânduri recomandat)
- Pe Fireworks AI: Fine-tuning → Supervised → selectezi Kimi K2.7 code LoRA → uploadeazi dataset → start
- Când e gata (~câteva ore): Deployments → Create → selectezi modelul custom → deploy pe B300
- Testează comparând răspunsurile față de modelul default
Quote-uri relevante
"If you want to fine-tune powerful models such as the ones with one trillion parameters, you'll need a lot of cutting-edge GPUs... each of these GPUs is like $40,000 and you can even buy eight at minimum." — de aceea folosești o platformă cloud
"High-quality data is one of the most important factors. If you have a shitty dataset, you're going to have a shitty model."
"A lot of you are wasting money on running everything on Opus or GPT-5, while you could get much better usage if you had the most powerful model for the planning and then the smaller open-source models that are faster."
Idei acționabile pentru Marius
- Kimi K2.7 merită testat ca alternativă la Claude pentru task-uri repetitive (cost 7x mai mic) @work
- Fireworks AI = opțiune concretă dacă vrei să fine-tunezi un model pe date ROA/ERP (ex: răspunsuri standardizate pentru chatbot Maria) @work
- Dataset-ul pentru fine-tune chatbot Maria s-ar putea construi din întrebările frecvente ale clienților — deja ai sursa @work
Surse menționate
- Fireworks AI: https://fireworks.ai
- HuggingFace datasets: https://huggingface.co/datasets
- Kimi K2.7 API: (primul link din video)
- Skill conversie dataset: (al doilea link din video — davidonj.com/skills)