Update dashboard, memory, root (+14 ~5)
This commit is contained in:
Echo
209
memory/kb/youtube/2026-03-15-autoresearch-claude-skills.md
Normal file
209
memory/kb/youtube/2026-03-15-autoresearch-claude-skills.md
Normal file
@@ -0,0 +1,209 @@
|
||||
# Stop Fixing Your Claude Skills. Autoresearch Does It For You
|
||||
|
||||
**URL:** https://youtu.be/qKU-e0x2EmE
|
||||
**Durată:** 16:32
|
||||
**Data salvare:** 2026-03-15
|
||||
**Tags:** @work @project #claude-code #optimization #autoresearch #skills
|
||||
|
||||
---
|
||||
|
||||
## 📊 TL;DR
|
||||
|
||||
Metodologie de optimizare automată a Claude Code skills bazată pe repo-ul Autoresearch de la Andrej Karpathy (ex-OpenAI, Tesla AI). În loc să fixezi manual skill-urile care funcționează ~70% din timp, folosești agenți care rulează teste automate, evaluează output-ul pe baza unor criterii binare (yes/no), și îmbunătățesc prompt-ul iterativ până la rezultate aproape perfecte (39/40 = 97.5%). Metoda se aplică și la: optimizare site-uri web, cold emails, landing pages, thumbnails - orice are metric măsurabil și proces repetitiv.
|
||||
|
||||
**Impact real:** Site-ul autorului: de la 1100ms → 67ms (îmbunătățire 81.3%) în 67 de teste automate.
|
||||
|
||||
---
|
||||
|
||||
## 🎯 Puncte Cheie
|
||||
|
||||
### Conceptul Autoresearch
|
||||
|
||||
1. **Origine:** Repo GitHub de la Andrej Karpathy - permite echipe de agenți să optimizeze autonom procese
|
||||
2. **Aplicabilitate largă:** NU doar pentru skills - și pentru website speed, cold emails, landing pages, split testing
|
||||
3. **Trei fișiere esențiale:**
|
||||
- `prepare.py` (ML specific, skip pentru skills)
|
||||
- `train.py` (echivalent: SKILL.md)
|
||||
- `program.md` (echivalent: agentul tău)
|
||||
|
||||
### Ingrediente Necesare
|
||||
|
||||
**1. Metric obiectiv** - un număr măsurabil:
|
||||
- Website: load time (ms)
|
||||
- Cold emails: reply rate
|
||||
- Skills: eval pass rate
|
||||
|
||||
**2. Tool de măsurare** - automatizat, fără human-in-the-loop:
|
||||
- Website: Google Lighthouse
|
||||
- Cold emails: API analytics (instantly)
|
||||
- Skills: test suite scris de agent
|
||||
|
||||
**3. Ceva de schimbat:**
|
||||
- Website: cod
|
||||
- Cold emails: copy
|
||||
- Skills: prompt-ul (SKILL.md)
|
||||
|
||||
### Procesul pentru Skills
|
||||
|
||||
1. **Define eval criteria** - întrebări binare yes/no:
|
||||
- Exemplu diagram generator:
|
||||
- Text legibil și gramatical corect? ✓/✗
|
||||
- Color palette corect (pastel)? ✓/✗
|
||||
- Linear (left-to-right sau top-to-bottom)? ✓/✗
|
||||
- Fără numere/ordinale (1,2,3)? ✓/✗
|
||||
|
||||
2. **Run multiple tests** - prompt-urile sunt inherent "noisy":
|
||||
- Rulează 10 diagrame per test
|
||||
- 4 criterii × 10 diagrame = scor max 40
|
||||
- AI evaluează toate 10, calculează scor total
|
||||
- Modifică prompt-ul, rulează din nou
|
||||
- Păstrează varianta câștigătoare
|
||||
|
||||
3. **Iterate automat** - la fiecare 2-5 min:
|
||||
- Generate → Evaluate → Mutate → Keep winner
|
||||
- Continuu până la target score (ex: 39/40 = 97.5%)
|
||||
|
||||
### Best Practices Eval
|
||||
|
||||
✅ **DA:**
|
||||
- Întrebări binare yes/no
|
||||
- Simplu, clar, măsurabil
|
||||
- "Does this diagram contain X?"
|
||||
|
||||
❌ **NU:**
|
||||
- Likert scales (1-7) - prea multă variabilitate
|
||||
- Constrângeri prea stricte ("sub X words", "fără simboluri Y")
|
||||
- Prea multe eval-uri → modelul învață să "parieze" eval-urile, nu calitatea reală
|
||||
|
||||
**Analogie:** Student care ia 100% fără să înțeleagă materia - optimizează pentru test, nu pentru cunoștințe.
|
||||
|
||||
### Cost & ROI
|
||||
|
||||
- **Diagram generator:** ~2¢ per generare (Nano Banana Pro 2)
|
||||
- **Per test:** 10 diagrame = 20¢
|
||||
- **Total optimizare:** 50 teste × 20¢ = ~$10
|
||||
- **ROI:** Un video YouTube bun = câteva sute $ ad revenue/zi → investiție neglijabilă
|
||||
|
||||
### Exemplu Real (Diagram Generator)
|
||||
|
||||
**Skill:**
|
||||
- Input: descriere natural language
|
||||
- Output: diagram handdrawn style, pastel colors, white background
|
||||
- Tool: Nano Banana Pro 2 → Excalidraw
|
||||
- Start: 32/40 (80%)
|
||||
- Final: 39/40 (97.5%)
|
||||
|
||||
**Evaluare automată:**
|
||||
- Claude Sonnet Vision analizează fiecare diagram
|
||||
- Verifică cele 4 criterii
|
||||
- Dashboard real-time cu rezultate
|
||||
|
||||
### Aplicabilitate Largă
|
||||
|
||||
🔄 **Ce poate fi optimizat:**
|
||||
- Skills (proposal generator, auto research, agent review, model chat)
|
||||
- Website performance (loading speed, UX metrics)
|
||||
- Marketing (landing pages, email campaigns, thumbnails)
|
||||
- Orice proces cu metric măsurabil + iterații frecvente
|
||||
|
||||
📈 **Scaling:**
|
||||
- Rulează automat zile/săptămâni/luni
|
||||
- Începi de la 2/100 → eventual excelent
|
||||
- Important: defineșe eval-uri corecte
|
||||
|
||||
### Meta-aplicare
|
||||
|
||||
**Skill pentru skill-uri:**
|
||||
- Creează meta-skill care optimizează automat TOATE skill-urile din repo
|
||||
- Rulează periodic pentru a menține calitatea
|
||||
- Acumulează research data → transferabilă la modele viitoare (GPT-6, Opus 5.0)
|
||||
|
||||
---
|
||||
|
||||
## 💡 Quote-uri Cheie
|
||||
|
||||
> "I freaking love Cloud Code skills. I think you do, too. But sometimes they're a little bit unreliable. I would say about 70% of the time I run a skill, I get an intended output. About 30% of the time, it's a bag of rocks."
|
||||
|
||||
> "This is probably soon to be one of the most important and valuable assets of our time - just a bunch of research data."
|
||||
|
||||
> "All machine learning and all AI outputs are distributions of data. In order for us to control against that and allow us to make iterations and improvements on them, we just need to run them many, many times."
|
||||
|
||||
> "Go binary wherever possible. If you give the model way too many evals what it'll eventually do is it'll just find a way to parrot every single evaluation point back to you."
|
||||
|
||||
> "You don't just have to use it for skills. You can use auto research for your websites, for your landing pages, for split testing titles, thumbnails, emails, literally whatever the heck you want."
|
||||
|
||||
---
|
||||
|
||||
## 🛠️ Implementare Rapidă
|
||||
|
||||
1. **Setup:** Claude Code + Antigravity (sau alt environment)
|
||||
2. **Grab repo:** Andrej Karpathy autoresearch GitHub
|
||||
3. **Define eval:** 4-6 criterii binare pentru output-ul dorit
|
||||
4. **Prompt agent:**
|
||||
- "Use autoresearch to improve [SKILL_NAME]"
|
||||
- "Eval suite: [CRITERIA]"
|
||||
- "Run 10 tests every 2 min, score out of [MAX], iterate prompt"
|
||||
5. **Monitor:** Dashboard real-time cu scoruri
|
||||
6. **Deploy:** Când hit target score, folosește noul prompt
|
||||
|
||||
---
|
||||
|
||||
## 🔗 Resurse
|
||||
|
||||
- Autoresearch repo: GitHub (Andrej Karpathy)
|
||||
- Full 4h Claude Code course (link în descriere)
|
||||
- Template autoresearch: "No email, no gatekeeping" - acces direct
|
||||
|
||||
---
|
||||
|
||||
## ⚡ Idei pentru Aplicare (Marius)
|
||||
|
||||
### Immediate (Skills Existente)
|
||||
|
||||
1. **ralph_workflow.py optimization:**
|
||||
- Eval: PRD completeness, story clarity, code quality
|
||||
- Target: 90%+ success rate fără erori
|
||||
|
||||
2. **email_process.py:**
|
||||
- Eval: TL;DR acuratețe, insight extraction relevance
|
||||
- Target: capture 95%+ informație importantă
|
||||
|
||||
3. **youtube_subs.py + procesare:**
|
||||
- Eval: puncte cheie comprehensive, quote-uri reprezentative
|
||||
- Target: utilizabilitate imediată fără re-citire video
|
||||
|
||||
### Strategic (Noi Oportunități)
|
||||
|
||||
4. **ROA documentation auto-improvement:**
|
||||
- Eval: claritate explicații, completitudine exemple
|
||||
- Generează automat FAQ-uri pentru chatbot Maria
|
||||
|
||||
5. **Cold email templates (dacă vrei clienți noi):**
|
||||
- Eval: reply rate, meeting booking rate
|
||||
- A/B testing automat pe copii diferite
|
||||
|
||||
6. **Website roa2web.romfast.ro:**
|
||||
- Eval: load time, mobile responsiveness, UX flow
|
||||
- Optimizare automată performance
|
||||
|
||||
### Meta (Productivity Boost)
|
||||
|
||||
7. **Meta-skill pentru toate skill-urile Echo:**
|
||||
- Rulează nightly optimization pe toate skill-urile active
|
||||
- Tracking: scor înainte/după, changelog iterații
|
||||
- Goal: 95%+ reliability pentru toate tool-urile folosite frecvent
|
||||
|
||||
---
|
||||
|
||||
## 📌 Notițe Personale
|
||||
|
||||
- **Principiul 80/20 aplicat la AI:** În loc să fixezi manual 30% failures, automatizezi procesul de îmbunătățire
|
||||
- **Cost neglijabil vs timp economisit:** $10 pentru skill perfect vs ore de debugging manual
|
||||
- **Research data = asset viitor:** Iterațiile rămân utile pentru modele următoare (GPT-6, Opus 5.0)
|
||||
- **Aplicabilitate universală:** Oriunde ai metric + proces repetitiv → candidat pentru autoresearch
|
||||
|
||||
---
|
||||
|
||||
**Processed by:** Echo
|
||||
**Model:** Sonnet 4.5
|
||||
**Next steps:** Update notes index, consider autoresearch pentru skills critice
|
||||
Reference in New Issue
Block a user