Update emory, memory (~2)
This commit is contained in:
@@ -51,6 +51,27 @@ RAPOARTE (propun) | COACHING (inspiră) | FIȘE (când aprobă)
|
||||
2. Rulez: `python3 tools/youtube_subs.py URL`
|
||||
3. Salvez: `kb/youtube/YYYY-MM-DD_titlu.md` cu TL;DR, puncte cheie, tags
|
||||
|
||||
## Web Scraping - Reguli Anti-Rate-Limit
|
||||
|
||||
**⚠️ OBLIGATORIU pentru toate joburile de scraping:**
|
||||
- **Delay 3-5 secunde** între fiecare request (articole, pagini web)
|
||||
- **Delay 20 secunde** între video-uri YouTube (conform YOUTUBE-SETUP.md)
|
||||
- **Max 40 articole** per sesiune nocturnă (evită timeout)
|
||||
- **User-Agent:** Folosește user-agent real pentru web_fetch
|
||||
- **Respectă robots.txt** când e disponibil
|
||||
|
||||
**Aplicabil pentru:**
|
||||
- Articole blog (Monica Ion, etc.)
|
||||
- Video-uri YouTube
|
||||
- Orice web_fetch în loop
|
||||
|
||||
**Raționament:**
|
||||
- Prevent IP blocking
|
||||
- Respect server resources
|
||||
- Professional scraping etiquette
|
||||
|
||||
---
|
||||
|
||||
## Insights & Coaching
|
||||
|
||||
**insights-extract (08:00, 19:00):**
|
||||
|
||||
Reference in New Issue
Block a user