commands: stats.md + batch.md aligned to canonical spec (Romanian, STOPPING_RULE highlight, _batch summary format)
This commit is contained in:
Marius
@@ -1,95 +1,106 @@
|
||||
---
|
||||
description: Run vision extraction in parallel on multiple screenshots (default screenshots/inbox/), then serial-append the results with partial-failure handling.
|
||||
argument-hint: "[dir_or_glob] [--limit N] [--calibration]"
|
||||
description: Procesează toate screenshot-urile din screenshots/inbox/ paralel (5 agenți). Append serial cu partial-failure semantics.
|
||||
argument-hint: "[N max_parallel=5]"
|
||||
---
|
||||
|
||||
# /batch — parallel vision extraction over multiple screenshots
|
||||
# /batch — parallel vision extraction over screenshots/inbox/
|
||||
|
||||
Procesează screenshot-uri multiple. Lansează până la **5 subagenți `m2d-extractor` în paralel** (cap rigid — protejează context window și rate limits). După ce toți revin, append-ezi rezultatele **serial** (`append_row` citește/scrie CSV — paralelism la write = corupție garantată).
|
||||
|
||||
## Arguments
|
||||
|
||||
- `$1` (opțional) — director sau glob. Default `screenshots/inbox/`. Exemplu: `screenshots/inbox/2025-09-*.png`.
|
||||
- `--limit N` (opțional) — procesează doar primele N screenshot-uri (în ordine alfabetică). Default: toate.
|
||||
- `--calibration` (flag) — `source=vision_calibration` în loc de `vision`.
|
||||
Procesează screenshot-uri multiple din `screenshots/inbox/`. Lansează până la **5 subagenți `m2d-extractor` în paralel** (cap rigid — context window + rate limits). După ce toți revin, append-ezi rezultatele **serial** (`append_row` citește/scrie CSV — paralelism la write = ID collision garantat).
|
||||
|
||||
## Workflow
|
||||
|
||||
### Fază 1 — Colectează lista
|
||||
|
||||
1. Enumeră fișierele PNG/JPG match-uind argumentul. Sortează alfabetic. Aplică `--limit` dacă există.
|
||||
2. Dacă lista e goală → raportezi "Nimic de procesat în <path>" și te oprești.
|
||||
3. Dacă lista are 1 element → sugerează `/backtest` în loc și continuă cu batch.
|
||||
1. Listează `screenshots/inbox/*.png` (sortat alfabetic).
|
||||
2. Dacă lista e goală → afișează `Inbox gol. Adaugă PNG-uri în screenshots/inbox/.` și oprește.
|
||||
3. Dacă `$ARGUMENTS` conține un număr `N`, folosește-l ca `max_parallel` în loc de 5 (dar nu depăși niciodată 5 — hard cap).
|
||||
|
||||
### Fază 2 — Extracție paralelă (max 5 concurent)
|
||||
|
||||
Procesezi în **batch-uri de 5**. Pentru fiecare batch:
|
||||
Procesezi în **batch-uri de `max_parallel`**. Pentru fiecare batch:
|
||||
|
||||
- Lansezi câte un Task tool call cu `subagent_type: "m2d-extractor"` pentru fiecare screenshot, ÎN ACELAȘI MESAJ (tool calls paralele). Prompt-ul per agent:
|
||||
- Lansezi câte un Task tool call cu `subagent_type: "m2d-extractor"` pentru fiecare screenshot, ÎN ACELAȘI MESAJ (tool calls paralele). Prompt per agent:
|
||||
|
||||
```
|
||||
Extrage trade din `<absolute_path>`. Scrie JSON la `data/extractions/<basename_no_ext>.json` și log la `data/extractions/<basename_no_ext>.log`.
|
||||
|
||||
screenshot_path: <absolute_path>
|
||||
screenshot_file: <basename>
|
||||
```
|
||||
|
||||
- Aștepți să se întoarcă toți cinci. Pentru fiecare, verifici că `data/extractions/<basename_no_ext>.json` a fost scris.
|
||||
- Treci la următorul batch de 5.
|
||||
- Aștepți să se întoarcă toți. Treci la următorul batch.
|
||||
|
||||
**De ce 5**: peste 5 sub-agenți paraleli începi să saturezi context window-ul orchestratorului cu output-urile lor și rate limits-urile API-ului. Cap rigid.
|
||||
**De ce max 5**: peste 5 sub-agenți paraleli începi să saturezi context window-ul orchestratorului cu output-urile lor și rate limits-urile API-ului. Cap rigid.
|
||||
|
||||
### Fază 3 — Append serial cu partial-failure
|
||||
|
||||
Pentru fiecare screenshot din lista originală, **în ordine**:
|
||||
Ține trei liste: `ok`, `rejected`, `failed`. Pentru fiecare PNG din lista originală, **în ordine alfabetică**:
|
||||
|
||||
1. Verifică `data/extractions/<basename_no_ext>.json`:
|
||||
- Lipsă → log "missing JSON, agent abort", mută screenshot-ul la `screenshots/needs_review/`, continuă cu următorul.
|
||||
- Citește JSON. Dacă `confidence == "low"` SAU `"image_unreadable" in ambiguities` → mută la `needs_review/`, continuă.
|
||||
1. **Verifică existența JSON-ului** `data/extractions/<basename_no_ext>.json`:
|
||||
- Lipsește sau e corupt → mută PNG la `screenshots/needs_review/<basename>`, adaugă la `failed` cu motiv `missing/invalid JSON`, continuă.
|
||||
|
||||
2. Apelează append:
|
||||
2. **Apelează append** (source = `vision` — `/batch` nu suportă calibration, pentru asta folosește `/backtest --calibration` individual):
|
||||
|
||||
```bash
|
||||
python -c "from pathlib import Path; from scripts.append_row import append_extraction; import json; r = append_extraction(Path('data/extractions/<basename_no_ext>.json'), source='<source>'); print(json.dumps(r, default=str))"
|
||||
python -c "from pathlib import Path; from scripts.append_row import append_extraction; import json; r = append_extraction(Path('data/extractions/<basename_no_ext>.json'), source='vision'); print(json.dumps(r, default=str))"
|
||||
```
|
||||
|
||||
`<source>` = `vision_calibration` dacă `--calibration`, altfel `vision`.
|
||||
3. **Reacționezi**:
|
||||
- `status == "ok"` → mută PNG la `screenshots/processed/<basename>`, adaugă la `ok` cu `id`, `set`, `outcome_path`.
|
||||
- `status == "rejected"` → mută PNG la `screenshots/needs_review/<basename>`, mută JSON la `data/extractions/rejected/<basename_no_ext>.json` (creează folderul dacă lipsește), adaugă la `rejected` cu `reason`.
|
||||
|
||||
3. Reacționezi la rezultat:
|
||||
- `status == "ok"` → ține minte ID-ul, mută screenshot la `screenshots/processed/<basename>` dacă era în inbox.
|
||||
- `status == "rejected"`, `reason` conține "duplicate" → ține minte ca skip; NU muta screenshot-ul (deja procesat).
|
||||
- `status == "rejected"`, alt reason → log motivul, mută la `needs_review/`.
|
||||
|
||||
4. NU oprești batch-ul la primul fail. Continuă până la capăt.
|
||||
4. **NU oprești batch-ul la primul fail**. Continuă până la capăt.
|
||||
|
||||
### Fază 4 — Regenerează MD o singură dată
|
||||
|
||||
După ce toate append-urile s-au terminat (chiar și parțial), rulezi UNA SINGURĂ DATĂ:
|
||||
|
||||
```bash
|
||||
python scripts/regenerate_md.py
|
||||
python -m scripts.regenerate_md
|
||||
```
|
||||
|
||||
(Regenerarea după fiecare append e wasteful; CSV-ul e sursa de adevăr, MD-ul e mirror.)
|
||||
(MD regen după fiecare append e wasteful; CSV-ul e sursa de adevăr.)
|
||||
|
||||
### Fază 5 — Raport final
|
||||
### Fază 5 — Scrie summary la `data/extractions/_batch_<utc_timestamp>.md`
|
||||
|
||||
Format:
|
||||
`<utc_timestamp>` format ISO compact (ex: `2026-05-13T15-45-21Z`). Conținut:
|
||||
|
||||
```markdown
|
||||
# Batch run <iso_utc_timestamp>
|
||||
|
||||
Total: <N> | OK: <n_ok> | REJECTED: <n_rej> | FAILED: <n_fail>
|
||||
|
||||
## OK
|
||||
- <basename>.png → id=<id>, set=<set>, outcome_path=<outcome_path>
|
||||
- ...
|
||||
|
||||
## REJECTED
|
||||
- <basename>.png — reason: <reason>
|
||||
- ...
|
||||
|
||||
## FAILED
|
||||
- <basename>.png — <motiv: missing/invalid JSON>
|
||||
- ...
|
||||
```
|
||||
|
||||
Secțiuni goale se omit (dacă REJECTED e gol, nu scrii secțiunea).
|
||||
|
||||
### Fază 6 — Afișează summary user-ului
|
||||
|
||||
Format scurt în terminal:
|
||||
|
||||
```
|
||||
/batch terminat. Procesat <total> screenshot-uri.
|
||||
OK: <n_ok> (trade-uri #<id1>, #<id2>, ...)
|
||||
Duplicate: <n_dup> (skipped — deja în CSV)
|
||||
Needs review: <n_nr> (mutate la screenshots/needs_review/)
|
||||
- <basename1>: <motiv>
|
||||
- <basename2>: <motiv>
|
||||
Erori: <n_err>
|
||||
- <basename>: <reason>
|
||||
Regenerat data/jurnal.md (<total_rows> rânduri).
|
||||
/batch terminat. Total <N> screenshot-uri.
|
||||
OK: <n_ok> (trade-uri #<id1>, #<id2>, ...)
|
||||
REJECTED: <n_rej> (mutate la screenshots/needs_review/)
|
||||
FAILED: <n_fail> (mutate la screenshots/needs_review/, JSON lipsă)
|
||||
Regenerat data/jurnal.md.
|
||||
Summary scris la data/extractions/_batch_<utc_timestamp>.md.
|
||||
```
|
||||
|
||||
## Reguli
|
||||
|
||||
- **Cap concurrency la 5**. Niciodată mai mulți subagenți paraleli — chiar și pentru un batch mare. Procesezi în secvențe de batch-uri de 5.
|
||||
- **Append serial obligatoriu**. `append_extraction` citește CSV-ul, computează `next_id` și scrie atomic; rulat în paralel ar duce la ID-uri duplicat sau pierderi.
|
||||
- **Hard cap concurrency la 5**. Chiar dacă `max_parallel` argumentat e mai mare, clamp la 5.
|
||||
- **Append serial obligatoriu**. `append_extraction` citește CSV, computează `next_id`, scrie atomic; rulat paralel = ID-uri duplicate sau pierderi.
|
||||
- **Partial failure = continuă**. Un screenshot prost nu blochează restul batch-ului.
|
||||
- **MD regen o singură dată** la final.
|
||||
- **Path discipline pentru subagent neschimbată**: agentul scrie doar la `data/extractions/`. Tu, ca orchestrator, muți screenshot-uri.
|
||||
- **Path discipline pentru subagent neschimbată**: agentul scrie doar la `data/extractions/`. Tu (orchestrator) muți screenshot-uri și rejected JSON-uri.
|
||||
- `/batch` folosește mereu `source=vision`. Pentru calibration, rulează `/backtest --calibration` individual pe fiecare screenshot.
|
||||
|
||||
Reference in New Issue
Block a user