Trei probleme legate, gasite testand cu capturi reale. 1. RASPUNSURI GENERICE. Cand raspunsul nu era in documente, modelul primea oricum top-3 chunk-uri si compunea ceva plauzibil — utilizatorul pleca cu impresia ca a primit ajutor. Acum, daca nu avem acoperire, modelul nu mai e intrebat deloc: intrebarea pleaca la suport, cu referinta (M-260831-A1B2) si confirmare onesta — "am trimis" doar daca notificarea chiar a plecat, altfel "am inregistrat, dar nu am putut trimite". Jurnalul se scrie intotdeauna, in ~/.maria-bridge/escalations/, si se vede in dashboard. Daca a fost o captura, imaginea insasi se retrimite la suport (endpoint nou /send-image, limitat la MEDIA_DIR). 2. ORDONARE (rank.py). Un prag pe cosinus nu putea decide "avem raspunsul?": masurat pe indexul viu, intrebarile bune dau 0,600-0,816 si cele straine 0,534-0,685 — intervale care SE SUPRAPUN. Lipseau codurile: ORA-01722, D406, CIF sunt tokeni exacti pe care cautarea semantica ii topeste. Acum se ordoneaza de doua ori — embeddings si BM25 — si se fuzioneaza clasamentele (RRF), iar decizia de acoperire se ia pe dovezi: cosinus mare, sau cosinus de mijloc cu o fractiune din termenii distinctivi gasita chiar in chunk-uri. Fractiunea conteaza: cu un singur termen, "cum imi resetez parola de la Windows" trecea drept acoperita fiindca "parola" apare in documente. Pragurile sunt masurate, nu alese: ops/calibrate-rank.py ruleaza un set de cazuri pe indexul real si matura grila. 15/15 la strong=0.70 weak=0.58 ratio=0.5. 3. DICTIONAR DE ERORI ORACLE. 29 de erori uzuale, scrise pentru utilizatorul din fata aplicatiei: ce inseamna, ce poate incerca singur, cand sa sune. Fara nume de servere, IP-uri sau pasi de administrare — Maria e chatbot pentru clienti. Fisierul din git e SAMANTA: depozitul e oglinda Drive-ului, deci trebuie pus in document_store ca sa nu dispara la sincronizare. Pe drum, doua lucruri gasite in log: - fiecare mesaj din self-chat sosea de DOUA ori, pe @s.whatsapp.net si pe @lid, deci Maria raspundea de doua ori. Dedup pe key.id in punte. - reindexarea reface toate embeddings-urile (~7 s fiecare pe CPU): adaugarea unui document la 170 de chunk-uri insemna 20 de minute. Acum refoloseste vectorii chunk-urilor nemodificate din indexul precedent, fara vreun fisier nou de stare. Textul OCR se logheaza acum INTEGRAL, cu interogarea de cautare si sursele alese cu scorurile lor — fara asta un raspuns gresit nu se poate explica: nu stiai daca a citit prost captura sau a cautat prost in documente. 6 fisiere de test noi/extinse, 68 pass (de la 42). Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Q4uzvgm7AyJch5WH8QHRhY
150 lines
5.1 KiB
Python
150 lines
5.1 KiB
Python
"""Configuratie comuna a puntii WhatsApp+RAG pentru Maria (LXC 171 claude-agent).
|
|
|
|
Citeste ~/.maria-bridge/env (KEY=value, tolerant la comentarii si ghilimele).
|
|
Mirrors deliberat conventiile din discord-bridge/config.py, ca sa fie un singur
|
|
model de citit pentru cine intretine ambele punti pe acest container.
|
|
"""
|
|
|
|
from __future__ import annotations
|
|
|
|
import contextlib
|
|
import fcntl
|
|
import os
|
|
import pathlib
|
|
|
|
# Directorul de baza poate fi mutat in teste prin MARIA_BRIDGE_DIR.
|
|
_DEFAULT_DIR = pathlib.Path.home() / ".maria-bridge"
|
|
|
|
STATE_DIR: pathlib.Path = pathlib.Path(os.environ.get("MARIA_BRIDGE_DIR") or _DEFAULT_DIR)
|
|
DOCS_DIR: pathlib.Path = STATE_DIR / "documents"
|
|
INDEX_FILE: pathlib.Path = STATE_DIR / "rag_index.json"
|
|
LOCK_FILE: pathlib.Path = STATE_DIR / ".rag.lock"
|
|
LOG_DIR: pathlib.Path = STATE_DIR / "logs"
|
|
ENV_FILE: pathlib.Path = STATE_DIR / "env"
|
|
AUTH_DIR: pathlib.Path = STATE_DIR / "whatsapp-auth"
|
|
|
|
_env: dict[str, str] = {}
|
|
|
|
# Valori implicite. LLM_URL/OLLAMA_URL presupun tunel/proxy local catre backend-ul
|
|
# real (vezi docs/maria-whatsapp-rag-prototype.md) — de completat in env dupa caz.
|
|
DEFAULTS: dict[str, str] = {
|
|
"BRIDGE_HOST": "127.0.0.1",
|
|
"BRIDGE_PORT": "8099",
|
|
"LLM_URL": "http://127.0.0.1:8091",
|
|
"OLLAMA_URL": "http://127.0.0.1:11434",
|
|
"EMBED_MODEL": "nomic-embed-text",
|
|
"TOP_K": "3",
|
|
"MAX_TOKENS": "250",
|
|
"POLL_INTERVAL_S": "2",
|
|
"TEST_MODE_SELF_CHAT_ONLY": "true",
|
|
# OCR pentru capturile de ecran primite pe WhatsApp (vezi rag/ocr.py).
|
|
"OCR_LANGS": "ron+eng",
|
|
"OCR_MAX_CHARS": "1500",
|
|
"OCR_TIMEOUT_S": "60",
|
|
# Ordonarea chunk-urilor si pragul de la care se considera ca raspunsul chiar
|
|
# e in documente (vezi rag/rank.py pentru masuratoarea din spatele valorilor).
|
|
"RANK_STRONG_COSINE": "0.70",
|
|
"RANK_WEAK_COSINE": "0.58",
|
|
"RANK_RECALL_N": "12",
|
|
"RANK_MIN_RARE_RATIO": "0.5",
|
|
# Unde pleaca intrebarile fara raspuns: JID de WhatsApp, ex.
|
|
# "40712345678@s.whatsapp.net" sau "1203...@g.us" pentru un grup.
|
|
# Gol = escaladarile se scriu doar in jurnal (~/.maria-bridge/escalations/).
|
|
"SUPPORT_JID": "",
|
|
# Tinta rclone pentru sincronizarea depozitului de documente, ex:
|
|
# "gdrive,root_folder_id=1C4e75zgH1_7ZK-_oBP5ZZBvUPh3iEo1O:" (dosarul
|
|
# document_store din Drive, vazut pe Windows ca D:\GoogleDrive\romfast\document_store).
|
|
# Gol = sincronizare dezactivata, doar upload manual din dashboard.
|
|
"DRIVE_REMOTE": "",
|
|
}
|
|
|
|
|
|
def parse_env(text: str) -> dict[str, str]:
|
|
"""Parseaza un fisier de tip KEY=value. Nu arunca niciodata."""
|
|
out: dict[str, str] = {}
|
|
for raw in text.splitlines():
|
|
line = raw.strip()
|
|
if not line or line.startswith("#"):
|
|
continue
|
|
if line.startswith("export "):
|
|
line = line[len("export "):].strip()
|
|
if "=" not in line:
|
|
continue
|
|
key, _, val = line.partition("=")
|
|
key = key.strip()
|
|
if not key:
|
|
continue
|
|
val = val.strip()
|
|
if val[:1] not in ("'", '"'):
|
|
cut = val.find(" #")
|
|
if cut >= 0:
|
|
val = val[:cut].rstrip()
|
|
if len(val) >= 2 and val[0] == val[-1] and val[0] in ("'", '"'):
|
|
val = val[1:-1]
|
|
out[key] = val
|
|
return out
|
|
|
|
|
|
def reload(base_dir: str | os.PathLike | None = None) -> dict[str, str]:
|
|
"""Recalculeaza caile si reciteste env-ul. Returneaza dictionarul incarcat."""
|
|
global STATE_DIR, DOCS_DIR, INDEX_FILE, LOCK_FILE, LOG_DIR, ENV_FILE, AUTH_DIR, _env
|
|
if base_dir is None:
|
|
base_dir = os.environ.get("MARIA_BRIDGE_DIR") or _DEFAULT_DIR
|
|
STATE_DIR = pathlib.Path(base_dir)
|
|
DOCS_DIR = STATE_DIR / "documents"
|
|
INDEX_FILE = STATE_DIR / "rag_index.json"
|
|
LOCK_FILE = STATE_DIR / ".rag.lock"
|
|
LOG_DIR = STATE_DIR / "logs"
|
|
ENV_FILE = STATE_DIR / "env"
|
|
AUTH_DIR = STATE_DIR / "whatsapp-auth"
|
|
try:
|
|
_env = parse_env(ENV_FILE.read_text(encoding="utf-8"))
|
|
except OSError:
|
|
_env = {}
|
|
return _env
|
|
|
|
|
|
def get(key: str, default: str | None = None) -> str | None:
|
|
if key in _env:
|
|
return _env[key]
|
|
if key in DEFAULTS:
|
|
return DEFAULTS[key]
|
|
return default
|
|
|
|
|
|
def get_int(key: str, default: int) -> int:
|
|
try:
|
|
return int(get(key, str(default)) or default)
|
|
except (TypeError, ValueError):
|
|
return default
|
|
|
|
|
|
reload()
|
|
|
|
|
|
class Busy(RuntimeError):
|
|
"""Alta reindexare e deja in curs."""
|
|
|
|
|
|
@contextlib.contextmanager
|
|
def exclusive():
|
|
"""Lacat intre PROCESE pentru reindexare (timer vs dashboard vs rulare manuala).
|
|
|
|
Reindexarea dureaza minute (embeddings pe CPU). Fara lacat, `maria-sync.timer`
|
|
poate porni peste o sincronizare manuala si ambele scriu acelasi rag_index.json.
|
|
Nu asteptam: a doua rulare se anuleaza curat, fiindca oricum ar reface acelasi
|
|
lucru imediat dupa.
|
|
"""
|
|
STATE_DIR.mkdir(parents=True, exist_ok=True)
|
|
fh = open(LOCK_FILE, "w", encoding="utf-8")
|
|
try:
|
|
try:
|
|
fcntl.flock(fh, fcntl.LOCK_EX | fcntl.LOCK_NB)
|
|
except OSError:
|
|
raise Busy("o reindexare e deja in curs")
|
|
fh.write(str(os.getpid()))
|
|
fh.flush()
|
|
yield
|
|
finally:
|
|
fh.close()
|