Local Embedding Server with 150 AI Models | Superlinked SIE

URL: https://youtu.be/wavL-C6C994 Durata: 9:01 Data salvat: 2026-07-11 Tags: @work @growth @ai @rag @self-hosted

TL;DR

Prezentare SIE (Superlinked Inference Engine) — un container Docker unic care înlocuiește cele trei servere separate necesare de obicei într-un pipeline RAG (embedding, reranker, entity extraction), fiecare cu propriul setup și management GPU. SIE vine cu 85+ modele pre-configurate (dense, sparse, multi-vector, vision, cross-encoder) expuse prin 3 funcții simple: encode (text → vector), score (rerank rezultate), extract (zero-shot NER — extragere entități fără antrenare, doar specifici label-urile la query time). Modelele sunt mici, rulează și pe CPU, nu necesită GPU.

Puncte cheie

Problema pe care o rezolvă: majoritatea plătesc per-token la OpenAI/Anthropic pentru embeddings SAU rulează 3 servere separate (embedding + reranker + entity extractor), fiecare cu setup/GPU/API propriu — devine complicat rapid, plus latență
SIE = un singur container Docker, 150 modele încărcate, servit pe port 8080
3 funcții: encode (text→vector, 1024 dimensiuni pentru BGE, cu flag query pentru a distinge search query de document), score (reranker — compară query + document direct, mai precis decât similaritate vectorială simplă), extract (NER zero-shot — dai label-uri la query time, ex. "person", "organization", "location", fără training)
Modelele sunt mici, rulează pe CPU fără probleme (nu necesită GPU puternic)
Instalare simplă via Docker; SDK Python separat pentru apeluri
Demo: encode "what is machine learning" → vector 1024 dim; rerank 3 candidați → scor 1.0 pentru cel relevant, 0.001 pentru cel irelevant; extract entități dintr-o propoziție despre Elon Musk → person/organization/location cu confidence scores

Quote-uri relevante

"Every RAG pipeline you build needs at least three things: an embedding model, a re-ranker, and often an entity extractor... most people are either paying OpenAI/Anthropic per token or running three separate model servers."

"One container, three primitives, 150 models, on your own system, quite lightweight stuff."

Idei acționabile pentru Marius

Dacă vreodată apare nevoie de RAG/semantic search self-hosted mai avansat decât Ollama all-minilm actual (ex. reranking pentru memory_search sau roa2web), SIE e o opțiune de investigat — rulează pe CPU, un singur container @work @growth
Nu e o prioritate acum (memory_search cu Ollama embeddings funcționează), dar util de reținut ca referință dacă apare nevoie de reranking sau NER zero-shot @growth

Surse menționate

Superlinked SIE (Superlinked Inference Engine) — open-source, Docker
Coupon code menționat în video: FahdMirza (sponsor Master Compute pentru VM/GPU cheap)

2.9 KiB Raw Blame History