Specialisti da 7B che superano
i generalisti da 70B
nel tuo settore regolamentato, sulla tua infrastruttura EU.
EuLLM distilla e verticalizza modelli open-weight in specialisti 7B compatti per i settori legale, medico e tecnico — ospitati nell'UE, schede di conformità AI Act incluse.
Per team legali, responsabili compliance, strutture sanitarie e organizzazioni tecniche che non possono mandare dati verso i cloud americani.
- 70B → 7B
- Compressione del modello
- ~50×
- Costo inferenza vs frontier
- Visione+Audio
- Multimodale, tutto in locale
- AI Act
- Schede conformità integrate
- EIC 2026
- Candidato EIC Accelerator
La fucina di modelli verticali
Prendi un modello frontier da 70B e distillalo in uno specialista da 7B o 4B nel tuo settore — più preciso dell'originale nel tuo ambito. Meno compute, più precisione, piena sovranità EU.
- Structural pruning — rimozione della capacità irrilevante senza riaddestrare da zero
- Knowledge distillation — trasferimento della competenza specialistica in un modello più piccolo
- Quantization — massimizza il throughput sull'hardware che hai già
- Identity fine-tuning — identità su misura, brand voice e istruzioni
- Export GGUF — gira immediatamente su Engine, senza tooling aggiuntivo
Scegli il modello base
Qualsiasi modello frontier Apache 2.0 (70B, 32B…)
Definisci il tuo settore
Legale, medico, finanziario, tecnico…
Avvia la pipeline Forge
Prune → Distill → Quantize → Fine-tune
Esporta e deploya
Output GGUF, gira subito su Engine
Registro modelli con sede nell'UE
Modelli verticali pre-specializzati per i settori regolamentati europei, ospitati interamente nell'UE. Ogni modello include una scheda di conformità AI Act.
Legal IT
Analisi contratti, assessment GDPR, conformità al diritto UE — giurisdizione italiana
- ✓Addestrato su giurisprudenza italiana selezionata, codice civile e corpus normativo UE
- ✓7B parametri — scheda conformità AI Act ad alto rischio inclusa
- ✓Distillato da un modello frontier open-weight da 70B
Documentazione clinica, codifica ICD, supporto al triage
Valutazione del rischio, automazione KYC, reportistica MiFID II
Cerchi un verticale che non abbiamo ancora?
Costruiamo modelli specializzati su misura per il tuo settore regolamentato.
Tutti i modelli Hub usano esclusivamente pesi con licenza Apache 2.0 — sovranità white-label per le aziende europee. Vedi la roadmap completa →
Il runtime che fa girare tutto veloce
Un server di inferenza production-ready scritto in Rust — sostituto drop-in di Ollama con API compatibile OpenAI. Engine alimenta ogni modello verticale EULLM a 259 tok/s con telemetria zero al di fuori dell'UE. API sulla porta standard di Ollama (11434), chat UI integrata sulla 11435 — nessuna collisione.
- Multimodale (visione + audio) — OCR immagini, descrizione scene, trascrizione audio, tutto in locale su GPU consumer
- Continuous batching — 259 tok/s con 16 richieste concorrenti
- Accelerazione GPU: NVIDIA CUDA (testato), AMD ROCm, Vulkan, Apple Metal
- Quantized KV cache — Q4_0/Q5/Q8 per ~2-4× di context sulla stessa GPU
- Web browsing trasparente (--web) — model-agnostic, funziona con qualsiasi GGUF
- Dual-listener — API su :11434 (standard Ollama), chat UI su :11435 (~29 KB nel binario, zero CDN)
- Audit logging integrato per conformità EU AI Act
- Binari standalone: Linux x64 + Windows x64 testati · macOS e ARM64 sperimentali
# Download Engine (Linux x64)
curl -L https://github.com/eullm/eullm/releases/latest/download/eullm-linux-x64 -o eullm
chmod +x eullm
# Run a model
./eullm run ./model.gguf --batch-size 16
# OpenAI-compatible API on :11434
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen3","messages":[{"role":"user","content":"Ciao!"}]}'
Articoli recenti
13 giugno 2026 · 6 min read
Gli USA hanno già la sovranità sull'AI. L'Europa la sta ancora discutendo.
Il 12 giugno 2026 il governo statunitense ha ordinato ad Anthropic di tagliare l'accesso ai suoi modelli AI più avanzati per ogni non-americano sul pianeta. Senza preavviso. Senza appello. Senza eccezioni. Se cercavate un campanello d'allarme su cosa significhi davvero la sovranità digitale nella pratica, eccolo.
Leggi →
1 aprile 2026 · 5 min read
AI open-source in Europa: lo stato delle cose nel 2026
L'AI open-source europea è maturata più in fretta di quanto quasi chiunque avesse previsto. Da Mistral a Qwen a un ecosistema crescente di strumenti di infrastruttura, lo stack AI sovrano è reale — ed è competitivo.
Leggi →
15 marzo 2026 · 3 min read
EU AI Act: cosa significa per la tua organizzazione
L'EU AI Act è il primo regolamento organico sull'intelligenza artificiale al mondo. Ecco quello che le aziende europee devono sapere — e perché gestire la propria infrastruttura LLM sta diventando un requisito di conformità.
Leggi →
L'AI sovrana inizia qui
I tuoi dati restano in Europa. I tuoi modelli portano il tuo brand. Nessuna dipendenza da API, nessun vendor lock-in.