Servi modelli locali sulla tua GPU (Llama, Ollama, LM Studio)

Se hai una GPU, puoi servire modelli aperti direttamente dal tuo hardware: senza account provider, senza chiave API, senza costo per token per te. Halo già esegue modelli locali come llama3.2, qwen3, gemma3, phi3 e deepseek-r1 in questo modo.

Questa è la via locale di cosa servire. Preferisci rivendere un’API di un provider? Consulta esegui un operatore.

1. Esegui un server di modello locale

Usa uno dei due runtime: entrambi espongono un endpoint compatibile con OpenAI con cui parla la CLI di halo:

Ollama — ollama pull llama3.2 e poi ollama serve.
LM Studio — scarica un modello nell’app e avvia il suo server locale.

Scarica un modello che entri nella tua GPU (vedi il dimensionamento più sotto) e assicurati che risponda localmente prima di connettere Halo.

2. Punta il tuo operatore verso di esso

halo setup --provider ollama --flat 0.20    # o --provider lmstudio
halo serve

halo serve si connette in uscita al relay tramite WebSocket — nessun URL pubblico e nessuna porta in entrata aperta — annuncia i tuoi modelli locali e serve finché non viene fermato. Il tuo wallet di operatore non ha bisogno di finanziamento anticipato: l’USDC arriva alla liquidazione e Halo sponsorizza il gas.

Prezzi per i modelli locali

I modelli locali non hanno un prezzo per token di un upstream su cui applicare un margine, quindi imposta un prezzo fisso:

halo setup --provider ollama --flat <usd-per-1k-tokens>

--flat fissa un prezzo in USD per ogni 1.000 token. Scegli un numero che batta le API cloud per lo stesso modello, coprendo comunque l’elettricità e il tuo tempo. Di più su questo in prezzi e guadagni dell’operatore.

Dimensionamento approssimativo della GPU

Un modello deve entrare nella VRAM (pesi quantizzati + contesto):

Modelli da ~8B (Llama 3.1 8B, Qwen 8B) — comodi con ~8–12 GB di VRAM.
~4B e inferiori (gemma3:4b, qwen3:4b, phi3) — girano su schede modeste.
30B+ — richiede una configurazione di fascia alta o multi-GPU.

Inizia con un modello piccolo e popolare per provare il flusso, poi scala.

Tienilo in esecuzione

Un operatore locale guadagna solo mentre è online, quindi eseguilo come servizio:

halo service install serve
halo service status serve

Consulta mantieni il tuo operatore online per la configurazione completa.