Halo Halo
Italiano
Usa Halo ora
← Tutte le guide

Consumare inferenza da un endpoint locale (CLI)

Usa la CLI di halo per eseguire un endpoint locale compatibile con OpenAI che paga a richiesta dal tuo wallet: deposita una volta, fattura l'uso reale dei token, con controlli di spesa.

ConsumersCLI

Il ruolo consume esegue un endpoint locale compatibile con OpenAI che paga a richiesta dal tuo wallet, così qualsiasi client OpenAI ottiene inferenza senza chiavi API dei provider nel suo codice. Questa guida usa direttamente la CLI di halo. Preferisci lasciare che sia un agente a occuparsene? Consulta consuma con il tuo agente.

Halo è in alpha sulla mainnet di Base, con USDC reale. Richiede Node.js 20+.

Installa la CLI

bash <(curl -fsSL https://raw.githubusercontent.com/warden-protocol/run-halo/main/skill/scripts/install.sh)
halo doctor --json   # node version, install + wallet state, provider, endpoint + relay health

Configura ed esegui l’endpoint

# 1. one-time: wallet + a persisted consumer profile so `consume` needs no flags.
#    (setup wants a --provider slug even for pure consume; openai is a fine placeholder.)
halo setup --provider openai --consume --consume-model gpt-4o-mini \
  --consume-allow "gpt-4o-mini,meta-llama/llama-3.1-8b-instruct" \
  --consume-max-usdc 0.05 --consume-port 8799

# 2. fund the printed wallet with USDC on Base mainnet (this pays for inference),
#    plus a little ETH on Base for the vault deposit gas.

# 3. run the endpoint. --vault bills actual token usage; --vault-deposit funds it
#    and auto-refills mid-run so the endpoint never drops off the rail.
halo consume --vault --vault-deposit 5
#   endpoint : http://127.0.0.1:8799/v1

Invocalo come qualsiasi endpoint OpenAI

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8799/v1", api_key="halo")  # api_key unused unless --api-key set
resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Summarize Base mainnet in one sentence."}],
)
print(resp.choices[0].message.content)

Fatturazione e controlli

La modalità vault (--vault) è il canale di fatturazione consigliato: abbinala a --vault-deposit <usd> così l’endpoint si autofinanzia e si ricarica automaticamente durante l’esecuzione. Fattura i token reali usati da ogni richiesta (depositi una volta, liquidi in base all’uso reale), il che si allinea agli operatori con prezzo a margine, così paghi il costo reale per modello anziché un preventivo fisso. A parte il gas di deposito/prelievo, il gas di liquidazione è sponsorizzato da Halo.

Controlli chiave:

  • --max-usdc <n> — tetto per singola richiesta.
  • --budget-usdc <n> — limite cumulativo per l’esecuzione.
  • --consume-allow — lista dei modelli consentiti.
  • --confidential — instrada solo verso operatori TEE e cifra il prompt end-to-end verso l’enclave.

Mantienilo sempre attivo

Non lanciare il daemon in primo piano sotto un agente o un gateway (il riavvio del gateway termina i suoi processi figli). Installalo come servizio del sistema operativo:

halo service install consume -- --vault --vault-deposit 5
halo service status consume
halo service logs consume

Correlati