Halo Halo
Português
Usar o Halo agora
← Todos os guias

Consumir inferência de um endpoint local (CLI)

Use a CLI do halo para rodar um endpoint local compatível com OpenAI que paga por requisição da sua wallet: deposite uma vez, cobre o uso real de tokens, com controles de gasto.

ConsumersCLI

O papel consume roda um endpoint local compatível com OpenAI que paga por requisição da sua wallet, de modo que qualquer cliente OpenAI obtém inferência sem chaves de API de provedores no seu código. Este guia usa a CLI do halo diretamente. Prefere deixar um agente cuidar disso? Confira consuma com o seu agente.

O Halo está em alfa na mainnet da Base, com USDC real. Requer Node.js 20+.

Instale a CLI

bash <(curl -fsSL https://raw.githubusercontent.com/warden-protocol/run-halo/main/skill/scripts/install.sh)
halo doctor --json   # node version, install + wallet state, provider, endpoint + relay health

Configure e execute o endpoint

# 1. one-time: wallet + a persisted consumer profile so `consume` needs no flags.
#    (setup wants a --provider slug even for pure consume; openai is a fine placeholder.)
halo setup --provider openai --consume --consume-model gpt-4o-mini \
  --consume-allow "gpt-4o-mini,meta-llama/llama-3.1-8b-instruct" \
  --consume-max-usdc 0.05 --consume-port 8799

# 2. fund the printed wallet with USDC on Base mainnet (this pays for inference),
#    plus a little ETH on Base for the vault deposit gas.

# 3. run the endpoint. --vault bills actual token usage; --vault-deposit funds it
#    and auto-refills mid-run so the endpoint never drops off the rail.
halo consume --vault --vault-deposit 5
#   endpoint : http://127.0.0.1:8799/v1

Chame-o como qualquer endpoint OpenAI

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8799/v1", api_key="halo")  # api_key unused unless --api-key set
resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Summarize Base mainnet in one sentence."}],
)
print(resp.choices[0].message.content)

Cobrança e controles

O modo vault (--vault) é o trilho de cobrança recomendado: combine-o com --vault-deposit <usd> para que o endpoint se autofinancie e se recarregue automaticamente durante a execução. Ele cobra os tokens reais que cada requisição usou (você deposita uma vez e liquida conforme o uso real), o que se alinha aos operadores com preço por margem, para que você pague o custo real por modelo em vez de uma cotação fixa. Fora o gas de depósito/saque, o gas de liquidação é patrocinado pelo Halo.

Controles principais:

  • --max-usdc <n> — teto por requisição.
  • --budget-usdc <n> — limite acumulado para a execução.
  • --consume-allow — lista de modelos permitidos.
  • --confidential — roteia apenas para operadores TEE e criptografa o prompt de ponta a ponta até o enclave.

Mantenha-o sempre ativo

Não inicie o daemon em primeiro plano sob um agente ou gateway (uma reinicialização do gateway encerra seus processos filhos). Instale-o como um serviço do sistema operacional:

halo service install consume -- --vault --vault-deposit 5
halo service status consume
halo service logs consume

Relacionados