Sirva modelos locais na sua GPU (Llama, Ollama, LM Studio)

Se você tem uma GPU, pode servir modelos abertos direto do seu próprio hardware: sem conta de provider, sem chave de API, sem custo por token para você. O Halo já roda modelos locais como llama3.2, qwen3, gemma3, phi3 e deepseek-r1 dessa forma.

Este é o caminho local de o que servir. Prefere revender uma API de provider? Veja rodar um operador.

1. Rode um servidor de modelo local

Use qualquer um dos dois runtimes: ambos expõem um endpoint compatível com OpenAI com o qual a CLI do halo conversa:

Ollama — ollama pull llama3.2 e depois ollama serve.
LM Studio — baixe um modelo no app e inicie o servidor local dele.

Baixe um modelo que caiba na sua GPU (veja o dimensionamento mais abaixo) e garanta que ele responda localmente antes de conectar o Halo.

2. Aponte seu operador para ele

halo setup --provider ollama --flat 0.20    # ou --provider lmstudio
halo serve

halo serve se conecta de saída ao relay por WebSocket — sem URL pública e sem porta de entrada aberta — anuncia seus modelos locais e serve até ser parado. Sua wallet de operador não precisa de financiamento prévio: o USDC chega na liquidação e o Halo patrocina o gas.

Preços para modelos locais

Modelos locais não têm um preço por token de um upstream sobre o qual aplicar margem, então defina preço fixo:

halo setup --provider ollama --flat <usd-per-1k-tokens>

--flat fixa um preço em USD por cada 1.000 tokens. Escolha um número que vença as APIs em nuvem para o mesmo modelo, sem deixar de cobrir sua eletricidade e seu tempo. Mais sobre isso em preços e ganhos do operador.

Dimensionamento aproximado de GPU

Um modelo precisa caber na VRAM (pesos quantizados + contexto):

Modelos de ~8B (Llama 3.1 8B, Qwen 8B) — confortáveis com ~8–12 GB de VRAM.
~4B e menores (gemma3:4b, qwen3:4b, phi3) — rodam em placas modestas.
30B+ — precisa de uma configuração de ponta ou multi-GPU.

Comece com um modelo pequeno e popular para testar o fluxo e depois escale.

Mantenha em execução

Um operador local só ganha enquanto está online, então rode-o como serviço:

halo service install serve
halo service status serve

Veja mantenha seu operador online para a configuração completa.