Halo Halo
Русский
Попробовать Halo
← Все руководства

Потребляйте инференс через локальный endpoint (CLI)

Используйте CLI halo, чтобы запустить локальную OpenAI-совместимую точку доступа, оплачивающую каждый запрос с вашего кошелька — один депозит, оплата по фактическому расходу токенов, с ограничениями трат.

ConsumersCLI

Роль consume запускает локальную OpenAI-совместимую точку доступа, которая оплачивает каждый запрос с вашего кошелька — так что любой клиент OpenAI получает инференс без API-ключей провайдеров в коде. В этом руководстве используется CLI halo напрямую. Хотите, чтобы всё сделал агент? См. потребление через вашего агента.

Halo находится в альфа-версии в основной сети Base с реальными USDC. Требуется Node.js 20+.

Установите CLI

bash <(curl -fsSL https://raw.githubusercontent.com/warden-protocol/run-halo/main/skill/scripts/install.sh)
halo doctor --json   # node version, install + wallet state, provider, endpoint + relay health

Настройте и запустите точку доступа

# 1. one-time: wallet + a persisted consumer profile so `consume` needs no flags.
#    (setup wants a --provider slug even for pure consume; openai is a fine placeholder.)
halo setup --provider openai --consume --consume-model gpt-4o-mini \
  --consume-allow "gpt-4o-mini,meta-llama/llama-3.1-8b-instruct" \
  --consume-max-usdc 0.05 --consume-port 8799

# 2. fund the printed wallet with USDC on Base mainnet (this pays for inference),
#    plus a little ETH on Base for the vault deposit gas.

# 3. run the endpoint. --vault bills actual token usage; --vault-deposit funds it
#    and auto-refills mid-run so the endpoint never drops off the rail.
halo consume --vault --vault-deposit 5
#   endpoint : http://127.0.0.1:8799/v1

Вызывайте её как любую точку доступа OpenAI

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8799/v1", api_key="halo")  # api_key unused unless --api-key set
resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Summarize Base mainnet in one sentence."}],
)
print(resp.choices[0].message.content)

Оплата и защитные ограничения

Режим vault (--vault) — рекомендуемый способ оплаты — сочетайте его с --vault-deposit <usd>, чтобы точка доступа сама пополняла свой баланс и автоматически докупала его по ходу работы. Оплачиваются фактически израсходованные токены каждого запроса (один депозит, расчёт по реальному расходу), что соответствует ценообразованию операторов с маржой, поэтому вы платите реальную стоимость модели, а не фиксированную цену. Помимо газа на депозит/вывод, газ на расчёт спонсирует Halo.

Основные ограничения:

  • --max-usdc <n> — потолок на один запрос.
  • --budget-usdc <n> — совокупный лимит на весь запуск.
  • --consume-allow — список разрешённых моделей.
  • --confidential — направлять запросы только TEE-операторам и сквозно шифровать промпт для анклава.

Держите это включённым постоянно

Не запускайте демон в переднем плане под агентом или шлюзом (перезапуск шлюза убивает его дочерние процессы). Установите его как системный сервис:

halo service install consume -- --vault --vault-deposit 5
halo service status consume
halo service logs consume

Связанные материалы