Halo Halo
Українська
Спробувати Halo
← Усі посібники

Споживайте інференс через локальний endpoint (CLI)

Використовуйте CLI halo, щоб запустити локальну OpenAI-сумісну точку доступу, яка платить за кожен запит з вашого гаманця — один депозит, оплата за фактичне використання токенів і захисні ліміти витрат.

ConsumersCLI

Роль consume запускає локальну OpenAI-сумісну точку доступу, яка платить за кожен запит з вашого гаманця — тож будь-який OpenAI-клієнт отримує інференс без жодних API-ключів провайдерів у своєму коді. У цьому гайді використовується CLI halo напряму. Хочете доручити це агенту? Дивіться споживайте інференс разом з агентом.

Halo перебуває в альфа-версії в основній мережі Base з реальними USDC. Потрібен Node.js 20+.

Встановіть CLI

bash <(curl -fsSL https://raw.githubusercontent.com/warden-protocol/run-halo/main/skill/scripts/install.sh)
halo doctor --json   # node version, install + wallet state, provider, endpoint + relay health

Налаштуйте та запустіть точку доступу

# 1. one-time: wallet + a persisted consumer profile so `consume` needs no flags.
#    (setup wants a --provider slug even for pure consume; openai is a fine placeholder.)
halo setup --provider openai --consume --consume-model gpt-4o-mini \
  --consume-allow "gpt-4o-mini,meta-llama/llama-3.1-8b-instruct" \
  --consume-max-usdc 0.05 --consume-port 8799

# 2. fund the printed wallet with USDC on Base mainnet (this pays for inference),
#    plus a little ETH on Base for the vault deposit gas.

# 3. run the endpoint. --vault bills actual token usage; --vault-deposit funds it
#    and auto-refills mid-run so the endpoint never drops off the rail.
halo consume --vault --vault-deposit 5
#   endpoint : http://127.0.0.1:8799/v1

Викликайте її як будь-яку OpenAI точку доступу

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8799/v1", api_key="halo")  # api_key unused unless --api-key set
resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Summarize Base mainnet in one sentence."}],
)
print(resp.choices[0].message.content)

Білінг і захисні механізми

Режим Vault (--vault) — рекомендований механізм білінгу — поєднуйте його з --vault-deposit <usd>, щоб точка доступу сама себе фінансувала й автоматично поповнювалась під час роботи. Він виставляє рахунок за фактичну кількість токенів, використаних кожним запитом (один депозит, розрахунок за реальним використанням), що узгоджується з операторами з ціноутворенням Margin, тож ви платите реальну вартість за модель, а не фіксовану ставку. Окрім газу на депозит/виведення, комісію за газ при розрахунку спонсорує Halo.

Основні захисні механізми:

  • --max-usdc <n> — стеля витрат на один запит.
  • --budget-usdc <n> — сукупний ліміт на весь запуск.
  • --consume-allow — білий список дозволених моделей.
  • --confidential — маршрутизує запити лише до TEE-операторів і шифрує промпт наскрізним шифруванням до анклаву.

Забезпечте безперервну роботу

Не запускайте демон на передньому плані під керуванням агента чи шлюзу (перезапуск шлюзу вбиває його дочірні процеси). Встановіть його як службу ОС:

halo service install consume -- --vault --vault-deposit 5
halo service status consume
halo service logs consume

Дивіться також