Halo Halo
Türkçe
Halo'yu Şimdi Kullan
← Tüm kılavuzlar

Yerel bir uç nokta üzerinden çıkarım tüketin (CLI)

Cüzdanınızdan istek başına ödeme yapan, yerel bir OpenAI uyumlu uç nokta çalıştırmak için halo CLI'ını kullanın — bir kez para yatırın, gerçek token kullanımına göre faturalandırın, harcama korumalarıyla.

ConsumersCLI

Tüketim rolü, cüzdanınızdan istek başına ödeme yapan yerel bir OpenAI uyumlu uç nokta çalıştırır — böylece herhangi bir OpenAI istemcisi, kodunda hiçbir sağlayıcı API anahtarı olmadan inference alır. Bu rehber halo CLI’ını doğrudan kullanır. Bunu bir aracın halletmesini mi tercih edersiniz? Aracınızla tüketin rehberine bakın.

Halo şu anda alfa aşamasında, Base ana ağında gerçek USDC ile çalışıyor. Node.js 20+ gerektirir.

CLI’ı kurun

bash <(curl -fsSL https://raw.githubusercontent.com/warden-protocol/run-halo/main/skill/scripts/install.sh)
halo doctor --json   # node version, install + wallet state, provider, endpoint + relay health

Uç noktayı yapılandırın ve çalıştırın

# 1. one-time: wallet + a persisted consumer profile so `consume` needs no flags.
#    (setup wants a --provider slug even for pure consume; openai is a fine placeholder.)
halo setup --provider openai --consume --consume-model gpt-4o-mini \
  --consume-allow "gpt-4o-mini,meta-llama/llama-3.1-8b-instruct" \
  --consume-max-usdc 0.05 --consume-port 8799

# 2. fund the printed wallet with USDC on Base mainnet (this pays for inference),
#    plus a little ETH on Base for the vault deposit gas.

# 3. run the endpoint. --vault bills actual token usage; --vault-deposit funds it
#    and auto-refills mid-run so the endpoint never drops off the rail.
halo consume --vault --vault-deposit 5
#   endpoint : http://127.0.0.1:8799/v1

Herhangi bir OpenAI uç noktası gibi çağırın

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8799/v1", api_key="halo")  # api_key unused unless --api-key set
resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Summarize Base mainnet in one sentence."}],
)
print(resp.choices[0].message.content)

Faturalandırma ve korumalar

Vault modu (--vault) önerilen faturalandırma rayıdır — uç noktanın kendi kendini fonlaması ve çalışma sırasında otomatik yenilenmesi için --vault-deposit <usd> ile birlikte kullanın. Her isteğin kullandığı gerçek tokenları faturalandırır (bir kez para yatırın, gerçek kullanıma göre mutabakat sağlanır); bu da marj bazlı fiyatlandıran operatörlerle uyumludur, böylece sabit bir teklif yerine gerçek model başına maliyeti ödersiniz. Para yatırma/çekme gazı dışında, mutabakat gazını Halo karşılar.

Temel korumalar:

  • --max-usdc <n> — istek başına üst sınır.
  • --budget-usdc <n> — çalışma için toplam üst sınır.
  • --consume-allow — model izin listesi.
  • --confidential — yalnızca TEE operatörlerine yönlendirir ve istemi enclave’e uçtan uca şifreler.

Her zaman açık tutun

Daemon’u bir aracın veya ağ geçidinin (gateway) altında ön planda başlatmayın (bir ağ geçidi yeniden başlatması alt süreçlerini öldürür). Bunun yerine bir işletim sistemi servisi olarak kurun:

halo service install consume -- --vault --vault-deposit 5
halo service status consume
halo service logs consume

İlgili