← 全部指南

通过本地端点使用推理(CLI)

使用 halo CLI 运行一个本地的 OpenAI 兼容端点,从你的钱包按请求付费——一次充值,按实际 token 用量计费,并配备支出防护。

**consume(使用方)**角色会运行一个本地的 OpenAI 兼容端点,从你的钱包按请求付费——因此 任何 OpenAI 客户端都能获得推理能力,代码里不需要任何第三方 API 密钥。本指南直接使用 halo CLI。想让智能体代劳?参见让智能体来使用

Halo 目前处于 Base 主网 alpha 阶段,使用真实 USDC。需要 Node.js 20+。

安装 CLI

bash <(curl -fsSL https://raw.githubusercontent.com/warden-protocol/run-halo/main/skill/scripts/install.sh)
halo doctor --json   # node version, install + wallet state, provider, endpoint + relay health

配置并运行端点

# 1. one-time: wallet + a persisted consumer profile so `consume` needs no flags.
#    (setup wants a --provider slug even for pure consume; openai is a fine placeholder.)
halo setup --provider openai --consume --consume-model gpt-4o-mini \
  --consume-allow "gpt-4o-mini,meta-llama/llama-3.1-8b-instruct" \
  --consume-max-usdc 0.05 --consume-port 8799

# 2. fund the printed wallet with USDC on Base mainnet (this pays for inference),
#    plus a little ETH on Base for the vault deposit gas.

# 3. run the endpoint. --vault bills actual token usage; --vault-deposit funds it
#    and auto-refills mid-run so the endpoint never drops off the rail.
halo consume --vault --vault-deposit 5
#   endpoint : http://127.0.0.1:8799/v1

像调用任何 OpenAI 端点一样调用它

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8799/v1", api_key="halo")  # api_key unused unless --api-key set
resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Summarize Base mainnet in one sentence."}],
)
print(resp.choices[0].message.content)

计费与防护机制

金库模式(--vault)是推荐的计费方式——搭配 --vault-deposit <usd> 使用,端点会 自行充值并在运行期间自动续费。它按每次请求实际消耗的 token 计费(一次充值、按真实用量 结算),与按利润率定价的运营者相匹配,因此你支付的是各模型的真实单位成本,而非固定报价。 除了充值/提现所需的 gas 外,结算 gas 由 Halo 赞助。

关键防护项:

  • --max-usdc <n> —— 单次请求的费用上限。
  • --budget-usdc <n> —— 整次运行的累计费用上限。
  • --consume-allow —— 模型白名单。
  • --confidential —— 仅路由到 TEE 运营者,并对发往安全隔区的提示词进行端到端加密。

保持常驻运行

不要在智能体或网关下以前台方式启动该守护进程(网关重启会连带杀死其子进程)。请将其 安装为操作系统服务:

halo service install consume -- --vault --vault-deposit 5
halo service status consume
halo service logs consume

相关内容