From 82db5df76e2b0ea9821fb07736cd40d870040550 Mon Sep 17 00:00:00 2001 From: "openclaw-docs-i18n[bot]" Date: Fri, 24 Apr 2026 02:45:08 +0000 Subject: [PATCH] chore(i18n): refresh zh-CN translations --- docs/zh-CN/help/testing-live.md | 501 ++++++++++++++ docs/zh-CN/help/testing.md | 974 ++++++++-------------------- docs/zh-CN/plugins/codex-harness.md | 188 +++--- 3 files changed, 848 insertions(+), 815 deletions(-) create mode 100644 docs/zh-CN/help/testing-live.md diff --git a/docs/zh-CN/help/testing-live.md b/docs/zh-CN/help/testing-live.md new file mode 100644 index 000000000..5ed359bc4 --- /dev/null +++ b/docs/zh-CN/help/testing-live.md @@ -0,0 +1,501 @@ +--- +read_when: + - 运行实时模型矩阵 / CLI 后端 / ACP / 媒体提供商冒烟测试 + - 调试实时测试凭证解析 + - 添加新的提供商专用实时测试 +summary: 实时（涉及网络）的测试：模型矩阵、CLI 后端、ACP、媒体提供商、凭证 +title: 测试——实时测试套件 +x-i18n: + generated_at: "2026-04-24T02:42:22Z" + model: gpt-5.4 + provider: openai + source_hash: 097c6d6422cd66bb4dae90bd4585dfaf6bc6184c5cfd3f27aa5dda4f04954dcc + source_path: help/testing-live.md + workflow: 15 +--- + +有关快速开始、QA 运行器、单元 / 集成测试套件以及 Docker 流程，请参阅 +[测试](/zh-CN/help/testing)。本页介绍**实时**（涉及网络）的测试 +套件：模型矩阵、CLI 后端、ACP 和媒体提供商实时测试，以及 +凭证处理。 + +## 实时：Android 节点能力全面检测 + +- 测试：`src/gateway/android-node.capabilities.live.test.ts` +- 脚本：`pnpm android:test:integration` +- 目标：调用已连接 Android 节点**当前公布的每一条命令**，并断言命令契约行为。 +- 范围： + - 已预先准备 / 需手动完成的设置（该测试套件不会安装 / 运行 / 配对应用）。 + - 针对所选 Android 节点，逐条命令进行 Gateway 网关 `node.invoke` 验证。 +- 必需的预先设置： + - Android 应用已连接并与 Gateway 网关完成配对。 + - 应用保持在前台。 + - 你期望通过的能力所需的权限 / 捕获授权已授予。 +- 可选目标覆盖： + - `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。 + - `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。 +- 完整的 Android 设置详情： [Android App](/zh-CN/platforms/android) + +## 实时：模型冒烟测试（配置档案键） + +实时测试分为两层，以便我们隔离故障： + +- “Direct model” 用于确认提供商 / 模型在给定密钥下是否至少能够响应。 +- “Gateway smoke” 用于确认该模型的完整 Gateway 网关 + 智能体流水线是否正常工作（会话、历史记录、工具、沙箱策略等）。 + +### 第 1 层：直接模型补全（无 Gateway 网关） + +- 测试：`src/agents/models.profiles.live.test.ts` +- 目标： + - 枚举已发现的模型 + - 使用 `getApiKeyForModel` 选择你拥有凭证的模型 + - 对每个模型运行一次小型补全（并在需要时运行定向回归测试） +- 启用方式： + - `pnpm test:live`（或者如果你直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） +- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）才会实际运行该测试套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 Gateway 网关冒烟测试 +- 选择模型的方式： + - `OPENCLAW_LIVE_MODELS=modern` 运行 modern 允许列表（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） + - `OPENCLAW_LIVE_MODELS=all` 是 modern 允许列表的别名 + - 或者 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,..."`（逗号分隔的允许列表） + - modern / all 全量检测默认带有一个精心挑选的高信号上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可进行完整的 modern 全量检测，或设置为正数以使用更小的上限。 +- 选择提供商的方式： + - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔的允许列表） +- 键的来源： + - 默认：配置档案存储和环境变量回退 + - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅使用配置档案存储** +- 存在原因： + - 将“提供商 API 已损坏 / 密钥无效”与“Gateway 网关智能体流水线已损坏”区分开来 + - 容纳小型、隔离的回归测试（例如：OpenAI Responses / Codex Responses 推理回放 + 工具调用流程） + +### 第 2 层：Gateway 网关 + dev 智能体冒烟测试（也就是 “@openclaw” 实际执行的内容） + +- 测试：`src/gateway/gateway-models.profiles.live.test.ts` +- 目标： + - 启动一个进程内 Gateway 网关 + - 创建 / 修补一个 `agent:dev:*` 会话（每次运行覆盖模型） + - 遍历带有密钥的模型并断言： + - 有“有意义”的响应（无工具） + - 真实工具调用可正常工作（read 探针） + - 可选的额外工具探针（exec+read 探针） + - OpenAI 回归路径（仅工具调用 → 后续跟进）持续可用 +- 探针详情（这样你可以更快解释失败原因）： + - `read` 探针：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 该文件并回显 nonce。 + - `exec+read` 探针：测试会要求智能体通过 `exec` 将 nonce 写入临时文件，然后再 `read` 回来。 + - 图像探针：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 + - 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。 +- 启用方式： + - `pnpm test:live`（或者如果你直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） +- 选择模型的方式： + - 默认：modern 允许列表（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） + - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是 modern 允许列表的别名 + - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来缩小范围 + - modern / all Gateway 网关全量检测默认带有一个精心挑选的高信号上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可进行完整的 modern 全量检测，或设置为正数以使用更小的上限。 +- 选择提供商的方式（避免 “OpenRouter everything”）： + - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔的允许列表） +- 工具 + 图像探针在该实时测试中始终启用： + - `read` 探针 + `exec+read` 探针（工具压力测试） + - 当模型声明支持图像输入时，运行图像探针 + - 流程（高级概览）： + - 测试生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） + - 通过 `agent` `attachments: [{ mimeType: "image/png", content: "" }]` 发送 + - Gateway 网关将附件解析为 `images[]`（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） + - 嵌入式智能体将多模态用户消息转发给模型 + - 断言：回复包含 `cat` + 该代码（OCR 容错：允许轻微错误） + +提示：要查看你在自己机器上可以测试哪些内容（以及准确的 `provider/model` id），请运行： + +```bash +openclaw models list +openclaw models list --json +``` + +## 实时：CLI 后端冒烟测试（Claude、Codex、Gemini 或其他本地 CLI） + +- 测试：`src/gateway/gateway-cli-backend.live.test.ts` +- 目标：在不触碰你的默认配置的情况下，使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线。 +- 特定后端的冒烟测试默认值位于所属扩展的 `cli-backend.ts` 定义中。 +- 启用： + - `pnpm test:live`（或者如果你直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） + - `OPENCLAW_LIVE_CLI_BACKEND=1` +- 默认值： + - 默认提供商 / 模型：`claude-cli/claude-sonnet-4-6` + - 命令 / 参数 / 图像行为来自所属 CLI 后端插件元数据。 +- 覆盖项（可选）： + - `OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.5"` + - `OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"` + - `OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'` + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图像附件（路径会注入到提示词中）。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 通过 CLI 参数传递图像文件路径，而不是注入到提示词中。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）控制在设置 `IMAGE_ARG` 时如何传递图像参数。 + - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮消息并验证恢复流程。 + - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=0` 禁用默认的 Claude Sonnet -> Opus 同一会话连续性探针（当所选模型支持切换目标时，设置为 `1` 可强制启用）。 + +示例： + +```bash +OPENCLAW_LIVE_CLI_BACKEND=1 \ + OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.5" \ + pnpm test:live src/gateway/gateway-cli-backend.live.test.ts +``` + +Docker 配方： + +```bash +pnpm test:docker:live-cli-backend +``` + +单提供商 Docker 配方： + +```bash +pnpm test:docker:live-cli-backend:claude +pnpm test:docker:live-cli-backend:claude-subscription +pnpm test:docker:live-cli-backend:codex +pnpm test:docker:live-cli-backend:gemini +``` + +说明： + +- Docker 运行器位于 `scripts/test-live-cli-backend-docker.sh`。 +- 它会在仓库 Docker 镜像内，以非 root 的 `node` 用户身份运行实时 CLI 后端冒烟测试。 +- 它会从所属扩展解析 CLI 冒烟测试元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到一个带缓存的可写前缀目录 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 中（默认：`~/.cache/openclaw/docker-cli-tools`）。 +- `pnpm test:docker:live-cli-backend:claude-subscription` 要求通过以下任一方式提供可移植的 Claude Code 订阅 OAuth：`~/.claude/.credentials.json` 中带有 `claudeAiOauth.subscriptionType`，或来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN`。它会先在 Docker 中直接验证 `claude -p`，然后在不保留 Anthropic API 键环境变量的情况下运行两轮 Gateway 网关 CLI 后端测试。此订阅测试通道默认禁用 Claude MCP / 工具及图像探针，因为 Claude 当前会将第三方应用用量计入额外使用计费，而不是普通订阅计划限额。 +- 实时 CLI 后端冒烟测试现在会对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图像分类轮次，然后通过 Gateway 网关 CLI 验证 MCP `cron` 工具调用。 +- Claude 的默认冒烟测试还会将会话从 Sonnet 修补到 Opus，并验证恢复后的会话仍记得之前的备注。 + +## 实时：ACP 绑定冒烟测试（`/acp spawn ... --bind here`） + +- 测试：`src/gateway/gateway-acp-bind.live.test.ts` +- 目标：使用实时 ACP 智能体验证真实 ACP 会话绑定流程： + - 发送 `/acp spawn --bind here` + - 就地绑定一个合成的消息渠道会话 + - 在同一会话上发送普通后续消息 + - 验证该后续消息落入已绑定的 ACP 会话记录中 +- 启用： + - `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts` + - `OPENCLAW_LIVE_ACP_BIND=1` +- 默认值： + - Docker 中的 ACP 智能体：`claude,codex,gemini` + - 直接 `pnpm test:live ...` 使用的 ACP 智能体：`claude` + - 合成渠道：Slack 私信风格的会话上下文 + - ACP 后端：`acpx` +- 覆盖项： + - `OPENCLAW_LIVE_ACP_BIND_AGENT=claude` + - `OPENCLAW_LIVE_ACP_BIND_AGENT=codex` + - `OPENCLAW_LIVE_ACP_BIND_AGENT=gemini` + - `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini` + - `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@'` + - `OPENCLAW_LIVE_ACP_BIND_CODEX_MODEL=gpt-5.5` + - `OPENCLAW_LIVE_ACP_BIND_PARENT_MODEL=openai/gpt-5.4` +- 说明： + - 该测试通道使用 Gateway 网关 `chat.send` 接口，并带有仅管理员可用的合成 originating-route 字段，以便测试可以附加消息渠道上下文，而无需伪装成外部投递。 + - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会使用嵌入式 `acpx` 插件的内置智能体注册表来启动所选 ACP 测试智能体。 + +示例： + +```bash +OPENCLAW_LIVE_ACP_BIND=1 \ + OPENCLAW_LIVE_ACP_BIND_AGENT=claude \ + pnpm test:live src/gateway/gateway-acp-bind.live.test.ts +``` + +Docker 配方： + +```bash +pnpm test:docker:live-acp-bind +``` + +单智能体 Docker 配方： + +```bash +pnpm test:docker:live-acp-bind:claude +pnpm test:docker:live-acp-bind:codex +pnpm test:docker:live-acp-bind:gemini +``` + +Docker 说明： + +- Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。 +- 默认情况下，它会按顺序对所有受支持的实时 CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后是 `gemini`。 +- 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 可缩小矩阵范围。 +- 它会读取 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，把 `acpx` 安装到可写 npm 前缀中，然后在缺失时安装请求的实时 CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 +- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 `acpx` 就能让来自已加载 profile 的提供商环境变量继续对其子测试 CLI 可用。 + +## 实时：Codex app-server 测试支架冒烟测试 + +- 目标：通过常规 Gateway 网关 + `agent` 方法验证插件自有的 Codex 测试支架： + - 加载内置的 `codex` 插件 + - 选择 `OPENCLAW_AGENT_RUNTIME=codex` + - 在强制使用 Codex 测试支架的情况下，向 `openai/gpt-5.4` 发送第一轮 Gateway 网关智能体请求 + - 向同一个 OpenClaw 会话发送第二轮请求，并验证 app-server + 线程可以恢复 + - 通过相同的 Gateway 网关命令 + 路径运行 `/codex status` 和 `/codex models` + - 可选运行两个经 Guardian 审核的提权 shell 探针：一个应被批准的 + 无害命令，以及一个应被拒绝的伪造密钥上传命令， + 以便智能体回问 +- 测试：`src/gateway/gateway-codex-harness.live.test.ts` +- 启用：`OPENCLAW_LIVE_CODEX_HARNESS=1` +- 默认模型：`openai/gpt-5.4` +- 可选图像探针：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` +- 可选 MCP / 工具探针：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` +- 可选 Guardian 探针：`OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1` +- 该冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，因此损坏的 Codex + 测试支架无法通过静默回退到 PI 来蒙混过关。 +- 认证：Codex app-server 认证来自本地 Codex 订阅登录。Docker + 冒烟测试在适用时也可以为非 Codex 探针提供 `OPENAI_API_KEY`， + 另外还可选复制 `~/.codex/auth.json` 和 `~/.codex/config.toml`。 + +本地配方： + +```bash +source ~/.profile +OPENCLAW_LIVE_CODEX_HARNESS=1 \ + OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1 \ + OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1 \ + OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1 \ + OPENCLAW_LIVE_CODEX_HARNESS_MODEL=openai/gpt-5.4 \ + pnpm test:live -- src/gateway/gateway-codex-harness.live.test.ts +``` + +Docker 配方： + +```bash +source ~/.profile +pnpm test:docker:live-codex-harness +``` + +Docker 说明： + +- Docker 运行器位于 `scripts/test-live-codex-harness-docker.sh`。 +- 它会读取已挂载的 `~/.profile`，传递 `OPENAI_API_KEY`，在存在时复制 Codex CLI + 认证文件，将 `@openai/codex` 安装到一个可写且已挂载的 npm + 前缀中，暂存源码树，然后仅运行 Codex 测试支架实时测试。 +- Docker 默认启用图像、MCP / 工具以及 Guardian 探针。需要更窄的调试 + 运行时，可设置 `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 + `OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0` 或 + `OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0`。 +- Docker 还会导出 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，与实时 + 测试配置保持一致，因此旧别名或 PI 回退都无法掩盖 Codex 测试支架 + 回归问题。 + +### 推荐的实时测试配方 + +范围窄且明确的允许列表速度最快，也最不容易波动： + +- 单模型，直接调用（无 Gateway 网关）： + - `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts` + +- 单模型，Gateway 网关冒烟测试： + - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` + +- 跨多个提供商的工具调用： + - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` + +- Google 聚焦（Gemini API key + Antigravity）： + - Gemini（API key）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` + - Antigravity（OAuth）：`OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` + +说明： + +- `google/...` 使用 Gemini API（API key）。 +- `google-antigravity/...` 使用 Antigravity OAuth 桥接（Cloud Code Assist 风格的智能体端点）。 +- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（单独的认证 + 工具链差异）。 +- Gemini API 与 Gemini CLI： + - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API key / 配置档案认证）；这就是大多数用户所说的 “Gemini”。 + - CLI：OpenClaw 通过 shell 调用本地 `gemini` 二进制；它有自己的认证方式，行为也可能不同（流式传输 / 工具支持 / 版本偏差）。 + +## 实时：模型矩阵（我们的覆盖范围） + +这里没有固定的 “CI 模型列表”（实时测试是可选启用的），但以下是建议在带有密钥的开发机器上定期覆盖的**推荐**模型。 + +### 现代冒烟测试集（工具调用 + 图像） + +这是我们预期应持续正常工作的 “常用模型” 运行集： + +- OpenAI（非 Codex）：`openai/gpt-5.4`（可选：`openai/gpt-5.4-mini`） +- OpenAI Codex OAuth：`openai-codex/gpt-5.5` +- Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） +- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免较旧的 Gemini 2.x 模型） +- Google（Antigravity）：`google-antigravity/claude-opus-4-6-thinking` 和 `google-antigravity/gemini-3-flash` +- Z.AI（GLM）：`zai/glm-4.7` +- MiniMax：`minimax/MiniMax-M2.7` + +使用工具 + 图像运行 Gateway 网关冒烟测试： +`OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` + +### 基线：工具调用（Read + 可选 Exec） + +每个提供商家族至少选一个： + +- OpenAI：`openai/gpt-5.4`（或 `openai/gpt-5.4-mini`） +- Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） +- Google：`google/gemini-3-flash-preview`（或 `google/gemini-3.1-pro-preview`） +- Z.AI（GLM）：`zai/glm-4.7` +- MiniMax：`minimax/MiniMax-M2.7` + +可选的额外覆盖（有的话更好）： + +- xAI：`xai/grok-4`（或当前最新可用版本） +- Mistral：`mistral/`…（选择一个你已启用、支持 `tools` 的模型） +- Cerebras：`cerebras/`…（如果你有访问权限） +- LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式） + +### 视觉：图像发送（附件 → 多模态消息） + +在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 的支持视觉的变体等），以覆盖图像探针。 + +### 聚合器 / 替代 Gateway 网关 + +如果你已启用相应密钥，我们也支持通过以下方式测试： + +- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选项） +- OpenCode：Zen 使用 `opencode/...`，Go 使用 `opencode-go/...`（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） + +你还可以纳入实时矩阵的更多提供商（如果你有凭证 / 配置）： + +- 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`google-gemini-cli`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot` +- 通过 `models.providers`（自定义端点）：`minimax`（云 / API），以及任何兼容 OpenAI / Anthropic 的代理（LM Studio、vLLM、LiteLLM 等） + +提示：不要试图在文档中硬编码 “所有模型”。权威列表是你机器上 `discoverModels(...)` 返回的内容，以及当前可用的所有密钥。 + +## 凭证（切勿提交） + +实时测试发现凭证的方式与 CLI 相同。实际含义如下： + +- 如果 CLI 能工作，实时测试应该也能找到相同的密钥。 +- 如果实时测试提示 “no creds”，请按你调试 `openclaw models list` / 模型选择时的方式来排查。 + +- 每个智能体的认证配置档案：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试中 “profile keys” 的含义） +- 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`） +- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时 home 中，但它不是主要的配置档案键存储） +- 默认情况下，本地实时运行会将活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及支持的外部 CLI 认证目录复制到临时测试 home 中；暂存的实时 home 会跳过 `workspace/` 和 `sandboxes/`，并移除 `agents.*.workspace` / `agentDir` 路径覆盖，这样探针就不会落到你真实主机的工作区中。 + +如果你想依赖环境变量中的密钥（例如导出在你的 `~/.profile` 中），请在本地测试前运行 `source ~/.profile`，或使用下面的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 + +## Deepgram 实时测试（音频转录） + +- 测试：`extensions/deepgram/audio.live.test.ts` +- 启用：`DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live extensions/deepgram/audio.live.test.ts` + +## BytePlus（国际版）编码计划实时测试 + +- 测试：`extensions/byteplus/live.test.ts` +- 启用：`BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live extensions/byteplus/live.test.ts` +- 可选模型覆盖：`BYTEPLUS_CODING_MODEL=ark-code-latest` + +## ComfyUI 工作流媒体实时测试 + +- 测试：`extensions/comfy/comfy.live.test.ts` +- 启用：`OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts` +- 范围： + - 覆盖内置 comfy 图像、视频和 `music_generate` 路径 + - 如果未配置 `models.providers.comfy.`，则跳过各项能力 + - 在修改 comfy 工作流提交、轮询、下载或插件注册后很有用 + +## 图像生成实时测试 + +- 测试：`test/image-generation.runtime.live.test.ts` +- 命令：`pnpm test:live test/image-generation.runtime.live.test.ts` +- 测试支架：`pnpm test:live:media image` +- 范围： + - 枚举每个已注册的图像生成提供商插件 + - 在探测前从你的登录 shell（`~/.profile`）加载缺失的提供商环境变量 + - 默认优先使用实时 / 环境变量 API 键，而不是已存储的认证配置档案，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证 / 配置档案 / 模型的提供商 + - 通过共享运行时能力运行标准图像生成变体： + - `google:flash-generate` + - `google:pro-generate` + - `google:pro-edit` + - `openai:default-generate` +- 当前覆盖的内置提供商： + - `fal` + - `google` + - `minimax` + - `openai` + - `openrouter` + - `vydra` + - `xai` +- 可选缩小范围： + - `OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="openai,google,openrouter,xai"` + - `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-2,google/gemini-3.1-flash-image-preview,openrouter/google/gemini-3.1-flash-image-preview,xai/grok-imagine-image"` + - `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit,openrouter:generate,xai:default-generate,xai:default-edit"` +- 可选认证行为： + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置档案存储认证，并忽略仅存在于环境变量中的覆盖 + +## 音乐生成实时测试 + +- 测试：`extensions/music-generation-providers.live.test.ts` +- 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts` +- 测试支架：`pnpm test:live:media music` +- 范围： + - 覆盖共享的内置音乐生成提供商路径 + - 当前覆盖 Google 和 MiniMax + - 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量 + - 默认优先使用实时 / 环境变量 API 键，而不是已存储的认证配置档案，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证 / 配置档案 / 模型的提供商 + - 在可用时运行两种已声明的运行时模式： + - `generate`，仅使用提示词输入 + - 当提供商声明 `capabilities.edit.enabled` 时运行 `edit` + - 当前共享测试通道覆盖： + - `google`：`generate`、`edit` + - `minimax`：`generate` + - `comfy`：单独的 Comfy 实时文件，不在此共享检测中 +- 可选缩小范围： + - `OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"` + - `OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.5+"` +- 可选认证行为： + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置档案存储认证，并忽略仅存在于环境变量中的覆盖 + +## 视频生成实时测试 + +- 测试：`extensions/video-generation-providers.live.test.ts` +- 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts` +- 测试支架：`pnpm test:live:media video` +- 范围： + - 覆盖共享的内置视频生成提供商路径 + - 默认使用适合发布的冒烟测试路径：非 FAL 提供商、每个提供商一个文生视频请求、一秒龙虾提示词，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每提供商操作上限（默认为 `180000`） + - 默认跳过 FAL，因为提供商侧队列延迟可能主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行它 + - 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量 + - 默认优先使用实时 / 环境变量 API 键，而不是已存储的认证配置档案，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证 / 配置档案 / 模型的提供商 + - 默认仅运行 `generate` + - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 后，如果可用，还会运行已声明的转换模式： + - 当提供商声明 `capabilities.imageToVideo.enabled`，且所选提供商 / 模型在共享检测中接受基于缓冲区的本地图像输入时，运行 `imageToVideo` + - 当提供商声明 `capabilities.videoToVideo.enabled`，且所选提供商 / 模型在共享检测中接受基于缓冲区的本地视频输入时，运行 `videoToVideo` + - 当前在共享检测中已声明但被跳过的 `imageToVideo` 提供商： + - `vydra`，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图像 URL + - 提供商专用的 Vydra 覆盖： + - `OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts` + - 该文件会运行 `veo3` 文生视频，以及默认使用远程图像 URL 固定样例的 `kling` 测试通道 + - 当前 `videoToVideo` 实时覆盖： + - 仅 `runway`，且所选模型为 `runway/gen4_aleph` + - 当前在共享检测中已声明但被跳过的 `videoToVideo` 提供商： + - `alibaba`、`qwen`、`xai`，因为这些路径当前需要远程 `http(s)` / MP4 参考 URL + - `google`，因为当前共享 Gemini / Veo 测试通道使用基于本地缓冲区的输入，而该路径在共享检测中不被接受 + - `openai`，因为当前共享测试通道缺乏组织特定的视频修补 / remix 访问保证 +- 可选缩小范围： + - `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"` + - `OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"` + - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 可在默认检测中包含所有提供商，包括 FAL + - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 可在激进的冒烟测试中降低每个提供商的操作上限 +- 可选认证行为： + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置档案存储认证，并忽略仅存在于环境变量中的覆盖 + +## 媒体实时测试支架 + +- 命令：`pnpm test:live:media` +- 目的： + - 通过单一仓库原生入口点运行共享的图像、音乐和视频实时测试套件 + - 自动从 `~/.profile` 加载缺失的提供商环境变量 + - 默认自动将每个测试套件缩小到当前具有可用认证的提供商 + - 复用 `scripts/test-live.mjs`，因此心跳和静默模式行为保持一致 +- 示例： + - `pnpm test:live:media` + - `pnpm test:live:media image video --providers openai,google,minimax` + - `pnpm test:live:media video --video-providers openai,runway --all-providers` + - `pnpm test:live:media music --quiet` + +## 相关内容 + +- [测试](/zh-CN/help/testing) —— 单元、集成、QA 和 Docker 测试套件 diff --git a/docs/zh-CN/help/testing.md b/docs/zh-CN/help/testing.md index 5124e3b6e..9b2e9e3fd 100644 --- a/docs/zh-CN/help/testing.md +++ b/docs/zh-CN/help/testing.md @@ -1,128 +1,132 @@ --- read_when: - 在本地或 CI 中运行测试 - - 为模型 / 提供商缺陷添加回归测试 + - 为模型/提供商缺陷添加回归测试 - 调试 Gateway 网关 + 智能体行为 -summary: 测试工具包：单元 / e2e / live 测试套件、Docker 运行器，以及每类测试覆盖的内容 +summary: 测试工具包：unit/e2e/live 测试套件、Docker 运行器，以及每项测试涵盖的内容 title: 测试 x-i18n: - generated_at: "2026-04-24T01:50:44Z" + generated_at: "2026-04-24T02:42:21Z" model: gpt-5.4 provider: openai - source_hash: 2598e4f03b2133dcbe6dac0a51f1d75e075e8961b00f6519003d41311936fd1d + source_hash: e79571c5a2ebabf025e47fa8bff59beff0d1c3662b53d7c28798a804dea8088d source_path: help/testing.md workflow: 15 --- -OpenClaw 有三个 Vitest 测试套件（单元 / 集成、e2e、live）以及一小组 Docker 运行器。本文档是一份“我们如何测试”的指南： +OpenClaw 有三个 Vitest 测试套件（unit/integration、e2e、live）以及一小组 Docker 运行器。本文档是“我们如何测试”的指南： -- 每个测试套件覆盖什么内容（以及它刻意**不**覆盖什么内容）。 +- 每个测试套件涵盖的内容（以及它**有意不**涵盖的内容）。 - 常见工作流应运行哪些命令（本地、推送前、调试）。 -- live 测试如何发现凭证并选择模型 / 提供商。 -- 如何为真实世界中的模型 / 提供商问题添加回归测试。 +- live 测试如何发现凭证并选择模型/提供商。 +- 如何为真实世界中的模型/提供商问题添加回归测试。 ## 快速开始 -大多数情况下： +大多数时候： -- 完整门禁（预期在推送前运行）：`pnpm build && pnpm check && pnpm check:test-types && pnpm test` -- 在配置宽裕的机器上进行更快的本地全套测试运行：`pnpm test:max` -- 直接进入 Vitest 监视循环：`pnpm test:watch` -- 现在直接指定文件路径也会路由扩展 / 渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` -- 当你正在迭代单个失败用例时，优先先跑有针对性的测试。 +- 完整门禁（预期应在推送前运行）：`pnpm build && pnpm check && pnpm check:test-types && pnpm test` +- 在配置宽裕的机器上更快地运行本地完整测试套件：`pnpm test:max` +- 直接进入 Vitest 监听循环：`pnpm test:watch` +- 现在直接按文件定位也会路由 extension/channel 路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` +- 当你在迭代单个失败用例时，优先先跑有针对性的测试。 - 基于 Docker 的 QA 站点：`pnpm qa:lab:up` - 基于 Linux VM 的 QA 通道：`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline` -当你修改了测试或想要更多信心时： +当你修改了测试或想要更高信心时： - 覆盖率门禁：`pnpm test:coverage` - E2E 测试套件：`pnpm test:e2e` -当你在调试真实的提供商 / 模型时（需要真实凭证）： +当你在调试真实提供商/模型时（需要真实凭证）： -- live 测试套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live` +- live 测试套件（模型 + Gateway 网关工具/图像探测）：`pnpm test:live` - 安静地只跑一个 live 文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` - Docker live 模型扫描：`pnpm test:docker:live-models` - - 现在，每个选中的模型都会运行一次文本轮次加一次小型类文件读取探测。元数据声明支持 `image` 输入的模型还会运行一个微型图像轮次。隔离提供商故障时，可用 `OPENCLAW_LIVE_MODEL_FILE_PROBE=0` 或 `OPENCLAW_LIVE_MODEL_IMAGE_PROBE=0` 禁用额外探测。 - - CI 覆盖范围：每日的 `OpenClaw Scheduled Live And E2E Checks` 和手动触发的 `OpenClaw Release Checks` 都会调用可复用的 live/E2E 工作流，并设置 `include_live_suites: true`，其中包含按提供商分片的独立 Docker live 模型矩阵作业。 - - 如需有针对性的 CI 重跑，请派发 `OpenClaw Live And E2E Checks (Reusable)`，并设置 `include_live_suites: true` 和 `live_models_only: true`。 - - 将新的高信号提供商密钥添加到 `scripts/ci-hydrate-live-auth.sh`，以及 `.github/workflows/openclaw-live-and-e2e-checks-reusable.yml` 和其 scheduled/release 调用方中。 -- Moonshot/Kimi 成本冒烟测试：设置 `MOONSHOT_API_KEY` 后，运行 `openclaw models list --provider moonshot --json`，然后针对 `moonshot/kimi-k2.6` 运行隔离的 `openclaw agent --local --session-id live-kimi-cost --message 'Reply exactly: KIMI_LIVE_OK' --thinking off --json`。验证 JSON 报告的是 Moonshot/K2.6，并且助手转录存储了标准化后的 `usage.cost`。 + - 现在每个选中的模型都会运行一次文本轮次外加一个小型文件读取风格的探测。元数据声明支持 `image` 输入的模型还会额外运行一个小型图像轮次。在隔离提供商故障时，可通过 `OPENCLAW_LIVE_MODEL_FILE_PROBE=0` 或 `OPENCLAW_LIVE_MODEL_IMAGE_PROBE=0` 禁用这些额外探测。 + - CI 覆盖：每日的 `OpenClaw Scheduled Live And E2E Checks` 和手动触发的 `OpenClaw Release Checks` 都会调用可复用的 live/E2E 工作流，并设置 `include_live_suites: true`，其中包含按提供商分片的独立 Docker live 模型矩阵作业。 + - 对于定向的 CI 重跑，可触发 `OpenClaw Live And E2E Checks (Reusable)`，并设置 `include_live_suites: true` 和 `live_models_only: true`。 + - 向 `scripts/ci-hydrate-live-auth.sh` 以及 `.github/workflows/openclaw-live-and-e2e-checks-reusable.yml` 和其 scheduled/release 调用方中添加新的高信号提供商密钥。 +- Moonshot/Kimi 成本冒烟测试：设置 `MOONSHOT_API_KEY` 后，运行 + `openclaw models list --provider moonshot --json`，然后针对 `moonshot/kimi-k2.6` 运行独立的 + `openclaw agent --local --session-id live-kimi-cost --message 'Reply exactly: KIMI_LIVE_OK' --thinking off --json` + 。确认 JSON 报告的是 Moonshot/K2.6，并且助手转录中存储了标准化后的 `usage.cost`。 -提示：如果你只需要一个失败用例，优先使用下文介绍的 allowlist 环境变量来收窄 live 测试范围。 +提示：如果你只需要一个失败用例，优先使用下文描述的 allowlist 环境变量来缩小 live 测试范围。 ## QA 专用运行器 -当你需要 QA-lab 的真实环境时，这些命令与主测试套件并列存在： +当你需要 QA lab 的真实环境时，这些命令与主测试套件并列提供： -CI 会在专用工作流中运行 QA Lab。`Parity gate` 会在匹配的 PR 上运行，也可通过手动派发以 mock 提供商运行。`QA-Lab - All Lanes` 会在 `main` 上每晚运行，也可通过手动派发运行，其中 mock parity gate、live Matrix 通道和 Convex 管理的 live Telegram 通道会作为并行作业执行。`OpenClaw Release Checks` 会在发布批准前运行同样的通道。 +CI 会在专用工作流中运行 QA Lab。`Parity gate` 会在匹配的 PR 上运行，也可以通过手动触发使用 mock 提供商运行。`QA-Lab - All Lanes` 会在 `main` 上每晚运行，也可以通过手动触发以 mock parity gate、live Matrix 通道和由 Convex 管理的 live Telegram 通道作为并行作业运行。`OpenClaw Release Checks` 会在发布审批前运行相同的通道。 - `pnpm openclaw qa suite` - 直接在宿主机上运行基于仓库的 QA 场景。 - - 默认会使用隔离的 Gateway 网关 worker 并行运行多个选中的场景。`qa-channel` 默认并发数为 4（受选中场景数量限制）。使用 `--concurrency ` 调整 worker 数量，或者使用 `--concurrency 1` 切换为旧的串行通道。 - - 任一场景失败时，以非零状态退出。如果你想保留产物但不希望退出码失败，请使用 `--allow-failures`。 - - 支持提供商模式 `live-frontier`、`mock-openai` 和 `aimock`。`aimock` 会启动一个本地的 AIMock 支持的提供商服务器，用于实验性的夹具和协议 mock 覆盖，而不会替代具备场景感知能力的 `mock-openai` 通道。 + - 默认使用隔离的 Gateway 网关工作进程并行运行多个选定场景。`qa-channel` 默认并发度为 4（受所选场景数量限制）。使用 `--concurrency ` 调整工作进程数量，或使用 `--concurrency 1` 切换为旧的串行通道。 + - 任何场景失败时以非零状态退出。如果你想保留产物但不希望以失败退出码结束，请使用 `--allow-failures`。 + - 支持提供商模式 `live-frontier`、`mock-openai` 和 `aimock`。 + `aimock` 会启动一个本地的 AIMock 支持的提供商服务器，用于实验性的 fixture 和协议 mock 覆盖，而不是替代具备场景感知能力的 `mock-openai` 通道。 - `pnpm openclaw qa suite --runner multipass` - - 在一次性的 Multipass Linux VM 内运行同样的 QA 套件。 - - 与宿主机上的 `qa suite` 保持相同的场景选择行为。 - - 复用与 `qa suite` 相同的提供商 / 模型选择标志。 - - live 运行会转发适合来宾环境的受支持 QA 认证输入：基于环境变量的提供商密钥、QA live 提供商配置路径，以及存在时的 `CODEX_HOME`。 - - 输出目录必须保持在仓库根目录下，这样来宾才能通过挂载的工作区回写。 - - 会将常规 QA 报告 + 摘要以及 Multipass 日志写入 `.artifacts/qa-e2e/...`。 + - 在一次性 Multipass Linux VM 内运行同一套 QA 测试。 + - 保持与宿主机上的 `qa suite` 相同的场景选择行为。 + - 复用与 `qa suite` 相同的提供商/模型选择标志。 + - live 运行会转发对访客系统实际可行的受支持 QA 凭证输入：基于环境变量的提供商密钥、QA live provider 配置路径，以及存在时的 `CODEX_HOME`。 + - 输出目录必须保持在仓库根目录下，这样访客系统才能通过挂载的工作区回写内容。 + - 将标准 QA 报告 + 摘要以及 Multipass 日志写入 `.artifacts/qa-e2e/...`。 - `pnpm qa:lab:up` - 启动基于 Docker 的 QA 站点，用于偏操作员风格的 QA 工作。 - `pnpm test:docker:npm-onboard-channel-agent` - - 从当前检出构建 npm tarball，在 Docker 中全局安装，运行非交互式 OpenAI API 密钥新手引导，默认配置 Telegram，验证启用插件会按需安装运行时依赖，运行 doctor，并针对 mock 的 OpenAI 端点运行一次本地智能体轮次。 - - 使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 可在 Discord 上运行同样的打包安装通道。 + - 从当前检出构建 npm tarball，在 Docker 中全局安装，运行非交互式 OpenAI API 密钥新手引导，默认配置 Telegram，验证启用该插件时会按需安装运行时依赖，运行 doctor，并针对一个被 mock 的 OpenAI 端点运行一次本地智能体轮次。 + - 使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 可用 Discord 运行同一打包安装通道。 - `pnpm test:docker:bundled-channel-deps` - - 在 Docker 中打包并安装当前 OpenClaw 构建，启动已配置 OpenAI 的 Gateway 网关，然后通过编辑配置启用内置渠道 / 插件。 - - 验证设置发现流程会让未配置插件的运行时依赖保持未安装状态，第一次配置后的 Gateway 网关或 doctor 运行会按需安装每个内置插件的运行时依赖，而第二次重启不会重新安装已经激活的依赖。 - - 还会安装一个已知的旧版 npm 基线，在运行 `openclaw update --tag ` 之前启用 Telegram，并验证候选版本在更新后的 doctor 中会修复内置渠道运行时依赖，而无需测试框架侧的 postinstall 修复。 + - 在 Docker 中打包并安装当前 OpenClaw 构建，使用已配置的 OpenAI 启动 Gateway 网关，然后通过编辑配置启用内置 channel/plugins。 + - 验证设置发现阶段不会安装未配置插件的运行时依赖，首次已配置的 Gateway 网关或 doctor 运行会按需安装每个内置插件的运行时依赖，而第二次重启不会重新安装已激活的依赖。 + - 还会安装一个已知的较旧 npm 基线，在运行 `openclaw update --tag ` 之前启用 Telegram，并验证候选版本在更新后的 doctor 中会修复内置渠道运行时依赖，而无需测试框架侧的 postinstall 修复。 - `pnpm openclaw qa aimock` - - 只启动本地 AIMock 提供商服务器，用于直接协议冒烟测试。 + - 仅启动本地 AIMock 提供商服务器，用于直接协议冒烟测试。 - `pnpm openclaw qa matrix` - - 针对一次性的、基于 Docker 的 Tuwunel homeserver 运行 Matrix live QA 通道。 - - 这个 QA 宿主目前仅用于仓库 / 开发环境。打包后的 OpenClaw 安装不包含 `qa-lab`，因此也不会暴露 `openclaw qa`。 + - 针对一个一次性的、基于 Docker 的 Tuwunel homeserver 运行 Matrix live QA 通道。 + - 这个 QA 宿主当前仅供仓库/开发环境使用。打包后的 OpenClaw 安装不附带 `qa-lab`，因此不会暴露 `openclaw qa`。 - 仓库检出会直接加载内置运行器；无需单独安装插件。 - - 预配三个临时 Matrix 用户（`driver`、`sut`、`observer`）以及一个私有房间，然后启动一个 QA gateway 子进程，使用真实 Matrix 插件作为 SUT 传输层。 - - 默认使用固定的稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。如需测试其他镜像，请使用 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 - - Matrix 不暴露共享凭证来源标志，因为该通道会在本地预配一次性用户。 - - 会将 Matrix QA 报告、摘要、observed-events 产物，以及合并的 stdout/stderr 输出日志写入 `.artifacts/qa-e2e/...`。 + - 配置三个临时 Matrix 用户（`driver`、`sut`、`observer`）以及一个私有房间，然后以真实 Matrix 插件作为 SUT 传输层启动一个 QA gateway 子进程。 + - 默认使用固定的稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。如果你需要测试其他镜像，可通过 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 + - Matrix 不暴露共享凭证源标志，因为该通道会在本地配置一次性用户。 + - 将 Matrix QA 报告、摘要、observed-events 产物以及合并后的 stdout/stderr 输出日志写入 `.artifacts/qa-e2e/...`。 - `pnpm openclaw qa telegram` - - 使用环境变量中的 driver 和 SUT bot token，针对真实私有群组运行 Telegram live QA 通道。 + - 使用来自环境变量的 driver 和 SUT bot token，针对真实私有群组运行 Telegram live QA 通道。 - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 id 必须是 Telegram chat 的数字 id。 - - 支持 `--credential-source convex` 以使用共享池化凭证。默认使用 env 模式，或者设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 - - 任一场景失败时，以非零状态退出。如果你想保留产物但不希望退出码失败，请使用 `--allow-failures`。 - - 需要同一个私有群组中的两个不同 bot，且 SUT bot 必须暴露 Telegram 用户名。 - - 为了稳定地观察 bot 之间的通信，请在 `@BotFather` 中为两个 bot 都启用 Bot-to-Bot Communication Mode，并确保 driver bot 能观察到群组中的 bot 流量。 - - 会将 Telegram QA 报告、摘要和 observed-messages 产物写入 `.artifacts/qa-e2e/...`。回复场景包含从 driver 发送请求到观察到 SUT 回复之间的 RTT。 + - 支持 `--credential-source convex` 以使用共享池化凭证。默认使用 env 模式，或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 + - 任何场景失败时以非零状态退出。如果你想保留产物但不希望以失败退出码结束，请使用 `--allow-failures`。 + - 需要同一个私有群组中的两个不同 bot，且 SUT bot 需要暴露一个 Telegram 用户名。 + - 为了获得稳定的 bot 对 bot 观测，请在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode，并确保 driver bot 可以观测群组中的 bot 流量。 + - 将 Telegram QA 报告、摘要和 observed-messages 产物写入 `.artifacts/qa-e2e/...`。回复场景包含从 driver 发送请求到观测到 SUT 回复之间的 RTT。 -live 传输通道共享一套标准契约，因此新传输不会发生漂移： +live 传输通道共享一个标准契约，因此新传输方式不会发生漂移： -`qa-channel` 仍然是广泛的合成 QA 套件，不属于 live 传输覆盖矩阵的一部分。 +`qa-channel` 仍然是广义的合成 QA 测试套件，不属于 live 传输覆盖矩阵的一部分。 -| 通道 | Canary | 提及门禁 | allowlist 阻止 | 顶层回复 | 重启恢复 | 线程后续回复 | 线程隔离 | Reaction 观察 | help 命令 | +| 通道 | Canary | 提及门控 | Allowlist 屏蔽 | 顶层回复 | 重启恢复 | 线程跟进 | 线程隔离 | 反应观测 | 帮助命令 | | -------- | ------ | -------------- | --------------- | --------------- | -------------- | ---------------- | ---------------- | -------------------- | ------------ | | Matrix | x | x | x | x | x | x | x | x | | | Telegram | x | | | | | | | | x | ### 通过 Convex 共享 Telegram 凭证（v1） -当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时，QA lab 会从 Convex 支持的池中获取一个独占租约，在通道运行期间为该租约发送心跳，并在关闭时释放该租约。 +当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时，QA lab 会从 Convex 支持的凭证池中获取一个独占租约，在该通道运行期间对租约持续发送心跳，并在关闭时释放租约。 参考 Convex 项目脚手架： - `qa/convex-credential-broker/` -必需环境变量： +必需的环境变量： - `OPENCLAW_QA_CONVEX_SITE_URL`（例如 `https://your-deployment.convex.site`） -- 所选角色对应的一个密钥： - - `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER` 对应 `maintainer` - - `OPENCLAW_QA_CONVEX_SECRET_CI` 对应 `ci` +- 为所选角色配置一个密钥： + - `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER` 用于 `maintainer` + - `OPENCLAW_QA_CONVEX_SECRET_CI` 用于 `ci` - 凭证角色选择： - CLI：`--credential-role maintainer|ci` - - 环境变量默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（在 CI 中默认是 `ci`，否则默认是 `maintainer`） + - 环境变量默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（在 CI 中默认为 `ci`，否则默认为 `maintainer`） 可选环境变量： @@ -131,12 +135,13 @@ live 传输通道共享一套标准契约，因此新传输不会发生漂移： - `OPENCLAW_QA_CREDENTIAL_ACQUIRE_TIMEOUT_MS`（默认 `90000`） - `OPENCLAW_QA_CREDENTIAL_HTTP_TIMEOUT_MS`（默认 `15000`） - `OPENCLAW_QA_CONVEX_ENDPOINT_PREFIX`（默认 `/qa-credentials/v1`） -- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选追踪 id） +- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选跟踪 id） - `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许在仅限本地开发时使用 loopback `http://` Convex URL。 -正常运行时，`OPENCLAW_QA_CONVEX_SITE_URL` 应使用 `https://`。 +`OPENCLAW_QA_CONVEX_SITE_URL` 在正常运行中应使用 `https://`。 -维护者管理命令（池添加 / 移除 / 列表）必须明确使用 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。 +维护者管理命令（池添加/移除/列出）必须专门使用 +`OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。 面向维护者的 CLI 辅助命令： @@ -146,20 +151,20 @@ pnpm openclaw qa credentials list --kind telegram pnpm openclaw qa credentials remove --credential-id ``` -在脚本和 CI 工具中使用 `--json` 获取机器可读输出。 +在脚本和 CI 工具中使用 `--json` 可获得机器可读输出。 默认端点契约（`OPENCLAW_QA_CONVEX_SITE_URL` + `/qa-credentials/v1`）： - `POST /acquire` - 请求：`{ kind, ownerId, actorRole, leaseTtlMs, heartbeatIntervalMs }` - 成功：`{ status: "ok", credentialId, leaseToken, payload, leaseTtlMs?, heartbeatIntervalMs? }` - - 资源耗尽 / 可重试：`{ status: "error", code: "POOL_EXHAUSTED" | "NO_CREDENTIAL_AVAILABLE", ... }` + - 资源耗尽/可重试：`{ status: "error", code: "POOL_EXHAUSTED" | "NO_CREDENTIAL_AVAILABLE", ... }` - `POST /heartbeat` - 请求：`{ kind, ownerId, actorRole, credentialId, leaseToken, leaseTtlMs }` - - 成功：`{ status: "ok" }`（或空的 `2xx`） + - 成功：`{ status: "ok" }`（或空 `2xx`） - `POST /release` - 请求：`{ kind, ownerId, actorRole, credentialId, leaseToken }` - - 成功：`{ status: "ok" }`（或空的 `2xx`） + - 成功：`{ status: "ok" }`（或空 `2xx`） - `POST /admin/add`（仅限 maintainer 密钥） - 请求：`{ kind, actorId, payload, note?, status? }` - 成功：`{ status: "ok", credential }` @@ -175,58 +180,56 @@ Telegram 类型的 payload 结构： - `{ groupId: string, driverToken: string, sutToken: string }` - `groupId` 必须是 Telegram chat id 的数字字符串。 -- `admin/add` 会对 `kind: "telegram"` 的此结构进行校验，并拒绝格式不正确的 payload。 +- `admin/add` 会对 `kind: "telegram"` 的此结构进行校验，并拒绝格式错误的 payload。 ### 向 QA 添加一个渠道 -将一个渠道添加到 markdown QA 系统中，**只需要且必须**做两件事： +向 Markdown QA 系统添加一个渠道，严格来说只需要两样东西： -1. 为该渠道实现一个传输适配器。 -2. 编写一个用于验证该渠道契约的场景包。 +1. 该渠道的传输适配器。 +2. 一个用于验证渠道契约的场景包。 -当共享的 `qa-lab` 宿主能够承载整个流程时，不要添加新的顶层 QA 命令根。 +当共享的 `qa-lab` 宿主可以承担该流程时，不要新增顶层 QA 命令根。 `qa-lab` 负责共享宿主机制： - `openclaw qa` 命令根 -- 套件启动与清理 -- worker 并发 +- 测试套件启动和拆除 +- 工作进程并发 - 产物写入 - 报告生成 - 场景执行 -- 对旧版 `qa-channel` 场景的兼容别名 +- 对旧版 `qa-channel` 场景的兼容性别名 -运行器插件负责传输契约： +Runner 插件负责传输契约： -- `openclaw qa ` 如何挂载在共享的 `qa` 根之下 +- `openclaw qa ` 如何挂载在共享 `qa` 根下 - 如何为该传输配置 Gateway 网关 - 如何检查就绪状态 - 如何注入入站事件 -- 如何观察出站消息 -- 如何暴露转录和标准化后的传输状态 +- 如何观测出站消息 +- 如何暴露转录记录和标准化后的传输状态 - 如何执行由传输支持的操作 - 如何处理传输特定的重置或清理 新渠道的最低接入门槛是： 1. 保持 `qa-lab` 作为共享 `qa` 根的所有者。 -2. 在共享的 `qa-lab` 宿主接缝上实现传输运行器。 -3. 将传输特定机制保留在运行器插件或渠道 harness 内部。 -4. 将运行器挂载为 `openclaw qa `，而不是注册一个相互竞争的根命令。 - 运行器插件应在 `openclaw.plugin.json` 中声明 `qaRunners`，并从 `runtime-api.ts` 导出匹配的 `qaRunnerCliRegistrations` 数组。 - 保持 `runtime-api.ts` 轻量；惰性 CLI 和运行器执行应放在独立入口点之后。 -5. 在按主题划分的 `qa/scenarios/` 目录下编写或改造 markdown 场景。 -6. 为新场景使用通用场景辅助函数。 -7. 除非仓库正在进行有意迁移，否则保持现有兼容别名继续可用。 +2. 在共享的 `qa-lab` 宿主接口上实现传输 runner。 +3. 将传输特定机制保留在 runner 插件或渠道 harness 内部。 +4. 将 runner 挂载为 `openclaw qa `，而不是注册一个相互竞争的根命令。Runner 插件应在 `openclaw.plugin.json` 中声明 `qaRunners`，并从 `runtime-api.ts` 导出匹配的 `qaRunnerCliRegistrations` 数组。保持 `runtime-api.ts` 轻量；惰性 CLI 和 runner 执行应保留在独立入口点之后。 +5. 在带主题的 `qa/scenarios/` 目录下编写或改造 Markdown 场景。 +6. 对新场景使用通用场景辅助函数。 +7. 除非仓库正在进行有意迁移，否则应保持现有兼容性别名可用。 -决策规则是严格的： +决策规则很严格： -- 如果某个行为能在 `qa-lab` 中统一表达一次，就把它放进 `qa-lab`。 -- 如果某个行为依赖某一个渠道传输，就把它保留在该运行器插件或插件 harness 中。 -- 如果某个场景需要超过一个渠道都能使用的新能力，请添加通用辅助函数，而不是在 `suite.ts` 中添加渠道特定分支。 -- 如果某个行为只对一种传输有意义，就让该场景保持传输特定，并在场景契约中明确说明。 +- 如果某个行为可以在 `qa-lab` 中一次表达，就放到 `qa-lab` 中。 +- 如果某个行为依赖于单一渠道传输，就把它保留在该 runner 插件或插件 harness 中。 +- 如果某个场景需要多于一个渠道都可使用的新能力，就添加一个通用辅助函数，而不是在 `suite.ts` 中添加特定渠道分支。 +- 如果某个行为只对一种传输有意义，就保持该场景是传输特定的，并在场景契约中明确说明。 -新场景推荐使用的通用辅助函数名称是： +新场景的首选通用辅助函数名称是： - `waitForTransportReady` - `waitForChannelReady` @@ -241,7 +244,7 @@ Telegram 类型的 payload 结构： - `formatTransportTranscript` - `resetTransport` -现有场景仍可使用兼容别名，包括： +现有场景仍可使用兼容性别名，包括： - `waitForQaChannelReady` - `waitForOutboundMessage` @@ -249,18 +252,18 @@ Telegram 类型的 payload 结构： - `formatConversationTranscript` - `resetBus` -新的渠道开发应使用这些通用辅助函数名称。 -兼容别名的存在是为了避免一次性迁移日，而不是作为新场景编写的范式。 +新的渠道工作应使用通用辅助函数名称。 +兼容性别名的存在是为了避免一次性迁移，而不是作为新场景编写的范式。 ## 测试套件（各自运行位置） -可以把这些套件理解为“真实度逐步增加”（同时不稳定性 / 成本也逐步增加）： +可以将这些套件理解为“真实度逐步增加”（同时不稳定性/成本也会增加）： ### Unit / integration（默认） - 命令：`pnpm test` -- 配置：未指定目标的运行使用 `vitest.full-*.config.ts` 分片集合，并且可能会将多项目分片展开为按项目划分的配置，以进行并行调度 -- 文件：`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的 core / 单元测试清单，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` node 测试 +- 配置：未定向运行使用 `vitest.full-*.config.ts` 分片集合，并可能将多项目分片扩展为按项目拆分的配置，以便并行调度 +- 文件：`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的 core/unit 清单，以及由 `vitest.unit.config.ts` 覆盖的白名单 `ui` node 测试 - 范围： - 纯单元测试 - 进程内集成测试（Gateway 网关认证、路由、工具、解析、配置） @@ -270,62 +273,62 @@ Telegram 类型的 payload 结构： - 不需要真实密钥 - 应该快速且稳定 - - 未指定目标的 `pnpm test` 会运行 12 个较小的分片配置（`core-unit-fast`、`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是运行一个巨大的原生根项目进程。这能降低高负载机器上的峰值 RSS，并避免 auto-reply / extension 工作拖累无关套件。 - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片 watch 循环并不现实。 - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会优先通过作用域通道来路由显式文件 / 目录目标，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 不必承担完整根项目启动的代价。 - 当差异仅触及可路由的源文件 / 测试文件时，`pnpm test:changed` 会将变更的 git 路径展开到同样的作用域通道；配置 / setup 编辑仍会回退到更宽泛的根项目重跑。 - `pnpm check:changed` 是常规的智能本地门禁，适用于小范围工作。它会将 diff 分类为 core、core tests、extensions、extension tests、apps、docs、release metadata 和 tooling，然后运行匹配的类型检查 / lint / 测试通道。公共 Plugin SDK 和插件契约变更会额外包含一次 extension 验证，因为 extensions 依赖这些 core 契约。仅涉及发布元数据的版本提升会运行有针对性的版本 / 配置 / 根依赖检查，而不是全量套件，并带有一个守卫，拒绝顶层版本字段之外的 `package` 变更。 - 来自 agents、commands、plugins、auto-reply 辅助函数、`plugin-sdk` 及类似纯工具区域的轻导入单元测试会路由到 `unit-fast` 通道，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件仍保留在现有通道中。 - 选定的 `plugin-sdk` 和 `commands` 辅助源文件也会在 changed 模式运行时映射到这些轻量通道中的显式同级测试，因此辅助函数编辑无需为该目录重跑完整重型套件。 - `auto-reply` 有三个专用分桶：顶层 core 辅助函数、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这使最重的 reply harness 工作不会落到廉价的状态 / chunk / token 测试上。 + - 未定向的 `pnpm test` 运行会使用十二个更小的分片配置（`core-unit-fast`、`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生 root-project 进程。这样可以降低高负载机器上的 RSS 峰值，并避免 auto-reply/extension 工作饿死无关套件。 - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片监听循环并不现实。 - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会优先通过范围通道路由显式的文件/目录目标，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 不必承担完整 root project 启动成本。 - 当 diff 仅触及可路由的源码/测试文件时，`pnpm test:changed` 会将变更后的 git 路径扩展为相同的范围通道；配置/设置编辑仍会回退为广泛的 root-project 重跑。 - `pnpm check:changed` 是窄范围工作时的常规智能本地门禁。它会将 diff 分类为 core、core tests、extensions、extension tests、apps、docs、release metadata 和 tooling，然后运行匹配的 typecheck/lint/test 通道。公开的 Plugin SDK 和 plugin-contract 变更会额外包含一次 extension 验证，因为 extensions 依赖这些 core 契约。仅包含发布元数据版本提升的改动会运行定向的版本/配置/根依赖检查，而不是完整套件，并带有一个保护措施，拒绝顶层 version 字段以外的 package 变更。 - 来自 agents、commands、plugins、auto-reply helpers、`plugin-sdk` 以及类似纯工具区域的轻导入 unit 测试会通过 `unit-fast` 通道运行，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态/运行时较重的文件则保留在现有通道中。 - 一些选定的 `plugin-sdk` 和 `commands` helper 源文件也会在 changed 模式运行时映射到这些轻量通道中的显式同级测试，因此 helper 编辑可避免为该目录重跑完整的重型套件。 - `auto-reply` 有三个专用桶：顶层 core helpers、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这使最重的 reply harness 工作不会落到廉价的 status/chunk/token 测试上。 - - - 当你修改消息工具发现输入或压缩运行时上下文时，要同时保留两个层级的覆盖。 - - 为纯路由和标准化边界添加聚焦的辅助函数回归测试。 - - 保持嵌入式运行器集成套件健康： + + - 当你更改 message-tool 发现输入或压缩运行时上下文时，要同时保留两层覆盖。 + - 为纯路由和标准化边界添加聚焦的 helper 回归测试。 + - 保持嵌入式 runner 集成套件健康： `src/agents/pi-embedded-runner/compact.hooks.test.ts`、 `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和 `src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。 - - 这些套件会验证作用域 id 和压缩行为仍然经过真实的 `run.ts` / `compact.ts` 路径；仅有辅助函数测试并不足以替代这些集成路径。 + - 这些套件验证带范围的 id 和压缩行为仍会流经真实的 `run.ts` / `compact.ts` 路径；仅有 helper 测试并不足以替代这些集成路径。 - + - 基础 Vitest 配置默认使用 `threads`。 - - 共享的 Vitest 配置固定为 `isolate: false`，并在根项目、e2e 和 live 配置中使用非隔离运行器。 - - 根 UI 通道保留其 `jsdom` setup 和 optimizer，但同样运行在共享的非隔离运行器上。 - - 每个 `pnpm test` 分片都从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 - - `scripts/run-vitest.mjs` 默认会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1` 可与 stock V8 行为进行对比。 + - 共享 Vitest 配置固定 `isolate: false`，并在 root projects、e2e 和 live 配置中使用非隔离 runner。 + - 根 UI 通道保留其 `jsdom` 设置和优化器，但也在共享的非隔离 runner 上运行。 + - 每个 `pnpm test` 分片都会从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 + - `scripts/run-vitest.mjs` 默认会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1` 可与原生 V8 行为做对比。 - `pnpm changed:lanes` 会显示某个 diff 触发了哪些架构通道。 - - pre-commit hook 只负责格式化。它会重新暂存已格式化文件，但不会运行 lint、类型检查或测试。 - - 当你需要智能本地门禁时，在交接或推送前显式运行 `pnpm check:changed`。公共 Plugin SDK 和插件契约变更会包含一次 extension 验证。 - - 当变更路径能明确映射到较小套件时，`pnpm test:changed` 会通过作用域通道进行路由。 + - pre-commit hook 只负责格式化。它会重新暂存已格式化的文件，不会运行 lint、typecheck 或 tests。 + - 当你需要智能本地门禁时，在交接或推送前显式运行 `pnpm check:changed`。公开的 Plugin SDK 和 plugin-contract 变更会额外包含一次 extension 验证。 + - `pnpm test:changed` 会在变更路径可清晰映射到较小套件时通过范围通道进行路由。 - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的 worker 上限。 - - 本地 worker 自动伸缩有意采取保守策略；当宿主负载平均值已经较高时会自动退让，因此默认情况下，多个并发 Vitest 运行造成的影响会更小。 - - 基础 Vitest 配置将项目 / 配置文件标记为 `forceRerunTriggers`，以便在测试接线发生变化时，changed 模式重跑仍然正确。 - - 配置会在受支持的宿主上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你希望为直接性能分析指定一个显式缓存位置，请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 + - 本地 worker 自动扩缩容刻意保持保守，并会在宿主平均负载已经很高时回退，因此默认情况下多个并发 Vitest 运行造成的影响更小。 + - 基础 Vitest 配置将项目/配置文件标记为 `forceRerunTriggers`，因此当测试接线发生变化时，changed 模式重跑仍保持正确。 + - 配置会在受支持宿主上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你想为直接性能分析指定一个明确的缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 - - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告，以及导入拆解输出。 - - `pnpm test:perf:imports:changed` 会将同样的分析视图收窄到自 `origin/main` 以来变更的文件。 - - 当某个热点测试仍然将大部分时间花在启动导入上时，应将重型依赖放在狭窄的本地 `*.runtime.ts` 接缝之后，并直接 mock 该接缝，而不是为了传给 `vi.mock(...)` 而深度导入运行时辅助函数。 - - `pnpm test:perf:changed:bench -- --ref ` 会将路由后的 `test:changed` 与该已提交 diff 的原生根项目路径进行对比，并打印 wall time 以及 macOS 最大 RSS。 - - `pnpm test:perf:changed:bench -- --worktree` 会通过将变更文件列表路由到 `scripts/test-projects.mjs` 和根 Vitest 配置，对当前脏工作树进行基准测试。 - - `pnpm test:perf:profile:main` 会为 Vitest/Vite 的启动和 transform 开销写出主线程 CPU profile。 - - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为单元测试套件写出 runner CPU + heap profile。 + - `pnpm test:perf:imports` 会启用 Vitest 导入时长报告以及 import-breakdown 输出。 + - `pnpm test:perf:imports:changed` 会将相同的分析视图限定到自 `origin/main` 以来变更的文件。 + - 当某个热点测试仍将大部分时间耗在启动导入上时，应将重型依赖保留在狭窄的本地 `*.runtime.ts` 接口之后，并直接 mock 该接口，而不是为了传给 `vi.mock(...)` 而深度导入运行时辅助工具。 + - `pnpm test:perf:changed:bench -- --ref ` 会将已路由的 `test:changed` 与该提交 diff 的原生 root-project 路径进行对比，并输出墙钟时间以及 macOS 最大 RSS。 + - `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置将变更文件列表路由后，对当前脏工作树进行基准测试。 + - `pnpm test:perf:profile:main` 会为 Vitest/Vite 启动和转换开销写出主线程 CPU profile。 + - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为 unit 套件写出 runner CPU + heap profile。 -### Stability（Gateway 网关） +### 稳定性（Gateway 网关） - 命令：`pnpm test:stability:gateway` -- 配置：`vitest.gateway.config.ts`，强制使用一个 worker +- 配置：`vitest.gateway.config.ts`，强制单 worker - 范围： - - 启动一个真实的 loopback Gateway 网关，并默认启用 diagnostics - - 通过诊断事件路径驱动合成的 gateway 消息、memory 和大 payload 抖动 + - 启动一个真实的 local loopback Gateway 网关，默认启用诊断 + - 通过诊断事件路径驱动合成的 Gateway 网关消息、记忆和大 payload 抖动 - 通过 Gateway 网关 WS RPC 查询 `diagnostics.stability` - 覆盖诊断稳定性 bundle 持久化辅助函数 - - 断言记录器保持有界、合成 RSS 样本保持在压力预算之下，并且每个会话的队列深度最终回落为零 + - 断言 recorder 保持有界、合成 RSS 采样保持在压力预算之下，并且每个会话的队列深度会回落到零 - 预期： - - 对 CI 安全且无需密钥 - - 这是用于稳定性回归跟进的窄通道，而不是完整 Gateway 网关套件的替代品 + - 对 CI 安全且不需要密钥 + - 这是用于稳定性回归跟进的窄范围通道，不可替代完整的 Gateway 网关测试套件 ### E2E（Gateway 网关冒烟） @@ -333,19 +336,19 @@ Telegram 类型的 payload 结构： - 配置：`vitest.e2e.config.ts` - 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts`，以及 `extensions/` 下的内置插件 E2E 测试 - 运行时默认值： - - 使用带 `isolate: false` 的 Vitest `threads`，与仓库其余部分保持一致。 - - 使用自适应 worker（CI：最多 2 个，本地：默认 1 个）。 + - 使用 Vitest `threads`，并设置 `isolate: false`，与仓库其余部分保持一致。 + - 使用自适应 workers（CI：最多 2 个，本地：默认 1 个）。 - 默认以静默模式运行，以减少控制台 I/O 开销。 - 常用覆盖项： - `OPENCLAW_E2E_WORKERS=` 用于强制指定 worker 数量（上限为 16）。 - `OPENCLAW_E2E_VERBOSE=1` 用于重新启用详细控制台输出。 - 范围： - 多实例 Gateway 网关端到端行为 - - WebSocket/HTTP 接口、节点配对，以及更重的网络行为 + - WebSocket/HTTP 接口、节点配对以及更重的网络交互 - 预期： - 在 CI 中运行（当流水线启用时） - 不需要真实密钥 - - 比单元测试涉及更多可变因素（可能更慢） + - 比 unit 测试有更多活动部件（可能更慢） ### E2E：OpenShell 后端冒烟测试 @@ -355,701 +358,240 @@ Telegram 类型的 payload 结构： - 通过 Docker 在宿主机上启动一个隔离的 OpenShell Gateway 网关 - 从临时本地 Dockerfile 创建一个沙箱 - 通过真实的 `sandbox ssh-config` + SSH exec 运行 OpenClaw 的 OpenShell 后端 - - 通过沙箱 fs bridge 验证远程规范文件系统行为 + - 通过沙箱 fs bridge 验证远端规范文件系统行为 - 预期： - - 仅按需启用；不属于默认的 `pnpm test:e2e` 运行范围 + - 仅在显式启用时运行；不属于默认 `pnpm test:e2e` 运行的一部分 - 需要本地 `openshell` CLI 和可用的 Docker daemon - - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 Gateway 网关和沙箱 + - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，随后销毁测试 Gateway 网关和沙箱 - 常用覆盖项： - - `OPENCLAW_E2E_OPENSHELL=1`：在手动运行更广泛的 e2e 套件时启用该测试 - - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`：指向非默认 CLI 二进制或包装脚本 + - `OPENCLAW_E2E_OPENSHELL=1` 用于在手动运行更广泛的 e2e 套件时启用该测试 + - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 用于指向非默认 CLI 二进制文件或包装脚本 ### Live（真实提供商 + 真实模型） - 命令：`pnpm test:live` - 配置：`vitest.live.config.ts` - 文件：`src/**/*.live.test.ts`、`test/**/*.live.test.ts`，以及 `extensions/` 下的内置插件 live 测试 -- 默认：由 `pnpm test:live` **启用**（会设置 `OPENCLAW_LIVE_TEST=1`） +- 默认：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`） - 范围： - - “这个提供商 / 模型在 _今天_ 使用真实凭证时，是否真的可用？” - - 捕获提供商格式变化、工具调用怪癖、认证问题和速率限制行为 + - “这个提供商/模型**今天**是否真的能用真实凭证正常工作？” + - 捕获提供商格式变更、工具调用怪癖、认证问题以及速率限制行为 - 预期： - - 按设计不具备 CI 稳定性（真实网络、真实提供商策略、配额、故障） + - 设计上不保证 CI 稳定（真实网络、真实提供商策略、配额、故障） - 会花钱 / 消耗速率限制 - - 优先运行收窄后的子集，而不是“全部” -- live 运行会读取 `~/.profile`，以补充缺失的 API 密钥。 -- 默认情况下，live 运行仍会隔离 `HOME`，并将配置 / 认证材料复制到临时测试 home 中，以避免单元测试夹具修改你真实的 `~/.openclaw`。 -- 仅当你明确需要 live 测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 -- `pnpm test:live` 现在默认使用更安静的模式：它会保留 `[live] ...` 进度输出，但隐藏额外的 `~/.profile` 提示，并静默 Gateway 网关引导日志 / Bonjour 噪声。如需恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 -- API 密钥轮换（提供商特定）：设置逗号 / 分号格式的 `*_API_KEYS`，或设置 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），也可通过 `OPENCLAW_LIVE_*_KEY` 进行每次 live 运行覆盖；测试在收到速率限制响应时会重试。 -- 进度 / 心跳输出： - - live 套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获处于安静模式，长时间的提供商调用也能显示为正在活动。 - - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，这样提供商 / Gateway 网关的进度行能在 live 运行期间立即流出。 + - 优先运行缩小范围后的子集，而不是“一切全跑” +- live 运行会读取 `~/.profile`，以获取缺失的 API 密钥。 +- 默认情况下，live 运行仍会隔离 `HOME`，并将配置/认证材料复制到一个临时测试 home 中，这样 unit fixture 就不会修改你的真实 `~/.openclaw`。 +- 仅当你有意让 live 测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 +- `pnpm test:live` 现在默认采用更安静的模式：会保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静默 Gateway 网关启动日志/Bonjour 噪声。如果你想恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 +- API 密钥轮换（提供商特定）：设置 `*_API_KEYS`，使用逗号/分号格式，或设置 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），也可通过 `OPENCLAW_LIVE_*_KEY` 为单次 live 运行单独覆盖；测试会在速率限制响应时重试。 +- 进度/心跳输出： + - live 套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，较长的提供商调用也能显式显示为正在进行。 + - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，因此提供商/Gateway 网关进度行会在 live 运行期间立即流出。 - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整 direct-model 心跳。 - - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / probe 心跳。 + - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关/探测心跳。 -## 我应该运行哪个套件？ +## 我应该运行哪个测试套件？ -使用下表决策： +使用这个决策表： -- 编辑逻辑 / 测试：运行 `pnpm test`（如果你改动很多，再加上 `pnpm test:coverage`） +- 修改逻辑/测试：运行 `pnpm test`（如果改动很多，再加上 `pnpm test:coverage`） - 触及 Gateway 网关网络 / WS 协议 / 配对：额外运行 `pnpm test:e2e` -- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行收窄后的 `pnpm test:live` +- 调试“我的 bot 挂了”/ 提供商特定故障 / 工具调用：运行一个缩小范围的 `pnpm test:live` -## Live：Android 节点能力扫描 +## Live（触网）测试 -- 测试：`src/gateway/android-node.capabilities.live.test.ts` -- 脚本：`pnpm android:test:integration` -- 目标：调用已连接 Android 节点当前声明的**每一个命令**，并断言命令契约行为。 -- 范围： - - 依赖预先手动设置（该套件不会安装 / 运行 / 配对应用）。 - - 针对所选 Android 节点逐命令验证 gateway `node.invoke`。 -- 必需的预先设置： - - Android 应用已连接并已与 gateway 配对。 - - 应用保持在前台。 - - 已授予你期望通过的能力所需的权限 / 捕获同意。 -- 可选目标覆盖项： - - `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。 - - `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。 -- 完整 Android 设置详情：[Android App](/zh-CN/platforms/android) - -## Live：模型冒烟测试（profile keys） - -live 测试分为两层，以便我们隔离故障： - -- “Direct model” 告诉我们：使用给定密钥时，该提供商 / 模型是否至少能响应。 -- “Gateway smoke” 告诉我们：该模型的完整 gateway + 智能体流水线是否正常工作（会话、历史、工具、沙箱策略等）。 - -### 第 1 层：Direct model completion（无 gateway） - -- 测试：`src/agents/models.profiles.live.test.ts` -- 目标： - - 枚举发现到的模型 - - 使用 `getApiKeyForModel` 选择你拥有凭证的模型 - - 为每个模型运行一个小型 completion（并在需要时运行有针对性的回归测试） -- 启用方式： - - `pnpm test:live`（或直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） -- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）才会实际运行此套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 gateway 冒烟测试 -- 如何选择模型： - - `OPENCLAW_LIVE_MODELS=modern` 运行 modern allowlist（Opus/Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - - `OPENCLAW_LIVE_MODELS=all` 是 modern allowlist 的别名 - - 或 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,..."`（逗号分隔的 allowlist） - - modern/all 扫描默认有一个经过策划的高信号上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可进行穷尽式 modern 扫描，或设置为正数以缩小上限。 -- 如何选择提供商： - - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔的 allowlist） -- 密钥来源： - - 默认：profile 存储和环境变量回退 - - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅**使用 profile 存储 -- 为什么需要它： - - 将“提供商 API 坏了 / 密钥无效”与“gateway 智能体流水线坏了”区分开来 - - 容纳小型、隔离的回归测试（例如：OpenAI Responses/Codex Responses 推理重放 + 工具调用流程） - -### 第 2 层：Gateway 网关 + dev 智能体冒烟测试（即 “@openclaw” 实际在做的事） - -- 测试：`src/gateway/gateway-models.profiles.live.test.ts` -- 目标： - - 启动一个进程内 gateway - - 创建 / 修补一个 `agent:dev:*` 会话（每次运行按模型覆盖） - - 遍历有密钥的模型并断言： - - “有意义的”响应（无工具） - - 真实工具调用可用（读取探测） - - 可选的额外工具探测（exec+read 探测） - - OpenAI 回归路径（仅工具调用 → 后续跟进）持续可用 -- 探测详情（这样你可以快速解释故障）： - - `read` 探测：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 它并回显 nonce。 - - `exec+read` 探测：测试要求智能体通过 `exec` 将 nonce 写入一个临时文件，然后再 `read` 回来。 - - 图像探测：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 - - 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。 -- 启用方式： - - `pnpm test:live`（或直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） -- 如何选择模型： - - 默认：modern allowlist（Opus/Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是 modern allowlist 的别名 - - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）以收窄范围 - - modern/all gateway 扫描默认有一个经过策划的高信号上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可进行穷尽式 modern 扫描，或设置为正数以缩小上限。 -- 如何选择提供商（避免“OpenRouter 全家桶”）： - - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔的 allowlist） -- 工具 + 图像探测在此 live 测试中始终启用： - - `read` 探测 + `exec+read` 探测（工具压力测试） - - 当模型声明支持图像输入时，会运行图像探测 - - 流程（高层级）： - - 测试生成一个包含 “CAT” + 随机代码的微型 PNG（`src/gateway/live-image-probe.ts`） - - 通过 `agent` `attachments: [{ mimeType: "image/png", content: "" }]` 发送 - - Gateway 网关将附件解析到 `images[]` 中（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） - - 嵌入式智能体将多模态用户消息转发给模型 - - 断言：回复中包含 `cat` + 该代码（OCR 容错：允许轻微错误） - -提示：要查看你的机器上能测试什么（以及精确的 `provider/model` id），请运行： - -```bash -openclaw models list -openclaw models list --json -``` - -## Live：CLI 后端冒烟测试（Claude、Codex、Gemini 或其他本地 CLI） - -- 测试：`src/gateway/gateway-cli-backend.live.test.ts` -- 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线，而不触碰你的默认配置。 -- 后端特定的冒烟测试默认值位于所属扩展的 `cli-backend.ts` 定义中。 -- 启用： - - `pnpm test:live`（或直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） - - `OPENCLAW_LIVE_CLI_BACKEND=1` -- 默认值： - - 默认提供商 / 模型：`claude-cli/claude-sonnet-4-6` - - 命令 / 参数 / 图像行为来自所属 CLI 后端插件元数据。 -- 覆盖项（可选）： - - `OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.5"` - - `OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"` - - `OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'` - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 用于发送真实图像附件（路径会注入到提示词中）。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 用于通过 CLI 参数传递图像文件路径，而不是通过提示词注入。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）用于控制在设置了 `IMAGE_ARG` 时图像参数的传递方式。 - - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 用于发送第二轮并验证恢复流程。 - - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=0` 用于禁用默认的 Claude Sonnet -> Opus 同会话连续性探测（当所选模型支持切换目标时，设为 `1` 可强制启用）。 - -示例： - -```bash -OPENCLAW_LIVE_CLI_BACKEND=1 \ - OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.5" \ - pnpm test:live src/gateway/gateway-cli-backend.live.test.ts -``` - -Docker 配方： - -```bash -pnpm test:docker:live-cli-backend -``` - -单提供商 Docker 配方： - -```bash -pnpm test:docker:live-cli-backend:claude -pnpm test:docker:live-cli-backend:claude-subscription -pnpm test:docker:live-cli-backend:codex -pnpm test:docker:live-cli-backend:gemini -``` - -注意事项： - -- Docker 运行器位于 `scripts/test-live-cli-backend-docker.sh`。 -- 它会以非 root 的 `node` 用户身份，在仓库 Docker 镜像内运行 live CLI 后端冒烟测试。 -- 它会从所属扩展解析 CLI 冒烟测试元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 指定的可写缓存前缀中（默认：`~/.cache/openclaw/docker-cli-tools`）。 -- `pnpm test:docker:live-cli-backend:claude-subscription` 需要可移植的 Claude Code 订阅 OAuth，可通过带有 `claudeAiOauth.subscriptionType` 的 `~/.claude/.credentials.json` 或来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN` 提供。它会先在 Docker 中验证直接执行 `claude -p`，然后在不保留 Anthropic API 密钥环境变量的情况下运行两次 Gateway 网关 CLI 后端轮次。由于 Claude 目前会将第三方应用使用量路由到额外用量计费，而不是普通订阅计划额度，因此这个订阅通道默认会禁用 Claude MCP / 工具和图像探测。 -- live CLI 后端冒烟测试现在对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图像分类轮次，然后是通过 gateway CLI 验证的 MCP `cron` 工具调用。 -- Claude 的默认冒烟测试还会将会话从 Sonnet 修补到 Opus，并验证恢复后的会话仍记得之前的一条备注。 - -## Live：ACP 绑定冒烟测试（`/acp spawn ... --bind here`） - -- 测试：`src/gateway/gateway-acp-bind.live.test.ts` -- 目标：使用 live ACP 智能体验证真实 ACP 会话绑定流程： - - 发送 `/acp spawn --bind here` - - 就地绑定一个合成的消息渠道会话 - - 在同一个会话上发送一次普通的后续消息 - - 验证后续消息确实落入已绑定的 ACP 会话转录中 -- 启用： - - `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts` - - `OPENCLAW_LIVE_ACP_BIND=1` -- 默认值： - - Docker 中的 ACP 智能体：`claude,codex,gemini` - - 直接使用 `pnpm test:live ...` 时的 ACP 智能体：`claude` - - 合成渠道：类似 Slack 私信 的会话上下文 - - ACP 后端：`acpx` -- 覆盖项： - - `OPENCLAW_LIVE_ACP_BIND_AGENT=claude` - - `OPENCLAW_LIVE_ACP_BIND_AGENT=codex` - - `OPENCLAW_LIVE_ACP_BIND_AGENT=gemini` - - `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini` - - `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@'` - - `OPENCLAW_LIVE_ACP_BIND_CODEX_MODEL=gpt-5.5` - - `OPENCLAW_LIVE_ACP_BIND_PARENT_MODEL=openai/gpt-5.4` -- 注意事项： - - 该通道使用 gateway `chat.send` 接口，并带有仅管理员可用的合成 originating-route 字段，以便测试能够附加消息渠道上下文，而无需伪装成外部投递。 - - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会对所选 ACP harness 智能体使用内置 `acpx` 插件自带的智能体注册表。 - -示例： - -```bash -OPENCLAW_LIVE_ACP_BIND=1 \ - OPENCLAW_LIVE_ACP_BIND_AGENT=claude \ - pnpm test:live src/gateway/gateway-acp-bind.live.test.ts -``` - -Docker 配方： - -```bash -pnpm test:docker:live-acp-bind -``` - -单智能体 Docker 配方： - -```bash -pnpm test:docker:live-acp-bind:claude -pnpm test:docker:live-acp-bind:codex -pnpm test:docker:live-acp-bind:gemini -``` - -Docker 说明： - -- Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。 -- 默认情况下，它会按顺序对所有受支持的 live CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后 `gemini`。 -- 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 可收窄矩阵。 -- 它会读取 `~/.profile`，将匹配的 CLI 认证材料放入容器，在可写 npm 前缀中安装 `acpx`，然后在缺失时安装请求的 live CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 -- 在 Docker 内，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，以便 `acpx` 能让来自已读取 profile 的提供商环境变量对子 harness CLI 子进程保持可见。 - -## Live：Codex app-server harness 冒烟测试 - -- 目标：通过常规 gateway - `agent` 方法验证由插件拥有的 Codex harness： - - 加载内置的 `codex` 插件 - - 选择 `OPENCLAW_AGENT_RUNTIME=codex` - - 在强制使用 Codex harness 的情况下，向 `openai/gpt-5.4` 发送第一个 gateway 智能体轮次 - - 向同一个 OpenClaw 会话发送第二个轮次，并验证 app-server 线程可以恢复 - - 通过同一路径运行 `/codex status` 和 `/codex models` - gateway 命令路径 - - 可选地运行两个经 Guardian 审核的升级 shell 探测：一个应被批准的无害 - 命令，以及一个应被拒绝的伪造密钥上传命令，从而让智能体回问 -- 测试：`src/gateway/gateway-codex-harness.live.test.ts` -- 启用：`OPENCLAW_LIVE_CODEX_HARNESS=1` -- 默认模型：`openai/gpt-5.4` -- 可选图像探测：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` -- 可选 MCP / 工具探测：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` -- 可选 Guardian 探测：`OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1` -- 该冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，这样损坏的 Codex - harness 就无法通过静默回退到 PI 来蒙混过关。 -- 认证：Codex app-server 认证来自本地 Codex 订阅登录。Docker - 冒烟测试在适用时也可以提供 `OPENAI_API_KEY` 用于非 Codex 探测， - 以及可选复制的 `~/.codex/auth.json` 和 `~/.codex/config.toml`。 - -本地配方： - -```bash -source ~/.profile -OPENCLAW_LIVE_CODEX_HARNESS=1 \ - OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1 \ - OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1 \ - OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1 \ - OPENCLAW_LIVE_CODEX_HARNESS_MODEL=openai/gpt-5.4 \ - pnpm test:live -- src/gateway/gateway-codex-harness.live.test.ts -``` - -Docker 配方： - -```bash -source ~/.profile -pnpm test:docker:live-codex-harness -``` - -Docker 说明： - -- Docker 运行器位于 `scripts/test-live-codex-harness-docker.sh`。 -- 它会读取挂载的 `~/.profile`，传递 `OPENAI_API_KEY`，在存在时复制 Codex CLI - 认证文件，将 `@openai/codex` 安装到可写的挂载 npm - 前缀中，准备源码树，然后仅运行 Codex harness live 测试。 -- Docker 默认启用图像、MCP / 工具和 Guardian 探测。需要更窄的调试 - 运行时，可设置 `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 - `OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0` 或 - `OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0`。 -- Docker 还会导出 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，与 live - 测试配置保持一致，因此旧版别名或回退到 PI 都无法掩盖 Codex harness - 回归。 - -### 推荐的 live 配方 - -范围窄且明确的 allowlist 最快，也最不容易出问题： - -- 单模型，direct（无 gateway）： - - `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts` - -- 单模型，Gateway 网关冒烟测试： - - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - -- 跨多个提供商的工具调用： - - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - -- Google 聚焦（Gemini API 密钥 + Antigravity）： - - Gemini（API 密钥）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - - Antigravity（OAuth）：`OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - -注意事项： - -- `google/...` 使用 Gemini API（API 密钥）。 -- `google-antigravity/...` 使用 Antigravity OAuth bridge（类似 Cloud Code Assist 的智能体端点）。 -- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（单独的认证 + 工具行为差异）。 -- Gemini API 与 Gemini CLI： - - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API 密钥 / profile 认证）；这也是大多数用户所说的 “Gemini”。 - - CLI：OpenClaw 调用本地 `gemini` 二进制；它有自己的认证方式，行为也可能不同（流式传输 / 工具支持 / 版本偏差）。 - -## Live：模型矩阵（我们覆盖什么） - -没有固定的“CI 模型列表”（live 是按需启用的），但以下是在有密钥的开发机上建议定期覆盖的模型。 - -### 现代冒烟测试集（工具调用 + 图像） - -这是我们期望持续可用的“常见模型”运行集： - -- OpenAI（非 Codex）：`openai/gpt-5.4`（可选：`openai/gpt-5.4-mini`） -- OpenAI Codex OAuth：`openai-codex/gpt-5.5` -- Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） -- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免使用较旧的 Gemini 2.x 模型） -- Google（Antigravity）：`google-antigravity/claude-opus-4-6-thinking` 和 `google-antigravity/gemini-3-flash` -- Z.AI（GLM）：`zai/glm-4.7` -- MiniMax：`minimax/MiniMax-M2.7` - -运行带工具 + 图像的 Gateway 网关冒烟测试： -`OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - -### 基线：工具调用（Read + 可选 Exec） - -每个提供商家族至少选一个： - -- OpenAI：`openai/gpt-5.4`（或 `openai/gpt-5.4-mini`） -- Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） -- Google：`google/gemini-3-flash-preview`（或 `google/gemini-3.1-pro-preview`） -- Z.AI（GLM）：`zai/glm-4.7` -- MiniMax：`minimax/MiniMax-M2.7` - -可选附加覆盖（有更好，没有也行）： - -- xAI：`xai/grok-4`（或最新可用版本） -- Mistral：`mistral/`…（选一个你已启用的支持工具的模型） -- Cerebras：`cerebras/`…（如果你有访问权限） -- LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式） - -### Vision：图像发送（附件 → 多模态消息） - -在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 的支持视觉的变体等），以覆盖图像探测。 - -### 聚合器 / 替代 Gateway 网关 - -如果你启用了相应密钥，我们还支持通过以下方式进行测试： - -- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选） -- OpenCode：`opencode/...` 用于 Zen，`opencode-go/...` 用于 Go（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） - -如果你有凭证 / 配置，也可以将更多提供商纳入 live 矩阵： - -- 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`google-gemini-cli`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot` -- 通过 `models.providers`（自定义端点）：`minimax`（云端 / API），以及任意 OpenAI / Anthropic 兼容代理（LM Studio、vLLM、LiteLLM 等） - -提示：不要试图在文档中硬编码“所有模型”。权威列表始终是你机器上 `discoverModels(...)` 返回的结果 + 当前可用的密钥。 - -## 凭证（绝不要提交） - -live 测试发现凭证的方式与 CLI 完全相同。实际含义是： - -- 如果 CLI 可用，live 测试也应该能发现相同的密钥。 -- 如果 live 测试提示“没有凭证”，就用你调试 `openclaw models list` / 模型选择的同样方式来调试。 - -- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是 live 测试中“profile keys”的含义） -- 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`） -- 旧版状态目录：`~/.openclaw/credentials/`（存在时会被复制到已准备好的 live home 中，但它不是主 profile-key 存储） -- 本地 live 运行默认会将当前活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到临时测试 home；已准备好的 live home 会跳过 `workspace/` 和 `sandboxes/`，并移除 `agents.*.workspace` / `agentDir` 路径覆盖，以确保探测不会落到你真实宿主的工作区中。 - -如果你想依赖环境变量密钥（例如在你的 `~/.profile` 中导出的密钥），请在运行本地测试前执行 `source ~/.profile`，或者使用下方的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 - -## Deepgram live（音频转录） - -- 测试：`extensions/deepgram/audio.live.test.ts` -- 启用：`DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live extensions/deepgram/audio.live.test.ts` - -## BytePlus（国际版）编码计划 live - -- 测试：`extensions/byteplus/live.test.ts` -- 启用：`BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live extensions/byteplus/live.test.ts` -- 可选模型覆盖：`BYTEPLUS_CODING_MODEL=ark-code-latest` - -## ComfyUI 工作流媒体 live - -- 测试：`extensions/comfy/comfy.live.test.ts` -- 启用：`OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts` -- 范围： - - 覆盖内置 comfy 图像、视频和 `music_generate` 路径 - - 除非已配置 `models.providers.comfy.`，否则会跳过各项能力 - - 在修改 comfy 工作流提交、轮询、下载或插件注册后很有用 - -## 图像生成 live - -- 测试：`test/image-generation.runtime.live.test.ts` -- 命令：`pnpm test:live test/image-generation.runtime.live.test.ts` -- Harness：`pnpm test:live:media image` -- 范围： - - 枚举每一个已注册的图像生成提供商插件 - - 在探测前从你的登录 shell（`~/.profile`）中加载缺失的提供商环境变量 - - 默认优先使用 live / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用认证 / profile / 模型的提供商 - - 通过共享运行时能力运行标准图像生成变体： - - `google:flash-generate` - - `google:pro-generate` - - `google:pro-edit` - - `openai:default-generate` -- 当前覆盖的内置提供商： - - `fal` - - `google` - - `minimax` - - `openai` - - `openrouter` - - `vydra` - - `xai` -- 可选收窄： - - `OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="openai,google,openrouter,xai"` - - `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-2,google/gemini-3.1-flash-image-preview,openrouter/google/gemini-3.1-flash-image-preview,xai/grok-imagine-image"` - - `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit,openrouter:generate,xai:default-generate,xai:default-edit"` -- 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile 存储认证，并忽略仅环境变量的覆盖 - -## 音乐生成 live - -- 测试：`extensions/music-generation-providers.live.test.ts` -- 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts` -- Harness：`pnpm test:live:media music` -- 范围： - - 覆盖共享的内置音乐生成提供商路径 - - 当前覆盖 Google 和 MiniMax - - 在探测前从你的登录 shell（`~/.profile`）中加载提供商环境变量 - - 默认优先使用 live / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用认证 / profile / 模型的提供商 - - 在可用时运行两种已声明的运行时模式： - - 使用仅提示词输入的 `generate` - - 当提供商声明 `capabilities.edit.enabled` 时运行 `edit` - - 当前共享通道覆盖： - - `google`：`generate`、`edit` - - `minimax`：`generate` - - `comfy`：单独的 Comfy live 文件，不在本共享扫描中 -- 可选收窄： - - `OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"` - - `OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.5+"` -- 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile 存储认证，并忽略仅环境变量的覆盖 - -## 视频生成 live - -- 测试：`extensions/video-generation-providers.live.test.ts` -- 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts` -- Harness：`pnpm test:live:media video` -- 范围： - - 覆盖共享的内置视频生成提供商路径 - - 默认使用对发布安全的冒烟测试路径：非 FAL 提供商、每个提供商一个文生视频请求、一秒钟的龙虾提示词，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每提供商操作上限（默认 `180000`） - - 默认跳过 FAL，因为提供商侧队列延迟可能主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行它 - - 在探测前从你的登录 shell（`~/.profile`）中加载提供商环境变量 - - 默认优先使用 live / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用认证 / profile / 模型的提供商 - - 默认只运行 `generate` - - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 可在可用时也运行已声明的转换模式： - - 当提供商声明 `capabilities.imageToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地图像输入时，运行 `imageToVideo` - - 当提供商声明 `capabilities.videoToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地视频输入时，运行 `videoToVideo` - - 当前在共享扫描中已声明但被跳过的 `imageToVideo` 提供商： - - `vydra`，因为内置的 `veo3` 仅支持文本，而内置的 `kling` 需要远程图像 URL - - 提供商特定的 Vydra 覆盖： - - `OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts` - - 该文件会运行 `veo3` 文生视频，以及一个默认使用远程图像 URL 夹具的 `kling` 通道 - - 当前 `videoToVideo` live 覆盖： - - 仅 `runway`，且所选模型为 `runway/gen4_aleph` 时 - - 当前在共享扫描中已声明但被跳过的 `videoToVideo` 提供商： - - `alibaba`、`qwen`、`xai`，因为这些路径当前需要远程 `http(s)` / MP4 参考 URL - - `google`，因为当前共享的 Gemini/Veo 通道使用基于本地 buffer 的输入，而该路径在共享扫描中不被接受 - - `openai`，因为当前共享通道无法保证组织特定的视频 inpaint/remix 访问权限 -- 可选收窄： - - `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"` - - `OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"` - - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 以在默认扫描中包含所有提供商，包括 FAL - - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 以在激进的冒烟测试运行中降低每个提供商的操作上限 -- 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile 存储认证，并忽略仅环境变量的覆盖 - -## 媒体 live harness - -- 命令：`pnpm test:live:media` -- 目的： - - 通过一个仓库原生入口运行共享的图像、音乐和视频 live 套件 - - 自动从 `~/.profile` 加载缺失的提供商环境变量 - - 默认自动将每个套件收窄到当前拥有可用认证的提供商 - - 复用 `scripts/test-live.mjs`，因此心跳和安静模式行为保持一致 -- 示例： - - `pnpm test:live:media` - - `pnpm test:live:media image video --providers openai,google,minimax` - - `pnpm test:live:media video --video-providers openai,runway --all-providers` - - `pnpm test:live:media music --quiet` +对于 live 模型矩阵、CLI 后端冒烟测试、ACP 冒烟测试、Codex app-server harness，以及所有媒体提供商 live 测试（Deepgram、BytePlus（国际版）、ComfyUI、image、music、video、media harness）——再加上 live 运行的凭证处理——请参阅 +[测试——live 套件](/zh-CN/help/testing-live)。 ## Docker 运行器（可选的“在 Linux 中可用”检查） 这些 Docker 运行器分为两类： -- live 模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行各自匹配的 profile-key live 文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），同时挂载你的本地配置目录和工作区（如果已挂载，也会读取 `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 -- Docker live 运行器默认使用更小的冒烟测试上限，以保证完整 Docker 扫描仍然可行： +- Live 模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行各自匹配的 profile-key live 文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），挂载你的本地配置目录和工作区（如果已挂载，则也会读取 `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 +- Docker live 运行器默认使用更小的冒烟上限，以便完整的 Docker 扫描仍然可行： `test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，而 `test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、 `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000`，以及 - `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你 - 明确想要更大、更穷尽的扫描时，可覆盖这些环境变量。 -- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次 live Docker 镜像，然后在两个 live Docker 通道中复用它。它还会通过 `test:docker:e2e-build` 构建一个共享的 `scripts/e2e/Dockerfile` 镜像，并在执行已构建应用的 E2E 容器冒烟测试运行器中复用它。 -- 容器冒烟测试运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:npm-onboard-channel-agent`、`test:docker:gateway-network`、`test:docker:mcp-channels`、`test:docker:pi-bundle-mcp-tools`、`test:docker:cron-mcp-cleanup`、`test:docker:plugins`、`test:docker:plugin-update` 和 `test:docker:config-reload` 会启动一个或多个真实容器，并验证更高层级的集成路径。 + `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你明确想要更大、更穷举的扫描时，可覆盖这些环境变量。 +- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次 live Docker 镜像，然后在两个 live Docker 通道中复用它。它还会通过 `test:docker:e2e-build` 构建一个共享的 `scripts/e2e/Dockerfile` 镜像，并在运行已构建应用的 E2E 容器冒烟运行器中复用它。 +- 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:npm-onboard-channel-agent`、`test:docker:gateway-network`、`test:docker:mcp-channels`、`test:docker:pi-bundle-mcp-tools`、`test:docker:cron-mcp-cleanup`、`test:docker:plugins`、`test:docker:plugin-update` 和 `test:docker:config-reload` 会启动一个或多个真实容器，并验证更高层的集成路径。 -live 模型 Docker 运行器还只会绑定挂载所需的 CLI 认证 home（如果运行未收窄，则挂载所有受支持的 home），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 就能刷新 token，同时不会修改宿主的认证存储： +live 模型 Docker 运行器还会只 bind-mount 所需的 CLI 认证 home（若运行未缩小范围，则挂载所有受支持的 home），然后在运行前将它们复制到容器 home 中，以便外部 CLI OAuth 可以刷新 token，而不会修改宿主机认证存储： -- Direct model：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） -- ACP 绑定冒烟测试：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） +- 直接模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） +- ACP bind 冒烟测试：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） - CLI 后端冒烟测试：`pnpm test:docker:live-cli-backend`（脚本：`scripts/test-live-cli-backend-docker.sh`） - Codex app-server harness 冒烟测试：`pnpm test:docker:live-codex-harness`（脚本：`scripts/test-live-codex-harness-docker.sh`） - Gateway 网关 + dev 智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） - Open WebUI live 冒烟测试：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） - 新手引导向导（TTY，完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`） -- Npm tarball 新手引导 / 渠道 / 智能体冒烟测试：`pnpm test:docker:npm-onboard-channel-agent` 会在 Docker 中全局安装已打包的 OpenClaw tarball，通过 env-ref 新手引导配置 OpenAI，并默认配置 Telegram，验证启用插件会按需安装其运行时依赖，运行 doctor，并执行一次 mock 的 OpenAI 智能体轮次。可通过 `OPENCLAW_NPM_ONBOARD_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball，通过 `OPENCLAW_NPM_ONBOARD_HOST_BUILD=0` 跳过宿主重建，或通过 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 切换渠道。 -- Bun 全局安装冒烟测试：`bash scripts/e2e/bun-global-install-smoke.sh` 会打包当前工作树，在隔离 home 中通过 `bun install -g` 安装它，并验证 `openclaw infer image providers --json` 返回的是内置图像提供商而不是卡住。可通过 `OPENCLAW_BUN_GLOBAL_SMOKE_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball，通过 `OPENCLAW_BUN_GLOBAL_SMOKE_HOST_BUILD=0` 跳过宿主构建，或通过 `OPENCLAW_BUN_GLOBAL_SMOKE_DIST_IMAGE=openclaw-dockerfile-smoke:local` 从已构建的 Docker 镜像复制 `dist/`。 -- 安装冒烟测试 Docker：`bash scripts/test-install-sh-docker.sh` 会在其 root、update 和 direct-npm 容器之间共享一个 npm 缓存。更新冒烟测试默认使用 npm `latest` 作为稳定基线，然后再升级到候选 tarball。非 root 安装器检查会保持独立的 npm 缓存，以避免 root 拥有的缓存条目掩盖用户本地安装行为。设置 `OPENCLAW_INSTALL_SMOKE_NPM_CACHE_DIR=/path/to/cache` 可在本地重跑之间复用 root / update / direct-npm 缓存。 -- Install Smoke CI 会通过 `OPENCLAW_INSTALL_SMOKE_SKIP_NPM_GLOBAL=1` 跳过重复的 direct-npm 全局更新；如果你需要覆盖直接 `npm install -g`，请在本地运行该脚本时不要设置此环境变量。 +- Npm tarball 新手引导/渠道/智能体冒烟测试：`pnpm test:docker:npm-onboard-channel-agent` 会在 Docker 中全局安装打包后的 OpenClaw tarball，通过 env-ref 新手引导配置 OpenAI，默认还会配置 Telegram，验证启用该插件时会按需安装其运行时依赖，运行 doctor，并运行一次被 mock 的 OpenAI 智能体轮次。可通过 `OPENCLAW_NPM_ONBOARD_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball，通过 `OPENCLAW_NPM_ONBOARD_HOST_BUILD=0` 跳过宿主重建，或通过 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 切换渠道。 +- Bun 全局安装冒烟测试：`bash scripts/e2e/bun-global-install-smoke.sh` 会打包当前树，在隔离 home 中使用 `bun install -g` 安装它，并验证 `openclaw infer image providers --json` 返回的是内置 image 提供商，而不是卡住。可通过 `OPENCLAW_BUN_GLOBAL_SMOKE_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball，通过 `OPENCLAW_BUN_GLOBAL_SMOKE_HOST_BUILD=0` 跳过宿主构建，或通过 `OPENCLAW_BUN_GLOBAL_SMOKE_DIST_IMAGE=openclaw-dockerfile-smoke:local` 从已构建的 Docker 镜像复制 `dist/`。 +- 安装冒烟测试 Docker：`bash scripts/test-install-sh-docker.sh` 会在其 root、update 和 direct-npm 容器间共享一个 npm 缓存。更新冒烟测试默认使用 npm `latest` 作为升级到候选 tarball 前的稳定基线。非 root 安装器检查会保持隔离的 npm 缓存，以避免 root 拥有的缓存条目掩盖用户本地安装行为。设置 `OPENCLAW_INSTALL_SMOKE_NPM_CACHE_DIR=/path/to/cache` 可在本地重复运行间复用 root/update/direct-npm 缓存。 +- 安装冒烟测试 CI 会通过 `OPENCLAW_INSTALL_SMOKE_SKIP_NPM_GLOBAL=1` 跳过重复的 direct-npm 全局更新；当需要直接 `npm install -g` 覆盖时，请在本地不带该环境变量运行此脚本。 - Gateway 网关网络（两个容器，WS 认证 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） -- OpenAI Responses `web_search` 最小推理回归测试：`pnpm test:docker:openai-web-search-minimal`（脚本：`scripts/e2e/openai-web-search-minimal-docker.sh`）会通过 Gateway 网关运行一个 mock 的 OpenAI 服务器，验证 `web_search` 会将 `reasoning.effort` 从 `minimal` 提升到 `low`，然后强制提供商 schema 拒绝，并检查原始细节是否出现在 Gateway 网关日志中。 -- MCP 渠道桥接（已预置 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟测试）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） +- OpenAI Responses `web_search` 最小推理回归测试：`pnpm test:docker:openai-web-search-minimal`（脚本：`scripts/e2e/openai-web-search-minimal-docker.sh`）会通过 Gateway 网关运行一个被 mock 的 OpenAI 服务器，验证 `web_search` 会将 `reasoning.effort` 从 `minimal` 提升到 `low`，然后强制提供商 schema 拒绝，并检查原始细节是否出现在 Gateway 网关日志中。 +- MCP 渠道桥接（已播种的 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟测试）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） - Pi 内置 MCP 工具（真实 stdio MCP 服务器 + 嵌入式 Pi profile allow/deny 冒烟测试）：`pnpm test:docker:pi-bundle-mcp-tools`（脚本：`scripts/e2e/pi-bundle-mcp-tools-docker.sh`） -- Cron / subagent MCP 清理（真实 Gateway 网关 + 隔离 cron 和一次性 subagent 运行后销毁 stdio MCP 子进程）：`pnpm test:docker:cron-mcp-cleanup`（脚本：`scripts/e2e/cron-mcp-cleanup-docker.sh`） +- Cron/subagent MCP 清理（真实 Gateway 网关 + 在隔离 cron 和一次性 subagent 运行后拆除 stdio MCP 子进程）：`pnpm test:docker:cron-mcp-cleanup`（脚本：`scripts/e2e/cron-mcp-cleanup-docker.sh`） - 插件（安装冒烟测试 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） -- 插件更新无变更冒烟测试：`pnpm test:docker:plugin-update`（脚本：`scripts/e2e/plugin-update-unchanged-docker.sh`） -- 配置热重载元数据冒烟测试：`pnpm test:docker:config-reload`（脚本：`scripts/e2e/config-reload-source-docker.sh`） -- 内置插件运行时依赖：`pnpm test:docker:bundled-channel-deps` 默认会构建一个小型 Docker 运行器镜像，在宿主上构建并打包一次 OpenClaw，然后将该 tarball 挂载到每个 Linux 安装场景中。可通过 `OPENCLAW_SKIP_DOCKER_BUILD=1` 复用镜像，在刚完成一次本地构建后通过 `OPENCLAW_BUNDLED_CHANNEL_HOST_BUILD=0` 跳过宿主重建，或通过 `OPENCLAW_BUNDLED_CHANNEL_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 指向现有 tarball。 -- 在迭代时，可通过禁用无关场景来收窄内置插件运行时依赖测试，例如： +- 插件更新无变化冒烟测试：`pnpm test:docker:plugin-update`（脚本：`scripts/e2e/plugin-update-unchanged-docker.sh`） +- 配置重载元数据冒烟测试：`pnpm test:docker:config-reload`（脚本：`scripts/e2e/config-reload-source-docker.sh`） +- 内置插件运行时依赖：`pnpm test:docker:bundled-channel-deps` 默认会构建一个小型 Docker 运行器镜像，在宿主机上构建并打包一次 OpenClaw，然后将该 tarball 挂载到每个 Linux 安装场景中。可通过 `OPENCLAW_SKIP_DOCKER_BUILD=1` 复用镜像，通过 `OPENCLAW_BUNDLED_CHANNEL_HOST_BUILD=0` 在完成本地新构建后跳过宿主重建，或通过 `OPENCLAW_BUNDLED_CHANNEL_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 指向现有 tarball。 +- 迭代时可通过禁用无关场景来缩小内置插件运行时依赖测试范围，例如： `OPENCLAW_BUNDLED_CHANNEL_SCENARIOS=0 OPENCLAW_BUNDLED_CHANNEL_UPDATE_SCENARIO=0 OPENCLAW_BUNDLED_CHANNEL_ROOT_OWNED_SCENARIO=0 OPENCLAW_BUNDLED_CHANNEL_SETUP_ENTRY_SCENARIO=0 pnpm test:docker:bundled-channel-deps`。 -要手动预构建并复用共享的 built-app 镜像： +如需手动预构建并复用共享的 built-app 镜像： ```bash OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e:local pnpm test:docker:e2e-build OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e:local OPENCLAW_SKIP_DOCKER_BUILD=1 pnpm test:docker:mcp-channels ``` -设置后，像 `OPENCLAW_GATEWAY_NETWORK_E2E_IMAGE` 这样的套件专用镜像覆盖仍然优先生效。当 `OPENCLAW_SKIP_DOCKER_BUILD=1` 指向远程共享镜像时，如果本地尚未存在，脚本会先拉取它。QR 和安装器 Docker 测试会保留各自独立的 Dockerfile，因为它们验证的是打包 / 安装行为，而不是共享的 built-app 运行时。 +当设置时，诸如 `OPENCLAW_GATEWAY_NETWORK_E2E_IMAGE` 之类的套件特定镜像覆盖仍然优先生效。当 `OPENCLAW_SKIP_DOCKER_BUILD=1` 指向远程共享镜像时，如果它尚未存在于本地，脚本会拉取它。QR 和安装器 Docker 测试保留各自独立的 Dockerfile，因为它们验证的是打包/安装行为，而不是共享的 built-app 运行时。 -live 模型 Docker 运行器还会将当前检出以只读方式绑定挂载，并将其准备到容器内的临时工作目录中。这样既能保持运行时镜像精简，又能让 Vitest 基于你本地精确的源码 / 配置运行。准备步骤会跳过大型本地专用缓存和应用构建输出，例如 `.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地 `.build` 或 Gradle 输出目录，因此 Docker live 运行不会花上几分钟复制机器特定产物。 -它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关 live 探测就不会在容器内启动真实的 Telegram / Discord / 等渠道 worker。 -`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要从该 Docker 通道中收窄或排除 gateway live 覆盖时，也请一并传入 `OPENCLAW_LIVE_GATEWAY_*`。 -`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个启用了 OpenAI 兼容 HTTP 端点的 OpenClaw gateway 容器，针对该 gateway 启动一个固定版本的 Open WebUI 容器，通过 Open WebUI 完成登录，验证 `/api/models` 暴露 `openclaw/default`，然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一次真实聊天请求。 -第一次运行可能会明显更慢，因为 Docker 可能需要拉取 Open WebUI 镜像，而 Open WebUI 也可能需要完成自己的冷启动设置。 -此通道需要一个可用的 live 模型密钥，而 `OPENCLAW_PROFILE_FILE` -（默认是 `~/.profile`）是在 Docker 化运行中提供它的主要方式。 -成功运行会打印一小段 JSON payload，例如 `{ "ok": true, "model": +live 模型 Docker 运行器还会将当前检出以只读方式 bind-mount，并在容器内临时 workdir 中完成预置。这样既能保持运行时镜像精简，又仍可针对你当前本地的精确源码/配置运行 Vitest。 +预置步骤会跳过大型的本地专用缓存和应用构建输出，例如 +`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地的 `.build` 或 Gradle 输出目录，这样 Docker live 运行就不会花数分钟去复制机器特定产物。 +它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关 live 探测就不会在容器内启动真实的 Telegram/Discord 等渠道工作进程。 +`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要缩小或排除该 Docker 通道中的 Gateway 网关 live 覆盖时，也要一并传入 +`OPENCLAW_LIVE_GATEWAY_*`。 +`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器，针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器，通过 Open WebUI 登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一个真实聊天请求。 +首次运行可能明显更慢，因为 Docker 可能需要拉取 Open WebUI 镜像，而 Open WebUI 也可能需要完成自身的冷启动设置。 +该通道需要一个可用的 live 模型密钥，而在 Docker 化运行中，`OPENCLAW_PROFILE_FILE` +（默认值为 `~/.profile`）是提供它的主要方式。 +成功运行会打印一个小型 JSON payload，例如 `{ "ok": true, "model": "openclaw/default", ... }`。 -`test:docker:mcp-channels` 是刻意设计为确定性的，不需要真实的 Telegram、Discord 或 iMessage 账号。它会启动一个已预置的 Gateway 网关容器，启动第二个容器以运行 `openclaw mcp serve`，然后验证经路由的会话发现、转录读取、附件元数据、live 事件队列行为、出站发送路由，以及通过真实 stdio MCP bridge 发送的 Claude 风格渠道 + 权限通知。通知检查会直接检查原始 stdio MCP 帧，因此该冒烟测试验证的是 bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴露出的内容。 -`test:docker:pi-bundle-mcp-tools` 是确定性的，不需要 live 模型密钥。它会构建仓库 Docker 镜像，在容器内启动一个真实 stdio MCP 探测服务器，通过嵌入式 Pi 内置 MCP 运行时将该服务器实体化，执行该工具，然后验证 `coding` 和 `messaging` 会保留 `bundle-mcp` 工具，而 `minimal` 和 `tools.deny: ["bundle-mcp"]` 会将其过滤掉。 -`test:docker:cron-mcp-cleanup` 是确定性的，不需要 live 模型密钥。它会启动一个带有真实 stdio MCP 探测服务器的已预置 Gateway 网关，运行一个隔离的 cron 轮次和一个 `/subagents spawn` 一次性子智能体轮次，然后验证 MCP 子进程会在每次运行后退出。 +`test:docker:mcp-channels` 刻意设计为确定性测试，不需要真实的 +Telegram、Discord 或 iMessage 账号。它会启动一个已播种的 Gateway +网关容器，启动第二个会生成 `openclaw mcp serve` 的容器，然后通过真实的 +stdio MCP bridge 验证路由后的会话发现、转录读取、附件元数据、live 事件队列行为、出站发送路由，以及 Claude 风格的渠道 + +权限通知。通知检查会直接检查原始 stdio MCP 帧，因此该冒烟测试验证的是 bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴露出来的内容。 +`test:docker:pi-bundle-mcp-tools` 是确定性的，不需要 live +模型密钥。它会构建仓库 Docker 镜像，在容器内启动一个真实的 stdio MCP 探测服务器，通过嵌入式 Pi 内置 MCP 运行时将该服务器实体化，执行该工具，然后验证 `coding` 和 `messaging` 会保留 +`bundle-mcp` 工具，而 `minimal` 和 `tools.deny: ["bundle-mcp"]` 会将其过滤掉。 +`test:docker:cron-mcp-cleanup` 是确定性的，不需要 live 模型密钥。它会启动一个带有真实 stdio MCP 探测服务器的已播种 Gateway 网关，运行一次隔离的 cron 轮次和一次 `/subagents spawn` +一次性子智能体轮次，然后验证 MCP 子进程会在每次运行后退出。 -手动 ACP 自然语言线程冒烟测试（不在 CI 中）： +手动 ACP 自然语言线程冒烟测试（非 CI）： - `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel ...` -- 保留该脚本用于回归 / 调试工作流。它未来可能还会再次用于 ACP 线程路由验证，因此不要删除。 +- 为回归/调试工作流保留此脚本。后续可能还需要它来验证 ACP 线程路由，因此不要删除它。 常用环境变量： - `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`）挂载到 `/home/node/.openclaw` - `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`）挂载到 `/home/node/.openclaw/workspace` - `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前读取 -- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 用于验证仅来自 `OPENCLAW_PROFILE_FILE` 的环境变量，此时使用临时配置 / 工作区目录，且不挂载外部 CLI 认证 -- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于缓存 Docker 内部安装的 CLI -- `$HOME` 下的外部 CLI 认证目录 / 文件会以只读方式挂载到 `/host-auth...`，然后在测试开始前复制到 `/home/node/...` +- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 用于仅验证从 `OPENCLAW_PROFILE_FILE` 读取的环境变量，使用临时 config/workspace 目录，且不挂载外部 CLI 认证 +- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于 Docker 内缓存的 CLI 安装 +- `$HOME` 下的外部 CLI 认证目录/文件会以只读方式挂载到 `/host-auth...` 下，然后在测试开始前复制到 `/home/node/...` - 默认目录：`.minimax` - 默认文件：`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json` - - 收窄后的提供商运行只会挂载根据 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件 - - 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none` 或逗号列表（如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex`）手动覆盖 -- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于收窄运行范围 -- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内过滤提供商 -- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于复用现有 `openclaw:local-live` 镜像，以便在无需重建时重跑 -- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭证来自 profile 存储（而不是环境变量） -- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 gateway 为 Open WebUI 冒烟测试暴露的模型 -- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试中使用的 nonce 检查提示词 + - 缩小范围的提供商运行仅会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录/文件 + - 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表手动覆盖 +- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围 +- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内筛选提供商 +- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于在无需重建时复用已有的 `openclaw:local-live` 镜像 +- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭证来自 profile 存储（而非 env） +- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 Gateway 网关向 Open WebUI 冒烟测试暴露的模型 +- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词 - `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签 ## 文档完整性检查 -修改文档后运行文档检查：`pnpm check:docs`。 -当你还需要完整的 Mintlify 锚点校验（包括页内标题检查）时，运行：`pnpm docs:check-links:anchors`。 +在编辑文档后运行文档检查：`pnpm check:docs`。 +当你还需要检查页内标题时，运行完整的 Mintlify 锚点校验：`pnpm docs:check-links:anchors`。 ## 离线回归测试（CI 安全） -这些是在没有真实提供商的情况下进行的“真实流水线”回归测试： +这些是在不接入真实提供商时的“真实流水线”回归测试： - Gateway 网关工具调用（mock OpenAI，真实 gateway + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） -- Gateway 网关向导（WS `wizard.start` / `wizard.next`，强制写入配置 + 认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） +- Gateway 网关向导（WS `wizard.start`/`wizard.next`，强制写入 config + auth）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） ## 智能体可靠性评估（Skills） 我们已经有一些 CI 安全的测试，其行为类似“智能体可靠性评估”： -- 通过真实 gateway + 智能体循环进行的 mock 工具调用（`src/gateway/gateway.test.ts`）。 +- 通过真实 gateway + 智能体循环进行 mock 工具调用（`src/gateway/gateway.test.ts`）。 - 验证会话接线和配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。 -针对 Skills 仍缺少的内容（参见 [Skills](/zh-CN/tools/skills)）： +对于 Skills（见 [Skills](/zh-CN/tools/skills)）仍缺少的内容： -- **决策**：当 Skills 在提示词中列出时，智能体是否会选择正确的 skill（或避免选择无关 skill）？ -- **合规**：智能体在使用前是否会读取 `SKILL.md`，并遵循要求的步骤 / 参数？ -- **工作流契约**：断言工具顺序、会话历史继承和沙箱边界的多轮场景。 +- **决策**：当 Skills 列在提示词中时，智能体是否会选择正确的 Skills（或避免选择无关的 Skills）？ +- **合规性**：智能体在使用前是否会读取 `SKILL.md`，并遵循所需步骤/参数？ +- **工作流契约**：断言工具顺序、会话历史延续和沙箱边界的多轮场景。 未来的评估应优先保持确定性： - 一个使用 mock 提供商的场景运行器，用于断言工具调用 + 顺序、skill 文件读取和会话接线。 -- 一小组聚焦 Skills 的场景（使用与避免、门禁、提示词注入）。 -- 只有在 CI 安全套件就位后，才添加可选的 live 评估（按需启用、受环境变量门禁控制）。 +- 一小套以 skill 为中心的场景（使用与避免、门控、提示词注入）。 +- 只有在 CI 安全套件就位后，才添加可选的 live 评估（显式启用、受环境变量门控）。 -## 契约测试（插件和渠道形状） +## 契约测试（plugin 和 channel 形状） -契约测试用于验证每个已注册的插件和渠道都符合其接口契约。它们会遍历所有已发现的插件，并运行一组关于形状和行为的断言。默认的 `pnpm test` 单元测试通道会刻意跳过这些共享接缝和冒烟测试文件；当你修改共享的渠道或提供商接口时，请显式运行契约测试命令。 +契约测试用于验证每个已注册的 plugin 和渠道都符合其接口契约。它们会遍历所有已发现的 plugin，并运行一组形状和行为断言。默认的 `pnpm test` unit 通道会有意跳过这些共享接口和冒烟文件；当你修改共享渠道或提供商表面时，请显式运行契约命令。 ### 命令 -- 所有契约测试：`pnpm test:contracts` -- 仅渠道契约测试：`pnpm test:contracts:channels` -- 仅提供商契约测试：`pnpm test:contracts:plugins` +- 所有契约：`pnpm test:contracts` +- 仅渠道契约：`pnpm test:contracts:channels` +- 仅提供商契约：`pnpm test:contracts:plugins` -### 渠道契约测试 +### 渠道契约 位于 `src/channels/plugins/contracts/*.contract.test.ts`： -- **plugin** - 基本插件形状（id、名称、能力） +- **plugin** - 基本 plugin 形状（id、name、capabilities） - **setup** - 设置向导契约 - **session-binding** - 会话绑定行为 - **outbound-payload** - 消息 payload 结构 - **inbound** - 入站消息处理 - **actions** - 渠道操作处理器 - **threading** - 线程 ID 处理 -- **directory** - 目录 / roster API -- **group-policy** - 群组策略强制执行 +- **directory** - 目录/名册 API +- **group-policy** - 群组策略执行 -### 提供商状态契约测试 +### 提供商状态契约 位于 `src/plugins/contracts/*.contract.test.ts`。 - **status** - 渠道状态探测 -- **registry** - 插件注册表形状 +- **registry** - Plugin 注册表形状 -### 提供商契约测试 +### 提供商契约 位于 `src/plugins/contracts/*.contract.test.ts`： - **auth** - 认证流程契约 -- **auth-choice** - 认证选择 +- **auth-choice** - 认证选项/选择 - **catalog** - 模型目录 API -- **discovery** - 插件发现 -- **loader** - 插件加载 +- **discovery** - Plugin 发现 +- **loader** - Plugin 加载 - **runtime** - 提供商运行时 -- **shape** - 插件形状 / 接口 +- **shape** - Plugin 形状/接口 - **wizard** - 设置向导 ### 何时运行 - 修改 plugin-sdk 导出或子路径之后 - 添加或修改渠道或提供商插件之后 -- 重构插件注册或发现逻辑之后 +- 重构 plugin 注册或发现之后 -契约测试会在 CI 中运行，并且不需要真实 API 密钥。 +契约测试会在 CI 中运行，不需要真实 API 密钥。 -## 添加回归测试（指导） +## 添加回归测试（指南） -当你修复在 live 中发现的提供商 / 模型问题时： +当你修复了在 live 中发现的提供商/模型问题时： -- 如果可能，添加一个对 CI 安全的回归测试（mock / stub 提供商，或捕获精确的请求形状转换） -- 如果它本质上只能通过 live 测试覆盖（速率限制、认证策略），请让 live 测试保持范围窄，并通过环境变量按需启用 -- 优先定位到能捕获该缺陷的最小层级： - - 提供商请求转换 / 重放缺陷 → direct models 测试 - - gateway 会话 / 历史 / 工具流水线缺陷 → Gateway 网关 live 冒烟测试或对 CI 安全的 gateway mock 测试 -- SecretRef 遍历防护栏： - - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言会拒绝 traversal-segment exec id。 - - 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类目标 id 时有意失败，这样新类别就无法被静默跳过。 +- 如果可能，添加一个 CI 安全的回归测试（mock/stub 提供商，或捕获精确的请求形状转换） +- 如果该问题本质上只能在 live 中出现（速率限制、认证策略），则保持该 live 测试范围狭窄，并通过环境变量显式启用 +- 优先针对能捕获该缺陷的最小层级： + - 提供商请求转换/重放缺陷 → 直接模型测试 + - gateway 会话/历史/工具流水线缺陷 → gateway live 冒烟测试或 CI 安全的 gateway mock 测试 +- SecretRef 遍历保护栏： + - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言遍历段 exec id 会被拒绝。 + - 如果你在 `src/secrets/target-registry-data.ts` 中新增了一个 `includeInPlan` SecretRef 目标族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类的 target id 时故意失败，这样新类别就无法被静默跳过。 diff --git a/docs/zh-CN/plugins/codex-harness.md b/docs/zh-CN/plugins/codex-harness.md index df2a4d447..cdc8c022c 100644 --- a/docs/zh-CN/plugins/codex-harness.md +++ b/docs/zh-CN/plugins/codex-harness.md @@ -1,24 +1,24 @@ --- read_when: - - 你想使用内置的 Codex app-server 测试框架 + - 你想使用内置的 Codex app-server 测试工具 - 你需要 Codex 模型引用和配置示例 - - 你想为仅使用 Codex 的部署禁用 PI 回退 -summary: 通过内置的 Codex app-server 测试框架运行 OpenClaw 嵌入式智能体回合 -title: Codex 测试框架 + - 你想为仅使用 Codex 的部署禁用 Pi 回退机制 +summary: 通过内置的 Codex app-server 测试工具运行 OpenClaw 嵌入式智能体轮次 +title: Codex 测试工具 x-i18n: - generated_at: "2026-04-24T00:54:22Z" + generated_at: "2026-04-24T02:42:21Z" model: gpt-5.4 provider: openai - source_hash: e2d12f877e27080a0b91b5c597b171f25fbdc74756bf040d483e3da4461f1d7c + source_hash: c56024e68540007c60e2bfcc4d090a788736dc941290cd82ed83b19aadde942d source_path: plugins/codex-harness.md workflow: 15 --- -内置的 `codex` 插件让 OpenClaw 能够通过 Codex app-server 运行嵌入式智能体回合，而不是使用内置的 PI 测试框架。 +内置的 `codex` 插件可让 OpenClaw 通过 Codex app-server 而不是内置的 Pi 测试工具来运行嵌入式智能体轮次。 -当你希望 Codex 接管底层智能体会话时，可以使用它：模型发现、原生线程恢复、原生压缩，以及 app-server 执行。OpenClaw 仍然负责聊天渠道、会话文件、模型选择、工具、审批、媒体传递，以及可见的转录镜像。 +当你希望由 Codex 接管底层智能体会话时，可使用此功能：模型发现、原生线程恢复、原生压缩，以及 app-server 执行。OpenClaw 仍然负责聊天渠道、会话文件、模型选择、工具、审批、媒体传递，以及可见的转录镜像。 -原生 Codex 回合也会遵循共享的插件钩子，因此提示词 shim、压缩感知自动化、工具中间件和生命周期观察器都能与 PI 测试框架保持一致： +原生 Codex 轮次同样遵循共享的插件钩子，因此 prompt shim、压缩感知自动化、工具中间件和生命周期观察器都会与 Pi 测试工具保持一致： - `before_prompt_build` - `before_compaction`, `after_compaction` @@ -27,48 +27,47 @@ x-i18n: - `before_message_write` - `agent_end` -内置插件还可以注册一个 Codex app-server 扩展工厂，以添加异步 `tool_result` 中间件。 +内置插件还可以注册 Codex app-server 扩展工厂，以添加异步 `tool_result` 中间件。 -该测试框架默认关闭。新配置应保持 OpenAI 模型引用的规范形式为 `openai/gpt-*`，并在希望使用原生 app-server 执行时，显式强制设置 `embeddedHarness.runtime: "codex"` 或 `OPENCLAW_AGENT_RUNTIME=codex`。为兼容性考虑，旧版 `codex/*` 模型引用仍会自动选择该测试框架。 +该测试工具默认关闭。新配置应保持 OpenAI 模型引用的规范形式为 `openai/gpt-*`，并在需要原生 app-server 执行时显式强制设置 `embeddedHarness.runtime: "codex"` 或 `OPENCLAW_AGENT_RUNTIME=codex`。出于兼容性考虑，旧版 `codex/*` 模型引用仍会自动选择该测试工具。 ## 选择正确的模型前缀 -OpenAI 系列路由对前缀非常敏感。当你希望通过 PI 使用 Codex OAuth 时，请使用 `openai-codex/*`；当你希望直接访问 OpenAI API，或希望强制使用原生 Codex app-server 测试框架时，请使用 `openai/*`： +OpenAI 系列路由对前缀有明确要求。当你希望通过 Pi 使用 Codex OAuth 时，使用 `openai-codex/*`；当你希望直接访问 OpenAI API，或强制使用原生 Codex app-server 测试工具时，使用 `openai/*`： -| 模型引用 | 运行时路径 | 适用场景 | +| 模型引用 | 运行时路径 | 适用场景 | | ----------------------------------------------------- | -------------------------------------------- | ------------------------------------------------------------------------- | -| `openai/gpt-5.4` | 通过 OpenClaw/PI 管线的 OpenAI 提供商 | 你希望使用 `OPENAI_API_KEY` 访问当前的 OpenAI Platform API。 | -| `openai-codex/gpt-5.5` | 通过 OpenClaw/PI 的 OpenAI Codex OAuth | 你希望使用默认 PI 运行器，通过 ChatGPT/Codex 订阅认证。 | -| `openai/gpt-5.5` + `embeddedHarness.runtime: "codex"` | Codex app-server 测试框架 | 你希望嵌入式智能体回合使用原生 Codex app-server 执行。 | +| `openai/gpt-5.4` | 通过 OpenClaw/Pi 线路的 OpenAI 提供商路径 | 你希望使用 `OPENAI_API_KEY` 直接访问当前的 OpenAI Platform API。 | +| `openai-codex/gpt-5.5` | 通过 OpenClaw/Pi 的 OpenAI Codex OAuth 路径 | 你希望使用 ChatGPT/Codex 订阅凭证，并采用默认的 Pi 运行器。 | +| `openai/gpt-5.5` + `embeddedHarness.runtime: "codex"` | Codex app-server 测试工具 | 你希望为嵌入式智能体轮次使用原生 Codex app-server 执行。 | -GPT-5.5 当前在 OpenClaw 中仅支持订阅/OAuth。请将 `openai-codex/gpt-5.5` 用于 PI OAuth，或将 `openai/gpt-5.5` 与 Codex app-server 测试框架一起使用。一旦 OpenAI 在公共 API 中开放 GPT-5.5，对 `openai/gpt-5.5` 的直接 API key 访问也会被支持。 +在 OpenClaw 中，GPT-5.5 目前仅支持订阅 / OAuth。对于 Pi OAuth，使用 `openai-codex/gpt-5.5`；对于 Codex app-server 测试工具，使用 `openai/gpt-5.5`。一旦 OpenAI 在公共 API 上启用 GPT-5.5，`openai/gpt-5.5` 的直接 API key 访问也将受支持。 -旧版 `codex/gpt-*` 引用仍然作为兼容性别名被接受。新的 PI Codex OAuth 配置应使用 `openai-codex/gpt-*`；新的原生 app-server 测试框架配置应使用 `openai/gpt-*`，并配合 `embeddedHarness.runtime: -"codex"`。 +旧版 `codex/gpt-*` 引用仍接受为兼容性别名。新的 Pi Codex OAuth 配置应使用 `openai-codex/gpt-*`；新的原生 app-server 测试工具配置应使用 `openai/gpt-*`，并配合 `embeddedHarness.runtime: "codex"`。 -`agents.defaults.imageModel` 遵循相同的前缀拆分。当图像理解应通过 OpenAI Codex OAuth 提供商路径运行时，请使用 `openai-codex/gpt-*`。当图像理解应通过受限的 Codex app-server 回合运行时，请使用 `codex/gpt-*`。Codex app-server 模型必须声明支持图像输入；仅文本的 Codex 模型会在媒体回合开始前失败。 +`agents.defaults.imageModel` 遵循相同的前缀区分。当图像理解应通过 OpenAI Codex OAuth 提供商路径运行时，使用 `openai-codex/gpt-*`。当图像理解应通过受限的 Codex app-server 轮次运行时，使用 `codex/gpt-*`。Codex app-server 模型必须声明支持图像输入；仅文本的 Codex 模型会在媒体轮次开始前失败。 -使用 `/status` 确认当前会话的实际测试框架。如果选择结果出乎意料，请为 `agents/harness` 子系统启用调试日志，并检查 Gateway 网关的结构化 `agent harness selected` 记录。它包含所选测试框架 id、选择原因、运行时/回退策略，以及在 `auto` 模式下每个插件候选项的支持结果。 +使用 `/status` 可确认当前会话的实际测试工具。如果选择结果出乎意料，请为 `agents/harness` 子系统启用调试日志，并检查 Gateway 网关中的结构化 `agent harness selected` 记录。它包含所选测试工具 id、选择原因、运行时 / 回退策略，以及在 `auto` 模式下每个插件候选项的支持结果。 -测试框架选择不是实时会话控制。当嵌入式回合运行时，OpenClaw 会在该会话上记录选中的测试框架 id，并在同一会话 id 的后续回合中继续使用它。当你希望未来的会话改用其他测试框架时，请更改 `embeddedHarness` 配置或 `OPENCLAW_AGENT_RUNTIME`；在将现有对话在 PI 和 Codex 之间切换前，请使用 `/new` 或 `/reset` 启动一个新会话。这样可以避免通过两个不兼容的原生会话系统重放同一份转录。 +测试工具选择不是实时会话控制。当嵌入式轮次运行时，OpenClaw 会把所选测试工具 id 记录到该会话上，并在同一会话 id 的后续轮次中继续使用它。当你希望未来的新会话使用其他测试工具时，请更改 `embeddedHarness` 配置或 `OPENCLAW_AGENT_RUNTIME`；在现有对话于 Pi 和 Codex 之间切换前，请使用 `/new` 或 `/reset` 启动一个全新的会话。这样可以避免将同一份转录内容通过两个不兼容的原生会话系统重复回放。 -在引入测试框架固定机制之前创建的旧会话，只要已有转录历史，就会被视为固定使用 PI。更改配置后，请使用 `/new` 或 `/reset` 让该对话改为使用 Codex。 +在测试工具固定机制引入之前创建的旧会话，一旦已有转录历史，就会被视为固定到 Pi。更改配置后，使用 `/new` 或 `/reset` 可让该对话改为使用 Codex。 -`/status` 会在 `Fast` 旁边显示实际使用的非 PI 测试框架，例如 `Fast · codex`。默认的 PI 测试框架仍显示为 `Runner: pi (embedded)`，不会额外添加单独的测试框架标记。 +`/status` 会在 `Fast` 旁显示实际生效的非 Pi 测试工具，例如 `Fast · codex`。默认的 Pi 测试工具仍显示为 `Runner: pi (embedded)`，不会额外添加单独的测试工具标记。 ## 要求 -- OpenClaw，并且可用内置的 `codex` 插件。 +- OpenClaw，且已提供内置的 `codex` 插件。 - Codex app-server `0.118.0` 或更高版本。 -- app-server 进程可使用 Codex 认证。 +- app-server 进程可用的 Codex 认证信息。 -该插件会阻止较旧或未标注版本的 app-server 握手。这可确保 OpenClaw 使用的是已经过测试的协议表面。 +该插件会阻止较旧版本或无版本信息的 app-server 握手。这可确保 OpenClaw 仅运行在已验证的协议接口之上。 对于实时和 Docker 冒烟测试，认证通常来自 `OPENAI_API_KEY`，以及可选的 Codex CLI 文件，例如 `~/.codex/auth.json` 和 `~/.codex/config.toml`。请使用与你本地 Codex app-server 相同的认证材料。 ## 最小配置 -使用 `openai/gpt-5.5`，启用内置插件，并强制使用 `codex` 测试框架： +使用 `openai/gpt-5.5`，启用内置插件，并强制使用 `codex` 测试工具： ```json5 { @@ -91,7 +90,7 @@ GPT-5.5 当前在 OpenClaw 中仅支持订阅/OAuth。请将 `openai-codex/gpt-5 } ``` -如果你的配置使用了 `plugins.allow`，也请将 `codex` 包含在其中： +如果你的配置使用 `plugins.allow`，也请在其中加入 `codex`： ```json5 { @@ -106,11 +105,11 @@ GPT-5.5 当前在 OpenClaw 中仅支持订阅/OAuth。请将 `openai-codex/gpt-5 } ``` -如果旧配置将 `agents.defaults.model` 或某个智能体模型设置为 `codex/`，仍会自动启用内置的 `codex` 插件。新配置应优先使用 `openai/`，并配合上面的显式 `embeddedHarness` 条目。 +旧配置如果将 `agents.defaults.model` 或某个智能体模型设为 `codex/`，仍会自动启用内置 `codex` 插件。新配置应优先使用 `openai/`，并配合上面的显式 `embeddedHarness` 配置项。 -## 添加 Codex 而不替换其他模型 +## 在不替换其他模型的情况下加入 Codex -如果你希望旧版 `codex/*` 引用选择 Codex，而其他情况都使用 PI，请保持 `runtime: "auto"`。对于新配置，建议在应使用该测试框架的智能体上显式设置 `runtime: "codex"`。 +如果你希望旧版 `codex/*` 引用选择 Codex，而其他一切仍使用 Pi，请保持 `runtime: "auto"`。对于新配置，建议仅在应使用该测试工具的智能体上显式设置 `runtime: "codex"`。 ```json5 { @@ -140,15 +139,15 @@ GPT-5.5 当前在 OpenClaw 中仅支持订阅/OAuth。请将 `openai-codex/gpt-5 } ``` -采用这种形式时： +在这种结构下： -- `/model gpt` 或 `/model openai/gpt-5.5` 会在此配置中使用 Codex app-server 测试框架。 +- `/model gpt` 或 `/model openai/gpt-5.5` 会为此配置使用 Codex app-server 测试工具。 - `/model opus` 使用 Anthropic 提供商路径。 -- 如果选择了非 Codex 模型，PI 仍然是兼容性测试框架。 +- 如果选择了非 Codex 模型，Pi 仍然是兼容性测试工具。 -## 仅 Codex 部署 +## 仅使用 Codex 的部署 -当你需要证明每个嵌入式智能体回合都使用 Codex 测试框架时，请禁用 PI 回退： +当你需要证明每一个嵌入式智能体轮次都使用 Codex 测试工具时，请禁用 Pi 回退： ```json5 { @@ -172,11 +171,11 @@ OPENCLAW_AGENT_HARNESS_FALLBACK=none \ openclaw gateway run ``` -禁用回退后，如果 Codex 插件被禁用、app-server 版本过旧，或 app-server 无法启动，OpenClaw 会尽早失败。 +禁用回退后，如果 Codex 插件被禁用、app-server 版本过旧，或 app-server 无法启动，OpenClaw 会提前失败。 ## 按智能体使用 Codex -你可以让某个智能体仅使用 Codex，而默认智能体继续保持正常的自动选择： +你可以让某一个智能体仅使用 Codex，而默认智能体仍保持普通的自动选择： ```json5 { @@ -207,17 +206,17 @@ openclaw gateway run } ``` -使用常规会话命令切换智能体和模型。`/new` 会创建一个新的 OpenClaw 会话，而 Codex 测试框架会根据需要创建或恢复其 sidecar app-server 线程。`/reset` 会清除 OpenClaw 针对该线程的会话绑定，并让下一回合重新根据当前配置解析测试框架。 +使用常规会话命令切换智能体和模型。`/new` 会创建一个全新的 OpenClaw 会话，而 Codex 测试工具会按需创建或恢复其旁路 app-server 线程。`/reset` 会清除该线程的 OpenClaw 会话绑定，并让下一轮再次根据当前配置解析测试工具。 ## 模型发现 -默认情况下，Codex 插件会向 app-server 请求可用模型。如果发现失败或超时，它会使用内置的回退目录，其中包含： +默认情况下，Codex 插件会向 app-server 请求可用模型。如果发现失败或超时，它会使用内置的后备目录，其中包括： - GPT-5.5 - GPT-5.4 mini - GPT-5.2 -你可以在 `plugins.entries.codex.config.discovery` 下调整发现配置： +你可以在 `plugins.entries.codex.config.discovery` 下调整发现行为： ```json5 { @@ -237,7 +236,7 @@ openclaw gateway run } ``` -如果你希望启动时避免探测 Codex，并固定使用回退目录，请禁用发现： +如果你希望启动时避免探测 Codex 并固定使用后备目录，可禁用发现： ```json5 { @@ -258,16 +257,15 @@ openclaw gateway run ## App-server 连接与策略 -默认情况下，插件会使用以下命令在本地启动 Codex： +默认情况下，插件会以本地方式启动 Codex： ```bash codex app-server --listen stdio:// ``` -默认情况下，OpenClaw 会以 YOLO 模式启动本地 Codex 测试框架会话：`approvalPolicy: "never"`、`approvalsReviewer: "user"`，以及 `sandbox: "danger-full-access"`。这是用于自主心跳的受信任本地操作员姿态：Codex 可以使用 shell 和网络工具，而无需在没有人可响应的原生审批提示上停下来。 +默认情况下，OpenClaw 会以 YOLO 模式启动本地 Codex 测试工具会话：`approvalPolicy: "never"`、`approvalsReviewer: "user"`，以及 `sandbox: "danger-full-access"`。这是用于自主心跳任务的受信任本地操作员姿态：Codex 可以使用 shell 和网络工具，而无需停下来等待无人应答的原生审批提示。 -若要启用由 Codex guardian 审核的审批，请设置 `appServer.mode: -"guardian"`： +如需启用由 Codex guardian 审核的审批，请设置 `appServer.mode: "guardian"`： ```json5 { @@ -287,11 +285,11 @@ codex app-server --listen stdio:// } ``` -Guardian 是一个原生 Codex 审批审核器。当 Codex 请求离开沙箱、在工作区外写入，或添加如网络访问之类的权限时，Codex 会将该审批请求路由给审核子智能体，而不是生成人工提示。审核器会应用 Codex 的风险框架，并批准或拒绝该具体请求。如果你希望比 YOLO 模式有更多护栏，但仍需要无人值守的智能体持续推进工作，请使用 Guardian。 +Guardian 是原生 Codex 审批审查者。当 Codex 请求离开沙箱、在工作区外写入，或添加诸如网络访问之类的权限时，Codex 会将该审批请求路由给审查子智能体，而不是提示人工。审查者会应用 Codex 的风险框架，并批准或拒绝该具体请求。当你需要比 YOLO 模式更多的防护措施，但仍希望无人值守的智能体继续推进任务时，请使用 Guardian。 -`guardian` 预设会展开为 `approvalPolicy: "on-request"`、`approvalsReviewer: "guardian_subagent"` 和 `sandbox: "workspace-write"`。单独的策略字段仍会覆盖 `mode`，因此高级部署可以将该预设与显式选择混合使用。 +`guardian` 预设会展开为 `approvalPolicy: "on-request"`、`approvalsReviewer: "guardian_subagent"`，以及 `sandbox: "workspace-write"`。各个策略字段仍可覆盖 `mode`，因此高级部署可以将该预设与显式选项混合使用。 -对于已经运行的 app-server，请使用 WebSocket 传输： +对于已在运行的 app-server，可使用 WebSocket 传输： ```json5 { @@ -315,20 +313,20 @@ Guardian 是一个原生 Codex 审批审核器。当 Codex 请求离开沙箱、 支持的 `appServer` 字段： -| 字段 | 默认值 | 含义 | +| 字段 | 默认值 | 含义 | | ------------------- | ---------------------------------------- | --------------------------------------------------------------------------------------------------------- | -| `transport` | `"stdio"` | `"stdio"` 会启动 Codex；`"websocket"` 会连接到 `url`。 | -| `command` | `"codex"` | `stdio` 传输使用的可执行文件。 | -| `args` | `["app-server", "--listen", "stdio://"]` | `stdio` 传输使用的参数。 | -| `url` | 未设置 | WebSocket app-server URL。 | -| `authToken` | 未设置 | WebSocket 传输使用的 Bearer token。 | -| `headers` | `{}` | 额外的 WebSocket 标头。 | -| `requestTimeoutMs` | `60000` | app-server 控制平面调用的超时时间。 | -| `mode` | `"yolo"` | 用于 YOLO 或 Guardian 审核执行的预设。 | -| `approvalPolicy` | `"never"` | 发送到线程启动/恢复/回合的原生 Codex 审批策略。 | -| `sandbox` | `"danger-full-access"` | 发送到线程启动/恢复的原生 Codex 沙箱模式。 | -| `approvalsReviewer` | `"user"` | 使用 `"guardian_subagent"` 可让 Codex Guardian 审核提示。 | -| `serviceTier` | 未设置 | 可选的 Codex app-server 服务层级：`"fast"`、`"flex"` 或 `null`。无效的旧值会被忽略。 | +| `transport` | `"stdio"` | `"stdio"` 会启动 Codex；`"websocket"` 会连接到 `url`。 | +| `command` | `"codex"` | 用于 stdio 传输的可执行文件。 | +| `args` | `["app-server", "--listen", "stdio://"]` | 用于 stdio 传输的参数。 | +| `url` | 未设置 | WebSocket app-server URL。 | +| `authToken` | 未设置 | 用于 WebSocket 传输的 Bearer token。 | +| `headers` | `{}` | 额外的 WebSocket 标头。 | +| `requestTimeoutMs` | `60000` | app-server 控制平面调用的超时时间。 | +| `mode` | `"yolo"` | 用于 YOLO 或 guardian 审核执行的预设。 | +| `approvalPolicy` | `"never"` | 发送到线程启动 / 恢复 / 轮次的原生 Codex 审批策略。 | +| `sandbox` | `"danger-full-access"` | 发送到线程启动 / 恢复的原生 Codex 沙箱模式。 | +| `approvalsReviewer` | `"user"` | 使用 `"guardian_subagent"` 可让 Codex Guardian 审核提示。 | +| `serviceTier` | 未设置 | 可选的 Codex app-server 服务层级：`"fast"`、`"flex"` 或 `null`。无效的旧值会被忽略。 | 较旧的环境变量在对应配置字段未设置时，仍可作为本地测试的回退方式使用： @@ -338,13 +336,11 @@ Guardian 是一个原生 Codex 审批审核器。当 Codex 请求离开沙箱、 - `OPENCLAW_CODEX_APP_SERVER_APPROVAL_POLICY` - `OPENCLAW_CODEX_APP_SERVER_SANDBOX` -`OPENCLAW_CODEX_APP_SERVER_GUARDIAN=1` 已被移除。请改用 -`plugins.entries.codex.config.appServer.mode: "guardian"`，或在一次性的本地测试中使用 -`OPENCLAW_CODEX_APP_SERVER_MODE=guardian`。对于可重复部署，推荐使用配置，因为这样可以将插件行为与 Codex 测试框架的其余设置保存在同一个经过审查的文件中。 +`OPENCLAW_CODEX_APP_SERVER_GUARDIAN=1` 已被移除。请改用 `plugins.entries.codex.config.appServer.mode: "guardian"`，或在一次性本地测试中使用 `OPENCLAW_CODEX_APP_SERVER_MODE=guardian`。对于可重复的部署，更推荐使用配置，因为这样可以将插件行为与 Codex 测试工具其余设置保存在同一个已审阅的文件中。 ## 常见配方 -使用默认 `stdio` 传输的本地 Codex： +使用默认 stdio 传输的本地 Codex： ```json5 { @@ -358,7 +354,7 @@ Guardian 是一个原生 Codex 审批审核器。当 Codex 请求离开沙箱、 } ``` -仅 Codex 的测试框架验证，并禁用 PI 回退： +仅使用 Codex 的测试工具验证，并禁用 Pi 回退： ```json5 { @@ -375,7 +371,7 @@ Guardian 是一个原生 Codex 审批审核器。当 Codex 请求离开沙箱、 } ``` -由 Guardian 审核的 Codex 审批： +使用 guardian 审核的 Codex 审批： ```json5 { @@ -420,63 +416,57 @@ Guardian 是一个原生 Codex 审批审核器。当 Codex 请求离开沙箱、 } ``` -模型切换仍由 OpenClaw 控制。当 OpenClaw 会话附加到现有 Codex 线程时，下一回合会再次向 app-server 发送当前选定的 OpenAI 模型、提供商、审批策略、沙箱和服务层级。从 `openai/gpt-5.5` 切换到 `openai/gpt-5.2` 时，会保留线程绑定，但会请求 Codex 继续使用新选定的模型。 +模型切换仍由 OpenClaw 控制。当 OpenClaw 会话附加到现有的 Codex 线程时，下一轮会再次把当前选中的 OpenAI 模型、提供商、审批策略、沙箱和服务层级发送给 app-server。从 `openai/gpt-5.5` 切换到 `openai/gpt-5.2` 会保留线程绑定，但会要求 Codex 使用新选择的模型继续运行。 ## Codex 命令 -内置插件将 `/codex` 注册为授权斜杠命令。它是通用的，可在任何支持 OpenClaw 文本命令的渠道中使用。 +内置插件将 `/codex` 注册为已授权的斜杠命令。它是通用命令，可在任何支持 OpenClaw 文本命令的渠道上使用。 常见形式： -- `/codex status` 显示实时 app-server 连接状态、模型、账户、速率限制、MCP 服务器和技能。 -- `/codex models` 列出实时 Codex app-server 模型。 +- `/codex status` 显示实时 app-server 连接状态、模型、账号、速率限制、MCP 服务器和技能。 +- `/codex models` 列出实时的 Codex app-server 模型。 - `/codex threads [filter]` 列出最近的 Codex 线程。 -- `/codex resume ` 将当前 OpenClaw 会话附加到现有 Codex 线程。 -- `/codex compact` 请求 Codex app-server 压缩已附加的线程。 -- `/codex review` 为已附加线程启动 Codex 原生审查。 -- `/codex account` 显示账户和速率限制状态。 +- `/codex resume ` 将当前 OpenClaw 会话附加到现有的 Codex 线程。 +- `/codex compact` 请求 Codex app-server 压缩当前附加的线程。 +- `/codex review` 为当前附加的线程启动 Codex 原生审查。 +- `/codex account` 显示账号和速率限制状态。 - `/codex mcp` 列出 Codex app-server MCP 服务器状态。 - `/codex skills` 列出 Codex app-server Skills。 -`/codex resume` 会写入与测试框架正常回合使用的相同 sidecar 绑定文件。在下一条消息中，OpenClaw 会恢复该 Codex 线程，将当前选定的 OpenClaw 模型传入 app-server，并保持启用扩展历史记录。 +`/codex resume` 会写入与测试工具正常轮次所使用的同一 sidecar 绑定文件。在下一条消息到来时，OpenClaw 会恢复该 Codex 线程，把当前选中的 OpenClaw 模型传入 app-server，并保持启用扩展历史记录。 -该命令面要求 Codex app-server `0.118.0` 或更高版本。如果未来版本或自定义 app-server 未暴露某个 JSON-RPC 方法，对应的单独控制方法会显示为 `unsupported by this Codex app-server`。 +该命令功能要求 Codex app-server `0.118.0` 或更高版本。如果未来版本或自定义 app-server 未公开某个 JSON-RPC 方法，则对应控制方法会显示为 `unsupported by this Codex app-server`。 -## 工具、媒体和压缩 +## 工具、媒体与压缩 -Codex 测试框架只改变底层嵌入式智能体执行器。 +Codex 测试工具仅改变底层嵌入式智能体执行器。 -OpenClaw 仍然构建工具列表，并从测试框架接收动态工具结果。文本、图像、视频、音乐、TTS、审批和消息工具输出仍然通过常规的 OpenClaw 传递路径流转。 +OpenClaw 仍然构建工具列表，并从测试工具接收动态工具结果。文本、图像、视频、音乐、TTS、审批以及消息工具输出，仍会通过 OpenClaw 的常规传递路径继续处理。 -当 Codex 将 `_meta.codex_approval_kind` 标记为 -`"mcp_tool_call"` 时，Codex MCP 工具审批征求会通过 OpenClaw 的插件审批流程路由；其他征求和自由形式输入请求仍会以默认拒绝方式处理。 +当 Codex 将 `_meta.codex_approval_kind` 标记为 `"mcp_tool_call"` 时，Codex MCP 工具审批征求会通过 OpenClaw 的插件审批流程路由；其他征求类型和自由格式输入请求仍会以失败关闭方式处理。 -当选定的模型使用 Codex 测试框架时，原生线程压缩会委托给 Codex app-server。OpenClaw 会保留一份转录镜像，用于渠道历史记录、搜索、`/new`、`/reset`，以及未来的模型或测试框架切换。该镜像包含用户提示、最终助手文本，以及 app-server 发出时的轻量级 Codex 推理或计划记录。目前，OpenClaw 仅记录原生压缩的开始和完成信号。它尚未提供人类可读的压缩摘要，也尚未提供 Codex 在压缩后保留了哪些条目的可审计列表。 +当选定模型使用 Codex 测试工具时，原生线程压缩会委托给 Codex app-server。OpenClaw 会保留一份转录镜像，用于渠道历史、搜索、`/new`、`/reset` 以及未来的模型或测试工具切换。该镜像包含用户提示、最终助手文本，以及 app-server 发出时的轻量级 Codex 推理或计划记录。目前，OpenClaw 仅记录原生压缩的开始和完成信号。它尚未公开人类可读的压缩摘要，也尚未提供一份可审计的条目列表，以说明 Codex 在压缩后保留了哪些内容。 -媒体生成不需要 PI。图像、视频、音乐、PDF、TTS 和媒体理解仍会继续使用相应的提供商/模型设置，例如 `agents.defaults.imageGenerationModel`、`videoGenerationModel`、`pdfModel` 和 `messages.tts`。 +媒体生成不需要 Pi。图像、视频、音乐、PDF、TTS 和媒体理解仍会继续使用相应的提供商 / 模型设置，例如 `agents.defaults.imageGenerationModel`、`videoGenerationModel`、`pdfModel` 和 `messages.tts`。 ## 故障排除 -**`/model` 中未显示 Codex：** 启用 `plugins.entries.codex.enabled`，选择带有 `embeddedHarness.runtime: "codex"` 的 `openai/gpt-*` 模型（或旧版 `codex/*` 引用），并检查 `plugins.allow` 是否排除了 `codex`。 +**`/model` 中没有出现 Codex：** 启用 `plugins.entries.codex.enabled`，选择一个带有 `embeddedHarness.runtime: "codex"` 的 `openai/gpt-*` 模型（或旧版 `codex/*` 引用），并检查 `plugins.allow` 是否排除了 `codex`。 -**OpenClaw 使用了 PI 而不是 Codex：** 如果没有 Codex 测试框架接管此次运行，OpenClaw 可能会使用 PI 作为兼容性后端。测试时可设置 -`embeddedHarness.runtime: "codex"` 以强制选择 Codex，或设置 -`embeddedHarness.fallback: "none"` 以在没有匹配插件测试框架时直接失败。一旦选中了 Codex app-server，其故障会直接暴露，而无需额外的回退配置。 +**OpenClaw 使用的是 Pi 而不是 Codex：** 如果没有任何 Codex 测试工具声明接管此次运行，OpenClaw 可能会使用 Pi 作为兼容性后端。测试时可设置 `embeddedHarness.runtime: "codex"` 以强制选择 Codex，或设置 `embeddedHarness.fallback: "none"` 以便在没有匹配插件测试工具时直接失败。一旦选中了 Codex app-server，其失败会直接暴露出来，而不会再经过额外的回退配置。 -**app-server 被拒绝：** 升级 Codex，使 app-server 握手报告的版本为 `0.118.0` 或更高。 +**app-server 被拒绝：** 升级 Codex，使 app-server 握手报告版本为 `0.118.0` 或更高。 -**模型发现较慢：** 降低 `plugins.entries.codex.config.discovery.timeoutMs` -或禁用发现。 +**模型发现速度慢：** 降低 `plugins.entries.codex.config.discovery.timeoutMs`，或禁用发现。 -**WebSocket 传输立即失败：** 检查 `appServer.url`、`authToken`，并确认远程 app-server 使用相同的 Codex app-server 协议版本。 +**WebSocket 传输立即失败：** 检查 `appServer.url`、`authToken`，以及远程 app-server 是否使用相同版本的 Codex app-server 协议。 -**非 Codex 模型使用了 PI：** 这是预期行为，除非你强制设置了 -`embeddedHarness.runtime: "codex"`（或选择了旧版 `codex/*` 引用）。普通的 -`openai/gpt-*` 和其他提供商引用会继续走其常规提供商路径。 +**非 Codex 模型使用了 Pi：** 这是预期行为，除非你强制设置了 `embeddedHarness.runtime: "codex"`（或选择了旧版 `codex/*` 引用）。普通的 `openai/gpt-*` 和其他提供商引用会保持其正常的提供商路径。 ## 相关内容 -- [智能体测试框架插件](/zh-CN/plugins/sdk-agent-harness) +- [智能体测试工具插件](/zh-CN/plugins/sdk-agent-harness) - [模型提供商](/zh-CN/concepts/model-providers) - [配置参考](/zh-CN/gateway/configuration-reference) -- [测试](/zh-CN/help/testing#live-codex-app-server-harness-smoke) +- [测试](/zh-CN/help/testing-live#live-codex-app-server-harness-smoke)