diff --git a/docs/zh-CN/help/testing-live.md b/docs/zh-CN/help/testing-live.md index 09ceea327..fc2b82e23 100644 --- a/docs/zh-CN/help/testing-live.md +++ b/docs/zh-CN/help/testing-live.md @@ -1,28 +1,28 @@ --- read_when: - 运行实时模型矩阵 / CLI 后端 / ACP / 媒体提供商冒烟测试 - - 调试实时测试的凭证解析 + - 调试实时测试凭证解析 - 添加新的提供商专用实时测试 sidebarTitle: Live tests summary: 实时（涉及网络）的测试：模型矩阵、CLI 后端、ACP、媒体提供商、凭证 -title: 测试：实时套件 +title: 测试：实时测试套件 x-i18n: - generated_at: "2026-04-25T10:03:59Z" + generated_at: "2026-04-25T12:43:48Z" model: gpt-5.4 provider: openai - source_hash: 4c91bfba6853db576e120893b8c2a55f9d396d523ad5b5eb6a25829766ee477f + source_hash: b9b2c2954eddd1b911dde5bb3a834a6f9429c91429f3fb07a509eec80183cc52 source_path: help/testing-live.md workflow: 15 --- -如需了解快速开始、QA 运行器、单元 / 集成测试套件和 Docker 流程，请参阅 -[测试](/zh-CN/help/testing)。本页介绍**实时**（涉及网络）的测试 +如需了解快速开始、QA 运行器、单元/集成测试和 Docker 流程，请参阅 +[测试](/zh-CN/help/testing)。本页涵盖**实时**（涉及网络）的测试 套件：模型矩阵、CLI 后端、ACP 和媒体提供商实时测试，以及 凭证处理。 ## 实时：本地配置文件冒烟命令 -在执行临时实时检查之前，先加载 `~/.profile`，这样提供商密钥和本地工具 +在执行临时实时检查前，先 source `~/.profile`，这样提供商密钥和本地工具 路径就会与你的 shell 保持一致： ```bash @@ -44,97 +44,97 @@ pnpm openclaw voicecall setup --json pnpm openclaw voicecall smoke --to "+15555550123" ``` -`voicecall smoke` 默认是演练，除非同时提供 `--yes`。只有在你明确 -想发起真实通知电话时才使用 `--yes`。对于 Twilio、Telnyx 和 -Plivo，成功的就绪性检查要求提供公共 webhook URL；仅本地的 -loopback / 私有回退方案会按设计被拒绝。 +`voicecall smoke` 是一次演练，除非同时传入 `--yes`。仅在你 +明确想要发起真实通知电话时才使用 `--yes`。对于 Twilio、Telnyx 和 +Plivo，成功的就绪性检查需要一个公开的 webhook URL；仅限本地的 +loopback/私有回退方案会按设计被拒绝。 ## 实时：Android 节点能力扫描 - 测试：`src/gateway/android-node.capabilities.live.test.ts` - 脚本：`pnpm android:test:integration` -- 目标：调用已连接 Android 节点当前**通告的每一个命令**，并断言命令契约行为。 +- 目标：调用已连接 Android 节点当前**宣告的每一条命令**，并断言命令契约行为。 - 范围： - - 需要预先满足条件 / 手动设置（该套件不会安装 / 运行 / 配对应用）。 - - 针对所选 Android 节点，逐命令验证 Gateway 网关 `node.invoke`。 + - 带前置条件的手动设置（该测试套件不会安装/运行/配对应用）。 + - 针对所选 Android 节点逐条命令执行 Gateway 网关 `node.invoke` 验证。 - 必需的预先设置： - - Android 应用已连接并已与 Gateway 网关配对。 - - 应用保持在前台运行。 - - 为你期望通过的能力授予权限 / 捕获同意。 + - Android 应用已连接并配对到 Gateway 网关。 + - 应用保持在前台。 + - 你期望通过的能力所需的权限/采集同意已授予。 - 可选目标覆盖： - `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。 - `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。 -- 完整 Android 设置详情：[Android App](/zh-CN/platforms/android) +- 完整的 Android 设置详情： [Android App](/zh-CN/platforms/android) ## 实时：模型冒烟测试（配置文件密钥） -实时测试分为两层，这样我们可以隔离故障： +实时测试分为两层，以便我们隔离故障： -- “Direct model” 用来确认在给定密钥下，提供商 / 模型本身是否能正常响应。 -- “Gateway smoke” 用来确认该模型的完整 Gateway 网关 + 智能体流水线是否正常工作（会话、历史、工具、沙箱策略等）。 +- “Direct model” 用于确认提供商/模型在给定密钥下至少能够响应。 +- “Gateway smoke” 用于确认该模型的完整 Gateway 网关 + 智能体流水线可正常工作（会话、历史记录、工具、沙箱策略等）。 -### 第 1 层：Direct model completion（无 Gateway 网关） +### 第 1 层：Direct model 补全（无网关） - 测试：`src/agents/models.profiles.live.test.ts` - 目标： - 枚举已发现的模型 - - 使用 `getApiKeyForModel` 选择你有凭证的模型 - - 对每个模型运行一个小型 completion（并在需要时运行定向回归测试） + - 使用 `getApiKeyForModel` 选择你拥有凭证的模型 + - 为每个模型运行一个小型补全测试（并在需要时运行定向回归测试） - 启用方式： - - `pnpm test:live`（如果直接调用 Vitest，则使用 `OPENCLAW_LIVE_TEST=1`） -- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）才会实际运行该套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 Gateway 网关冒烟测试 -- 选择模型的方法： - - `OPENCLAW_LIVE_MODELS=modern` 运行 modern 允许列表（Opus / Sonnet 4.6+、GPT-5.2 + Codex、Gemini 3、DeepSeek V4、GLM 4.7、MiniMax M2.7、Grok 4） - - `OPENCLAW_LIVE_MODELS=all` 是 modern 允许列表的别名 - - 或 `OPENCLAW_LIVE_MODELS="openai/gpt-5.2,openai-codex/gpt-5.2,anthropic/claude-opus-4-6,..."`（逗号分隔的允许列表） - - modern / all 扫描默认使用精心挑选的高信号数量上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可进行完整的 modern 扫描，或设置为正数以使用更小的上限。 - - 完整扫描会对整个 direct-model 测试使用 `OPENCLAW_LIVE_TEST_TIMEOUT_MS` 超时。默认值：60 分钟。 - - direct-model 探测默认以 20 路并行运行；可设置 `OPENCLAW_LIVE_MODEL_CONCURRENCY` 覆盖。 -- 选择提供商的方法： - - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔的允许列表） + - `pnpm test:live`（如果直接调用 Vitest，则为 `OPENCLAW_LIVE_TEST=1`） +- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）以实际运行该测试套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 Gateway 网关冒烟测试 +- 选择模型的方式： + - `OPENCLAW_LIVE_MODELS=modern` 运行现代 allowlist（Opus/Sonnet 4.6+、GPT-5.2 + Codex、Gemini 3、DeepSeek V4、GLM 4.7、MiniMax M2.7、Grok 4） + - `OPENCLAW_LIVE_MODELS=all` 是现代 allowlist 的别名 + - 或 `OPENCLAW_LIVE_MODELS="openai/gpt-5.2,openai-codex/gpt-5.2,anthropic/claude-opus-4-6,..."`（逗号分隔的 allowlist） + - modern/all 扫描默认使用精心挑选的高信号上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可执行完整 modern 扫描，或设置为正数以使用更小上限。 + - 完整扫描会将 `OPENCLAW_LIVE_TEST_TIMEOUT_MS` 用作整个 direct-model 测试的超时时间。默认值：60 分钟。 + - 默认情况下，direct-model 探测使用 20 路并行；可设置 `OPENCLAW_LIVE_MODEL_CONCURRENCY` 覆盖。 +- 选择提供商的方式： + - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔的 allowlist） - 密钥来源： - 默认：配置文件存储和环境变量回退 - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅使用配置文件存储** -- 该层存在的原因： - - 将“提供商 API 已损坏 / 密钥无效”和“Gateway 网关智能体流水线损坏”区分开 - - 包含小型、隔离的回归测试（示例：OpenAI Responses / Codex Responses 推理回放 + 工具调用流程） +- 存在原因： + - 将“提供商 API 已损坏 / 密钥无效”与“网关智能体流水线损坏”区分开 + - 包含小型、隔离的回归测试（示例：OpenAI Responses/Codex Responses 推理回放 + 工具调用流程） -### 第 2 层：Gateway 网关 + dev 智能体冒烟测试（也就是 “@openclaw” 实际执行的内容） +### 第 2 层：Gateway 网关 + dev 智能体冒烟测试（即 “@openclaw” 的实际行为） - 测试：`src/gateway/gateway-models.profiles.live.test.ts` - 目标： - 启动一个进程内 Gateway 网关 - - 创建 / 修补一个 `agent:dev:*` 会话（每次运行覆盖模型） - - 遍历带密钥的模型，并断言： - - 有“有意义”的响应（无工具） - - 真实工具调用可正常工作（读取探针） - - 可选的额外工具探针正常工作（exec+read 探针） + - 创建/修补一个 `agent:dev:*` 会话（每次运行按模型覆盖） + - 遍历带密钥的模型并断言： + - “有意义”的响应（不使用工具） + - 真实的工具调用可正常工作（read 探针） + - 可选的额外工具探针（exec+read 探针） - OpenAI 回归路径（仅工具调用 → 后续跟进）持续正常 -- 探针细节（这样你可以快速解释失败原因）： +- 探针细节（便于你快速解释故障）： - `read` 探针：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 该文件并回显 nonce。 - - `exec+read` 探针：测试会要求智能体通过 `exec` 将 nonce 写入临时文件，然后再 `read` 回来。 - - image 探针：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 + - `exec+read` 探针：测试要求智能体用 `exec` 将 nonce 写入临时文件，然后再 `read` 读回。 + - 图片探针：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 - 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。 - 启用方式： - - `pnpm test:live`（如果直接调用 Vitest，则使用 `OPENCLAW_LIVE_TEST=1`） -- 选择模型的方法： - - 默认：modern 允许列表（Opus / Sonnet 4.6+、GPT-5.2 + Codex、Gemini 3、DeepSeek V4、GLM 4.7、MiniMax M2.7、Grok 4） - - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是 modern 允许列表的别名 - - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号分隔列表）以缩小范围 - - modern / all Gateway 网关扫描默认使用精心挑选的高信号数量上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可进行完整的 modern 扫描，或设置为正数以使用更小的上限。 -- 选择提供商的方法（避免 “OpenRouter everything”）： - - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔的允许列表） -- 工具 + image 探针在这个实时测试中始终开启： + - `pnpm test:live`（如果直接调用 Vitest，则为 `OPENCLAW_LIVE_TEST=1`） +- 选择模型的方式： + - 默认：现代 allowlist（Opus/Sonnet 4.6+、GPT-5.2 + Codex、Gemini 3、DeepSeek V4、GLM 4.7、MiniMax M2.7、Grok 4） + - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是现代 allowlist 的别名 + - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）以缩小范围 + - modern/all Gateway 网关扫描默认使用精心挑选的高信号上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可执行完整 modern 扫描，或设置为正数以使用更小上限。 +- 选择提供商的方式（避免 “OpenRouter everything”）： + - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔的 allowlist） +- 该实时测试中，工具 + 图片探针始终开启： - `read` 探针 + `exec+read` 探针（工具压力测试） - - 当模型声明支持 image 输入时，运行 image 探针 + - 当模型宣告支持图片输入时，会运行图片探针 - 流程（高层概述）： - - 测试生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） + - 测试会生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） - 通过 `agent` `attachments: [{ mimeType: "image/png", content: "" }]` 发送 - - Gateway 网关将附件解析到 `images[]` 中（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） - - 嵌入式智能体将多模态用户消息转发给模型 + - Gateway 网关将附件解析为 `images[]`（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） + - 嵌入式智能体向模型转发一条多模态用户消息 - 断言：回复包含 `cat` + 该代码（OCR 容错：允许轻微错误） -提示：如果你想查看你的机器上可以测试什么（以及精确的 `provider/model` id），请运行： +提示：如需查看你的机器上可以测试哪些内容（以及确切的 `provider/model` id），请运行： ```bash openclaw models list @@ -144,24 +144,24 @@ openclaw models list --json ## 实时：CLI 后端冒烟测试（Claude、Codex、Gemini 或其他本地 CLI） - 测试：`src/gateway/gateway-cli-backend.live.test.ts` -- 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线，同时不触碰你的默认配置。 -- 后端专用的冒烟测试默认值位于所属扩展的 `cli-backend.ts` 定义中。 +- 目标：在不触碰你的默认配置的前提下，使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线。 +- 后端专用的默认冒烟设置位于所属扩展的 `cli-backend.ts` 定义中。 - 启用： - - `pnpm test:live`（如果直接调用 Vitest，则使用 `OPENCLAW_LIVE_TEST=1`） + - `pnpm test:live`（如果直接调用 Vitest，则为 `OPENCLAW_LIVE_TEST=1`） - `OPENCLAW_LIVE_CLI_BACKEND=1` - 默认值： - - 默认 provider / 模型：`claude-cli/claude-sonnet-4-6` - - command / args / image 行为来自所属 CLI 后端插件元数据。 + - 默认提供商/模型：`claude-cli/claude-sonnet-4-6` + - 命令/参数/图片行为来自所属 CLI 后端插件元数据。 - 覆盖项（可选）： - `OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.2"` - `OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"` - `OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'` - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图片附件（路径会注入到提示词中）。除非明确请求，Docker 配方默认关闭此项。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 将图片文件路径作为 CLI 参数传递，而不是通过提示词注入。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）用于控制在设置 `IMAGE_ARG` 时如何传递图片参数。 - - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮消息并验证恢复流程。 - - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=1` 在所选模型支持切换目标时，选择加入 Claude Sonnet -> Opus 同会话连续性探针。为了整体可靠性，Docker 配方默认关闭此项。 - - `OPENCLAW_LIVE_CLI_BACKEND_MCP_PROBE=1` 选择加入 MCP / 工具 local loopback 探针。除非明确请求，Docker 配方默认关闭此项。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图片附件（路径会注入到提示词中）。除非明确请求，否则 Docker 配方默认关闭此项。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 将图片文件路径作为 CLI 参数传递，而不是注入到提示词中。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）控制在设置 `IMAGE_ARG` 时如何传递图片参数。 + - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮并验证恢复流程。 + - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=1` 在所选模型支持切换目标时，启用 Claude Sonnet -> Opus 同会话连续性探针。为提高整体稳定性，Docker 配方默认关闭此项。 + - `OPENCLAW_LIVE_CLI_BACKEND_MCP_PROBE=1` 启用 MCP/工具 loopback 探针。除非明确请求，否则 Docker 配方默认关闭此项。 示例： @@ -189,20 +189,20 @@ pnpm test:docker:live-cli-backend:gemini 说明： - Docker 运行器位于 `scripts/test-live-cli-backend-docker.sh`。 -- 它会在仓库 Docker 镜像中以非 root 的 `node` 用户身份运行实时 CLI 后端冒烟测试。 -- 它会从所属扩展中解析 CLI 冒烟测试元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到缓存的可写前缀 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 中（默认值：`~/.cache/openclaw/docker-cli-tools`）。 -- `pnpm test:docker:live-cli-backend:claude-subscription` 要求可移植的 Claude Code 订阅 OAuth，可通过带有 `claudeAiOauth.subscriptionType` 的 `~/.claude/.credentials.json`，或来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN` 提供。它会先在 Docker 中验证直接 `claude -p`，然后在不保留 Anthropic API 密钥环境变量的情况下运行两轮 Gateway 网关 CLI 后端测试。此订阅测试通道默认禁用 Claude MCP / 工具和 image 探针，因为 Claude 当前会将第三方应用使用量计入额外用量计费，而不是常规订阅计划限额。 -- 实时 CLI 后端冒烟测试现在会对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图片分类轮次，然后通过 Gateway 网关 CLI 验证 MCP `cron` 工具调用。 -- Claude 的默认冒烟测试还会将会话从 Sonnet 修补为 Opus，并验证恢复后的会话仍记得更早的一条备注。 +- 它会在仓库 Docker 镜像内，以非 root 的 `node` 用户运行实时 CLI 后端冒烟测试。 +- 它会从所属扩展解析 CLI 冒烟元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 指向的可写缓存前缀中（默认：`~/.cache/openclaw/docker-cli-tools`）。 +- `pnpm test:docker:live-cli-backend:claude-subscription` 需要可移植的 Claude Code 订阅 OAuth，可通过以下任一方式提供：带有 `claudeAiOauth.subscriptionType` 的 `~/.claude/.credentials.json`，或来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN`。它会先在 Docker 中验证直接 `claude -p`，然后在不保留 Anthropic API key 环境变量的情况下运行两轮 Gateway 网关 CLI 后端测试。由于 Claude 当前会将第三方应用使用计入额外用量计费，而不是普通订阅套餐限制，因此该订阅通道默认关闭 Claude MCP/工具和图片探针。 +- 实时 CLI 后端冒烟测试现在会对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图片分类轮次，然后是通过 Gateway 网关 CLI 验证的 MCP `cron` 工具调用。 +- Claude 的默认冒烟测试还会将会话从 Sonnet 修补到 Opus，并验证恢复后的会话仍然记得之前的备注。 ## 实时：ACP 绑定冒烟测试（`/acp spawn ... --bind here`） - 测试：`src/gateway/gateway-acp-bind.live.test.ts` -- 目标：使用实时 ACP 智能体验证真实 ACP 会话绑定流程： +- 目标：使用实时 ACP 智能体验证真实 ACP 对话绑定流程： - 发送 `/acp spawn --bind here` - 原地绑定一个合成的消息渠道会话 - 在同一会话上发送普通后续消息 - - 验证该后续消息落入已绑定 ACP 会话的转录中 + - 验证该后续消息进入绑定的 ACP 会话转录中 - 启用： - `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts` - `OPENCLAW_LIVE_ACP_BIND=1` @@ -215,13 +215,16 @@ pnpm test:docker:live-cli-backend:gemini - `OPENCLAW_LIVE_ACP_BIND_AGENT=claude` - `OPENCLAW_LIVE_ACP_BIND_AGENT=codex` - `OPENCLAW_LIVE_ACP_BIND_AGENT=gemini` + - `OPENCLAW_LIVE_ACP_BIND_AGENT=opencode` - `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini` - `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@'` - `OPENCLAW_LIVE_ACP_BIND_CODEX_MODEL=gpt-5.2` + - `OPENCLAW_LIVE_ACP_BIND_OPENCODE_MODEL=opencode/kimi-k2.6` + - `OPENCLAW_LIVE_ACP_BIND_REQUIRE_TRANSCRIPT=1` - `OPENCLAW_LIVE_ACP_BIND_PARENT_MODEL=openai/gpt-5.2` - 说明： - - 该测试通道使用 Gateway 网关 `chat.send` 接口，并带有仅管理员可用的合成来源路由字段，因此测试可以附加消息渠道上下文，而无需假装向外部发送。 - - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会对所选 ACP harness 智能体使用嵌入式 `acpx` 插件的内置智能体注册表。 + - 该通道使用 Gateway 网关 `chat.send` 接口，并带有仅管理员可用的合成来源路由字段，以便测试在不假装进行外部投递的情况下附加消息渠道上下文。 + - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会使用嵌入式 `acpx` 插件为所选 ACP harness 智能体提供的内置智能体注册表。 示例： @@ -243,41 +246,42 @@ pnpm test:docker:live-acp-bind pnpm test:docker:live-acp-bind:claude pnpm test:docker:live-acp-bind:codex pnpm test:docker:live-acp-bind:gemini +pnpm test:docker:live-acp-bind:opencode ``` Docker 说明： - Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。 -- 默认情况下，它会按顺序对所有受支持的实时 CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后是 `gemini`。 -- 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 可缩小矩阵范围。 -- 它会加载 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，把 `acpx` 安装到可写的 npm 前缀里，然后在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 -- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 acpx 就能让来自已加载 profile 的 provider 环境变量继续提供给子 harness CLI。 +- 默认情况下，它会按顺序对聚合实时 CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后是 `gemini`。 +- 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=opencode` 可缩小矩阵范围。 +- 它会 source `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，然后在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code`、`@openai/codex`、`@google/gemini-cli` 或 `opencode-ai`）。ACP 后端本身是来自 `acpx` 插件的内置嵌入式 `acpx/runtime` 包。 +- OpenCode Docker 变体是一个严格的单智能体回归通道。它会在 source `~/.profile` 后，从 `OPENCLAW_LIVE_ACP_BIND_OPENCODE_MODEL`（默认 `opencode/kimi-k2.6`）写入一个临时 `OPENCODE_CONFIG_CONTENT` 默认模型，并且 `pnpm test:docker:live-acp-bind:opencode` 要求必须有绑定的助手转录，而不是接受通用的绑定后跳过。 +- 直接调用 `acpx` CLI 仅用于在 Gateway 网关之外比较行为的手动/权宜路径。Docker ACP 绑定冒烟测试覆盖的是 OpenClaw 内嵌的 `acpx` 运行时后端。 ## 实时：Codex app-server harness 冒烟测试 - 目标：通过正常的 Gateway 网关 - `agent` 方法验证插件自有的 Codex harness： + `agent` 方法验证由插件拥有的 Codex harness： - 加载内置的 `codex` 插件 - 选择 `OPENCLAW_AGENT_RUNTIME=codex` - - 向 `openai/gpt-5.2` 发送第一轮 Gateway 网关智能体消息，并强制使用 Codex harness - - 向同一个 OpenClaw 会话发送第二轮消息，并验证 app-server - 线程可以恢复 - - 通过同一个 Gateway 网关命令 + - 在强制使用 Codex harness 的情况下，向 `openai/gpt-5.2` 发送第一轮网关智能体请求 + - 向同一个 OpenClaw 会话发送第二轮请求，并验证 app-server + 线程能够恢复 + - 通过相同的 Gateway 网关命令 路径运行 `/codex status` 和 `/codex models` - - 可选运行两个经 Guardian 审核的提权 shell 探针：一个良性 - 命令应被批准，另一个伪造的密钥上传应被 - 拒绝，从而让智能体回过头来询问 + - 可选运行两个经过 Guardian 审核的提权 shell 探针：一个应被批准的 + 无害命令，以及一个应被拒绝的伪造密钥上传，从而让智能体回头询问 - 测试：`src/gateway/gateway-codex-harness.live.test.ts` - 启用：`OPENCLAW_LIVE_CODEX_HARNESS=1` - 默认模型：`openai/gpt-5.2` -- 可选 image 探针：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` -- 可选 MCP / 工具探针：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` +- 可选图片探针：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` +- 可选 MCP/工具探针：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` - 可选 Guardian 探针：`OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1` - 该冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，因此损坏的 Codex - harness 不能通过静默回退到 PI 而蒙混过关。 + harness 无法通过悄悄回退到 PI 而蒙混过关。 - 认证：Codex app-server 认证来自本地 Codex 订阅登录。Docker - 冒烟测试在适用时还可提供 `OPENAI_API_KEY` 用于非 Codex 探针， - 另外还可选复制 `~/.codex/auth.json` 和 `~/.codex/config.toml`。 + 冒烟测试在适用时也可以为非 Codex 探针提供 `OPENAI_API_KEY`， + 以及可选复制的 `~/.codex/auth.json` 和 `~/.codex/config.toml`。 本地配方： @@ -301,22 +305,23 @@ pnpm test:docker:live-codex-harness Docker 说明： - Docker 运行器位于 `scripts/test-live-codex-harness-docker.sh`。 -- 它会加载挂载的 `~/.profile`，传递 `OPENAI_API_KEY`，在存在时复制 Codex CLI +- 它会 source 挂载的 `~/.profile`，传递 `OPENAI_API_KEY`，在存在时复制 Codex CLI 认证文件，将 `@openai/codex` 安装到可写的挂载 npm - 前缀中，暂存源代码树，然后只运行 Codex-harness 实时测试。 -- Docker 默认启用 image、MCP / 工具和 Guardian 探针。需要更窄范围的调试 - 运行时，可设置 `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 + 前缀中，暂存源码树，然后仅运行 Codex-harness 实时测试。 +- Docker 默认启用图片、MCP/工具和 Guardian 探针。设置 + `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 `OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0` 或 - `OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0`。 + `OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0`，即可在需要时进行更窄范围的调试 + 运行。 - Docker 还会导出 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，与实时 测试配置保持一致，因此旧别名或 PI 回退都无法掩盖 Codex harness 回归问题。 -### 推荐的实时配方 +### 推荐的实时测试配方 -缩小范围、明确的允许列表速度最快，也最不容易波动： +范围窄且明确的 allowlist 最快，也最不容易出现不稳定问题： -- 单模型，direct（无 Gateway 网关）： +- 单模型，Direct（无网关）： - `OPENCLAW_LIVE_MODELS="openai/gpt-5.2" pnpm test:live src/agents/models.profiles.live.test.ts` - 单模型，Gateway 网关冒烟测试： @@ -325,48 +330,47 @@ Docker 说明： - 跨多个提供商的工具调用： - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.2,openai-codex/gpt-5.2,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,deepseek/deepseek-v4-flash,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` -- 聚焦 Google（Gemini API 密钥 + Antigravity）： - - Gemini（API 密钥）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` +- 聚焦 Google（Gemini API key + Antigravity）： + - Gemini（API key）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - Antigravity（OAuth）：`OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - Google 自适应思考冒烟测试： - - 如果本地密钥位于 shell profile 中：`source ~/.profile` + - 如果本地密钥存放在 shell 配置文件中：`source ~/.profile` - Gemini 3 动态默认值：`pnpm openclaw qa manual --provider-mode live-frontier --model google/gemini-3.1-pro-preview --alt-model google/gemini-3.1-pro-preview --message '/think adaptive Reply exactly: GEMINI_ADAPTIVE_OK' --timeout-ms 180000` - Gemini 2.5 动态预算：`pnpm openclaw qa manual --provider-mode live-frontier --model google/gemini-2.5-flash --alt-model google/gemini-2.5-flash --message '/think adaptive Reply exactly: GEMINI25_ADAPTIVE_OK' --timeout-ms 180000` 说明： -- `google/...` 使用 Gemini API（API 密钥）。 -- `google-antigravity/...` 使用 Antigravity OAuth 桥接（类似 Cloud Code Assist 的智能体端点）。 -- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（独立的认证 + 工具行为差异）。 +- `google/...` 使用 Gemini API（API key）。 +- `google-antigravity/...` 使用 Antigravity OAuth bridge（Cloud Code Assist 风格的智能体端点）。 +- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（单独的认证 + 工具行为差异）。 - Gemini API 与 Gemini CLI： - - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API 密钥 / 配置文件认证）；这通常就是大多数用户所说的 “Gemini”。 - - CLI：OpenClaw 调用本地 `gemini` 二进制；它有自己的认证方式，而且行为可能不同（流式传输 / 工具支持 / 版本偏差）。 + - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API key / 配置文件认证）；这也是大多数用户所说的 “Gemini”。 + - CLI：OpenClaw 会调用本地 `gemini` 二进制；它有自己的认证方式，并且行为可能不同（流式传输/工具支持/版本偏差）。 -## 实时：模型矩阵（我们覆盖什么） +## 实时：模型矩阵（我们覆盖哪些内容） -这里没有固定的 “CI 模型列表”（实时测试是选择加入的），但以下是**建议** -在带有密钥的开发机器上定期覆盖的模型。 +没有固定的 “CI 模型列表”（实时测试是选择性启用的），但以下是建议在有密钥的开发机器上定期覆盖的**推荐**模型。 -### 现代冒烟测试集（工具调用 + image） +### 现代冒烟集合（工具调用 + 图片） -这是我们期望持续保持可用的 “常用模型” 运行集： +这是我们期望持续保持可用的 “常见模型” 运行集合： - OpenAI（非 Codex）：`openai/gpt-5.2` - OpenAI Codex OAuth：`openai-codex/gpt-5.2` - Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） -- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免使用较旧的 Gemini 2.x 模型） +- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免较旧的 Gemini 2.x 模型） - Google（Antigravity）：`google-antigravity/claude-opus-4-6-thinking` 和 `google-antigravity/gemini-3-flash` - DeepSeek：`deepseek/deepseek-v4-flash` 和 `deepseek/deepseek-v4-pro` - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` -运行带工具 + image 的 Gateway 网关冒烟测试： +运行带工具 + 图片的 Gateway 网关冒烟测试： `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.2,openai-codex/gpt-5.2,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,deepseek/deepseek-v4-flash,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` ### 基线：工具调用（Read + 可选 Exec） -每个提供商家族至少选一个： +每个提供商家族至少选择一个： - OpenAI：`openai/gpt-5.2` - Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） @@ -375,79 +379,79 @@ Docker 说明： - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` -可选的额外覆盖（有则更好）： +可选的额外覆盖（有更好，没有也可以）： - xAI：`xai/grok-4`（或最新可用版本） -- Mistral：`mistral/`…（选择一个你已启用、支持 “tools” 的模型） +- Mistral：`mistral/`…（选择一个你已启用且支持 “tools” 的模型） - Cerebras：`cerebras/`…（如果你有访问权限） - LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式） -### Vision：发送 image（附件 → 多模态消息） +### Vision：图片发送（附件 → 多模态消息） -在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持 image 的模型（Claude / Gemini / OpenAI 支持视觉的变体等），以运行 image 探针。 +在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图片的模型（Claude/Gemini/OpenAI 的视觉能力变体等），以覆盖图片探针。 -### 聚合器 / 其他 Gateway 网关 +### 聚合器 / 替代网关 如果你已启用相关密钥，我们也支持通过以下方式进行测试： -- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + image 的候选项） +- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图片的候选项） - OpenCode：Zen 使用 `opencode/...`，Go 使用 `opencode-go/...`（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） -你还可以纳入实时矩阵的更多提供商（如果你有凭证 / 配置）： +你还可以在实时矩阵中加入更多提供商（如果你有凭证/配置）： - 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`google-gemini-cli`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot` -- 通过 `models.providers`（自定义端点）：`minimax`（云 / API），以及任何兼容 OpenAI / Anthropic 的代理（LM Studio、vLLM、LiteLLM 等） +- 通过 `models.providers`（自定义端点）：`minimax`（云/API），以及任何兼容 OpenAI/Anthropic 的代理（LM Studio、vLLM、LiteLLM 等） -提示：不要尝试在文档中硬编码 “所有模型”。权威列表始终是你的机器上 `discoverModels(...)` 的返回结果 + 当前可用密钥。 +提示：不要试图在文档中硬编码 “所有模型”。权威列表应以你的机器上 `discoverModels(...)` 的返回结果 + 可用密钥为准。 -## 凭证（切勿提交） +## 凭证（绝不要提交） -实时测试发现凭证的方式与 CLI 相同。实际含义如下： +实时测试发现凭证的方式与 CLI 完全相同。实际含义如下： -- 如果 CLI 可用，实时测试也应该能找到相同的密钥。 -- 如果实时测试显示 “no creds”，请像调试 `openclaw models list` / 模型选择那样进行调试。 +- 如果 CLI 能工作，实时测试也应能找到相同的密钥。 +- 如果实时测试提示 “no creds”，调试方式应与调试 `openclaw models list` / 模型选择相同。 -- 每个智能体的认证配置文件：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试中 “profile keys” 的含义） +- 每个智能体的认证配置文件：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试里 “profile keys” 的含义） - 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`） -- 旧状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时测试 home 中，但它不是主配置文件密钥存储） -- 本地实时运行默认会将活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到临时测试 home 中；暂存的实时 home 会跳过 `workspace/` 和 `sandboxes/`，并且会移除 `agents.*.workspace` / `agentDir` 路径覆盖，这样探针就不会落到你的真实主机工作区中。 +- 旧状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时测试 home 中，但这不是主 profile-key 存储） +- 默认情况下，本地实时运行会把当前激活的配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到临时测试 home 中；暂存的实时 home 会跳过 `workspace/` 和 `sandboxes/`，并移除 `agents.*.workspace` / `agentDir` 路径覆盖，这样探针就不会触碰你的真实主机工作区。 -如果你想依赖环境变量密钥（例如在 `~/.profile` 中导出的密钥），请在执行本地测试前运行 `source ~/.profile`，或使用下面的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 +如果你想依赖环境变量密钥（例如导出在你的 `~/.profile` 中），请在执行本地测试前运行 `source ~/.profile`，或使用下面的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 -## 实时：Deepgram（音频转录） +## Deepgram 实时测试（音频转录） - 测试：`extensions/deepgram/audio.live.test.ts` - 启用：`DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live extensions/deepgram/audio.live.test.ts` -## 实时：BytePlus 编码计划 +## BytePlus（国际版） 编码计划实时测试 - 测试：`extensions/byteplus/live.test.ts` - 启用：`BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live extensions/byteplus/live.test.ts` - 可选模型覆盖：`BYTEPLUS_CODING_MODEL=ark-code-latest` -## 实时：ComfyUI 工作流媒体测试 +## ComfyUI 工作流媒体实时测试 - 测试：`extensions/comfy/comfy.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts` - 范围： - - 运行内置的 comfy image、video 和 `music_generate` 路径 - - 如果未配置 `plugins.entries.comfy.config.`，则跳过每项能力 - - 在修改 comfy 工作流提交、轮询、下载或插件注册后很有帮助 + - 覆盖内置的 comfy 图片、视频和 `music_generate` 路径 + - 如果未配置 `plugins.entries.comfy.config.`，则会跳过对应能力 + - 适合在修改 comfy 工作流提交、轮询、下载或插件注册后使用 -## 实时：图像生成 +## 图片生成实时测试 - 测试：`test/image-generation.runtime.live.test.ts` - 命令：`pnpm test:live test/image-generation.runtime.live.test.ts` - Harness：`pnpm test:live:media image` - 范围： - - 枚举每个已注册的图像生成 provider 插件 - - 在探测前，从你的登录 shell（`~/.profile`）加载缺失的 provider 环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证配置文件，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用认证 / 配置文件 / 模型的 provider - - 通过共享图像生成运行时运行每个已配置 provider： + - 枚举每个已注册的图片生成提供商插件 + - 在探测前，从你的登录 shell（`~/.profile`）加载缺失的提供商环境变量 + - 默认优先使用实时/环境变量 API key，而不是已存储的认证配置文件，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证/配置文件/模型的提供商 + - 通过共享的图片生成运行时运行每个已配置的提供商： - `:generate` - - 当 provider 声明支持 edit 时，运行 `:edit` -- 当前覆盖的内置 provider： + - 当提供商声明支持 edit 时，运行 `:edit` +- 当前已内置覆盖的提供商： - `fal` - `google` - `minimax` @@ -460,10 +464,10 @@ Docker 说明： - `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-2,google/gemini-3.1-flash-image-preview,openrouter/google/gemini-3.1-flash-image-preview,xai/grok-imagine-image"` - `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit,openrouter:generate,xai:default-generate,xai:default-edit"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用配置文件存储认证，并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置文件存储认证，并忽略仅环境变量的覆盖 -对于已发布的 CLI 路径，请在 provider / 运行时实时 -测试通过后再添加一个 `infer` 冒烟测试： +对于已发布的 CLI 路径，在提供商/运行时实时 +测试通过后，再添加一个 `infer` 冒烟测试： ```bash OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_INFER_CLI_TEST=1 pnpm test:live -- test/image-generation.infer-cli.live.test.ts @@ -475,76 +479,76 @@ openclaw infer image generate \ --json ``` -这涵盖了 CLI 参数解析、配置 / 默认智能体解析、内置 -插件激活、按需修复内置运行时依赖、共享 -图像生成运行时，以及实时 provider 请求。 +这覆盖了 CLI 参数解析、配置/默认智能体解析、内置 +插件激活、按需修复内置运行时依赖、共享的 +图片生成运行时，以及实时提供商请求。 -## 实时：音乐生成 +## 音乐生成实时测试 - 测试：`extensions/music-generation-providers.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts` - Harness：`pnpm test:live:media music` - 范围： - - 运行共享的内置音乐生成 provider 路径 + - 覆盖共享的内置音乐生成提供商路径 - 当前覆盖 Google 和 MiniMax - - 在探测前，从你的登录 shell（`~/.profile`）加载 provider 环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证配置文件，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用认证 / 配置文件 / 模型的 provider - - 在可用时运行两种已声明的运行时模式： + - 在探测前，从你的登录 shell（`~/.profile`）加载提供商环境变量 + - 默认优先使用实时/环境变量 API key，而不是已存储的认证配置文件，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证/配置文件/模型的提供商 + - 在可用时运行两个已声明的运行时模式： - 使用仅提示词输入的 `generate` - - 当 provider 声明 `capabilities.edit.enabled` 时运行 `edit` - - 当前共享测试通道覆盖： + - 当提供商声明 `capabilities.edit.enabled` 时，运行 `edit` + - 当前共享通道覆盖： - `google`：`generate`、`edit` - `minimax`：`generate` - - `comfy`：使用单独的 Comfy 实时文件，不在这个共享扫描中 + - `comfy`：单独的 Comfy 实时文件，不属于此共享扫描 - 可选缩小范围： - `OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"` - `OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.6"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用配置文件存储认证，并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置文件存储认证，并忽略仅环境变量的覆盖 -## 实时：视频生成 +## 视频生成实时测试 - 测试：`extensions/video-generation-providers.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts` - Harness：`pnpm test:live:media video` - 范围： - - 运行共享的内置视频生成 provider 路径 - - 默认使用对发布安全的冒烟测试路径：非 FAL provider、每个 provider 一个文生视频请求、1 秒龙虾提示词，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每 provider 操作上限（默认 `180000`） - - 默认跳过 FAL，因为 provider 侧队列延迟可能主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行 - - 在探测前，从你的登录 shell（`~/.profile`）加载 provider 环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证配置文件，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用认证 / 配置文件 / 模型的 provider + - 覆盖共享的内置视频生成提供商路径 + - 默认使用发布安全的冒烟路径：非 FAL 提供商、每个提供商一个 text-to-video 请求、1 秒龙虾提示词，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每个提供商操作上限（默认 `180000`） + - 默认跳过 FAL，因为提供商侧队列延迟可能主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行 + - 在探测前，从你的登录 shell（`~/.profile`）加载提供商环境变量 + - 默认优先使用实时/环境变量 API key，而不是已存储的认证配置文件，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证/配置文件/模型的提供商 - 默认仅运行 `generate` - - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 后，在可用时也运行已声明的转换模式： - - 当 provider 声明 `capabilities.imageToVideo.enabled`，且所选 provider / 模型在共享扫描中接受基于 buffer 的本地图像输入时，运行 `imageToVideo` - - 当 provider 声明 `capabilities.videoToVideo.enabled`，且所选 provider / 模型在共享扫描中接受基于 buffer 的本地视频输入时，运行 `videoToVideo` - - 当前在共享扫描中已声明但被跳过的 `imageToVideo` provider： - - `vydra`，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图像 URL - - provider 专用的 Vydra 覆盖： + - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 以在可用时也运行已声明的转换模式： + - 当提供商声明 `capabilities.imageToVideo.enabled`，且所选提供商/模型在共享扫描中接受基于 buffer 的本地图片输入时，运行 `imageToVideo` + - 当提供商声明 `capabilities.videoToVideo.enabled`，且所选提供商/模型在共享扫描中接受基于 buffer 的本地视频输入时，运行 `videoToVideo` + - 当前在共享扫描中已声明但被跳过的 `imageToVideo` 提供商： + - `vydra`，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图片 URL + - 提供商专用的 Vydra 覆盖： - `OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts` - - 该文件会运行 `veo3` 文生视频，以及一个默认使用远程图像 URL 固件的 `kling` 通道 + - 该文件会运行 `veo3` text-to-video，以及默认使用远程图片 URL fixture 的 `kling` 通道 - 当前 `videoToVideo` 实时覆盖： - 仅 `runway`，且所选模型为 `runway/gen4_aleph` - - 当前在共享扫描中已声明但被跳过的 `videoToVideo` provider： - - `alibaba`、`qwen`、`xai`，因为这些路径当前要求远程 `http(s)` / MP4 参考 URL - - `google`，因为当前共享 Gemini / Veo 通道使用基于本地 buffer 的输入，而该路径在共享扫描中不被接受 - - `openai`，因为当前共享通道缺少针对特定组织的视频修补 / 混剪访问保证 + - 当前在共享扫描中已声明但被跳过的 `videoToVideo` 提供商： + - `alibaba`、`qwen`、`xai`，因为这些路径当前需要远程 `http(s)` / MP4 参考 URL + - `google`，因为当前共享的 Gemini/Veo 通道使用本地 buffer 支持的输入，而该路径在共享扫描中不被接受 + - `openai`，因为当前共享通道缺少组织专用视频修补/混编访问权限保证 - 可选缩小范围： - `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"` - `OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"` - - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 可在默认扫描中包含所有 provider，包括 FAL - - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 可将每个 provider 的操作上限降低，以执行更激进的冒烟测试 + - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 以在默认扫描中包含所有提供商，包括 FAL + - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 将每个提供商操作上限缩短，用于更激进的冒烟运行 - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用配置文件存储认证，并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置文件存储认证，并忽略仅环境变量的覆盖 -## 实时：媒体 Harness +## 媒体实时 Harness - 命令：`pnpm test:live:media` -- 用途： - - 通过一个仓库原生入口点运行共享的图像、音乐和视频实时套件 - - 自动从 `~/.profile` 加载缺失的 provider 环境变量 - - 默认自动将每个套件缩小到当前具有可用认证的 provider +- 目的： + - 通过一个仓库原生入口点运行共享的图片、音乐和视频实时测试套件 + - 自动从 `~/.profile` 加载缺失的提供商环境变量 + - 默认自动将每个测试套件缩小到当前具有可用认证的提供商 - 复用 `scripts/test-live.mjs`，因此心跳和静默模式行为保持一致 - 示例： - `pnpm test:live:media` @@ -554,4 +558,4 @@ openclaw infer image generate \ ## 相关内容 -- [测试](/zh-CN/help/testing) — 单元、集成、QA 和 Docker 套件 +- [测试](/zh-CN/help/testing) — 单元测试、集成测试、QA 和 Docker 测试套件 diff --git a/docs/zh-CN/help/testing.md b/docs/zh-CN/help/testing.md index a167e515b..0c3225868 100644 --- a/docs/zh-CN/help/testing.md +++ b/docs/zh-CN/help/testing.md @@ -3,156 +3,157 @@ read_when: - 在本地或 CI 中运行测试 - 为模型 / 提供商缺陷添加回归测试 - 调试 Gateway 网关 + 智能体行为 -summary: 测试工具包：单元 / e2e / 实时测试套件、Docker 运行器，以及每项测试覆盖的内容 +summary: 测试工具包：单元 / e2e / live 测试套件、Docker 运行器，以及每项测试覆盖的内容 title: 测试 x-i18n: - generated_at: "2026-04-25T12:18:28Z" + generated_at: "2026-04-25T12:43:49Z" model: gpt-5.4 provider: openai - source_hash: f0db8300a2a1b8367faca0aa1a857d67c06723eb4170e86440f827a802d05a34 + source_hash: c8352a695890b2bef8d15337c6371f33363222ec371f91dd0e6a8ba84cccbbc8 source_path: help/testing.md workflow: 15 --- -OpenClaw 有三个 Vitest 测试套件（单元 / 集成、e2e、实时），以及一小组 Docker 运行器。本文档是一份“我们如何测试”的指南： +OpenClaw 有三个 Vitest 测试套件（unit / integration、e2e、live）以及一小组 Docker 运行器。本文档是一份“我们如何测试”的指南： -- 每个测试套件覆盖什么内容（以及它刻意 _不_ 覆盖什么）。 +- 每个测试套件覆盖什么（以及它刻意**不**覆盖什么）。 - 常见工作流应运行哪些命令（本地、推送前、调试）。 -- 实时测试如何发现凭证，以及如何选择模型 / 提供商。 +- live 测试如何发现凭证并选择模型 / 提供商。 - 如何为真实世界中的模型 / 提供商问题添加回归测试。 ## 快速开始 大多数时候： -- 完整门禁（预期在推送前运行）：`pnpm build && pnpm check && pnpm check:test-types && pnpm test` -- 在配置充裕的机器上更快地运行本地全套测试：`pnpm test:max` -- 直接使用 Vitest 观察模式循环：`pnpm test:watch` -- 现在直接针对文件的运行也会路由到 extension / channel 路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` -- 当你在迭代处理单个失败用例时，优先先跑定向测试。 +- 完整门禁（推送前预期执行）：`pnpm build && pnpm check && pnpm check:test-types && pnpm test` +- 在配置充足的机器上更快地运行本地完整测试套件：`pnpm test:max` +- 直接进入 Vitest 监听循环：`pnpm test:watch` +- 直接按文件定位现在也会路由 extension / channel 路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` +- 当你在迭代单个失败用例时，优先先运行定向测试。 - 基于 Docker 的 QA 站点：`pnpm qa:lab:up` -- 基于 Linux VM 的 QA 测试通道：`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline` +- 基于 Linux VM 的 QA 通道：`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline` -当你修改了测试，或者想要更高信心时： +当你修改了测试，或想获得更高信心时： - 覆盖率门禁：`pnpm test:coverage` -- E2E 测试套件：`pnpm test:e2e` +- E2E 套件：`pnpm test:e2e` -当你在调试真实提供商 / 模型时（需要真实凭证）： +当调试真实提供商 / 模型时（需要真实凭证）： -- 实时测试套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live` -- 安静地只跑一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` -- Docker 实时模型扫描：`pnpm test:docker:live-models` - - 现在每个选中的模型都会运行一次文本轮次外加一个小型的类文件读取探测。元数据声明支持 `image` 输入的模型还会运行一个微型图像轮次。在隔离提供商故障时，可通过 `OPENCLAW_LIVE_MODEL_FILE_PROBE=0` 或 `OPENCLAW_LIVE_MODEL_IMAGE_PROBE=0` 禁用这些额外探测。 - - CI 覆盖：每日运行的 `OpenClaw Scheduled Live And E2E Checks` 和手动运行的 `OpenClaw Release Checks` 都会调用可复用的实时 / E2E 工作流，并设置 `include_live_suites: true`，其中包含按提供商分片的独立 Docker 实时模型矩阵作业。 - - 对于聚焦的 CI 重跑，可触发 `OpenClaw Live And E2E Checks (Reusable)`，并设置 `include_live_suites: true` 和 `live_models_only: true`。 - - 将新的高信号提供商密钥添加到 `scripts/ci-hydrate-live-auth.sh`、`.github/workflows/openclaw-live-and-e2e-checks-reusable.yml` 及其 schedule / release 调用方中。 +- live 套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live` +- 安静地只运行一个 live 文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` +- Docker live 模型扫描：`pnpm test:docker:live-models` + - 现在每个选中的模型都会运行一次文本轮次外加一个小型 file-read 风格探测。元数据声明支持 `image` 输入的模型还会运行一个微型图像轮次。隔离提供商故障时，可用 `OPENCLAW_LIVE_MODEL_FILE_PROBE=0` 或 `OPENCLAW_LIVE_MODEL_IMAGE_PROBE=0` 禁用这些额外探测。 + - CI 覆盖：每日 `OpenClaw Scheduled Live And E2E Checks` 和手动 `OpenClaw Release Checks` 都会调用可复用的 live / E2E 工作流，并设置 `include_live_suites: true`，其中包含按提供商分片的独立 Docker live 模型矩阵作业。 + - 如需聚焦的 CI 重跑，可派发 `OpenClaw Live And E2E Checks (Reusable)`，并设置 `include_live_suites: true` 与 `live_models_only: true`。 + - 将新的高信号提供商密钥添加到 `scripts/ci-hydrate-live-auth.sh`，以及 `.github/workflows/openclaw-live-and-e2e-checks-reusable.yml` 和其 scheduled / release 调用方中。 - 原生 Codex 绑定聊天冒烟测试：`pnpm test:docker:live-codex-bind` - - 对 Codex app-server 路径运行一个 Docker 实时测试通道，绑定一个合成的 Slack 私信并执行 `/codex bind`，测试 `/codex fast` 和 `/codex permissions`，然后验证普通回复和图像附件是通过原生插件绑定而非 ACP 路由的。 -- Crestodian 救援命令冒烟测试：`pnpm test:live:crestodian-rescue-channel` - - 这是消息渠道救援命令表面的可选双保险检查。它会执行 `/crestodian status`，排队一个持久化模型更改，回复 `/crestodian yes`，并验证审计 / 配置写入路径。 + - 在 Codex app-server 路径上运行一个 Docker live 通道，使用 `/codex bind` 绑定一个合成 Slack 私信，执行 `/codex fast` 和 `/codex permissions`，然后验证普通回复和图像附件都通过原生插件绑定而不是 ACP 路由。 +- Crestodian rescue command 冒烟测试：`pnpm test:live:crestodian-rescue-channel` + - 针对消息渠道 rescue command 表面的可选双保险检查。它会执行 `/crestodian status`，排入一个持久模型更改，回复 `/crestodian yes`，并验证审计 / 配置写入路径。 - Crestodian planner Docker 冒烟测试：`pnpm test:docker:crestodian-planner` - - 在一个无配置容器中运行 Crestodian，并在 `PATH` 上放置一个伪造的 Claude CLI，验证模糊 planner 回退会转换为带审计记录的类型化配置写入。 + - 在一个无配置容器中运行 Crestodian，并在 `PATH` 上放置一个假的 Claude CLI，验证模糊 planner 回退会转换为带审计的类型化配置写入。 - Crestodian 首次运行 Docker 冒烟测试：`pnpm test:docker:crestodian-first-run` - - 从一个空的 OpenClaw 状态目录启动，将裸 `openclaw` 路由到 Crestodian，应用 setup / model / agent / Discord plugin + SecretRef 写入，验证配置，并检查审计条目。同一条 Ring 0 设置路径也在 QA Lab 中通过 `pnpm openclaw qa suite --scenario crestodian-ring-zero-setup` 覆盖。 -- Moonshot / Kimi 成本冒烟测试：设置 `MOONSHOT_API_KEY` 后，运行 `openclaw models list --provider moonshot --json`，然后针对 `moonshot/kimi-k2.6` 运行一个隔离的 `openclaw agent --local --session-id live-kimi-cost --message 'Reply exactly: KIMI_LIVE_OK' --thinking off --json`。验证 JSON 报告的是 Moonshot / K2.6，并且 assistant transcript 存储了规范化的 `usage.cost`。 + - 从空的 OpenClaw 状态目录启动，将裸 `openclaw` 路由到 Crestodian，应用 setup / model / agent / Discord plugin + SecretRef 写入，校验配置，并验证审计条目。同一 Ring 0 设置路径也在 QA Lab 中通过 `pnpm openclaw qa suite --scenario crestodian-ring-zero-setup` 覆盖。 +- Moonshot / Kimi 成本冒烟测试：设置 `MOONSHOT_API_KEY` 后，运行 `openclaw models list --provider moonshot --json`，然后针对 `moonshot/kimi-k2.6` 运行独立命令 `openclaw agent --local --session-id live-kimi-cost --message 'Reply exactly: KIMI_LIVE_OK' --thinking off --json` + 。验证 JSON 报告的是 Moonshot / K2.6，并且 assistant transcript 存储了规范化的 `usage.cost`。 -提示：当你只需要一个失败用例时，优先使用下文所述的 allowlist 环境变量来缩小实时测试范围。 +提示：如果你只需要一个失败用例，优先使用下面描述的 allowlist 环境变量来缩小 live 测试范围。 ## QA 专用运行器 -当你需要接近 QA Lab 真实度的环境时，这些命令与主测试套件并列使用： +当你需要 QA-lab 级别的真实感时，这些命令与主测试套件配套使用： -CI 会在专用工作流中运行 QA Lab。`Parity gate` 会在匹配的 PR 上运行，也可通过使用 mock 提供商的手动触发运行。`QA-Lab - All Lanes` 会在 `main` 上每晚运行，也可手动触发，它会将 mock parity gate、实时 Matrix 测试通道和由 Convex 管理的实时 Telegram 测试通道作为并行作业运行。`OpenClaw Release Checks` 会在发布批准前运行相同的测试通道。 +CI 会在专用工作流中运行 QA Lab。`Parity gate` 会在匹配的 PR 上以及手动派发时以 mock 提供商运行。`QA-Lab - All Lanes` 会在 `main` 上每晚运行，也可手动派发，作为并行作业运行 mock parity gate、live Matrix 通道以及 Convex 管理的 live Telegram 通道。`OpenClaw Release Checks` 会在发布审批前运行相同通道。 - `pnpm openclaw qa suite` - 直接在主机上运行基于仓库的 QA 场景。 - - 默认使用隔离的 Gateway 网关工作进程并行运行多个选定场景。`qa-channel` 默认并发数为 4（受所选场景数量限制）。使用 `--concurrency ` 调整工作进程数，或使用 `--concurrency 1` 采用旧的串行测试通道。 - - 当任一场景失败时，以非零状态退出。若你希望获取产物但不返回失败退出码，可使用 `--allow-failures`。 - - 支持提供商模式 `live-frontier`、`mock-openai` 和 `aimock`。`aimock` 会启动一个基于本地 AIMock 的提供商服务器，用于实验性的夹具和协议 mock 覆盖，而不会替代具备场景感知能力的 `mock-openai` 测试通道。 + - 默认并行运行多个选定场景，并使用隔离的 Gateway 网关 worker。`qa-channel` 默认并发数为 4（受所选场景数量限制）。使用 `--concurrency ` 调整 worker 数量，或使用 `--concurrency 1` 运行旧的串行通道。 + - 任一场景失败时以非零状态退出。如果你想获取产物但不希望退出码失败，可使用 `--allow-failures`。 + - 支持提供商模式 `live-frontier`、`mock-openai` 和 `aimock`。`aimock` 会启动一个本地的 AIMock 支持的 provider 服务器，用于实验性 fixture 和协议 mock 覆盖，而不会替代具备场景感知能力的 `mock-openai` 通道。 - `pnpm openclaw qa suite --runner multipass` - - 在一次性 Multipass Linux VM 中运行同样的 QA 测试套件。 - - 保持与主机上的 `qa suite` 相同的场景选择行为。 - - 复用与 `qa suite` 相同的提供商 / 模型选择参数。 - - 实时运行会转发对来宾系统可行的受支持 QA 认证输入：基于环境变量的提供商密钥、QA 实时提供商配置路径，以及存在时的 `CODEX_HOME`。 - - 输出目录必须保持在仓库根目录下，以便来宾可通过挂载的工作区写回内容。 - - 会将常规 QA 报告 + 摘要，以及 Multipass 日志写入 `.artifacts/qa-e2e/...`。 + - 在一次性的 Multipass Linux VM 中运行同一 QA 套件。 + - 保持与主机上 `qa suite` 相同的场景选择行为。 + - 复用与 `qa suite` 相同的 provider / model 选择标志。 + - live 运行会转发对来宾系统切实可行的受支持 QA 认证输入：基于环境变量的 provider 密钥、QA live provider 配置路径，以及存在时的 `CODEX_HOME`。 + - 输出目录必须保持在仓库根目录下，这样来宾系统才能通过挂载的工作区写回内容。 + - 在 `.artifacts/qa-e2e/...` 下写入常规 QA 报告 + 摘要以及 Multipass 日志。 - `pnpm qa:lab:up` - 启动基于 Docker 的 QA 站点，用于偏操作员风格的 QA 工作。 - `pnpm test:docker:npm-onboard-channel-agent` - - 从当前检出构建一个 npm tarball，在 Docker 中全局安装它，以非交互方式执行 OpenAI API 密钥新手引导，默认配置 Telegram，验证启用插件时会按需安装运行时依赖，运行 doctor，并针对一个 mock OpenAI 端点运行一次本地智能体轮次。 - - 使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 可用 Discord 运行同一条打包安装测试通道。 + - 从当前 checkout 构建一个 npm tarball，在 Docker 中全局安装，运行非交互式 OpenAI API key 新手引导，默认配置 Telegram，验证启用该 plugin 会按需安装运行时依赖，运行 doctor，并对一个 mocked OpenAI 端点执行一次本地智能体轮次。 + - 使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 可在 Discord 上运行同样的打包安装通道。 - `pnpm test:docker:npm-telegram-live` - - 在 Docker 中安装一个已发布的 OpenClaw 包，运行已安装包的新手引导，通过已安装的 CLI 配置 Telegram，然后将该已安装包作为被测 Gateway 网关复用实时 Telegram QA 测试通道。 + - 在 Docker 中安装一个已发布的 OpenClaw 包，运行已安装包的新手引导，通过已安装的 CLI 配置 Telegram，然后复用 live Telegram QA 通道，并将该已安装包作为被测 Gateway 网关。 - 默认使用 `OPENCLAW_NPM_TELEGRAM_PACKAGE_SPEC=openclaw@beta`。 - - 使用与 `pnpm openclaw qa telegram` 相同的 Telegram 环境变量凭证或 Convex 凭证来源。对于 CI / 发布自动化，设置 `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_SOURCE=convex`，再加上 `OPENCLAW_QA_CONVEX_SITE_URL` 和角色密钥。如果在 CI 中存在 `OPENCLAW_QA_CONVEX_SITE_URL` 和 Convex 角色密钥，Docker 包装器会自动选择 Convex。 - - `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_ROLE=ci|maintainer` 仅为此测试通道覆盖共享的 `OPENCLAW_QA_CREDENTIAL_ROLE`。 - - GitHub Actions 将该测试通道作为手动维护者工作流 `NPM Telegram Beta E2E` 暴露。它不会在合并时运行。该工作流使用 `qa-live-shared` 环境和 Convex CI 凭证租约。 + - 使用与 `pnpm openclaw qa telegram` 相同的 Telegram 环境变量凭证或 Convex 凭证来源。对于 CI / 发布自动化，设置 `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_SOURCE=convex`，以及 `OPENCLAW_QA_CONVEX_SITE_URL` 和角色密钥。如果在 CI 中存在 `OPENCLAW_QA_CONVEX_SITE_URL` 和 Convex 角色密钥，Docker 包装器会自动选择 Convex。 + - `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_ROLE=ci|maintainer` 仅为该通道覆盖共享的 `OPENCLAW_QA_CREDENTIAL_ROLE`。 + - GitHub Actions 将该通道暴露为手动维护者工作流 `NPM Telegram Beta E2E`。它不会在合并时运行。该工作流使用 `qa-live-shared` 环境和 Convex CI 凭证租约。 - `pnpm test:docker:bundled-channel-deps` - - 在 Docker 中打包并安装当前 OpenClaw 构建，以已配置 OpenAI 的方式启动 Gateway 网关，然后通过编辑配置启用内置 channel / plugins。 - - 验证设置发现阶段会让未配置插件的运行时依赖保持缺失状态，首次已配置的 Gateway 网关或 doctor 运行会按需安装每个内置插件的运行时依赖，而第二次重启不会重新安装已激活的依赖。 - - 还会安装一个已知较旧的 npm 基线版本，在运行 `openclaw update --tag ` 之前启用 Telegram，并验证候选版本的更新后 doctor 会修复内置渠道运行时依赖，而无需 harness 侧的 postinstall 修复。 + - 在 Docker 中打包并安装当前 OpenClaw 构建，启动已配置 OpenAI 的 Gateway 网关，然后通过配置编辑启用内置 channel / plugins。 + - 验证 setup 发现流程会让未配置 plugin 的运行时依赖保持缺失状态，首次运行已配置的 Gateway 网关或 doctor 时会按需安装每个内置 plugin 的运行时依赖，而第二次重启不会重新安装已激活的依赖。 + - 还会安装一个已知的较旧 npm 基线版本，在运行 `openclaw update --tag ` 之前启用 Telegram，并验证候选版本的更新后 doctor 会修复内置 channel 的运行时依赖，而不依赖 harness 侧的 postinstall 修复。 - `pnpm test:parallels:npm-update` - - 在 Parallels 来宾系统中运行原生打包安装更新冒烟测试。每个选中的平台都会先安装请求的基线包，然后在同一来宾中运行已安装的 `openclaw update` 命令，并验证已安装版本、更新状态、gateway 就绪状态，以及一次本地智能体轮次。 - - 在迭代单个来宾时，使用 `--platform macos`、`--platform windows` 或 `--platform linux`。使用 `--json` 获取摘要产物路径和每个测试通道的状态。 - - 为长时间的本地运行加上宿主机超时，这样 Parallels 传输卡住时就不会耗尽剩余测试窗口： + - 在 Parallels 来宾系统中运行原生打包安装更新冒烟测试。每个选中的平台都会先安装请求的基线包，然后在同一来宾中运行已安装的 `openclaw update` 命令，并验证已安装版本、更新状态、gateway 就绪情况，以及一次本地智能体轮次。 + - 在迭代单个来宾时使用 `--platform macos`、`--platform windows` 或 `--platform linux`。使用 `--json` 获取摘要产物路径和各通道状态。 + - 将长时间本地运行包装在主机超时内，这样 Parallels 传输停顿就不会耗尽整个测试窗口： ```bash timeout --foreground 150m pnpm test:parallels:npm-update -- --json timeout --foreground 90m pnpm test:parallels:npm-update -- --platform windows --json ``` - - 该脚本会将嵌套测试通道日志写入 `/tmp/openclaw-parallels-npm-update.*`。在认定外层包装器卡住前，先检查 `windows-update.log`、`macos-update.log` 或 `linux-update.log`。 - - Windows 更新在冷启动来宾上可能会花费 10 到 15 分钟执行更新后 doctor / 运行时依赖修复；只要嵌套的 npm 调试日志仍在推进，这仍属正常。 - - 不要将这个聚合包装器与单独的 Parallels macOS、Windows 或 Linux 冒烟测试通道并行运行。它们共享 VM 状态，可能会在快照恢复、包服务或来宾 gateway 状态上发生冲突。 - - 更新后的验证会运行常规的内置插件表面，因为语音、图像生成和媒体理解等能力外观接口是通过内置运行时 API 加载的，即使智能体轮次本身只检查一个简单的文本响应。 + - 该脚本会将嵌套通道日志写入 `/tmp/openclaw-parallels-npm-update.*`。在假定外层包装器卡住之前，先检查 `windows-update.log`、`macos-update.log` 或 `linux-update.log`。 + - 在冷启动来宾上，Windows 更新在更新后的 doctor / 运行时依赖修复阶段可能花费 10 到 15 分钟；只要嵌套的 npm 调试日志仍在推进，这仍然是健康状态。 + - 不要将这个聚合包装器与单独的 Parallels macOS、Windows 或 Linux 冒烟通道并行运行。它们共享 VM 状态，可能会在快照恢复、包服务或来宾 gateway 状态上发生冲突。 + - 更新后的验证会运行常规的内置 plugin 表面，因为诸如语音、图像生成和媒体理解等能力外观层是通过内置运行时 API 加载的，即使智能体轮次本身只检查一个简单的文本响应。 - `pnpm openclaw qa aimock` - - 仅启动本地 AIMock 提供商服务器，用于直接协议冒烟测试。 + - 仅启动本地 AIMock provider 服务器，用于直接协议冒烟测试。 - `pnpm openclaw qa matrix` - - 针对一次性、基于 Docker 的 Tuwunel homeserver 运行 Matrix 实时 QA 测试通道。 - - 这个 QA 宿主目前仅用于仓库 / 开发环境。已打包的 OpenClaw 安装不附带 `qa-lab`，因此也不会暴露 `openclaw qa`。 - - 仓库检出会直接加载内置运行器；不需要单独的插件安装步骤。 - - 预配三个临时 Matrix 用户（`driver`、`sut`、`observer`）以及一个私有房间，然后以真实 Matrix 插件作为 SUT 传输层启动一个 QA gateway 子进程。 - - 默认使用固定稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。当你需要测试不同镜像时，可通过 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 - - Matrix 不暴露共享凭证来源标志，因为该测试通道会在本地预配一次性用户。 - - 会将 Matrix QA 报告、摘要、观测到的事件产物，以及合并后的 stdout / stderr 输出日志写入 `.artifacts/qa-e2e/...`。 - - 默认输出进度信息，并通过 `OPENCLAW_QA_MATRIX_TIMEOUT_MS` 强制执行硬性运行超时（默认 30 分钟）。清理由 `OPENCLAW_QA_MATRIX_CLEANUP_TIMEOUT_MS` 限制，失败信息中会包含用于恢复的 `docker compose ... down --remove-orphans` 命令。 + - 针对一次性的、基于 Docker 的 Tuwunel homeserver 运行 Matrix live QA 通道。 + - 这个 QA 主机目前仅供仓库 / 开发使用。打包安装的 OpenClaw 不包含 `qa-lab`，因此不会暴露 `openclaw qa`。 + - 仓库 checkout 会直接加载内置运行器；不需要单独安装 plugin。 + - 预配三个临时 Matrix 用户（`driver`、`sut`、`observer`）以及一个私有房间，然后启动一个 QA gateway 子进程，并使用真实的 Matrix plugin 作为 SUT 传输层。 + - 默认使用固定的稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。当你需要测试其他镜像时，可用 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 + - Matrix 不暴露共享 credential-source 标志，因为该通道会在本地预配一次性用户。 + - 在 `.artifacts/qa-e2e/...` 下写入 Matrix QA 报告、摘要、observed-events 产物，以及合并的 stdout / stderr 输出日志。 + - 默认输出进度，并通过 `OPENCLAW_QA_MATRIX_TIMEOUT_MS` 强制执行硬性运行超时（默认 30 分钟）。清理由 `OPENCLAW_QA_MATRIX_CLEANUP_TIMEOUT_MS` 限定，失败信息中会包含用于恢复的 `docker compose ... down --remove-orphans` 命令。 - `pnpm openclaw qa telegram` - - 使用来自环境变量的 driver 和 SUT bot token，针对一个真实的私有群组运行 Telegram 实时 QA 测试通道。 - - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。group id 必须是 Telegram chat id 的数字形式。 - - 支持 `--credential-source convex` 使用共享池化凭证。默认使用 env 模式，或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 - - 任一场景失败时会以非零状态退出。若你希望获取产物但不返回失败退出码，可使用 `--allow-failures`。 - - 需要同一私有群组中的两个不同 bot，且 SUT bot 需要暴露 Telegram 用户名。 - - 为了实现稳定的 bot 到 bot 观测，请在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode，并确保 driver bot 可以观测群组中的 bot 流量。 - - 会将 Telegram QA 报告、摘要和观测到的消息产物写入 `.artifacts/qa-e2e/...`。回复类场景会包含从 driver 发送请求到观测到 SUT 回复的 RTT。 + - 使用来自环境变量的 driver 和 SUT bot token，针对真实私有群组运行 Telegram live QA 通道。 + - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 id 必须是 Telegram chat 的数字 id。 + - 支持 `--credential-source convex` 以使用共享池化凭证。默认使用环境变量模式，或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 + - 任一场景失败时以非零状态退出。如果你想获取产物但不希望退出码失败，可使用 `--allow-failures`。 + - 需要同一私有群组中的两个不同 bot，并且 SUT bot 必须暴露 Telegram 用户名。 + - 为了稳定地观察 bot 与 bot 之间的交互，请在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode，并确保 driver bot 能观察群组中的 bot 流量。 + - 在 `.artifacts/qa-e2e/...` 下写入 Telegram QA 报告、摘要和 observed-messages 产物。回复场景会包含从 driver 发送请求到观察到 SUT 回复之间的 RTT。 -实时传输测试通道共享一个标准契约，这样新传输层就不会发生漂移： +live 传输通道共享一个标准契约，因此新传输不会发生漂移： -`qa-channel` 仍然是范围更广的合成 QA 测试套件，不属于实时传输覆盖矩阵的一部分。 +`qa-channel` 仍然是广泛的合成 QA 套件，不属于 live 传输覆盖矩阵的一部分。 -| 测试通道 | Canary | 提及门控 | Allowlist 阻止 | 顶层回复 | 重启恢复 | 线程跟进 | 线程隔离 | 反应观测 | 帮助命令 | -| -------- | ------ | -------- | -------------- | -------- | -------- | -------- | -------- | -------- | -------- | -| Matrix | x | x | x | x | x | x | x | x | | -| Telegram | x | | | | | | | | x | +| 通道 | Canary | Mention gating | Allowlist block | 顶层回复 | 重启恢复 | 线程后续跟进 | 线程隔离 | 表情反应观测 | 帮助命令 | +| ---- | ------ | -------------- | --------------- | -------- | -------- | ------------ | -------- | ------------ | -------- | +| Matrix | x | x | x | x | x | x | x | x | | +| Telegram | x | | | | | | | | x | ### 通过 Convex 共享 Telegram 凭证（v1） -当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时，QA lab 会从一个由 Convex 支持的凭证池中获取独占租约，在测试通道运行期间为该租约发送心跳，并在关闭时释放租约。 +当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时，QA lab 会从一个由 Convex 支持的凭证池中获取独占租约，在通道运行期间为该租约发送心跳，并在关闭时释放租约。 -Convex 项目脚手架参考： +参考 Convex 项目脚手架： - `qa/convex-credential-broker/` 必需的环境变量： - `OPENCLAW_QA_CONVEX_SITE_URL`（例如 `https://your-deployment.convex.site`） -- 为所选角色提供一个密钥： - - `maintainer` 使用 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER` - - `ci` 使用 `OPENCLAW_QA_CONVEX_SECRET_CI` +- 为所选角色提供一个 secret： + - `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`，用于 `maintainer` + - `OPENCLAW_QA_CONVEX_SECRET_CI`，用于 `ci` - 凭证角色选择： - CLI：`--credential-role maintainer|ci` - - 环境变量默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（在 CI 中默认为 `ci`，否则为 `maintainer`） + - 默认环境变量：`OPENCLAW_QA_CREDENTIAL_ROLE`（在 CI 中默认是 `ci`，否则默认是 `maintainer`） 可选环境变量： @@ -161,14 +162,15 @@ Convex 项目脚手架参考： - `OPENCLAW_QA_CREDENTIAL_ACQUIRE_TIMEOUT_MS`（默认 `90000`） - `OPENCLAW_QA_CREDENTIAL_HTTP_TIMEOUT_MS`（默认 `15000`） - `OPENCLAW_QA_CONVEX_ENDPOINT_PREFIX`（默认 `/qa-credentials/v1`） -- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选 trace id） +- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选追踪 id） - `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许在仅限本地开发时使用 loopback `http://` Convex URL。 正常运行时，`OPENCLAW_QA_CONVEX_SITE_URL` 应使用 `https://`。 -维护者管理命令（池添加 / 删除 / 列表）必须明确使用 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。 +维护者管理命令（池添加 / 删除 / 列表）必须明确要求 +`OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。 -面向维护者的 CLI 辅助命令： +维护者的 CLI 辅助命令： ```bash pnpm openclaw qa credentials doctor @@ -177,85 +179,85 @@ pnpm openclaw qa credentials list --kind telegram pnpm openclaw qa credentials remove --credential-id ``` -在实时运行前使用 `doctor`，可检查 Convex site URL、broker 密钥、endpoint prefix、HTTP 超时，以及 admin / list 可达性，而不会打印密钥值。在脚本和 CI 工具中使用 `--json` 可获得机器可读输出。 +在 live 运行前使用 `doctor` 检查 Convex 站点 URL、broker secret、端点前缀、HTTP 超时以及管理 / 列表可达性，且不会打印 secret 值。在脚本和 CI 工具中使用 `--json` 获取机器可读输出。 -默认 endpoint 契约（`OPENCLAW_QA_CONVEX_SITE_URL` + `/qa-credentials/v1`）： +默认端点契约（`OPENCLAW_QA_CONVEX_SITE_URL` + `/qa-credentials/v1`）： - `POST /acquire` - 请求：`{ kind, ownerId, actorRole, leaseTtlMs, heartbeatIntervalMs }` - 成功：`{ status: "ok", credentialId, leaseToken, payload, leaseTtlMs?, heartbeatIntervalMs? }` - - 资源耗尽 / 可重试：`{ status: "error", code: "POOL_EXHAUSTED" | "NO_CREDENTIAL_AVAILABLE", ... }` + - 耗尽 / 可重试：`{ status: "error", code: "POOL_EXHAUSTED" | "NO_CREDENTIAL_AVAILABLE", ... }` - `POST /heartbeat` - 请求：`{ kind, ownerId, actorRole, credentialId, leaseToken, leaseTtlMs }` - 成功：`{ status: "ok" }`（或空的 `2xx`） - `POST /release` - 请求：`{ kind, ownerId, actorRole, credentialId, leaseToken }` - 成功：`{ status: "ok" }`（或空的 `2xx`） -- `POST /admin/add`（仅限 maintainer 密钥） +- `POST /admin/add`（仅限 maintainer secret） - 请求：`{ kind, actorId, payload, note?, status? }` - 成功：`{ status: "ok", credential }` -- `POST /admin/remove`（仅限 maintainer 密钥） +- `POST /admin/remove`（仅限 maintainer secret） - 请求：`{ credentialId, actorId }` - 成功：`{ status: "ok", changed, credential }` - 活跃租约保护：`{ status: "error", code: "LEASE_ACTIVE", ... }` -- `POST /admin/list`（仅限 maintainer 密钥） +- `POST /admin/list`（仅限 maintainer secret） - 请求：`{ kind?, status?, includePayload?, limit? }` - 成功：`{ status: "ok", credentials, count }` -Telegram 类型的 payload 结构： +Telegram 类型的负载结构： - `{ groupId: string, driverToken: string, sutToken: string }` -- `groupId` 必须是 Telegram chat id 的数字字符串。 -- `admin/add` 会对 `kind: "telegram"` 验证此结构，并拒绝格式错误的 payload。 +- `groupId` 必须是 Telegram chat 的数字 id 字符串。 +- 对于 `kind: "telegram"`，`admin/add` 会校验该结构，并拒绝格式错误的负载。 ### 向 QA 添加一个渠道 -向 markdown QA 系统添加一个渠道，严格只需要两样东西： +向 Markdown QA 系统添加一个渠道，严格来说只需要两样东西： 1. 该渠道的传输适配器。 -2. 一个用来验证渠道契约的场景包。 +2. 一个用于验证该渠道契约的场景包。 -如果共享的 `qa-lab` 宿主可以承载整个流程，就不要新增一个顶层 QA 命令根。 +当共享的 `qa-lab` 主机能够承载流程时，不要新增顶层 QA 命令根。 -`qa-lab` 负责共享宿主机制： +`qa-lab` 负责共享主机机制： - `openclaw qa` 命令根 -- 测试套件启动和清理 -- 工作进程并发 +- 套件启动与拆除 +- worker 并发 - 产物写入 - 报告生成 - 场景执行 -- 旧版 `qa-channel` 场景的兼容别名 +- 旧 `qa-channel` 场景的兼容性别名 -运行器插件负责传输契约： +运行器 plugins 负责传输契约： -- `openclaw qa ` 如何挂载在共享 `qa` 根下 +- `openclaw qa ` 如何挂载到共享 `qa` 根命令下 - 如何为该传输配置 gateway - 如何检查就绪状态 - 如何注入入站事件 - 如何观测出站消息 -- 如何暴露 transcript 和规范化的传输状态 -- 如何执行由传输支持的操作 -- 如何处理传输特有的重置或清理 +- 如何暴露 transcript 和标准化传输状态 +- 如何执行由传输支持的动作 +- 如何处理传输专属的重置或清理 -新渠道的最低接入门槛是： +新渠道的最低采纳门槛是： -1. 保持 `qa-lab` 作为共享 `qa` 根的拥有者。 -2. 在共享的 `qa-lab` 宿主接缝上实现传输运行器。 -3. 将传输特有机制保留在运行器插件或渠道 harness 内部。 -4. 将运行器挂载为 `openclaw qa `，而不是注册一个竞争性的根命令。运行器插件应在 `openclaw.plugin.json` 中声明 `qaRunners`，并从 `runtime-api.ts` 导出匹配的 `qaRunnerCliRegistrations` 数组。保持 `runtime-api.ts` 轻量；惰性 CLI 和运行器执行应放在单独入口点之后。 -5. 在按主题划分的 `qa/scenarios/` 目录下编写或改造 markdown 场景。 -6. 为新场景使用通用场景辅助函数。 -7. 除非仓库正在进行有意迁移，否则应保持现有兼容别名继续可用。 +1. 保持由 `qa-lab` 作为共享 `qa` 根命令的拥有者。 +2. 在共享的 `qa-lab` 主机接缝上实现传输运行器。 +3. 将传输专属机制保留在运行器 plugin 或 channel harness 内部。 +4. 将运行器挂载为 `openclaw qa `，而不是注册一个竞争性的根命令。运行器 plugins 应在 `openclaw.plugin.json` 中声明 `qaRunners`，并从 `runtime-api.ts` 导出匹配的 `qaRunnerCliRegistrations` 数组。保持 `runtime-api.ts` 轻量；延迟 CLI 和运行器执行应置于独立入口点之后。 +5. 在主题化的 `qa/scenarios/` 目录下编写或改造 Markdown 场景。 +6. 对新场景使用通用场景辅助函数。 +7. 除非仓库正在进行有意迁移，否则保持现有兼容性别名继续可用。 -决策规则是严格的： +决策规则很严格： -- 如果某个行为可以在 `qa-lab` 中一次性表达，就把它放在 `qa-lab` 中。 -- 如果某个行为依赖单一渠道传输，就把它保留在该运行器插件或插件 harness 中。 -- 如果某个场景需要多个渠道都可使用的新能力，应添加通用辅助函数，而不是在 `suite.ts` 中添加渠道特定分支。 -- 如果某个行为只对一种传输有意义，就让该场景保持传输特定，并在场景契约中明确说明。 +- 如果某种行为可以在 `qa-lab` 中统一表达一次，就把它放在 `qa-lab`。 +- 如果某种行为依赖某一个渠道传输，就把它保留在对应的运行器 plugin 或 plugin harness 中。 +- 如果某个场景需要一个以上渠道可用的新能力，请添加一个通用辅助函数，而不是在 `suite.ts` 中加入渠道专属分支。 +- 如果某种行为只对一个传输有意义，请让该场景保持传输专属，并在场景契约中明确说明。 -新场景首选的通用辅助函数名称是： +新场景推荐使用的通用辅助函数名称： - `waitForTransportReady` - `waitForChannelReady` @@ -270,7 +272,7 @@ Telegram 类型的 payload 结构： - `formatTransportTranscript` - `resetTransport` -现有场景仍可使用兼容别名，包括： +现有场景仍可使用兼容性别名，包括： - `waitForQaChannelReady` - `waitForOutboundMessage` @@ -278,17 +280,18 @@ Telegram 类型的 payload 结构： - `formatConversationTranscript` - `resetBus` -新的渠道工作应使用通用辅助函数名称。兼容别名的存在是为了避免一次性迁移，不应作为新场景编写的范式。 +新的渠道工作应使用通用辅助函数名称。 +兼容性别名的存在是为了避免一次性大迁移，而不是作为新场景编写的范式。 -## 测试套件（在哪里运行什么） +## 测试套件（哪些内容在哪里运行） -可以将这些套件理解为“真实度逐步增加”（同时不稳定性 / 成本也会增加）： +可以把这些套件理解为“真实度逐步提升”（同时脆弱性 / 成本也逐步增加）： ### 单元 / 集成（默认） - 命令：`pnpm test` -- 配置：未定向运行使用 `vitest.full-*.config.ts` 分片集，并且可能会将多项目分片展开为按项目划分的配置，以便并行调度 -- 文件：核心 / 单元清单位于 `src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts`，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` node 测试 +- 配置：未定向运行使用 `vitest.full-*.config.ts` 分片集合，并且可能会将多项目分片展开为逐项目配置，以进行并行调度 +- 文件：核心 / 单元清单位于 `src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts`，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试 - 范围： - 纯单元测试 - 进程内集成测试（gateway 认证、路由、工具、解析、配置） @@ -296,101 +299,101 @@ Telegram 类型的 payload 结构： - 预期： - 在 CI 中运行 - 不需要真实密钥 - - 应当快速且稳定 + - 应该快速且稳定 - + - - 未定向的 `pnpm test` 会运行 12 个更小的分片配置（`core-unit-fast`、`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个庞大的原生根项目进程。这样可以降低高负载机器上的 RSS 峰值，并避免 auto-reply / extension 工作拖慢无关套件。 - - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片 watch 循环并不现实。 - - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会先通过定向测试通道对显式文件 / 目录目标进行路由，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 不必付出完整根项目启动的代价。 - - 当 diff 只涉及可路由的源文件 / 测试文件时，`pnpm test:changed` 会将变更过的 git 路径展开到相同的定向测试通道；配置 / setup 编辑仍会回退到更宽泛的根项目重跑。 - - `pnpm check:changed` 是窄范围工作时常规的智能本地门禁。它会将 diff 分类为 core、core tests、extensions、extension tests、apps、docs、release metadata 和 tooling，然后运行对应的类型检查 / lint / 测试通道。公开的 Plugin SDK 和插件契约变更会额外包含一次 extension 验证，因为 extensions 依赖这些 core 契约。仅涉及发布元数据的版本号变更会运行定向的版本 / 配置 / 根依赖检查，而不是完整套件，并带有一个守卫，拒绝顶层版本字段之外的包更改。 - - 来自 agents、commands、plugins、auto-reply 辅助函数、`plugin-sdk` 及类似纯工具区域的轻导入单元测试会路由到 `unit-fast` 测试通道，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件仍保留在现有测试通道中。 - - 选定的 `plugin-sdk` 和 `commands` 辅助源文件也会让 changed 模式运行映射到这些轻量测试通道中的显式同级测试，因此辅助函数编辑可以避免为该目录重跑完整的重量级套件。 - - `auto-reply` 有三个专用分桶：顶层 core 辅助函数、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这让最重的 reply harness 工作不会压到廉价的 status / chunk / token 测试上。 + - 未定向的 `pnpm test` 会运行十二个更小的分片配置（`core-unit-fast`、`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生根项目进程。这样可以降低繁忙机器上的峰值 RSS，并避免 auto-reply / extension 工作拖累无关套件。 + - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片 watch 循环并不实际。 + - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会先通过定向通道来路由显式文件 / 目录目标，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 无需承担完整根项目启动成本。 + - 当 diff 只触及可路由的源文件 / 测试文件时，`pnpm test:changed` 会将变更的 git 路径展开到相同的定向通道；配置 / setup 编辑则仍会回退到更广泛的根项目重跑。 + - `pnpm check:changed` 是针对窄范围工作的常规智能本地门禁。它会将 diff 分类为 core、core tests、extensions、extension tests、apps、docs、release metadata 和 tooling，然后运行匹配的 typecheck / lint / test 通道。公开的 Plugin SDK 和 plugin 契约变更会额外包含一次 extension 校验，因为 extensions 依赖这些 core 契约。仅涉及发布元数据的版本提升会运行定向的版本 / 配置 / 根依赖检查，而不是完整套件，并带有一个保护机制，用于拒绝顶层版本字段以外的包变更。 + - 来自 agents、commands、plugins、auto-reply 辅助函数、`plugin-sdk` 以及类似纯工具区域的轻导入单元测试会路由到 `unit-fast` 通道，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时负担较重的文件仍保留在现有通道中。 + - 部分选定的 `plugin-sdk` 和 `commands` 辅助源文件，也会在 changed 模式运行时映射到这些轻量通道中的显式同级测试，因此辅助函数编辑无需为该目录重跑完整的重型套件。 + - `auto-reply` 有三个专用桶：顶层 core 辅助函数、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这使最重的 reply harness 工作不会落到廉价的 status / chunk / token 测试上。 - + - - 当你更改消息工具发现输入或压缩运行时上下文时，请同时保留两个层级的覆盖。 - - 为纯路由和规范化边界添加聚焦的辅助函数回归测试。 - - 保持嵌入式运行器集成套件健康： + - 当你修改消息工具发现输入或 compaction 运行时上下文时，要保持两个层级的覆盖都在。 + - 为纯路由和标准化边界添加聚焦的辅助函数回归测试。 + - 保持内嵌运行器集成套件健康： `src/agents/pi-embedded-runner/compact.hooks.test.ts`、 `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和 `src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。 - - 这些套件会验证作用域 id 和压缩行为仍然会流经真实的 `run.ts` / `compact.ts` 路径；仅有辅助函数测试不足以替代这些集成路径。 + - 这些套件会验证带作用域的 id 和 compaction 行为仍然经过真实的 `run.ts` / `compact.ts` 路径；仅有辅助函数测试并不能充分替代这些集成路径。 - + - 基础 Vitest 配置默认使用 `threads`。 - - 共享 Vitest 配置固定 `isolate: false`，并在根项目、e2e 和实时配置中都使用非隔离运行器。 - - 根 UI 测试通道会保留其 `jsdom` setup 和优化器，但也会运行在共享的非隔离运行器上。 - - 每个 `pnpm test` 分片都继承共享 Vitest 配置中的相同 `threads` + `isolate: false` 默认值。 - - `scripts/run-vitest.mjs` 默认会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1` 可与原生 V8 行为进行对比。 + - 共享的 Vitest 配置固定 `isolate: false`，并在根项目、e2e 和 live 配置中使用非隔离运行器。 + - 根 UI 通道保留其 `jsdom` setup 和优化器，但同样运行在共享的非隔离运行器上。 + - 每个 `pnpm test` 分片都从共享的 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 + - `scripts/run-vitest.mjs` 默认会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1` 可与默认 V8 行为进行对比。 - - `pnpm changed:lanes` 会显示一个 diff 会触发哪些架构测试通道。 - - pre-commit hook 只做格式化。它会重新暂存已格式化文件，不会运行 lint、类型检查或测试。 - - 在交接或推送前，当你需要智能本地门禁时，请显式运行 `pnpm check:changed`。公开的 Plugin SDK 和插件契约变更会包含一次 extension 验证。 - - 当变更路径能干净地映射到更小的套件时，`pnpm test:changed` 会通过定向测试通道进行路由。 + - `pnpm changed:lanes` 会显示某个 diff 会触发哪些架构通道。 + - pre-commit hook 只做格式化。它会重新暂存已格式化文件，不会运行 lint、typecheck 或测试。 + - 当你需要智能本地门禁时，在交接或 push 之前显式运行 `pnpm check:changed`。公开的 Plugin SDK 和 plugin 契约变更会包含一次 extension 校验。 + - 当变更路径能明确映射到更小的套件时，`pnpm test:changed` 会通过定向通道进行路由。 - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的 worker 上限。 - - 本地 worker 自动扩缩刻意采取保守策略，并且当宿主机负载平均值已经较高时会回退，因此默认情况下多个并发 Vitest 运行造成的影响更小。 - - 基础 Vitest 配置将项目 / 配置文件标记为 `forceRerunTriggers`，以便测试接线变更时 changed 模式重跑仍然正确。 - - 在受支持的宿主上，配置会保持 `OPENCLAW_VITEST_FS_MODULE_CACHE` 启用；如果你希望为直接性能分析指定一个显式缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 + - 本地 worker 自动伸缩是有意保守的；当主机负载平均值已经较高时会主动回退，因此默认情况下多个并发 Vitest 运行造成的影响会更小。 + - 基础 Vitest 配置将项目 / 配置文件标记为 `forceRerunTriggers`，以便在测试接线变更时，changed 模式重跑仍然保持正确。 + - 该配置会在受支持的主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你希望为直接分析指定一个明确的缓存位置，请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 - - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入拆解输出。 - - `pnpm test:perf:imports:changed` 会将同样的性能分析视图限定到自 `origin/main` 以来变更的文件。 - - 当某个热点测试仍然将大部分时间花在启动导入上时，请将重量级依赖放在一个狭窄的本地 `*.runtime.ts` 接缝之后，并直接 mock 该接缝，而不是仅为了通过 `vi.mock(...)` 传递它们就深度导入运行时辅助函数。 - - `pnpm test:perf:changed:bench -- --ref ` 会针对该已提交 diff，将经过路由的 `test:changed` 与原生根项目路径进行比较，并打印墙钟时间及 macOS 最大 RSS。 - - `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置，对当前脏工作树进行基准测试，方法是将变更文件列表路由进去。 - - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和转换开销写入主线程 CPU profile。 - - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为单元测试套件写入运行器 CPU + heap profile。 + - `pnpm test:perf:imports` 会启用 Vitest 导入时长报告以及导入细分输出。 + - `pnpm test:perf:imports:changed` 会将相同的性能分析视图限定到自 `origin/main` 以来发生变更的文件。 + - 当某个热点测试的大部分时间仍然花在启动导入上时，应将重依赖放在狭窄的本地 `*.runtime.ts` 接缝之后，并直接 mock 该接缝，而不是仅为了传给 `vi.mock(...)` 就深度导入运行时辅助函数。 + - `pnpm test:perf:changed:bench -- --ref ` 会将定向的 `test:changed` 与该已提交 diff 的原生根项目路径进行对比，并打印 wall time 以及 macOS 最大 RSS。 + - `pnpm test:perf:changed:bench -- --worktree` 会通过将变更文件列表路由到 `scripts/test-projects.mjs` 和根 Vitest 配置，对当前脏工作树进行基准测试。 + - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动与 transform 开销写出主线程 CPU profile。 + - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为单元套件写出运行器 CPU + heap profile。 -### 稳定性（gateway） +### 稳定性（Gateway 网关） - 命令：`pnpm test:stability:gateway` -- 配置：`vitest.gateway.config.ts`，强制单 worker +- 配置：`vitest.gateway.config.ts`，强制使用一个 worker - 范围： - - 启动一个默认启用诊断功能的真实 loopback Gateway 网关 - - 通过诊断事件路径驱动合成的 gateway 消息、memory 和大负载 churn + - 启动一个默认启用诊断的真实 loopback Gateway 网关 + - 通过诊断事件路径驱动合成的 gateway 消息、memory 和大负载抖动 - 通过 Gateway 网关 WS RPC 查询 `diagnostics.stability` - 覆盖诊断稳定性 bundle 持久化辅助函数 - - 断言 recorder 保持有界、合成 RSS 采样保持在压力预算之下，并且每个会话的队列深度都会回落到零 + - 断言记录器保持有界、合成 RSS 样本保持在压力预算之下，并且每个会话的队列深度都会回落到零 - 预期： - 对 CI 安全且不需要密钥 - - 这是用于稳定性回归跟进的窄测试通道，不可替代完整的 Gateway 网关套件 + - 是用于稳定性回归跟进的窄通道，不是完整 Gateway 网关套件的替代品 -### E2E（gateway 冒烟） +### E2E（Gateway 网关冒烟） - 命令：`pnpm test:e2e` - 配置：`vitest.e2e.config.ts` -- 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts`，以及 `extensions/` 下的内置插件 E2E 测试 +- 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts`，以及 `extensions/` 下的内置 plugin E2E 测试 - 运行时默认值： - - 使用 Vitest `threads` 和 `isolate: false`，与仓库其他部分保持一致。 - - 使用自适应 worker（CI：最多 2，本地：默认 1）。 + - 使用 Vitest `threads`，并设置 `isolate: false`，与仓库其余部分保持一致。 + - 使用自适应 worker（CI：最多 2 个，本地：默认 1 个）。 - 默认以静默模式运行，以减少控制台 I/O 开销。 -- 常用覆盖项： - - `OPENCLAW_E2E_WORKERS=` 强制指定 worker 数量（上限为 16）。 - - `OPENCLAW_E2E_VERBOSE=1` 重新启用详细控制台输出。 +- 实用覆盖项： + - `OPENCLAW_E2E_WORKERS=` 用于强制指定 worker 数量（上限为 16）。 + - `OPENCLAW_E2E_VERBOSE=1` 用于重新启用详细控制台输出。 - 范围： - 多实例 gateway 端到端行为 - - WebSocket / HTTP 表面、节点配对和更重的网络行为 + - WebSocket / HTTP 表面、节点配对以及更重的网络交互 - 预期： - - 在 CI 中运行（当流水线启用时） + - 在 CI 中运行（当在流水线中启用时） - 不需要真实密钥 - 比单元测试有更多活动部件（可能更慢） @@ -399,241 +402,238 @@ Telegram 类型的 payload 结构： - 命令：`pnpm test:e2e:openshell` - 文件：`extensions/openshell/src/backend.e2e.test.ts` - 范围： - - 通过 Docker 在宿主机上启动一个隔离的 OpenShell gateway + - 通过 Docker 在主机上启动一个隔离的 OpenShell gateway - 从临时本地 Dockerfile 创建一个沙箱 - - 通过真实的 `sandbox ssh-config` + SSH exec 测试 OpenClaw 的 OpenShell 后端 - - 通过沙箱 fs bridge 验证远程规范文件系统行为 + - 通过真实的 `sandbox ssh-config` + SSH exec 练习 OpenClaw 的 OpenShell 后端 + - 通过沙箱 fs bridge 验证远端规范文件系统行为 - 预期： - - 仅在选择启用时运行；不属于默认的 `pnpm test:e2e` 运行 - - 需要本地 `openshell` CLI 和可用的 Docker daemon + - 仅按需启用；不属于默认 `pnpm test:e2e` 运行的一部分 + - 需要本地 `openshell` CLI 以及可用的 Docker daemon - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 gateway 和沙箱 -- 常用覆盖项： - - `OPENCLAW_E2E_OPENSHELL=1` 在手动运行更广泛 e2e 套件时启用该测试 - - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 指向非默认 CLI 二进制文件或包装脚本 +- 实用覆盖项： + - `OPENCLAW_E2E_OPENSHELL=1` 用于在手动运行更广泛的 e2e 套件时启用该测试 + - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 用于指向非默认 CLI 二进制或包装脚本 -### 实时（真实提供商 + 真实模型） +### live（真实提供商 + 真实模型） - 命令：`pnpm test:live` - 配置：`vitest.live.config.ts` -- 文件：`src/**/*.live.test.ts`、`test/**/*.live.test.ts`，以及 `extensions/` 下的内置插件实时测试 -- 默认：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`） +- 文件：`src/**/*.live.test.ts`、`test/**/*.live.test.ts`，以及 `extensions/` 下的内置 plugin live 测试 +- 默认值：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`） - 范围： - - “这个提供商 / 模型 _今天_ 在真实凭证下是否真的能工作？” - - 捕捉提供商格式变化、工具调用怪癖、认证问题和限流行为 + - “这个 provider / model 今天是否真的能配合真实凭证工作？” + - 捕获 provider 格式变化、工具调用怪癖、认证问题以及速率限制行为 - 预期： - - 从设计上说并不具备 CI 稳定性（真实网络、真实提供商策略、配额、故障） - - 会花钱 / 消耗限流额度 + - 按设计并非 CI 稳定（真实网络、真实 provider 策略、配额、故障） + - 会花钱 / 占用速率限制 - 优先运行缩小范围的子集，而不是“全部” -- 实时运行会 source `~/.profile`，以获取缺失的 API 密钥。 -- 默认情况下，实时运行仍会隔离 `HOME`，并将配置 / 认证材料复制到临时测试 home 中，这样单元测试夹具就无法修改你真实的 `~/.openclaw`。 -- 只有在你有意让实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 -- `pnpm test:live` 现在默认采用更安静的模式：保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静音 gateway 启动日志 / Bonjour 杂音。若你想恢复完整启动日志，设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 -- API 密钥轮换（按提供商区分）：设置逗号 / 分号格式的 `*_API_KEYS`，或设置 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），也可以通过 `OPENCLAW_LIVE_*_KEY` 提供每次实时运行的覆盖；测试会在收到限流响应时重试。 +- live 运行会读取 `~/.profile` 以获取缺失的 API key。 +- 默认情况下，live 运行仍会隔离 `HOME`，并将配置 / 认证材料复制到临时测试 home 中，这样单元 fixture 就不会修改你真实的 `~/.openclaw`。 +- 只有当你明确需要 live 测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 +- `pnpm test:live` 现在默认更安静：会保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静音 gateway 启动日志 / Bonjour 杂音。如果你希望恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 +- API key 轮换（provider 专属）：设置 `*_API_KEYS`，使用逗号 / 分号格式，或设置 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），或者通过 `OPENCLAW_LIVE_*_KEY` 进行每次 live 运行覆盖；测试会在收到 rate limit 响应时重试。 - 进度 / 心跳输出： - - 实时套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间的提供商调用也能明显看出仍在活动。 - - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，因此提供商 / gateway 进度行会在实时运行期间立即流式输出。 - - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型心跳。 - - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 gateway / 探测心跳。 + - live 套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间 provider 调用期间也能看见仍在活动。 + - `vitest.live.config.ts` 会禁用 Vitest 的控制台拦截，因此 provider / gateway 进度行会在 live 运行期间立即流式输出。 + - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整 direct-model 心跳。 + - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 gateway / probe 心跳。 ## 我应该运行哪个套件？ 使用这个决策表： -- 编辑逻辑 / 测试：运行 `pnpm test`（如果你改动很多，也运行 `pnpm test:coverage`） +- 编辑逻辑 / 测试：运行 `pnpm test`（如果你改动很多，再运行 `pnpm test:coverage`） - 触及 gateway 网络 / WS 协议 / 配对：额外运行 `pnpm test:e2e` -- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行缩小范围的 `pnpm test:live` +- 调试“我的 bot 挂了” / provider 专属故障 / 工具调用：运行一个缩小范围的 `pnpm test:live` -## 实时（触网）测试 +## live（触网）测试 -关于实时模型矩阵、CLI 后端冒烟、ACP 冒烟、Codex app-server -harness，以及所有媒体提供商实时测试（Deepgram、BytePlus（国际版）、ComfyUI、图像、 -音乐、视频、媒体 harness）——以及实时运行的凭证处理——请参见 -[测试——实时套件](/zh-CN/help/testing-live)。 +关于 live 模型矩阵、CLI 后端冒烟、ACP 冒烟、Codex app-server +harness，以及所有媒体 provider live 测试（Deepgram、BytePlus（国际版）、ComfyUI、image、music、video、media harness）——以及 live 运行的凭证处理 —— 请参见 +[测试 — live 套件](/zh-CN/help/testing-live)。 ## Docker 运行器（可选的“在 Linux 中可用”检查） 这些 Docker 运行器分为两类： -- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 仅在仓库 Docker 镜像中运行与其匹配的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），会挂载你的本地配置目录和工作区（如果已挂载，也会 source `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 -- Docker 实时运行器默认使用更小的冒烟上限，以便完整的 Docker 扫描仍然可行： - `test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，而 - `test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 +- live 模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像内运行与各自 profile-key 匹配的 live 文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），并挂载你的本地配置目录与工作区（如果已挂载，也会读取 `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 +- Docker live 运行器默认使用更小的冒烟上限，以便完整的 Docker 扫描仍然可行： + `test:docker:live-models` 默认使用 `OPENCLAW_LIVE_MAX_MODELS=12`，而 + `test:docker:live-gateway` 默认使用 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、 `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000`，以及 - `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你明确想要更大的穷举扫描时，可覆盖这些环境变量。 -- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后在实时 Docker 测试通道中复用它。它还会通过 `test:docker:e2e-build` 构建一个共享的 `scripts/e2e/Dockerfile` 镜像，并在测试已构建应用的 E2E 容器冒烟运行器中复用它。这个聚合器使用加权本地调度器：`OPENCLAW_DOCKER_ALL_PARALLELISM` 控制进程槽位，而资源上限会阻止重量级实时、npm 安装和多服务测试通道同时启动。默认值为 10 个槽位、`OPENCLAW_DOCKER_ALL_LIVE_LIMIT=6`、`OPENCLAW_DOCKER_ALL_NPM_LIMIT=8` 和 `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT=7`；只有当 Docker 宿主有更多余量时，才调整 `OPENCLAW_DOCKER_ALL_WEIGHT_LIMIT` 或 `OPENCLAW_DOCKER_ALL_DOCKER_LIMIT`。运行器默认会执行 Docker 预检，移除过期的 OpenClaw E2E 容器，每 30 秒打印一次状态，将成功测试通道的耗时存储在 `.artifacts/docker-tests/lane-timings.json` 中，并在后续运行时利用这些耗时优先启动更长的测试通道。使用 `OPENCLAW_DOCKER_ALL_DRY_RUN=1` 可打印加权测试通道清单，而不构建或运行 Docker。 + `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你明确想进行更大范围的穷尽扫描时，可覆盖这些环境变量。 +- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次 live Docker 镜像，然后在各个 live Docker 通道中复用它。它还会通过 `test:docker:e2e-build` 构建一个共享的 `scripts/e2e/Dockerfile` 镜像，并在验证构建后应用的 E2E 容器冒烟运行器中复用。这个聚合器使用加权本地调度器：`OPENCLAW_DOCKER_ALL_PARALLELISM` 控制进程槽位，而资源上限可防止重型 live、npm-install 和多服务通道同时全部启动。默认值是 10 个槽位，`OPENCLAW_DOCKER_ALL_LIVE_LIMIT=6`、`OPENCLAW_DOCKER_ALL_NPM_LIMIT=8` 和 `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT=7`；只有当 Docker 主机有更多余量时，才调整 `OPENCLAW_DOCKER_ALL_WEIGHT_LIMIT` 或 `OPENCLAW_DOCKER_ALL_DOCKER_LIMIT`。运行器默认会执行 Docker 预检，移除陈旧的 OpenClaw E2E 容器，每 30 秒打印一次状态，将成功通道的耗时存储到 `.artifacts/docker-tests/lane-timings.json`，并在后续运行中使用这些耗时让更长的通道优先启动。使用 `OPENCLAW_DOCKER_ALL_DRY_RUN=1` 可在不构建或运行 Docker 的情况下打印加权通道清单。 - 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:npm-onboard-channel-agent`、`test:docker:agents-delete-shared-workspace`、`test:docker:gateway-network`、`test:docker:mcp-channels`、`test:docker:pi-bundle-mcp-tools`、`test:docker:cron-mcp-cleanup`、`test:docker:plugins`、`test:docker:plugin-update` 和 `test:docker:config-reload` 会启动一个或多个真实容器，并验证更高层级的集成路径。 -实时模型 Docker 运行器还会仅 bind-mount 所需的 CLI 认证 home 目录（如果运行未缩小范围，则挂载所有受支持的目录），然后在运行前将其复制到容器 home 中，以便外部 CLI OAuth 可以刷新 token，而不会修改宿主机的认证存储： +live 模型 Docker 运行器还会只 bind-mount 所需的 CLI 认证 home（如果运行未缩小范围，则挂载所有支持的），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 就可以刷新 token，而不会修改宿主机的认证存储： - 直接模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） -- ACP 绑定冒烟：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） +- ACP 绑定冒烟：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`；默认覆盖 Claude、Codex 和 Gemini，对 OpenCode 的严格覆盖可使用 `pnpm test:docker:live-acp-bind:opencode`） - CLI 后端冒烟：`pnpm test:docker:live-cli-backend`（脚本：`scripts/test-live-cli-backend-docker.sh`） - Codex app-server harness 冒烟：`pnpm test:docker:live-codex-harness`（脚本：`scripts/test-live-codex-harness-docker.sh`） -- Gateway 网关 + dev 智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） -- Open WebUI 实时冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） -- 新手引导向导（TTY、完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`） -- Npm tarball 新手引导 / 渠道 / 智能体冒烟：`pnpm test:docker:npm-onboard-channel-agent` 会在 Docker 中全局安装已打包的 OpenClaw tarball，通过 env-ref 新手引导配置 OpenAI，默认再配置 Telegram，验证 doctor 会修复已激活插件的运行时依赖，并运行一次 mock OpenAI 智能体轮次。可通过 `OPENCLAW_NPM_ONBOARD_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball，通过 `OPENCLAW_NPM_ONBOARD_HOST_BUILD=0` 跳过宿主重建，或通过 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 切换渠道。 -- Bun 全局安装冒烟：`bash scripts/e2e/bun-global-install-smoke.sh` 会打包当前工作树，在隔离的 home 中使用 `bun install -g` 安装它，并验证 `openclaw infer image providers --json` 会返回内置图像提供商而不是挂起。可通过 `OPENCLAW_BUN_GLOBAL_SMOKE_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball，通过 `OPENCLAW_BUN_GLOBAL_SMOKE_HOST_BUILD=0` 跳过宿主构建，或通过 `OPENCLAW_BUN_GLOBAL_SMOKE_DIST_IMAGE=openclaw-dockerfile-smoke:local` 从已构建的 Docker 镜像复制 `dist/`。 -- 安装器 Docker 冒烟：`bash scripts/test-install-sh-docker.sh` 会在 root、update 和 direct-npm 容器之间共享一个 npm 缓存。更新冒烟默认使用 npm `latest` 作为稳定基线，然后再升级到候选 tarball。非 root 安装器检查会保持隔离的 npm 缓存，这样 root 拥有的缓存项就不会掩盖用户本地安装行为。设置 `OPENCLAW_INSTALL_SMOKE_NPM_CACHE_DIR=/path/to/cache` 可在本地重跑之间复用 root / update / direct-npm 缓存。 -- Install Smoke CI 会通过 `OPENCLAW_INSTALL_SMOKE_SKIP_NPM_GLOBAL=1` 跳过重复的 direct-npm 全局更新；当你需要覆盖直接 `npm install -g` 时，请在本地不带该环境变量运行脚本。 -- 智能体删除共享工作区 CLI 冒烟：`pnpm test:docker:agents-delete-shared-workspace`（脚本：`scripts/e2e/agents-delete-shared-workspace-docker.sh`）默认会构建根 Dockerfile 镜像，在隔离的容器 home 中为两个智能体植入一个工作区，运行 `agents delete --json`，并验证 JSON 有效且工作区保留行为正确。可通过 `OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_IMAGE=openclaw-dockerfile-smoke:local OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_SKIP_BUILD=1` 复用 install-smoke 镜像。 -- Gateway 网关网络（两个容器，WS 认证 + health）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） -- OpenAI Responses `web_search` 最小 reasoning 回归测试：`pnpm test:docker:openai-web-search-minimal`（脚本：`scripts/e2e/openai-web-search-minimal-docker.sh`）会让一个 mock OpenAI 服务器通过 Gateway 网关运行，验证 `web_search` 会将 `reasoning.effort` 从 `minimal` 提升到 `low`，然后强制提供商 schema 拒绝，并检查原始细节是否出现在 Gateway 网关日志中。 -- MCP 渠道桥接（已植入的 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） -- Pi bundle MCP 工具（真实 stdio MCP 服务器 + 嵌入式 Pi profile allow / deny 冒烟）：`pnpm test:docker:pi-bundle-mcp-tools`（脚本：`scripts/e2e/pi-bundle-mcp-tools-docker.sh`） -- Cron / subagent MCP 清理（真实 Gateway 网关 + 在隔离 cron 和一次性 subagent 运行后拆除 stdio MCP 子进程）：`pnpm test:docker:cron-mcp-cleanup`（脚本：`scripts/e2e/cron-mcp-cleanup-docker.sh`） -- 插件（安装冒烟 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） -- 插件更新未变化冒烟：`pnpm test:docker:plugin-update`（脚本：`scripts/e2e/plugin-update-unchanged-docker.sh`） +- Gateway 网关 + 开发智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） +- Open WebUI live 冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） +- onboarding 向导（TTY，完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`） +- npm tarball onboarding / 渠道 / 智能体冒烟：`pnpm test:docker:npm-onboard-channel-agent` 会在 Docker 中全局安装打包后的 OpenClaw tarball，通过 env-ref onboarding 配置 OpenAI，并默认配置 Telegram，验证 doctor 会修复已激活 plugin 的运行时依赖，并运行一次 mocked OpenAI 智能体轮次。使用 `OPENCLAW_NPM_ONBOARD_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball，使用 `OPENCLAW_NPM_ONBOARD_HOST_BUILD=0` 跳过宿主机构建，或使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 切换渠道。 +- Bun 全局安装冒烟：`bash scripts/e2e/bun-global-install-smoke.sh` 会打包当前工作树，在隔离 home 中使用 `bun install -g` 安装，并验证 `openclaw infer image providers --json` 返回的是内置图像提供商，而不是卡住。使用 `OPENCLAW_BUN_GLOBAL_SMOKE_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball，使用 `OPENCLAW_BUN_GLOBAL_SMOKE_HOST_BUILD=0` 跳过宿主机构建，或使用 `OPENCLAW_BUN_GLOBAL_SMOKE_DIST_IMAGE=openclaw-dockerfile-smoke:local` 从已构建的 Docker 镜像复制 `dist/`。 +- 安装器 Docker 冒烟：`bash scripts/test-install-sh-docker.sh` 会在其 root、update 和 direct-npm 容器之间共享一个 npm 缓存。更新冒烟默认使用 npm `latest` 作为稳定基线，然后升级到候选 tarball。非 root 安装器检查会保持独立的 npm 缓存，这样 root 拥有的缓存条目就不会掩盖用户本地安装行为。设置 `OPENCLAW_INSTALL_SMOKE_NPM_CACHE_DIR=/path/to/cache` 可在本地重复运行之间复用 root / update / direct-npm 缓存。 +- Install Smoke CI 会通过 `OPENCLAW_INSTALL_SMOKE_SKIP_NPM_GLOBAL=1` 跳过重复的 direct-npm 全局更新；当需要覆盖直接 `npm install -g` 时，请在本地运行该脚本且不要设置这个环境变量。 +- 智能体删除共享工作区 CLI 冒烟：`pnpm test:docker:agents-delete-shared-workspace`（脚本：`scripts/e2e/agents-delete-shared-workspace-docker.sh`）默认会构建根 Dockerfile 镜像，在隔离容器 home 中为两个智能体植入一个工作区，运行 `agents delete --json`，并验证 JSON 有效且工作区保留行为正确。使用 `OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_IMAGE=openclaw-dockerfile-smoke:local OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_SKIP_BUILD=1` 可复用 install-smoke 镜像。 +- Gateway 网关网络（两个容器，WS 认证 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） +- OpenAI Responses `web_search` 最小 reasoning 回归：`pnpm test:docker:openai-web-search-minimal`（脚本：`scripts/e2e/openai-web-search-minimal-docker.sh`）会通过 Gateway 网关运行一个 mocked OpenAI 服务器，验证 `web_search` 会将 `reasoning.effort` 从 `minimal` 提升到 `low`，然后强制 provider schema 拒绝，并检查原始细节是否出现在 Gateway 网关日志中。 +- MCP 渠道桥接（预植入的 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） +- Pi 内置 MCP 工具（真实 stdio MCP 服务器 + 内嵌 Pi 配置文件 allow / deny 冒烟）：`pnpm test:docker:pi-bundle-mcp-tools`（脚本：`scripts/e2e/pi-bundle-mcp-tools-docker.sh`） +- Cron / 子智能体 MCP 清理（真实 Gateway 网关 + 在隔离 cron 和一次性子智能体运行后拆除 stdio MCP 子进程）：`pnpm test:docker:cron-mcp-cleanup`（脚本：`scripts/e2e/cron-mcp-cleanup-docker.sh`） +- Plugins（安装冒烟 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） +- plugin 更新未变更冒烟：`pnpm test:docker:plugin-update`（脚本：`scripts/e2e/plugin-update-unchanged-docker.sh`） - 配置热重载元数据冒烟：`pnpm test:docker:config-reload`（脚本：`scripts/e2e/config-reload-source-docker.sh`） -- 内置插件运行时依赖：`pnpm test:docker:bundled-channel-deps` 默认会构建一个小型 Docker 运行器镜像，在宿主机上构建并打包一次 OpenClaw，然后将该 tarball 挂载到每个 Linux 安装场景中。可通过 `OPENCLAW_SKIP_DOCKER_BUILD=1` 复用镜像，在本地刚构建完成后通过 `OPENCLAW_BUNDLED_CHANNEL_HOST_BUILD=0` 跳过宿主重建，或通过 `OPENCLAW_BUNDLED_CHANNEL_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 指向现有 tarball。完整 Docker 聚合器会先预打包一次该 tarball，然后将内置渠道检查分片为独立测试通道，包括 Telegram、Discord、Slack、Feishu、memory-lancedb 和 ACPX 的独立更新测试通道。直接运行内置测试通道时，可使用 `OPENCLAW_BUNDLED_CHANNELS=telegram,slack` 缩小渠道矩阵，或使用 `OPENCLAW_BUNDLED_CHANNEL_UPDATE_TARGETS=telegram,acpx` 缩小更新场景。该测试通道还会验证 `channels..enabled=false` 和 `plugins.entries..enabled=false` 会抑制 doctor / 运行时依赖修复。 -- 在迭代时，如需缩小内置插件运行时依赖范围，可禁用无关场景，例如： +- 内置 plugin 运行时依赖：`pnpm test:docker:bundled-channel-deps` 默认会构建一个小型 Docker 运行器镜像，在宿主机上构建并打包一次 OpenClaw，然后将该 tarball 挂载到每个 Linux 安装场景中。使用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 复用镜像，使用 `OPENCLAW_BUNDLED_CHANNEL_HOST_BUILD=0` 在本地刚完成构建后跳过宿主机重建，或使用 `OPENCLAW_BUNDLED_CHANNEL_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 指向现有 tarball。完整 Docker 聚合器会先预打包一次该 tarball，然后将内置渠道检查分片为独立通道，其中包括 Telegram、Discord、Slack、Feishu、memory-lancedb 和 ACPX 的独立更新通道。直接运行该内置通道时，使用 `OPENCLAW_BUNDLED_CHANNELS=telegram,slack` 缩小渠道矩阵，或使用 `OPENCLAW_BUNDLED_CHANNEL_UPDATE_TARGETS=telegram,acpx` 缩小更新场景。该通道还会验证 `channels..enabled=false` 和 `plugins.entries..enabled=false` 会抑制 doctor / 运行时依赖修复。 +- 在迭代时缩小内置 plugin 运行时依赖范围，可禁用无关场景，例如： `OPENCLAW_BUNDLED_CHANNEL_SCENARIOS=0 OPENCLAW_BUNDLED_CHANNEL_UPDATE_SCENARIO=0 OPENCLAW_BUNDLED_CHANNEL_ROOT_OWNED_SCENARIO=0 OPENCLAW_BUNDLED_CHANNEL_SETUP_ENTRY_SCENARIO=0 pnpm test:docker:bundled-channel-deps`。 -如需手动预构建并复用共享的 built-app 镜像： +如需手动预构建并复用共享的已构建应用镜像： ```bash OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e:local pnpm test:docker:e2e-build OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e:local OPENCLAW_SKIP_DOCKER_BUILD=1 pnpm test:docker:mcp-channels ``` -设置后，诸如 `OPENCLAW_GATEWAY_NETWORK_E2E_IMAGE` 之类的套件专用镜像覆盖仍然优先生效。当 `OPENCLAW_SKIP_DOCKER_BUILD=1` 指向远程共享镜像时，如果本地还没有该镜像，脚本会先拉取它。QR 和安装器 Docker 测试保留各自独立的 Dockerfile，因为它们验证的是打包 / 安装行为，而不是共享的 built-app 运行时。 +设置后，诸如 `OPENCLAW_GATEWAY_NETWORK_E2E_IMAGE` 这样的套件专属镜像覆盖仍然优先生效。当 `OPENCLAW_SKIP_DOCKER_BUILD=1` 指向远程共享镜像时，如果本地尚不存在，这些脚本会先拉取它。QR 和安装器 Docker 测试保留各自独立的 Dockerfile，因为它们验证的是包 / 安装行为，而不是共享的已构建应用运行时。 -实时模型 Docker 运行器还会以只读方式 bind-mount 当前检出内容，并将其暂存到容器内的临时工作目录中。这样既能保持运行时镜像精简，又能让 Vitest 针对你本地的精确源代码 / 配置运行。暂存步骤会跳过大型的本地专用缓存和应用构建输出，例如 `.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地的 `.build` 或 Gradle 输出目录，从而避免 Docker 实时运行花费数分钟复制与机器相关的产物。 -它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 gateway 实时探测就不会在容器内启动真实的 Telegram / Discord / 等渠道 worker。 -`test:docker:live-models` 仍然会运行 `pnpm test:live`，因此当你需要在该 Docker 测试通道中缩小或排除 gateway 实时覆盖时，也要一并传入 `OPENCLAW_LIVE_GATEWAY_*`。 -`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个启用了 OpenAI 兼容 HTTP endpoint 的 OpenClaw gateway 容器，再针对该 gateway 启动一个固定版本的 Open WebUI 容器，通过 Open WebUI 登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一个真实聊天请求。 -首次运行可能会明显更慢，因为 Docker 可能需要拉取 Open WebUI 镜像，而且 Open WebUI 可能需要完成自身的冷启动设置。 -这个测试通道需要一个可用的实时模型密钥，而 `OPENCLAW_PROFILE_FILE` -（默认是 `~/.profile`）是在 Docker 化运行中提供该密钥的主要方式。 -成功运行后会打印一个小型 JSON payload，例如 `{ "ok": true, "model": +live 模型 Docker 运行器还会将当前 checkout 以只读方式 bind-mount 进去，并在容器内暂存到一个临时工作目录中。这样既能保持运行时镜像精简，又仍然可以针对你本地的精确 source / config 运行 Vitest。该暂存步骤会跳过大型本地专用缓存和应用构建输出，例如 `.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地的 `.build` 或 Gradle 输出目录，因此 Docker live 运行不会花上数分钟复制与机器绑定的产物。 +它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，因此 gateway live 探测不会在容器内启动真实的 Telegram / Discord / 等渠道 worker。 +`test:docker:live-models` 仍然运行 `pnpm test:live`，所以当你需要缩小或排除该 Docker 通道中的 gateway live 覆盖时，也要一并传入 `OPENCLAW_LIVE_GATEWAY_*`。 +`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个启用了 OpenAI 兼容 HTTP 端点的 OpenClaw gateway 容器，再启动一个固定版本的 Open WebUI 容器并连接到该 gateway，通过 Open WebUI 完成登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一个真实聊天请求。 +首次运行可能会明显更慢，因为 Docker 可能需要拉取 Open WebUI 镜像，而 Open WebUI 也可能需要完成自身的冷启动设置。 +该通道需要可用的 live 模型 key，而 `OPENCLAW_PROFILE_FILE` +（默认 `~/.profile`）是在 Docker 化运行中提供该 key 的主要方式。 +成功运行时会打印一个小型 JSON 负载，例如 `{ "ok": true, "model": "openclaw/default", ... }`。 -`test:docker:mcp-channels` 被刻意设计为确定性的，不需要真实的 -Telegram、Discord 或 iMessage 账号。它会启动一个已植入的 Gateway -容器，再启动第二个容器来拉起 `openclaw mcp serve`，然后验证经路由的会话发现、transcript 读取、附件元数据、实时事件队列行为、出站发送路由，以及通过真实 stdio MCP bridge 传递的 Claude 风格渠道 + 权限通知。通知检查会直接检查原始 stdio MCP frame，因此这个冒烟测试验证的是 bridge 实际发出的内容，而不仅仅是某个特定客户端 SDK 恰好暴露的内容。 -`test:docker:pi-bundle-mcp-tools` 是确定性的，不需要实时模型密钥。它会构建仓库 Docker 镜像，在容器内启动一个真实的 stdio MCP 探测服务器，通过嵌入式 Pi bundle MCP 运行时将该服务器实体化，执行工具，然后验证 `coding` 和 `messaging` 会保留 `bundle-mcp` 工具，而 `minimal` 和 `tools.deny: ["bundle-mcp"]` 会将其过滤掉。 -`test:docker:cron-mcp-cleanup` 是确定性的，不需要实时模型密钥。它会启动一个带有真实 stdio MCP 探测服务器的已植入 Gateway 网关，运行一个隔离的 cron 轮次和一个 `/subagents spawn` 一次性子智能体轮次，然后验证每次运行后 MCP 子进程都会退出。 +`test:docker:mcp-channels` 是刻意设计为确定性的，不需要真实的 Telegram、Discord 或 iMessage 账号。它会启动一个已植入数据的 Gateway 容器，再启动第二个容器来拉起 `openclaw mcp serve`，然后验证路由后的会话发现、transcript 读取、附件元数据、live 事件队列行为、出站发送路由，以及通过真实 stdio MCP bridge 传递的 Claude 风格渠道 + 权限通知。通知检查会直接检查原始 stdio MCP frame，因此这个冒烟测试验证的是 bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴露出来的内容。 +`test:docker:pi-bundle-mcp-tools` 是确定性的，不需要 live 模型 key。它会构建仓库 Docker 镜像，在容器内启动一个真实的 stdio MCP probe 服务器，通过内嵌 Pi 内置 MCP 运行时将该服务器实体化，执行工具，然后验证 `coding` 和 `messaging` 会保留 `bundle-mcp` 工具，而 `minimal` 和 `tools.deny: ["bundle-mcp"]` 会将其过滤掉。 +`test:docker:cron-mcp-cleanup` 是确定性的，不需要 live 模型 key。它会启动一个带有真实 stdio MCP probe 服务器的已植入 Gateway，运行一次隔离的 cron 轮次以及一次 `/subagents spawn` 的单次子智能体轮次，然后验证 MCP 子进程会在每次运行后退出。 -手动 ACP 自然语言线程冒烟测试（不在 CI 中运行）： +手动 ACP plain-language 线程冒烟测试（非 CI）： - `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel ...` -- 将此脚本保留用于回归 / 调试工作流。它未来可能还会再次用于 ACP 线程路由验证，因此不要删除它。 +- 保留这个脚本用于回归 / 调试工作流。它未来可能还会用于 ACP 线程路由校验，所以不要删除它。 -有用的环境变量： +实用环境变量： - `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`）挂载到 `/home/node/.openclaw` - `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`）挂载到 `/home/node/.openclaw/workspace` -- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前 source -- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 用于仅验证从 `OPENCLAW_PROFILE_FILE` source 的环境变量，此时会使用临时配置 / 工作区目录，且不挂载外部 CLI 认证目录 -- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于 Docker 内缓存的 CLI 安装 +- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前读取 +- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 用于仅验证来自 `OPENCLAW_PROFILE_FILE` 的环境变量，使用临时 config / workspace 目录，且不挂载外部 CLI 认证 +- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于缓存 Docker 内部安装的 CLI - `$HOME` 下的外部 CLI 认证目录 / 文件会以只读方式挂载到 `/host-auth...` 下，然后在测试开始前复制到 `/home/node/...` - 默认目录：`.minimax` - 默认文件：`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json` - - 缩小范围的提供商运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件 - - 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表手动覆盖 + - 缩小 provider 范围的运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的必需目录 / 文件 + - 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或逗号列表如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 手动覆盖 - `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围 -- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内过滤提供商 -- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于复用现有 `openclaw:local-live` 镜像，以便在无需重建时重跑 +- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内过滤 provider +- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于复用已有的 `openclaw:local-live` 镜像，以便在无需重建时重复运行 - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭证来自 profile 存储（而不是环境变量） -- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 gateway 为 Open WebUI 冒烟测试暴露的模型 -- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词 +- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择在 Open WebUI 冒烟测试中由 gateway 暴露的模型 +- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试中使用的 nonce-check 提示词 - `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签 ## 文档完整性检查 -在修改文档后运行文档检查：`pnpm check:docs`。 -当你还需要检查页内标题时，运行完整的 Mintlify anchor 验证：`pnpm docs:check-links:anchors`。 +编辑文档后运行文档检查：`pnpm check:docs`。 +当你还需要页内标题检查时，运行完整的 Mintlify anchor 校验：`pnpm docs:check-links:anchors`。 ## 离线回归（对 CI 安全） -这些是“不依赖真实提供商”的“真实流水线”回归： +这些是不依赖真实 provider 的“真实流水线”回归测试： -- Gateway 网关工具调用（mock OpenAI，真实 gateway + Agent loop）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） -- Gateway 网关向导（WS `wizard.start` / `wizard.next`，强制写入配置 + 认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） +- Gateway 网关工具调用（mock OpenAI、真实 gateway + Agent loop）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） +- Gateway 网关向导（WS `wizard.start` / `wizard.next`，强制写入 config + auth）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） ## 智能体可靠性评估（Skills） -我们已经有一些对 CI 安全的测试，表现得像“智能体可靠性评估”： +我们已经有一些对 CI 安全、行为类似“智能体可靠性评估”的测试： - 通过真实 gateway + Agent loop 进行 mock 工具调用（`src/gateway/gateway.test.ts`）。 -- 验证会话接线和配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。 +- 用于验证会话接线和配置影响的端到端向导流程（`src/gateway/gateway.test.ts`）。 -对于 Skills（参见 [Skills](/zh-CN/tools/skills)），仍然缺少的部分包括： +对于 Skills（参见 [Skills](/zh-CN/tools/skills)），目前仍然缺少的内容： -- **决策能力：** 当提示词中列出 Skills 时，智能体是否会选择正确的 Skills（或避开无关的 Skills）？ -- **合规性：** 智能体在使用前是否会读取 `SKILL.md`，并遵循要求的步骤 / 参数？ -- **工作流契约：** 用于断言工具顺序、会话历史延续和沙箱边界的多轮场景。 +- **决策**：当 Skills 在提示词中列出时，智能体是否会选择正确的 Skills（或避开无关的 Skills）？ +- **遵从性**：智能体是否会在使用前读取 `SKILL.md`，并遵循要求的步骤 / 参数？ +- **工作流契约**：断言工具顺序、会话历史继承以及沙箱边界的多轮场景。 未来的评估应优先保持确定性： -- 一个使用 mock 提供商的场景运行器，用于断言工具调用 + 顺序、skill 文件读取以及会话接线。 -- 一小套面向 skill 的场景（使用 vs 避免、门控、提示注入）。 -- 只有在具备对 CI 安全的套件之后，才添加可选的实时评估（选择启用、由环境变量门控）。 +- 一个使用 mock provider 的场景运行器，用于断言工具调用 + 顺序、skill 文件读取以及会话接线。 +- 一小组聚焦 skill 的场景（使用 vs 避免、门控、提示注入）。 +- 只有在 CI 安全套件就位之后，才添加可选 live 评估（按需启用、由环境变量控制）。 -## 契约测试（插件和渠道形状） +## 契约测试（plugin 和渠道形状） -契约测试会验证每个已注册插件和渠道是否符合其接口契约。它们会遍历所有发现的插件，并运行一组形状和行为断言。默认的 `pnpm test` 单元测试通道会刻意跳过这些共享接缝和冒烟文件；当你修改共享渠道或提供商表面时，请显式运行契约命令。 +契约测试用于验证每个已注册的 plugin 和渠道都符合其接口契约。它们会遍历所有已发现的 plugins，并运行一组关于形状和行为的断言。默认的 `pnpm test` 单元通道会刻意跳过这些共享接缝和冒烟文件；当你修改共享渠道或 provider 表面时，请显式运行这些契约命令。 ### 命令 - 所有契约：`pnpm test:contracts` - 仅渠道契约：`pnpm test:contracts:channels` -- 仅提供商契约：`pnpm test:contracts:plugins` +- 仅 provider 契约：`pnpm test:contracts:plugins` ### 渠道契约 位于 `src/channels/plugins/contracts/*.contract.test.ts`： -- **plugin** - 基本插件形状（id、name、capabilities） -- **setup** - 设置向导契约 +- **plugin** - 基本 plugin 形状（id、name、capabilities） +- **setup** - 向导设置契约 - **session-binding** - 会话绑定行为 -- **outbound-payload** - 消息 payload 结构 +- **outbound-payload** - 消息负载结构 - **inbound** - 入站消息处理 -- **actions** - 渠道操作处理器 +- **actions** - 渠道动作处理器 - **threading** - 线程 ID 处理 - **directory** - 目录 / roster API -- **group-policy** - 群组策略执行 +- **group-policy** - 群组策略强制执行 -### 提供商 Status 契约 +### provider Status 契约 位于 `src/plugins/contracts/*.contract.test.ts`。 - **status** - 渠道 Status 探测 -- **registry** - 插件注册表形状 +- **registry** - plugin 注册表形状 -### 提供商契约 +### provider 契约 位于 `src/plugins/contracts/*.contract.test.ts`： -- **auth** - 认证流契约 -- **auth-choice** - 认证选择 / 选择逻辑 +- **auth** - 认证流程契约 +- **auth-choice** - 认证选项 / 选择 - **catalog** - 模型目录 API -- **discovery** - 插件发现 -- **loader** - 插件加载 -- **runtime** - 提供商运行时 -- **shape** - 插件形状 / 接口 +- **discovery** - plugin 发现 +- **loader** - plugin 加载 +- **runtime** - provider 运行时 +- **shape** - plugin 形状 / 接口 - **wizard** - 设置向导 ### 何时运行 - 修改 plugin-sdk 导出或子路径之后 -- 添加或修改渠道或提供商插件之后 -- 重构插件注册或发现逻辑之后 +- 添加或修改渠道或 provider plugin 之后 +- 重构 plugin 注册或发现逻辑之后 -契约测试会在 CI 中运行，且不需要真实 API 密钥。 +契约测试会在 CI 中运行，不需要真实 API key。 ## 添加回归测试（指南） -当你修复一个在实时环境中发现的提供商 / 模型问题时： +当你修复一个在 live 中发现的 provider / model 问题时： -- 如果可能，添加一个对 CI 安全的回归测试（mock / stub 提供商，或捕获确切的请求形状转换） -- 如果问题本质上只能在实时环境中复现（限流、认证策略），则让实时测试保持狭窄，并通过环境变量选择启用 -- 优先瞄准能够捕捉该缺陷的最小层级： - - 提供商请求转换 / 重放缺陷 → 直接模型测试 - - gateway 会话 / 历史 / 工具流水线缺陷 → gateway 实时冒烟或对 CI 安全的 gateway mock 测试 +- 如果可能，添加一个对 CI 安全的回归测试（mock / stub provider，或捕获精确的请求形状转换） +- 如果它本质上只能在 live 中复现（速率限制、认证策略），就让 live 测试保持窄范围，并通过环境变量按需启用 +- 优先针对能捕获该缺陷的最小层级： + - provider 请求转换 / 重放缺陷 → 直接模型测试 + - gateway 会话 / 历史 / 工具管线缺陷 → gateway live 冒烟测试或对 CI 安全的 gateway mock 测试 - SecretRef 遍历护栏： - - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言遍历段 exec id 会被拒绝。 - - 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标族，请更新该测试中的 `classifyTargetClass`。该测试会刻意在遇到未分类目标 id 时失败，这样新类别就无法被悄悄跳过。 + - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言遍历片段 exec id 会被拒绝。 + - 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标族，请更新该测试中的 `classifyTargetClass`。该测试会在目标 id 未分类时故意失败，这样新类别就无法被静默跳过。 ## 相关内容