From 0d941a4d5fe92aa98b9789316875dfd0fbf124fd Mon Sep 17 00:00:00 2001 From: "openclaw-docs-i18n[bot]" Date: Wed, 15 Apr 2026 13:36:33 +0000 Subject: [PATCH] chore(i18n): refresh zh-CN translations --- docs/zh-CN/help/testing.md | 844 ++++++++++++++++++------------------- 1 file changed, 418 insertions(+), 426 deletions(-) diff --git a/docs/zh-CN/help/testing.md b/docs/zh-CN/help/testing.md index 30f84b9ca..885550342 100644 --- a/docs/zh-CN/help/testing.md +++ b/docs/zh-CN/help/testing.md @@ -1,108 +1,104 @@ --- read_when: - 在本地或 CI 中运行测试 - - 为模型 / 提供商缺陷添加回归测试 + - 为 model / provider 缺陷添加回归测试 - 调试 Gateway 网关 + 智能体行为 -summary: 测试工具包：单元 / e2e / 实时测试套件、Docker 运行器，以及每类测试覆盖的内容 +summary: 测试套件：unit/e2e/live 套件、Docker 运行器，以及每类测试覆盖的内容 title: 测试 x-i18n: - generated_at: "2026-04-14T21:38:59Z" + generated_at: "2026-04-15T13:33:02Z" model: gpt-5.4 provider: openai - source_hash: fbf647a5cf13b5861a3ba0cb367dc816c57f0e9c60d3cd6320da193bfadf5609 + source_hash: ec3632cafa1f38b27510372391b84af744266df96c58f7fac98aa03763465db8 source_path: help/testing.md workflow: 15 --- # 测试 -OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时），以及一小组 Docker 运行器。 +OpenClaw 有三个 Vitest 测试套件（unit / integration、e2e、live）以及一小组 Docker 运行器。 -这份文档是一份“我们如何测试”的指南： +本文档是一份“我们如何测试”的指南： - 每个测试套件覆盖什么（以及它刻意 _不_ 覆盖什么） -- 常见工作流该运行哪些命令（本地、推送前、调试） -- 实时测试如何发现凭证并选择模型 / 提供商 -- 如何为真实世界中的模型 / 提供商问题添加回归测试 +- 常见工作流应运行哪些命令（本地、推送前、调试） +- live 测试如何发现凭证并选择模型 / 提供商 +- 如何为真实世界中的 model / provider 问题添加回归测试 ## 快速开始 -大多数情况下： +大多数时候： -- 完整门禁（预期在 push 前运行）：`pnpm build && pnpm check && pnpm test` -- 在配置较充裕的机器上更快地运行本地完整测试套件：`pnpm test:max` +- 完整门禁（推送前预期执行）：`pnpm build && pnpm check && pnpm test` +- 在配置充裕的机器上更快地运行本地完整测试套件：`pnpm test:max` - 直接进入 Vitest watch 循环：`pnpm test:watch` -- 直接指定文件现在也会路由到扩展 / 渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` -- 当你在迭代单个失败用例时，优先运行定向测试。 -- 基于 Docker 的 QA 站点：`pnpm qa:lab:up` -- 基于 Linux VM 的 QA 通道：`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline` +- 直接指定文件现在也会路由到 extension / channel 路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` +- 当你在迭代单个失败用例时，优先使用有针对性的运行方式。 +- 由 Docker 支持的 QA 站点：`pnpm qa:lab:up` +- 由 Linux VM 支持的 QA 通道：`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline` -当你修改了测试或希望获得更多信心时： +当你修改了测试或想获得更多信心时： - 覆盖率门禁：`pnpm test:coverage` -- E2E 测试套件：`pnpm test:e2e` +- E2E 套件：`pnpm test:e2e` -当你在调试真实提供商 / 模型时（需要真实凭证）： +当你在调试真实的 provider / model 时（需要真实凭证）： -- 实时测试套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live` -- 安静地只运行一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` +- live 套件（models + Gateway 网关 tool / image 探测）：`pnpm test:live` +- 安静地只运行一个 live 文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` -提示：如果你只需要一个失败用例，优先使用下面描述的 allowlist 环境变量来缩小实时测试范围。 +提示：当你只需要一个失败用例时，优先通过下面介绍的 allowlist 环境变量来缩小 live 测试范围。 ## QA 专用运行器 -当你需要更接近 QA-lab 真实环境时，这些命令位于主测试套件旁边： +当你需要 QA-lab 级别的真实感时，这些命令与主测试套件并列使用： - `pnpm openclaw qa suite` - - 直接在主机上运行由仓库支持的 QA 场景。 - - 默认会并行运行多个选定场景，并使用隔离的 Gateway 网关 worker，最多 64 个 worker 或所选场景数量。使用 `--concurrency ` 调整 worker 数量，或使用 `--concurrency 1` 回到旧的串行通道。 + - 直接在宿主机上运行基于仓库的 QA 场景。 + - 默认会并行运行多个选定场景，并使用隔离的 Gateway 网关工作进程，最多 64 个工作进程或所选场景数量。使用 `--concurrency ` 调整工作进程数量，或使用 `--concurrency 1` 采用旧的串行通道。 - `pnpm openclaw qa suite --runner multipass` - - 在一次性 Multipass Linux VM 中运行同一套 QA 测试。 - - 保留与主机上 `qa suite` 相同的场景选择行为。 - - 复用与 `qa suite` 相同的 provider / model 选择标志。 - - 实时运行会转发适合访客环境的受支持 QA 凭证输入： - 基于环境变量的 provider 密钥、QA 实时 provider 配置路径，以及存在时的 `CODEX_HOME`。 - - 输出目录必须保持在仓库根目录下，这样访客环境才能通过挂载的工作区回写内容。 - - 会将常规 QA 报告 + 摘要以及 Multipass 日志写入 - `.artifacts/qa-e2e/...`。 + - 在一次性 Multipass Linux VM 中运行相同的 QA 套件。 + - 与宿主机上的 `qa suite` 保持相同的场景选择行为。 + - 复用与 `qa suite` 相同的 provider / model 选择参数。 + - live 运行会转发对访客系统可行的受支持 QA 凭证输入：基于环境变量的 provider 密钥、QA live provider 配置路径，以及存在时的 `CODEX_HOME`。 + - 输出目录必须保持在仓库根目录下，以便访客系统可以通过挂载的工作区回写内容。 + - 会在 `.artifacts/qa-e2e/...` 下写入常规 QA 报告、摘要以及 Multipass 日志。 - `pnpm qa:lab:up` - - 启动基于 Docker 的 QA 站点，用于偏操作员风格的 QA 工作。 + - 启动由 Docker 支持的 QA 站点，用于偏操作员风格的 QA 工作。 - `pnpm openclaw qa matrix` - - 针对一次性的、基于 Docker 的 Tuwunel homeserver 运行 Matrix 实时 QA 通道。 - - 这个 QA 主机目前仅用于仓库 / 开发环境。打包后的 OpenClaw 安装不包含 - `qa-lab`，因此不会暴露 `openclaw qa`。 - - 仓库检出会直接加载内置运行器；不需要单独的插件安装步骤。 - - 预配三个临时 Matrix 用户（`driver`、`sut`、`observer`）以及一个私有房间，然后以真实 Matrix 插件作为 SUT 传输层启动一个 QA Gateway 网关子进程。 - - 默认使用固定的稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。当你需要测试其他镜像时，可使用 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 - - Matrix 不暴露共享的凭证源标志，因为该通道会在本地预配一次性用户。 - - 会将 Matrix QA 报告、摘要和 observed-events 制品写入 `.artifacts/qa-e2e/...`。 + - 针对一次性、由 Docker 支持的 Tuwunel homeserver 运行 Matrix live QA 通道。 + - 这个 QA 宿主目前仅用于仓库 / 开发环境。打包后的 OpenClaw 安装不包含 `qa-lab`，因此也不暴露 `openclaw qa`。 + - 仓库检出会直接加载内置运行器，无需单独安装插件。 + - 会创建三个临时 Matrix 用户（`driver`、`sut`、`observer`）和一个私有房间，然后以真实 Matrix 插件作为 SUT 传输层启动一个 QA Gateway 网关子进程。 + - 默认使用固定的稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。当你需要测试其他镜像时，可通过 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 + - Matrix 不暴露共享凭证来源参数，因为该通道会在本地创建一次性用户。 + - 会在 `.artifacts/qa-e2e/...` 下写入 Matrix QA 报告、摘要和观测事件产物。 - `pnpm openclaw qa telegram` - - 使用环境变量中的 driver 和 SUT 机器人令牌，针对一个真实私有群组运行 Telegram 实时 QA 通道。 - - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 id 必须是数字形式的 Telegram chat id。 - - 支持 `--credential-source convex` 以使用共享凭证池。默认使用 env 模式，或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 - - 需要两个不同的机器人位于同一个私有群组中，并且 SUT 机器人必须暴露 Telegram 用户名。 - - 为了稳定观察机器人到机器人的行为，请在 `@BotFather` 中为两个机器人启用 Bot-to-Bot Communication Mode，并确保 driver 机器人可以观察群组中的机器人流量。 - - 会将 Telegram QA 报告、摘要和 observed-messages 制品写入 `.artifacts/qa-e2e/...`。 + - 使用来自环境变量的 driver 和 SUT bot token，在真实私有群组中运行 Telegram live QA 通道。 + - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。group id 必须是数值型的 Telegram chat id。 + - 支持 `--credential-source convex` 以使用共享池化凭证。默认使用 env 模式，或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 + - 需要两个不同的 bot 位于同一个私有群组中，并且 SUT bot 需要暴露 Telegram 用户名。 + - 为了稳定地观察 bot 间通信，请在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode，并确保 driver bot 能观察群组中的 bot 流量。 + - 会在 `.artifacts/qa-e2e/...` 下写入 Telegram QA 报告、摘要和观测消息产物。 -实时传输通道共享一个标准契约，这样新增传输方式时不会产生漂移： +live 传输通道共享同一份标准契约，从而避免新增传输方式发生漂移： -`qa-channel` 仍然是覆盖面较广的合成 QA 测试套件，不属于实时传输覆盖矩阵的一部分。 +`qa-channel` 仍然是广义的合成 QA 套件，不属于 live 传输覆盖矩阵的一部分。 -| 通道 | Canary | 提及门禁 | Allowlist 拦截 | 顶层回复 | 重启恢复 | 线程后续跟进 | 线程隔离 | Reaction 观察 | 帮助命令 | -| ---- | ------ | -------- | -------------- | -------- | -------- | ------------ | -------- | -------------- | -------- | -| Matrix | x | x | x | x | x | x | x | x | | -| Telegram | x | | | | | | | | x | +| 通道 | Canary | 提及门控 | Allowlist 阻止 | 顶层回复 | 重启恢复 | 线程跟进 | 线程隔离 | 反应观察 | 帮助命令 | +| -------- | ------ | -------------- | --------------- | --------------- | -------------- | ---------------- | ---------------- | -------------------- | ------------ | +| Matrix | x | x | x | x | x | x | x | x | | +| Telegram | x | | | | | | | | x | ### 通过 Convex 共享 Telegram 凭证（v1） -当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时， -QA lab 会从基于 Convex 的凭证池中获取一个独占租约，在通道运行期间为该租约发送心跳，并在关闭时释放租约。 +当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时，QA lab 会从 Convex 支持的池中获取独占租约，在通道运行期间为该租约发送心跳，并在关闭时释放租约。 -参考 Convex 项目脚手架： +参考的 Convex 项目脚手架： - `qa/convex-credential-broker/` -必需的环境变量： +必需环境变量： - `OPENCLAW_QA_CONVEX_SITE_URL`（例如 `https://your-deployment.convex.site`） - 为所选角色提供一个密钥： @@ -110,7 +106,7 @@ QA lab 会从基于 Convex 的凭证池中获取一个独占租约，在通道 - `ci` 使用 `OPENCLAW_QA_CONVEX_SECRET_CI` - 凭证角色选择： - CLI：`--credential-role maintainer|ci` - - 环境变量默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（默认为 `maintainer`） + - 环境变量默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（默认值为 `maintainer`） 可选环境变量： @@ -119,15 +115,15 @@ QA lab 会从基于 Convex 的凭证池中获取一个独占租约，在通道 - `OPENCLAW_QA_CREDENTIAL_ACQUIRE_TIMEOUT_MS`（默认 `90000`） - `OPENCLAW_QA_CREDENTIAL_HTTP_TIMEOUT_MS`（默认 `15000`） - `OPENCLAW_QA_CONVEX_ENDPOINT_PREFIX`（默认 `/qa-credentials/v1`） -- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选跟踪 id） +- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选追踪 id） - `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许在仅限本地开发时使用 loopback `http://` Convex URL。 `OPENCLAW_QA_CONVEX_SITE_URL` 在正常运行中应使用 `https://`。 -维护者管理命令（池添加 / 删除 / 列表）必须明确使用 +维护者管理命令（池添加 / 删除 / 列表）明确要求使用 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。 -面向维护者的 CLI 辅助命令： +供维护者使用的 CLI 辅助命令： ```bash pnpm openclaw qa credentials add --kind telegram --payload-file qa/telegram-credential.json @@ -135,7 +131,7 @@ pnpm openclaw qa credentials list --kind telegram pnpm openclaw qa credentials remove --credential-id ``` -在脚本和 CI 工具中，如需机器可读输出，请使用 `--json`。 +在脚本和 CI 工具中如需机器可读输出，请使用 `--json`。 默认端点契约（`OPENCLAW_QA_CONVEX_SITE_URL` + `/qa-credentials/v1`）： @@ -149,73 +145,73 @@ pnpm openclaw qa credentials remove --credential-id - `POST /release` - 请求：`{ kind, ownerId, actorRole, credentialId, leaseToken }` - 成功：`{ status: "ok" }`（或空的 `2xx`） -- `POST /admin/add`（仅限 maintainer 密钥） +- `POST /admin/add`（仅限 maintainer secret） - 请求：`{ kind, actorId, payload, note?, status? }` - 成功：`{ status: "ok", credential }` -- `POST /admin/remove`（仅限 maintainer 密钥） +- `POST /admin/remove`（仅限 maintainer secret） - 请求：`{ credentialId, actorId }` - 成功：`{ status: "ok", changed, credential }` - 活跃租约保护：`{ status: "error", code: "LEASE_ACTIVE", ... }` -- `POST /admin/list`（仅限 maintainer 密钥） +- `POST /admin/list`（仅限 maintainer secret） - 请求：`{ kind?, status?, includePayload?, limit? }` - 成功：`{ status: "ok", credentials, count }` Telegram 类型的 payload 结构： - `{ groupId: string, driverToken: string, sutToken: string }` -- `groupId` 必须是数字形式的 Telegram chat id 字符串。 -- 对于 `kind: "telegram"`，`admin/add` 会验证此结构，并拒绝格式错误的 payload。 +- `groupId` 必须是数值型 Telegram chat id 字符串。 +- `admin/add` 会对 `kind: "telegram"` 验证该结构，并拒绝格式错误的 payload。 ### 向 QA 添加一个渠道 -将一个渠道添加到 Markdown QA 系统中，严格只需要两样东西： +将一个渠道添加到 markdown QA 系统中，严格来说只需要两样东西： 1. 该渠道的传输适配器。 -2. 一个用于检验渠道契约的场景包。 +2. 一个用于验证渠道契约的场景包。 -如果共享的 `qa-lab` 主机可以承载整个流程，就不要新增顶层 QA 命令根。 +当共享 `qa-lab` 宿主能够承载流程时，不要新增顶层 QA 命令根。 -`qa-lab` 负责共享主机机制： +`qa-lab` 负责共享宿主机制： - `openclaw qa` 命令根 -- 测试套件启动与关闭 -- worker 并发 -- 制品写入 +- 套件启动和清理 +- 工作进程并发 +- 产物写入 - 报告生成 - 场景执行 - 为旧版 `qa-channel` 场景提供兼容别名 运行器插件负责传输契约： -- `openclaw qa ` 如何挂载到共享的 `qa` 根命令下 +- 如何将 `openclaw qa ` 挂载到共享的 `qa` 根命令下 - 如何为该传输配置 Gateway 网关 - 如何检查就绪状态 - 如何注入入站事件 - 如何观察出站消息 -- 如何暴露转录和规范化的传输状态 -- 如何执行基于传输的操作 +- 如何暴露转录和标准化后的传输状态 +- 如何执行传输支持的操作 - 如何处理传输特定的重置或清理 新渠道的最低接入门槛是： -1. 继续由 `qa-lab` 持有共享的 `qa` 根命令。 -2. 在共享的 `qa-lab` 主机接缝上实现传输运行器。 -3. 将传输特定机制保留在运行器插件或渠道 harness 内部。 -4. 将运行器挂载为 `openclaw qa `，而不是注册一个相互竞争的根命令。 +1. 保持由 `qa-lab` 作为共享 `qa` 根命令的所有者。 +2. 在共享的 `qa-lab` 宿主接缝上实现传输运行器。 +3. 将传输特定机制保留在运行器插件或渠道 harness 中。 +4. 将运行器挂载为 `openclaw qa `，而不是注册一个竞争性的根命令。 运行器插件应在 `openclaw.plugin.json` 中声明 `qaRunners`，并从 `runtime-api.ts` 导出匹配的 `qaRunnerCliRegistrations` 数组。 - 保持 `runtime-api.ts` 轻量；懒加载 CLI 和运行器执行应放在独立入口点之后。 -5. 在 `qa/scenarios/` 下编写或改造 Markdown 场景。 -6. 对新场景使用通用场景辅助函数。 -7. 保持现有兼容别名继续可用，除非仓库正在进行有意的迁移。 + 保持 `runtime-api.ts` 足够轻量；惰性 CLI 和运行器执行应放在单独的入口点之后。 +5. 在 `qa/scenarios/` 下编写或改造 markdown 场景。 +6. 为新场景使用通用场景辅助函数。 +7. 除非仓库正在进行有意的迁移，否则保持现有兼容别名继续可用。 -判定规则非常严格： +决策规则很严格： -- 如果一种行为可以在 `qa-lab` 中统一表达一次，就把它放在 `qa-lab` 中。 -- 如果一种行为依赖某一个渠道传输，就把它保留在对应运行器插件或插件 harness 中。 -- 如果某个场景需要一个可供多个渠道使用的新能力，就添加通用辅助函数，而不是在 `suite.ts` 中增加渠道特定分支。 -- 如果某种行为只对某一个传输有意义，就让该场景保持传输特定，并在场景契约中明确说明。 +- 如果某个行为可以在 `qa-lab` 中统一表达一次，就放在 `qa-lab` 中。 +- 如果某个行为依赖于某一个渠道传输，就将其保留在对应运行器插件或插件 harness 中。 +- 如果某个场景需要一个多个渠道都能使用的新能力，应添加一个通用辅助函数，而不是在 `suite.ts` 中添加渠道特定分支。 +- 如果某个行为只对某一种传输有意义，就保持该场景为传输特定场景，并在场景契约中明确说明。 -新场景优先使用的通用辅助函数名称有： +新场景推荐使用的通用辅助函数名称包括： - `waitForTransportReady` - `waitForChannelReady` @@ -238,242 +234,242 @@ Telegram 类型的 payload 结构： - `formatConversationTranscript` - `resetBus` -新的渠道工作应使用通用辅助函数名称。 -兼容别名的存在是为了避免一次性迁移日，而不是作为新场景编写的模板。 +新的渠道工作应使用这些通用辅助函数名称。 +兼容别名的存在是为了避免一次性迁移，不是新场景编写的范式。 -## 测试套件（各自运行什么） +## 测试套件（各自在哪里运行） -可以将这些测试套件理解为“真实性逐步增加”（以及不稳定性 / 成本也逐步增加）： +可以把这些套件理解为“真实度逐步增加”（同时不稳定性 / 成本也随之增加）： -### 单元 / 集成（默认） +### Unit / integration（默认） - 命令：`pnpm test` -- 配置：对现有的分范围 Vitest 项目执行十次顺序分片运行（`vitest.full-*.config.ts`） -- 文件：`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的 core / unit 清单，以及由 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试 +- 配置：在现有分组 Vitest 项目上进行十个顺序分片运行（`vitest.full-*.config.ts`） +- 文件：位于 `src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的 core / unit 清单，以及由 `vitest.unit.config.ts` 覆盖并列入白名单的 `ui` Node 测试 - 范围： - - 纯单元测试 - - 进程内集成测试（Gateway 网关认证、路由、工具、解析、配置） - - 已知缺陷的确定性回归测试 + - 纯 unit 测试 + - 进程内 integration 测试（Gateway 网关认证、路由、工具、解析、配置） + - 针对已知缺陷的确定性回归测试 - 预期： - - 在 CI 中运行 + - 会在 CI 中运行 - 不需要真实密钥 - 应该快速且稳定 - 项目说明： - - 未指定目标的 `pnpm test` 现在会运行 11 个更小的分片配置（`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生 root-project 进程。这样可以降低高负载机器上的峰值 RSS，并避免 auto-reply / 扩展工作饿死无关测试套件。 - - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片 watch 循环并不现实。 - - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会先把显式文件 / 目录目标路由到分范围通道，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 无需承担完整 root project 启动成本。 - - `pnpm test:changed` 会在 diff 只触及可路由的源文件 / 测试文件时，将变更过的 git 路径扩展到相同的分范围通道；配置 / setup 编辑仍会回退到更广泛的 root-project 重跑。 - - 来自 agents、commands、plugins、auto-reply 辅助函数、`plugin-sdk` 以及类似纯工具区域的轻量导入单元测试会路由到 `unit-fast` 通道，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件则保留在现有通道上。 - - 选定的 `plugin-sdk` 和 `commands` 辅助源文件也会在 changed 模式下，将运行映射到这些轻量通道中的显式同级测试，因此对辅助函数的修改无需为该目录重跑完整重型测试套件。 - - `auto-reply` 现在有三个专用分桶：顶层 core 辅助函数、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这样可以让最重的 reply harness 工作不影响轻量的 status / chunk / token 测试。 -- 嵌入式运行器说明： - - 当你修改消息工具发现输入或 compaction 运行时上下文时， - 要同时保留两个层级的覆盖。 - - 为纯路由 / 规范化边界添加聚焦的辅助回归测试。 - - 同时也要保持嵌入式运行器集成测试套件健康： + - 未指定目标的 `pnpm test` 现在会运行十一组更小的分片配置（`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生根项目进程。这可以降低负载较高机器上的峰值 RSS，并避免 auto-reply / extension 工作拖累无关套件。 + - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片 watch 循环并不实际。 + - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会优先通过分组通道来路由显式文件 / 目录目标，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 不必承担完整根项目启动的成本。 + - 当 diff 仅涉及可路由的源文件 / 测试文件时，`pnpm test:changed` 会将变更后的 Git 路径扩展到相同的分组通道；配置 / 设置编辑仍会回退到更宽泛的根项目重跑。 + - 来自 agents、commands、plugins、auto-reply 辅助函数、`plugin-sdk` 以及类似纯工具区域的轻导入 unit 测试会通过 `unit-fast` 通道运行，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件则保留在现有通道上。 + - 部分选定的 `plugin-sdk` 和 `commands` 辅助源文件也会在 changed 模式运行时映射到这些轻量通道中的显式同级测试，因此辅助函数编辑无需为该目录重跑完整重型套件。 + - `auto-reply` 现在有三个专用分桶：顶层 core 辅助函数、顶层 `reply.*` integration 测试，以及 `src/auto-reply/reply/**` 子树。这使最重的 reply harness 工作不会影响廉价的 status / chunk / token 测试。 +- 内嵌运行器说明： + - 当你修改消息工具发现输入或压缩运行时上下文时， + 要同时保留两层覆盖。 + - 为纯路由 / 规范化边界添加聚焦的辅助函数回归测试。 + - 同时还要保持内嵌运行器 integration 套件健康： `src/agents/pi-embedded-runner/compact.hooks.test.ts`、 - `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts`，以及 + `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和 `src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。 - - 这些测试套件验证带作用域的 id 和 compaction 行为是否仍然通过真实的 `run.ts` / `compact.ts` 路径流动；仅有辅助函数测试并不能充分替代这些集成路径。 -- 进程池说明： + - 这些套件会验证分组 id 和压缩行为仍会流经真实的 `run.ts` / `compact.ts` 路径；仅有辅助函数测试并不能充分替代这些 integration 路径。 +- 池说明： - 基础 Vitest 配置现在默认使用 `threads`。 - - 共享 Vitest 配置还固定了 `isolate: false`，并在 root projects、e2e 和实时配置中使用非隔离运行器。 - - 根 UI 通道保留了它的 `jsdom` setup 和 optimizer，但现在也运行在共享的非隔离运行器上。 - - 每个 `pnpm test` 分片都从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 - - 共享的 `scripts/run-vitest.mjs` 启动器现在也会默认为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与默认 V8 行为对比，可设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 + - 共享 Vitest 配置还固定了 `isolate: false`，并在根项目、e2e 和 live 配置中使用非隔离运行器。 + - 根 UI 通道保留其 `jsdom` 设置和优化器，但现在也运行在共享的非隔离运行器上。 + - 每个 `pnpm test` 分片都会从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 + - 共享的 `scripts/run-vitest.mjs` 启动器现在默认也会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与原生 V8 行为比较，请设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 - 快速本地迭代说明： - - 当变更路径可以清晰映射到更小的测试套件时，`pnpm test:changed` 会通过分范围通道进行路由。 - - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的 worker 上限。 - - 本地 worker 自动缩放现在有意更保守，并且当主机平均负载已经较高时也会回退，因此默认情况下多个并发 Vitest 运行的破坏性更小。 - - 基础 Vitest 配置将 projects / config 文件标记为 `forceRerunTriggers`，从而保证测试接线变化时 changed 模式的重跑仍然正确。 - - 该配置会在受支持的主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你希望为直接性能分析指定一个明确的缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 + - 当变更路径能清晰映射到较小套件时，`pnpm test:changed` 会通过分组通道运行。 + - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的工作进程上限。 + - 本地工作进程自动缩放现在刻意更保守，并且当宿主机负载平均值已经较高时也会回退，因此默认情况下多个并发 Vitest 运行造成的影响更小。 + - 基础 Vitest 配置将项目 / 配置文件标记为 `forceRerunTriggers`，因此当测试接线发生变化时，changed 模式重跑仍然正确。 + - 配置会在受支持的宿主上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你希望为直接性能分析指定一个明确缓存位置，请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 - 性能调试说明： - - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入拆解输出。 - - `pnpm test:perf:imports:changed` 会将同样的性能分析视图限定到自 `origin/main` 以来变更的文件。 -- `pnpm test:perf:changed:bench -- --ref ` 会针对该已提交 diff，比对已路由的 `test:changed` 与原生 root-project 路径，并输出 wall time 以及 macOS 最大 RSS。 -- `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置，将变更文件列表路由后，对当前脏工作树进行基准测试。 - - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动与 transform 开销写出主线程 CPU profile。 - - `pnpm test:perf:profile:runner` 会在禁用文件级并行后，为单元测试套件写出 runner 的 CPU + heap profile。 + - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入明细输出。 + - `pnpm test:perf:imports:changed` 会将相同的性能分析视图限定到自 `origin/main` 以来变更的文件。 +- `pnpm test:perf:changed:bench -- --ref ` 会针对该已提交 diff，将路由后的 `test:changed` 与原生根项目路径进行比较，并输出 wall time 以及 macOS 最大 RSS。 +- `pnpm test:perf:changed:bench -- --worktree` 会通过将变更文件列表路由到 `scripts/test-projects.mjs` 和根 Vitest 配置，对当前脏工作树进行基准测试。 + - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和转换开销写出主线程 CPU profile。 + - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为 unit 套件写出运行器 CPU + heap profile。 -### E2E（Gateway 网关冒烟） +### E2E（Gateway 网关冒烟测试） - 命令：`pnpm test:e2e` - 配置：`vitest.e2e.config.ts` - 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts` - 运行时默认值： - 使用 Vitest `threads` 和 `isolate: false`，与仓库其余部分保持一致。 - - 使用自适应 worker（CI：最多 2 个，本地：默认 1 个）。 + - 使用自适应工作进程（CI：最多 2 个，本地：默认 1 个）。 - 默认以静默模式运行，以减少控制台 I/O 开销。 -- 常用覆盖项： - - `OPENCLAW_E2E_WORKERS=` 强制指定 worker 数量（上限为 16）。 - - `OPENCLAW_E2E_VERBOSE=1` 重新启用详细控制台输出。 +- 有用的覆盖方式： + - `OPENCLAW_E2E_WORKERS=` 用于强制指定工作进程数（上限为 16）。 + - `OPENCLAW_E2E_VERBOSE=1` 用于重新启用详细控制台输出。 - 范围： - 多实例 Gateway 网关端到端行为 - - WebSocket / HTTP 接口、节点配对以及更重的网络行为 + - WebSocket / HTTP 接口、节点配对和更重的网络行为 - 预期： - - 在 CI 中运行（当流水线启用时） + - 会在 CI 中运行（当该通道在流水线中启用时） - 不需要真实密钥 - - 比单元测试涉及更多可变因素（可能更慢） + - 比 unit 测试涉及更多活动部件（可能更慢） -### E2E：OpenShell 后端冒烟 +### E2E：OpenShell 后端冒烟测试 - 命令：`pnpm test:e2e:openshell` - 文件：`test/openshell-sandbox.e2e.test.ts` - 范围： - - 通过 Docker 在主机上启动一个隔离的 OpenShell Gateway 网关 - - 从一个临时的本地 Dockerfile 创建沙箱 - - 通过真实的 `sandbox ssh-config` + SSH exec 运行 OpenClaw 的 OpenShell 后端 + - 通过 Docker 在宿主机上启动一个隔离的 OpenShell Gateway 网关 + - 从一个临时本地 Dockerfile 创建一个沙箱 + - 通过真实的 `sandbox ssh-config` + SSH 执行来验证 OpenClaw 的 OpenShell 后端 - 通过沙箱 fs bridge 验证远端规范文件系统行为 - 预期： - - 仅限主动启用；不属于默认 `pnpm test:e2e` 运行的一部分 - - 需要本地 `openshell` CLI 和可用的 Docker daemon + - 仅在选择加入时运行；不属于默认 `pnpm test:e2e` 运行的一部分 + - 需要本地 `openshell` CLI 和一个可工作的 Docker daemon - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 Gateway 网关和沙箱 -- 常用覆盖项： - - `OPENCLAW_E2E_OPENSHELL=1`：在手动运行更广泛的 e2e 测试套件时启用此测试 - - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`：指向非默认 CLI 二进制文件或包装脚本 +- 有用的覆盖方式： + - `OPENCLAW_E2E_OPENSHELL=1` 可在手动运行更广泛 e2e 套件时启用该测试 + - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 可指向非默认 CLI 二进制文件或包装脚本 -### 实时测试（真实提供商 + 真实模型） +### Live（真实 provider + 真实 model） - 命令：`pnpm test:live` - 配置：`vitest.live.config.ts` - 文件：`src/**/*.live.test.ts` - 默认：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`） - 范围： - - “这个 provider / model 现在是否真的能在真实凭证下工作？” - - 捕捉 provider 格式变化、工具调用怪癖、认证问题和速率限制行为 + - “这个 provider / model 今天在真实凭证下是否真的可用？” + - 捕获 provider 格式变化、tool calling 特性、认证问题和速率限制行为 - 预期： - - 按设计不保证 CI 稳定（真实网络、真实 provider 策略、配额、故障） + - 按设计并非 CI 稳定项（真实网络、真实 provider 策略、配额、中断） - 会花钱 / 消耗速率限制 - - 优先运行收窄后的子集，而不是“一切都跑” -- 实时运行会读取 `~/.profile` 以获取缺失的 API 密钥。 -- 默认情况下，实时运行仍会隔离 `HOME`，并将配置 / 认证材料复制到临时测试 home 中，这样单元测试夹具就不会修改你真实的 `~/.openclaw`。 -- 仅当你明确需要实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 -- `pnpm test:live` 现在默认使用更安静的模式：它会保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静音 Gateway 网关 bootstrap 日志 / Bonjour 杂讯。如果你想恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 -- API 密钥轮换（provider 特定）：设置 `*_API_KEYS`（逗号 / 分号格式）或 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），或通过 `OPENCLAW_LIVE_*_KEY` 进行每次实时运行覆盖；测试会在收到速率限制响应时重试。 + - 优先运行缩小范围的子集，而不是“全部” +- live 运行会加载 `~/.profile` 以获取缺失的 API keys。 +- 默认情况下，live 运行仍会隔离 `HOME`，并将配置 / 认证材料复制到临时测试 home 中，以便 unit 固件不会修改你真实的 `~/.openclaw`。 +- 仅当你明确需要 live 测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 +- `pnpm test:live` 现在默认采用更安静的模式：会保留 `[live] ...` 进度输出，但抑制额外的 `~/.profile` 提示，并静默 Gateway 网关引导日志 / Bonjour 噪声。如果你想恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 +- API key 轮换（provider 特定）：设置 `*_API_KEYS` 为逗号 / 分号格式，或设置 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），也可以通过 `OPENCLAW_LIVE_*_KEY` 进行每个 live 运行的覆盖；测试会在速率限制响应时重试。 - 进度 / 心跳输出： - - 实时测试套件现在会向 stderr 输出进度行，因此即使 Vitest 控制台捕获处于安静模式，长时间的 provider 调用也能显示为仍在活动。 - - `vitest.live.config.ts` 禁用了 Vitest 控制台拦截，因此 provider / Gateway 网关进度行会在实时运行时立即流式输出。 + - live 套件现在会把进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间的 provider 调用也能明显显示为活跃状态。 + - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，因此 provider / Gateway 网关进度行会在 live 运行期间立即流出。 - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整 direct-model 心跳。 - - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / probe 心跳。 + - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / 探测心跳。 -## 我该运行哪个测试套件？ +## 我应该运行哪个套件？ 使用这个决策表： -- 编辑逻辑 / 测试：运行 `pnpm test`（如果改动很多，再加上 `pnpm test:coverage`） -- 修改 Gateway 网关网络 / WS 协议 / 配对：再加跑 `pnpm test:e2e` -- 调试“我的机器人挂了” / provider 特定失败 / 工具调用：运行收窄后的 `pnpm test:live` +- 编辑逻辑 / 测试：运行 `pnpm test`（如果改动很多，再运行 `pnpm test:coverage`） +- 触及 Gateway 网关网络 / WS 协议 / 配对：额外运行 `pnpm test:e2e` +- 调试“我的 bot 挂了” / provider 特定失败 / tool calling：运行缩小范围的 `pnpm test:live` -## 实时测试：Android 节点能力扫描 +## Live：Android 节点能力扫描 - 测试：`src/gateway/android-node.capabilities.live.test.ts` - 脚本：`pnpm android:test:integration` -- 目标：调用已连接 Android 节点当前**声明的每一个命令**，并断言命令契约行为。 +- 目标：调用已连接 Android 节点当前声明的**每个命令**，并断言命令契约行为。 - 范围： - - 预置 / 手动 setup（该测试套件不会安装 / 运行 / 配对应用）。 - - 针对所选 Android 节点逐命令验证 Gateway 网关 `node.invoke`。 -- 必需的预先 setup： - - Android 应用已连接并与 Gateway 网关完成配对。 + - 依赖预置 / 手动设置（该套件不会安装 / 运行 / 配对应用）。 + - 针对所选 Android 节点逐命令执行 Gateway 网关 `node.invoke` 验证。 +- 必需的预设步骤： + - Android 应用已连接并与 Gateway 网关配对。 - 应用保持在前台。 - - 你期望通过的能力所需的权限 / 捕获授权已经授予。 -- 可选目标覆盖项： + - 已为你期望通过的能力授予权限 / 捕获同意。 +- 可选目标覆盖： - `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。 - `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。 -- 完整 Android 设置细节： [Android App](/zh-CN/platforms/android) +- 完整 Android 设置详情：[Android App](/zh-CN/platforms/android) -## 实时测试：模型冒烟（profile keys） +## Live：model 冒烟测试（profile keys） -实时测试被拆分为两层，这样我们就可以隔离故障： +live 测试拆分为两层，以便我们隔离故障： -- “Direct model” 告诉我们：在给定密钥下，provider / model 至少能否响应。 -- “Gateway smoke” 告诉我们：完整的 Gateway 网关 + 智能体管线对该模型是否有效（会话、历史、工具、沙箱策略等）。 +- “Direct model” 告诉我们该 provider / model 在给定 key 下是否至少可以响应。 +- “Gateway smoke” 告诉我们完整的 Gateway 网关 + 智能体流水线是否能与该 model 一起工作（会话、历史、工具、沙箱策略等）。 ### 第 1 层：Direct model completion（无 Gateway 网关） - 测试：`src/agents/models.profiles.live.test.ts` - 目标： - 枚举已发现的模型 - - 使用 `getApiKeyForModel` 选择你拥有凭证的模型 - - 对每个模型运行一次小型 completion（以及在需要时运行定向回归） + - 使用 `getApiKeyForModel` 选择你有凭证可用的模型 + - 为每个模型运行一个小型 completion（并在需要时运行定向回归） - 启用方式： - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） -- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）后才会真正运行这个测试套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 Gateway 网关冒烟 -- 选择模型的方式： - - `OPENCLAW_LIVE_MODELS=modern`：运行 modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - - `OPENCLAW_LIVE_MODELS=all`：modern allowlist 的别名 +- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）才会真正运行该套件；否则它会跳过，以使 `pnpm test:live` 专注于 Gateway 网关冒烟测试 +- 选择模型的方法： + - `OPENCLAW_LIVE_MODELS=modern` 用于运行 modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） + - `OPENCLAW_LIVE_MODELS=all` 是 modern allowlist 的别名 - 或 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`（逗号分隔的 allowlist） - - modern / all 扫描默认带有精心挑选的高信号上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可执行穷尽式 modern 扫描，或设置一个正数作为更小的上限。 -- 选择 providers 的方式： + - modern / all 扫描默认使用一个经过筛选的高信号上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可进行完整的 modern 扫描，或设置为正数来使用更小的上限。 +- 选择 providers 的方法： - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔的 allowlist） -- 密钥来源： +- keys 的来源： - 默认：profile store 和环境变量回退 - - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制仅使用 **profile store** -- 该层存在的原因： - - 将“provider API 坏了 / 密钥无效”与“Gateway 网关智能体管线坏了”分离开 - - 容纳小型、隔离的回归测试（例如：OpenAI Responses / Codex Responses 推理回放 + 工具调用流程） + - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅**使用 profile store +- 存在原因： + - 将“provider API 坏了 / key 无效”与“Gateway 网关智能体流水线坏了”区分开来 + - 容纳小型、隔离的回归测试（例如：OpenAI Responses / Codex Responses 推理重放 + 工具调用流程） -### 第 2 层：Gateway 网关 + 开发智能体冒烟（也就是 “@openclaw” 实际做的事） +### 第 2 层：Gateway 网关 + dev 智能体冒烟测试（也就是 “@openclaw” 实际执行的内容） - 测试：`src/gateway/gateway-models.profiles.live.test.ts` - 目标： - 启动一个进程内 Gateway 网关 - - 创建 / 修补一个 `agent:dev:*` 会话（每次运行可覆盖模型） - - 遍历带密钥的模型并断言： - - 有“有意义”的回复（不使用工具） - - 真实工具调用可正常工作（`read` 探针） - - 可选的额外工具探针可正常工作（`exec+read` 探针） - - OpenAI 回归路径（仅工具调用 → 后续跟进）持续可用 -- 探针细节（这样你可以快速解释失败原因）： - - `read` 探针：测试会在工作区写入一个 nonce 文件，并让智能体 `read` 它，然后把 nonce 原样回显。 - - `exec+read` 探针：测试会要求智能体通过 `exec` 将 nonce 写入临时文件，然后再 `read` 回来。 - - 图像探针：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 + - 创建 / 修补一个 `agent:dev:*` 会话（每次运行可覆盖 model） + - 遍历带有 keys 的模型并断言： + - “有意义”的响应（无工具） + - 一个真实的工具调用可正常工作（read 探测） + - 可选的额外工具探测（exec+read 探测） + - OpenAI 回归路径（仅 tool-call → 后续跟进）持续可用 +- 探测细节（这样你可以快速解释失败原因）： + - `read` 探测：测试会在工作区中写入一个 nonce 文件，并要求智能体 `read` 该文件并把 nonce 回显回来。 + - `exec+read` 探测：测试会要求智能体通过 `exec` 将一个 nonce 写入临时文件，然后再 `read` 回来。 + - image 探测：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 - 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。 - 启用方式： - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） -- 选择模型的方式： +- 选择模型的方法： - 默认：modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是 modern allowlist 的别名 - - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来缩小范围 - - modern / all Gateway 网关扫描默认带有精心挑选的高信号上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可执行穷尽式 modern 扫描，或设置正数作为更小的上限。 -- 选择 providers 的方式（避免“OpenRouter 全家桶”）： + - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号分隔列表）来缩小范围 + - modern / all Gateway 网关扫描默认使用经过筛选的高信号上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可进行完整的 modern 扫描，或设置为正数来使用更小的上限。 +- 选择 providers 的方法（避免“OpenRouter 全都测”）： - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔的 allowlist） -- 在这个实时测试中，工具 + 图像探针始终启用： - - `read` 探针 + `exec+read` 探针（工具压力测试） - - 当模型声明支持图像输入时，会运行图像探针 - - 流程（高层说明）： - - 测试生成一个包含 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） - - 通过 `agent` `attachments: [{ mimeType: "image/png", content: "" }]` 发送 +- 在这个 live 测试中，工具 + image 探测始终开启： + - `read` 探测 + `exec+read` 探测（工具压力测试） + - 当模型声明支持图像输入时，会运行 image 探测 + - 流程（高层概览）： + - 测试会生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） + - 通过 `agent` 的 `attachments: [{ mimeType: "image/png", content: "" }]` 发送 - Gateway 网关会将附件解析到 `images[]` 中（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） - - 嵌入式智能体将一个多模态用户消息转发给模型 - - 断言：回复中包含 `cat` + 该代码（OCR 容错：允许轻微错误） + - 内嵌智能体会向模型转发一条多模态用户消息 + - 断言：回复包含 `cat` + 该代码（OCR 容错：允许轻微错误） -提示：如果你想查看当前机器上可以测试什么（以及精确的 `provider/model` id），请运行： +提示：要查看你的机器上可以测试哪些内容（以及确切的 `provider/model` id），请运行： ```bash openclaw models list openclaw models list --json ``` -## 实时测试：CLI 后端冒烟（Claude、Codex、Gemini 或其他本地 CLI） +## Live：CLI 后端冒烟测试（Claude、Codex、Gemini 或其他本地 CLI） - 测试：`src/gateway/gateway-cli-backend.live.test.ts` -- 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体管线，同时不改动你的默认配置。 -- 后端特定的冒烟默认值位于所属扩展的 `cli-backend.ts` 定义中。 +- 目标：在不触碰你的默认配置的情况下，使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线。 +- 后端特定的默认冒烟设置与所属 extension 的 `cli-backend.ts` 定义放在一起。 - 启用： - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） - `OPENCLAW_LIVE_CLI_BACKEND=1` - 默认值： - 默认 provider / model：`claude-cli/claude-sonnet-4-6` - - command / args / 图像行为来自所属 CLI 后端插件元数据。 -- 覆盖项（可选）： + - command / args / image 行为来自所属 CLI 后端插件元数据。 +- 覆盖方式（可选）： - `OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.4"` - `OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"` - `OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'` - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 用于发送真实图像附件（路径会注入到提示词中）。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 用于将图像文件路径作为 CLI 参数传递，而不是注入提示词。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）用于在设置 `IMAGE_ARG` 时控制图像参数的传递方式。 - - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 用于发送第二轮消息并验证恢复流程。 - - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=0` 用于禁用默认的 Claude Sonnet -> Opus 同会话连续性探针（当所选模型支持切换目标时，设置为 `1` 可强制启用）。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图片附件（路径会被注入到提示中）。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 通过 CLI 参数而不是提示注入来传递图片文件路径。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）用于控制在设置了 `IMAGE_ARG` 时如何传递图片参数。 + - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮消息并验证恢复流程。 + - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=0` 禁用默认的 Claude Sonnet -> Opus 同会话连续性探测（当所选模型支持切换目标时，可设置为 `1` 强制启用）。 示例： @@ -489,7 +485,7 @@ Docker 配方： pnpm test:docker:live-cli-backend ``` -单一 provider 的 Docker 配方： +单提供商 Docker 配方： ```bash pnpm test:docker:live-cli-backend:claude @@ -501,37 +497,37 @@ pnpm test:docker:live-cli-backend:gemini 说明： - Docker 运行器位于 `scripts/test-live-cli-backend-docker.sh`。 -- 它会在仓库 Docker 镜像中以非 root 的 `node` 用户身份运行实时 CLI 后端冒烟测试。 -- 它会从所属扩展中解析 CLI 冒烟元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 指定的可缓存可写前缀中（默认：`~/.cache/openclaw/docker-cli-tools`）。 -- `pnpm test:docker:live-cli-backend:claude-subscription` 需要可移植的 Claude Code 订阅 OAuth，可通过 `~/.claude/.credentials.json` 中带有 `claudeAiOauth.subscriptionType` 的配置，或通过 `claude setup-token` 提供的 `CLAUDE_CODE_OAUTH_TOKEN`。它会先在 Docker 中验证直接 `claude -p`，然后在不保留 Anthropic API key 环境变量的情况下运行两轮 Gateway 网关 CLI 后端测试。这个订阅通道默认会禁用 Claude MCP / 工具和图像探针，因为 Claude 当前会将第三方应用使用量计入额外用量计费，而不是普通订阅计划限额。 -- 实时 CLI 后端冒烟测试现在会对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图像分类轮次，然后通过 Gateway 网关 CLI 验证 MCP `cron` 工具调用。 -- Claude 的默认冒烟测试还会将会话从 Sonnet 修补切换到 Opus，并验证恢复后的会话仍然记得之前的备注。 +- 它会在仓库 Docker 镜像中以非 root 的 `node` 用户运行 live CLI 后端冒烟测试。 +- 它会从所属 extension 解析 CLI 冒烟元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 指定的可写缓存前缀中（默认：`~/.cache/openclaw/docker-cli-tools`）。 +- `pnpm test:docker:live-cli-backend:claude-subscription` 需要可移植的 Claude Code 订阅 OAuth，可通过带有 `claudeAiOauth.subscriptionType` 的 `~/.claude/.credentials.json`，或来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN` 提供。它会先在 Docker 中验证直接 `claude -p`，然后在不保留 Anthropic API key 环境变量的情况下运行两轮 Gateway 网关 CLI 后端消息。该订阅通道默认禁用 Claude MCP / 工具和 image 探测，因为 Claude 当前会将第三方应用使用路由到额外使用计费，而不是普通订阅套餐限制。 +- live CLI 后端冒烟测试现在会对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图像分类轮次，然后通过 Gateway 网关 CLI 验证 MCP `cron` 工具调用。 +- Claude 的默认冒烟测试还会将会话从 Sonnet 修补到 Opus，并验证恢复后的会话仍记得之前的一条备注。 -## 实时测试：ACP 绑定冒烟（`/acp spawn ... --bind here`） +## Live：ACP 绑定冒烟测试（`/acp spawn ... --bind here`） - 测试：`src/gateway/gateway-acp-bind.live.test.ts` -- 目标：使用实时 ACP 智能体验证真实 ACP 会话绑定流程： +- 目标：使用 live ACP 智能体验证真实的 ACP 会话绑定流程： - 发送 `/acp spawn --bind here` - 原地绑定一个合成的消息渠道会话 - - 在同一个会话上发送一次普通后续消息 - - 验证该后续消息已落入绑定的 ACP 会话转录中 + - 在同一会话上发送一条普通后续消息 + - 验证该后续消息落入已绑定的 ACP 会话转录中 - 启用： - `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts` - `OPENCLAW_LIVE_ACP_BIND=1` - 默认值： - Docker 中的 ACP 智能体：`claude,codex,gemini` - 直接 `pnpm test:live ...` 使用的 ACP 智能体：`claude` - - 合成渠道：Slack 私信风格的会话上下文 + - 合成渠道：类似 Slack 私信的会话上下文 - ACP 后端：`acpx` -- 覆盖项： +- 覆盖方式： - `OPENCLAW_LIVE_ACP_BIND_AGENT=claude` - `OPENCLAW_LIVE_ACP_BIND_AGENT=codex` - `OPENCLAW_LIVE_ACP_BIND_AGENT=gemini` - `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini` - `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@'` - 说明： - - 这个通道使用 Gateway 网关 `chat.send` 接口，并带有仅限管理员使用的合成 originating-route 字段，因此测试可以附加消息渠道上下文，而无需假装对外投递。 - - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会使用内置 `acpx` 插件的内建智能体注册表来选择 ACP harness 智能体。 + - 该通道使用 Gateway 网关 `chat.send` 接口，并带有仅限管理员的合成 originating-route 字段，因此测试可以附加消息渠道上下文，而无需伪装成外部投递。 + - 当 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 未设置时，测试会对所选 ACP harness 智能体使用内嵌 `acpx` 插件的内置智能体注册表。 示例： @@ -547,7 +543,7 @@ Docker 配方： pnpm test:docker:live-acp-bind ``` -单一智能体 Docker 配方： +单智能体 Docker 配方： ```bash pnpm test:docker:live-acp-bind:claude @@ -558,29 +554,29 @@ pnpm test:docker:live-acp-bind:gemini Docker 说明： - Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。 -- 默认情况下，它会按顺序对所有受支持的实时 CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后是 `gemini`。 +- 默认情况下，它会按顺序对所有受支持的 live CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后是 `gemini`。 - 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 可缩小矩阵范围。 -- 它会读取 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，把 `acpx` 安装到可写 npm 前缀里，并在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 -- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，以便 acpx 保持从已读取的 profile 中获得的 provider 环境变量可供子 harness CLI 使用。 +- 它会加载 `~/.profile`，将匹配的 CLI 认证材料准备到容器中，把 `acpx` 安装到可写 npm 前缀中，然后在缺失时安装所请求的 live CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 +- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，从而让 acpx 保持从已加载 profile 中获得的 provider 环境变量对其子 harness CLI 可用。 -## 实时测试：Codex app-server harness 冒烟 +## Live：Codex app-server harness 冒烟测试 -- 目标：通过正常的 Gateway 网关 +- 目标：通过常规 Gateway 网关 `agent` 方法验证插件自有的 Codex harness： - - 加载内置的 `codex` 插件 + - 加载内置 `codex` 插件 - 选择 `OPENCLAW_AGENT_RUNTIME=codex` - 向 `codex/gpt-5.4` 发送第一轮 Gateway 网关智能体消息 - 向同一个 OpenClaw 会话发送第二轮消息，并验证 app-server 线程可以恢复 - - 通过同一路径运行 `/codex status` 和 `/codex models` - Gateway 网关命令路径 + - 通过同一个 Gateway 网关命令 + 路径运行 `/codex status` 和 `/codex models` - 测试：`src/gateway/gateway-codex-harness.live.test.ts` - 启用：`OPENCLAW_LIVE_CODEX_HARNESS=1` - 默认模型：`codex/gpt-5.4` -- 可选图像探针：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` -- 可选 MCP / 工具探针：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` -- 这个冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，这样损坏的 Codex - harness 不能通过静默回退到 PI 而“蒙混过关”。 +- 可选 image 探测：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` +- 可选 MCP / 工具探测：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` +- 该冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，因此损坏的 Codex + harness 不能通过静默回退到 PI 而侥幸通过。 - 认证：来自 shell / profile 的 `OPENAI_API_KEY`，以及可选复制的 `~/.codex/auth.json` 和 `~/.codex/config.toml` @@ -605,27 +601,27 @@ pnpm test:docker:live-codex-harness Docker 说明： - Docker 运行器位于 `scripts/test-live-codex-harness-docker.sh`。 -- 它会读取已挂载的 `~/.profile`，传递 `OPENAI_API_KEY`，在存在时复制 Codex CLI +- 它会加载挂载的 `~/.profile`，传递 `OPENAI_API_KEY`，在存在时复制 Codex CLI 认证文件，将 `@openai/codex` 安装到可写的挂载 npm - 前缀中，暂存源代码树，然后仅运行 Codex harness 实时测试。 -- Docker 默认启用图像和 MCP / 工具探针。当你需要更窄的调试运行时，设置 - `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 + 前缀中，准备源码树，然后只运行 Codex harness live 测试。 +- Docker 默认启用 image 和 MCP / 工具探测。需要更窄的调试运行时， + 请设置 `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 `OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0`。 -- Docker 还会导出 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，与实时 +- Docker 还会导出 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，与 live 测试配置保持一致，因此 `openai-codex/*` 或 PI 回退都无法掩盖 Codex harness 回归问题。 -### 推荐的实时测试配方 +### 推荐的 live 配方 -收窄且明确的 allowlist 最快，也最不容易不稳定： +范围明确且清晰的 allowlist 最快、也最不容易出问题： -- 单一模型，direct（无 Gateway 网关）： +- 单个模型，direct（无 Gateway 网关）： - `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts` -- 单一模型，Gateway 网关冒烟： +- 单个模型，Gateway 网关冒烟测试： - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` -- 跨多个 providers 的工具调用： +- 跨多个 provider 的 tool calling： - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - 聚焦 Google（Gemini API key + Antigravity）： @@ -635,32 +631,32 @@ Docker 说明： 说明： - `google/...` 使用 Gemini API（API key）。 -- `google-antigravity/...` 使用 Antigravity OAuth bridge（Cloud Code Assist 风格的智能体端点）。 -- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（独立认证 + 独特的工具行为问题）。 +- `google-antigravity/...` 使用 Antigravity OAuth bridge（类似 Cloud Code Assist 的智能体端点）。 +- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（单独的认证方式 + 工具行为差异）。 - Gemini API 与 Gemini CLI： - - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API key / profile 认证）；这通常就是大多数用户所说的 “Gemini”。 - - CLI：OpenClaw 会 shell out 到本地 `gemini` 二进制；它有自己的认证方式，并且行为可能不同（流式传输 / 工具支持 / 版本偏差）。 + - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API key / profile 认证）；这也是大多数用户提到 “Gemini” 时的含义。 + - CLI：OpenClaw 会调用本地 `gemini` 二进制；它有自己的认证方式，并且行为可能不同（流式传输 / 工具支持 / 版本偏差）。 -## 实时测试：模型矩阵（我们覆盖什么） +## Live：model 矩阵（我们覆盖什么） -没有固定的“CI 模型列表”（实时测试是主动启用的），但以下是**推荐**在开发机器上、配合密钥定期覆盖的模型。 +没有固定的“CI model 列表”（live 是可选启用的），但以下是**推荐**在具备 keys 的开发机器上定期覆盖的模型。 -### Modern 冒烟集（工具调用 + 图像） +### Modern 冒烟集合（tool calling + image） -这是我们预期需要持续可用的“常见模型”运行集： +这是我们期望持续保持可用的“常用模型”运行集： - OpenAI（非 Codex）：`openai/gpt-5.4`（可选：`openai/gpt-5.4-mini`） - OpenAI Codex：`openai-codex/gpt-5.4` - Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） -- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免较老的 Gemini 2.x 模型） +- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免较旧的 Gemini 2.x 模型） - Google（Antigravity）：`google-antigravity/claude-opus-4-6-thinking` 和 `google-antigravity/gemini-3-flash` - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` -运行带工具 + 图像的 Gateway 网关冒烟测试： +运行带工具 + image 的 Gateway 网关冒烟测试： `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,openai-codex/gpt-5.4,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` -### 基线：工具调用（Read + 可选 Exec） +### 基线：tool calling（Read + 可选 Exec） 每个 provider 家族至少选一个： @@ -672,73 +668,73 @@ Docker 说明： 可选的额外覆盖（有更好，没有也可以）： -- xAI：`xai/grok-4`（或当前最新可用版本） +- xAI：`xai/grok-4`（或最新可用版本） - Mistral：`mistral/`…（选择一个你已启用、支持工具的模型） -- Cerebras：`cerebras/`…（如果你有权限） -- LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式） +- Cerebras：`cerebras/`…（如果你有访问权限） +- LM Studio：`lmstudio/`…（本地；tool calling 取决于 API 模式） -### Vision：图像发送（附件 → 多模态消息） +### Vision：发送图像（附件 → 多模态消息） -在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 的支持视觉变体等），以覆盖图像探针。 +在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 的支持视觉变体等），以触发 image 探测。 ### 聚合器 / 替代 Gateway 网关 -如果你已启用相关密钥，我们也支持通过以下方式测试： +如果你已启用相关 keys，我们也支持通过以下方式测试： -- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选模型） -- OpenCode：Zen 使用 `opencode/...`，Go 使用 `opencode-go/...`（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） +- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + image 的候选项） +- OpenCode：`opencode/...` 用于 Zen，`opencode-go/...` 用于 Go（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） -你还可以将更多 providers 纳入实时测试矩阵（如果你有凭证 / 配置）： +如果你有 creds / config，也可以将更多 providers 加入 live 矩阵： - 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`google-gemini-cli`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot` - 通过 `models.providers`（自定义端点）：`minimax`（云 / API），以及任意兼容 OpenAI / Anthropic 的代理（LM Studio、vLLM、LiteLLM 等） -提示：不要试图在文档中硬编码“所有模型”。权威列表始终是你机器上 `discoverModels(...)` 的返回结果，加上当前可用的密钥。 +提示：不要试图在文档里硬编码“所有模型”。权威列表应始终是你的机器上 `discoverModels(...)` 返回的内容，加上当前可用的 keys。 ## 凭证（绝不要提交） -实时测试会以与 CLI 相同的方式发现凭证。实际含义是： +live 测试发现凭证的方式与 CLI 相同。实际含义如下： -- 如果 CLI 可用，实时测试应该能找到相同的密钥。 -- 如果实时测试提示“没有凭证”，那就用与你调试 `openclaw models list` / 模型选择相同的方法排查。 +- 如果 CLI 可用，live 测试也应能找到相同的 keys。 +- 如果 live 测试提示 “no creds”，排查方式应与排查 `openclaw models list` / model 选择相同。 -- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试里“profile keys”的含义） +- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是 live 测试中 “profile keys” 的含义） - 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`） -- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制进暂存的实时测试 home，但它不是主 profile-key 存储） -- 本地实时运行默认会将当前活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/`，以及受支持的外部 CLI 认证目录复制到临时测试 home 中；暂存的实时 home 会跳过 `workspace/` 和 `sandboxes/`，并移除 `agents.*.workspace` / `agentDir` 路径覆盖，这样探针就不会落到你的真实主机工作区中。 +- 旧版状态目录：`~/.openclaw/credentials/`（若存在，会复制到准备好的 live home 中，但它不是主 profile-key store） +- 本地 live 运行默认会把当前活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到一个临时测试 home 中；准备好的 live home 会跳过 `workspace/` 和 `sandboxes/`，并且会去除 `agents.*.workspace` / `agentDir` 路径覆盖，以确保探测不会触及你真实宿主机上的工作区。 -如果你想依赖环境变量密钥（例如导出在你的 `~/.profile` 中），请在执行本地测试前运行 `source ~/.profile`，或者使用下面的 Docker 运行器（它们可以把 `~/.profile` 挂载进容器）。 +如果你想依赖环境变量 keys（例如在 `~/.profile` 中导出），请在本地测试前运行 `source ~/.profile`，或使用下面的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 -## Deepgram 实时测试（音频转录） +## Deepgram live（音频转录） - 测试：`src/media-understanding/providers/deepgram/audio.live.test.ts` - 启用：`DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live src/media-understanding/providers/deepgram/audio.live.test.ts` -## BytePlus coding plan 实时测试 +## BytePlus coding plan live - 测试：`src/agents/byteplus.live.test.ts` - 启用：`BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live src/agents/byteplus.live.test.ts` - 可选模型覆盖：`BYTEPLUS_CODING_MODEL=ark-code-latest` -## ComfyUI workflow media 实时测试 +## ComfyUI workflow media live - 测试：`extensions/comfy/comfy.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts` - 范围： - - 覆盖内置 comfy 图像、视频和 `music_generate` 路径 - - 如果未配置 `models.providers.comfy.`，则跳过对应能力 - - 适用于修改 comfy workflow 提交、轮询、下载或插件注册之后 + - 验证内置 comfy 图像、视频和 `music_generate` 路径 + - 除非配置了 `models.providers.comfy.`，否则会跳过对应能力 + - 在修改 comfy workflow 提交、轮询、下载或插件注册后非常有用 -## 图像生成实时测试 +## Image generation live - 测试：`src/image-generation/runtime.live.test.ts` - 命令：`pnpm test:live src/image-generation/runtime.live.test.ts` - Harness：`pnpm test:live:media image` - 范围： - - 枚举每一个已注册的图像生成 provider 插件 - - 在探测前从你的登录 shell（`~/.profile`）加载缺失的 provider 环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 - - 跳过没有可用认证 / profile / model 的 provider + - 枚举每个已注册的图像生成 provider 插件 + - 在探测前从你的登录 shell（`~/.profile`）中加载缺失的 provider 环境变量 + - 默认优先使用 live / env API keys 而不是存储的认证 profiles，因此 `auth-profiles.json` 中过期的测试 keys 不会掩盖真实 shell 凭证 + - 跳过没有可用认证 / profile / model 的 providers - 通过共享运行时能力运行标准图像生成变体： - `google:flash-generate` - `google:pro-generate` @@ -752,235 +748,231 @@ Docker 说明： - `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-1,google/gemini-3.1-flash-image-preview"` - `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅来自环境变量的覆盖 -## 音乐生成实时测试 +## Music generation live - 测试：`extensions/music-generation-providers.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts` - Harness：`pnpm test:live:media music` - 范围： - - 覆盖共享的内置音乐生成 provider 路径 + - 验证共享的内置音乐生成 provider 路径 - 当前覆盖 Google 和 MiniMax - - 在探测前从你的登录 shell（`~/.profile`）加载 provider 环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 - - 跳过没有可用认证 / profile / model 的 provider - - 在可用时运行两个已声明的运行时模式： - - `generate`：仅 prompt 输入 + - 在探测前从你的登录 shell（`~/.profile`）中加载 provider 环境变量 + - 默认优先使用 live / env API keys 而不是存储的认证 profiles，因此 `auth-profiles.json` 中过期的测试 keys 不会掩盖真实 shell 凭证 + - 跳过没有可用认证 / profile / model 的 providers + - 在可用时运行两种已声明的运行时模式： + - `generate`：仅使用提示词输入 - `edit`：当 provider 声明 `capabilities.edit.enabled` 时 - 当前共享通道覆盖： - `google`：`generate`、`edit` - `minimax`：`generate` - - `comfy`：单独的 Comfy 实时测试文件，不在这个共享扫描中 + - `comfy`：单独的 Comfy live 文件，不在这个共享扫描中 - 可选缩小范围： - `OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"` - `OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.5+"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅来自环境变量的覆盖 -## 视频生成实时测试 +## Video generation live - 测试：`extensions/video-generation-providers.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts` - Harness：`pnpm test:live:media video` - 范围： - - 覆盖共享的内置视频生成 provider 路径 - - 默认使用发布安全的冒烟路径：非 FAL provider、每个 provider 一次 text-to-video 请求、1 秒 lobster prompt，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每个 provider 操作上限（默认 `180000`） - - 默认跳过 FAL，因为 provider 侧排队延迟可能主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行 - - 在探测前从你的登录 shell（`~/.profile`）加载 provider 环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 - - 跳过没有可用认证 / profile / model 的 provider + - 验证共享的内置视频生成 provider 路径 + - 默认采用发布安全的冒烟路径：非 FAL providers、每个 provider 一次文本转视频请求、一秒钟的 lobster 提示词，以及由 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 控制的每 provider 操作上限（默认 `180000`） + - 默认跳过 FAL，因为 provider 侧队列延迟可能主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行 + - 在探测前从你的登录 shell（`~/.profile`）中加载 provider 环境变量 + - 默认优先使用 live / env API keys 而不是存储的认证 profiles，因此 `auth-profiles.json` 中过期的测试 keys 不会掩盖真实 shell 凭证 + - 跳过没有可用认证 / profile / model 的 providers - 默认只运行 `generate` - - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 后，也会在可用时运行已声明的 transform 模式： + - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 后，在可用时也会运行已声明的转换模式： - `imageToVideo`：当 provider 声明 `capabilities.imageToVideo.enabled`，且所选 provider / model 在共享扫描中接受基于 buffer 的本地图像输入时 - `videoToVideo`：当 provider 声明 `capabilities.videoToVideo.enabled`，且所选 provider / model 在共享扫描中接受基于 buffer 的本地视频输入时 - - 当前在共享扫描中已声明但被跳过的 `imageToVideo` providers： + - 当前在共享扫描中已声明但跳过的 `imageToVideo` providers： - `vydra`，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图像 URL - provider 特定的 Vydra 覆盖： - `OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts` - - 该文件会运行 `veo3` text-to-video，以及一个默认使用远程图像 URL fixture 的 `kling` 通道 - - 当前 `videoToVideo` 实时覆盖： - - 仅 `runway`，且仅当所选模型为 `runway/gen4_aleph` - - 当前在共享扫描中已声明但被跳过的 `videoToVideo` providers： + - 该文件会运行 `veo3` 文本转视频，以及一个默认使用远程图像 URL 固件的 `kling` 通道 + - 当前 `videoToVideo` live 覆盖： + - 仅 `runway`，且所选模型为 `runway/gen4_aleph` 时 + - 当前在共享扫描中已声明但跳过的 `videoToVideo` providers： - `alibaba`、`qwen`、`xai`，因为这些路径目前需要远程 `http(s)` / MP4 参考 URL - - `google`，因为当前共享的 Gemini / Veo 通道使用基于本地 buffer 的输入，而这条路径在共享扫描中不被接受 - - `openai`，因为当前共享通道缺乏组织特定的视频 inpaint / remix 访问保证 + - `google`，因为当前共享 Gemini / Veo 通道使用基于本地 buffer 的输入，而该路径在共享扫描中不被接受 + - `openai`，因为当前共享通道无法保证特定组织具备视频修补 / remix 访问权限 - 可选缩小范围： - `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"` - `OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"` - - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 以在默认扫描中包含所有 provider，包括 FAL - - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 用于在激进的冒烟运行中缩短每个 provider 的操作上限 + - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 以将所有 provider 都包含进默认扫描中，包括 FAL + - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 可将每 provider 操作上限降低，用于更激进的冒烟测试 - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅来自环境变量的覆盖 -## 媒体实时测试 harness +## Media live harness - 命令：`pnpm test:live:media` -- 用途： - - 通过一个仓库原生入口运行共享的图像、音乐和视频实时测试套件 +- 目的： + - 通过一个仓库原生入口运行共享的图像、音乐和视频 live 套件 - 自动从 `~/.profile` 加载缺失的 provider 环境变量 - - 默认自动将每个测试套件缩小到当前具有可用认证的 providers - - 复用 `scripts/test-live.mjs`，从而让心跳和安静模式行为保持一致 + - 默认自动将每个套件缩小到当前具有可用认证的 providers + - 复用 `scripts/test-live.mjs`，因此心跳和安静模式行为保持一致 - 示例： - `pnpm test:live:media` - `pnpm test:live:media image video --providers openai,google,minimax` - `pnpm test:live:media video --video-providers openai,runway --all-providers` - `pnpm test:live:media music --quiet` -## Docker 运行器（可选的“在 Linux 中也能工作”检查） +## Docker 运行器（可选的“在 Linux 中可工作”检查） 这些 Docker 运行器分为两类： -- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像内运行各自匹配的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），并挂载你的本地配置目录和工作区（如果已挂载，也会读取 `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 -- Docker 实时运行器默认使用更小的冒烟上限，以便完整 Docker 扫描仍然可行： +- Live-model 运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 仅在仓库 Docker 镜像内运行各自对应的 profile-key live 文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），会挂载你的本地配置目录和工作区（如果已挂载，也会加载 `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 +- Docker live 运行器默认使用更小的冒烟测试上限，以便完整的 Docker 扫描仍然可行： `test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，而 `test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、 - `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000`，以及 + `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 和 `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你 - 明确想要更大范围的穷尽式扫描时，可覆盖这些环境变量。 -- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后在两个 Docker 实时通道中复用它。 -- 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层级的集成路径。 + 明确想运行更大的完整扫描时，再覆盖这些环境变量。 +- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次 live Docker 镜像，然后将其复用于两个 live Docker 通道。 +- 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层级的 integration 路径。 -实时模型 Docker 运行器还会只绑定挂载所需的 CLI 认证 home（如果运行未缩小范围，则挂载所有受支持的认证 home），然后在运行前把它们复制到容器 home 中，这样外部 CLI OAuth 就可以刷新令牌，而不会修改主机上的认证存储： +live-model Docker 运行器还会仅绑定挂载所需的 CLI 认证 home（如果运行未缩小范围，则挂载所有受支持的认证 home），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 就可以刷新 tokens，而不会修改宿主机的认证存储： - Direct models：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） -- ACP 绑定冒烟：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） -- CLI 后端冒烟：`pnpm test:docker:live-cli-backend`（脚本：`scripts/test-live-cli-backend-docker.sh`） -- Codex app-server harness 冒烟：`pnpm test:docker:live-codex-harness`（脚本：`scripts/test-live-codex-harness-docker.sh`） -- Gateway 网关 + 开发智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） -- Open WebUI 实时冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） +- ACP 绑定冒烟测试：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） +- CLI 后端冒烟测试：`pnpm test:docker:live-cli-backend`（脚本：`scripts/test-live-cli-backend-docker.sh`） +- Codex app-server harness 冒烟测试：`pnpm test:docker:live-codex-harness`（脚本：`scripts/test-live-codex-harness-docker.sh`） +- Gateway 网关 + dev 智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） +- Open WebUI live 冒烟测试：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） - 新手引导向导（TTY，完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`） - Gateway 网关网络（两个容器，WS 认证 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） -- MCP 渠道桥接（预置 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） -- 插件（安装冒烟 + `/plugin` 别名 + Claude 内置包重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） +- MCP 渠道桥接（预置 Gateway 网关 + stdio bridge + 原始 Claude 通知帧冒烟测试）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） +- 插件（安装冒烟测试 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） -实时模型 Docker 运行器还会以只读方式绑定挂载当前检出，并 -在容器内暂存到一个临时工作目录中。这样可以在保持运行时 -镜像精简的同时，仍然针对你本地精确的源代码 / 配置运行 Vitest。 -暂存步骤会跳过大型本地专用缓存和应用构建输出，例如 -`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地的 `.build` 或 -Gradle 输出目录，这样 Docker 实时运行就不会花几分钟复制 -机器特定的制品。 -它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关实时探针就不会在容器内启动 -真实的 Telegram / Discord / 等渠道 worker。 -`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要缩小范围或排除该 Docker 通道中的 Gateway 网关 -实时覆盖时，也要一并传递 +live-model Docker 运行器还会以只读方式绑定挂载当前检出的代码，并将其准备到容器内的临时工作目录中。这样可以保持运行时镜像精简，同时仍然针对你当前本地的准确源码 / 配置运行 Vitest。 +准备步骤会跳过大型本地专用缓存和应用构建输出，例如 +`.pnpm-store`、`.worktrees`、`__openclaw_vitest__` 以及应用本地的 `.build` 或 +Gradle 输出目录，因此 Docker live 运行不会花上数分钟复制 +机器特定的产物。 +它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关 live 探测就不会在容器内启动真实的 Telegram / Discord / 等渠道工作进程。 +`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要缩小范围或从该 Docker 通道中排除 Gateway 网关 live 覆盖时，也请一并传入 `OPENCLAW_LIVE_GATEWAY_*`。 -`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个 -启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器，启动一个固定版本的 -Open WebUI 容器并让其连接该 Gateway 网关，通过 -Open WebUI 完成登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过 +`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器， +再针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器，通过 +Open WebUI 登录，验证 `/api/models` 暴露 `openclaw/default`，然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一个真实聊天请求。 -第一次运行可能明显更慢，因为 Docker 可能需要拉取 -Open WebUI 镜像，而且 Open WebUI 也可能需要完成自己的冷启动 setup。 -这个通道需要一个可用的实时模型密钥，而 `OPENCLAW_PROFILE_FILE` -（默认 `~/.profile`）是在 Docker 化运行中提供该密钥的主要方式。 -成功运行会打印一个小型 JSON payload，例如 `{ "ok": true, "model": +第一次运行可能会明显更慢，因为 Docker 可能需要拉取 +Open WebUI 镜像，而 Open WebUI 也可能需要完成自身的冷启动设置。 +该通道需要一个可用的 live model key，而 `OPENCLAW_PROFILE_FILE` +（默认为 `~/.profile`）是在 Docker 化运行中提供它的主要方式。 +成功运行后会打印一个小型 JSON 载荷，例如 `{ "ok": true, "model": "openclaw/default", ... }`。 -`test:docker:mcp-channels` 刻意设计为确定性测试，不需要真实的 -Telegram、Discord 或 iMessage 账号。它会启动一个预置的 Gateway 网关 -容器，启动第二个用于生成 `openclaw mcp serve` 的容器，然后 -验证经路由的会话发现、转录读取、附件元数据、 -实时事件队列行为、出站发送路由，以及真实 stdio MCP bridge 上的 Claude 风格渠道 + -权限通知。通知检查会直接检查原始 stdio MCP 帧，因此这个冒烟测试验证的是 bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴露出来的内容。 +`test:docker:mcp-channels` 刻意保持确定性，不需要真实的 +Telegram、Discord 或 iMessage 账号。它会启动一个已预置的 Gateway 网关 +容器，再启动第二个容器来执行 `openclaw mcp serve`，然后 +通过真实的 stdio MCP bridge 验证路由后的会话发现、转录读取、附件元数据、 +live 事件队列行为、出站发送路由，以及 Claude 风格的渠道 + +权限通知。通知检查会直接检查原始 stdio MCP 帧，因此该冒烟测试验证的是桥接实际发出的内容，而不只是某个特定客户端 SDK 恰好暴露出来的内容。 手动 ACP 自然语言线程冒烟测试（非 CI）： - `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel ...` -- 请保留这个脚本用于回归 / 调试工作流。它未来可能还会再次用于 ACP 线程路由验证，因此不要删除它。 +- 将此脚本保留用于回归 / 调试工作流。未来再次验证 ACP 线程路由时可能仍会需要它，因此不要删除它。 有用的环境变量： - `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`）挂载到 `/home/node/.openclaw` - `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`）挂载到 `/home/node/.openclaw/workspace` -- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前读取 +- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前加载 +- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 仅验证从 `OPENCLAW_PROFILE_FILE` 加载的环境变量，使用临时 config / workspace 目录，并且不挂载外部 CLI 认证 - `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于缓存 Docker 内部的 CLI 安装 - `$HOME` 下的外部 CLI 认证目录 / 文件会以只读方式挂载到 `/host-auth...` 下，然后在测试开始前复制到 `/home/node/...` - 默认目录：`.minimax` - 默认文件：`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json` - - 缩小 provider 范围的运行只会挂载根据 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件 - - 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表手动覆盖 + - 缩小 provider 范围的运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的必要目录 / 文件 + - 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none` 或逗号列表（如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex`）手动覆盖 - `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围 -- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内过滤 providers -- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于复用已有的 `openclaw:local-live` 镜像，以便重跑那些不需要重新构建的任务 -- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭证来自 profile store（而不是环境变量） -- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 Gateway 网关为 Open WebUI 冒烟测试暴露的模型 -- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试使用的 nonce 检查 prompt -- `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签 +- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内筛选 providers +- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于复用现有的 `openclaw:local-live` 镜像，以便在不需要重建时重跑 +- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保 creds 来自 profile store（而不是环境变量） +- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择在 Open WebUI 冒烟测试中由 Gateway 网关暴露的模型 +- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试所使用的 nonce 检查提示词 +- `OPENWEBUI_IMAGE=...` 用于覆盖固定版本的 Open WebUI 镜像标签 ## 文档完整性检查 修改文档后运行文档检查：`pnpm check:docs`。 -如果你还需要完整的 Mintlify anchor 校验，包括页内标题检查，请运行：`pnpm docs:check-links:anchors`。 +如果你还需要检查页内标题锚点，请运行完整的 Mintlify 锚点校验：`pnpm docs:check-links:anchors`。 -## 离线回归（CI 安全） +## 离线回归测试（CI 安全） -这些是“不依赖真实 provider 的真实管线”回归测试： +这些是在没有真实 providers 的情况下执行的“真实流水线”回归测试： -- Gateway 网关工具调用（模拟 OpenAI，真实 Gateway 网关 + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） -- Gateway 网关向导（WS `wizard.start` / `wizard.next`，强制写入配置 + 认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） +- Gateway 网关 tool calling（mock OpenAI，真实 Gateway 网关 + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） +- Gateway 网关向导（WS `wizard.start` / `wizard.next`，写入配置 + 强制认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） ## 智能体可靠性评估（Skills） -我们已经有一些 CI 安全的测试，它们的行为类似“智能体可靠性评估”： +我们已经有一些 CI 安全的测试，可以视为“智能体可靠性评估”： -- 通过真实 Gateway 网关 + 智能体循环进行模拟工具调用（`src/gateway/gateway.test.ts`）。 +- 通过真实 Gateway 网关 + 智能体循环进行 mock tool-calling（`src/gateway/gateway.test.ts`）。 - 验证会话接线和配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。 -对于 Skills（参见 [Skills](/zh-CN/tools/skills)），目前仍然缺少： +对于 Skills，当前仍缺少的部分（参见 [Skills](/zh-CN/tools/skills)）： -- **决策能力：** 当 prompt 中列出 Skills 时，智能体是否会选择正确的 Skills（或避开无关的 Skills）？ +- **决策能力：** 当提示中列出 Skills 时，智能体是否会选择正确的 skill（或避免选择无关 skill）？ - **合规性：** 智能体是否会在使用前读取 `SKILL.md`，并遵循要求的步骤 / 参数？ -- **工作流契约：** 断言工具顺序、会话历史继承和沙箱边界的多轮场景。 +- **工作流契约：** 用于断言工具顺序、会话历史继承以及沙箱边界的多轮场景。 -未来的评估应优先保持确定性： +未来的评估应首先保持确定性： -- 一个使用模拟 providers 的场景运行器，用来断言工具调用 + 顺序、skill 文件读取和会话接线。 -- 一小套以 skill 为中心的场景（使用 vs 避免、门禁、prompt 注入）。 -- 仅在 CI 安全测试套件就位后，再增加可选的实时评估（主动启用、环境变量门禁）。 +- 一个使用 mock providers 的场景运行器，用于断言工具调用及其顺序、skill 文件读取以及会话接线。 +- 一小套聚焦 skill 的场景（使用与避免、门控、提示注入）。 +- 只有在 CI 安全套件到位之后，才添加可选的 live 评估（选择加入、由环境变量门控）。 ## 契约测试（插件和渠道形状） -契约测试用于验证每个已注册的插件和渠道都符合其 +契约测试用于验证每个已注册插件和渠道都符合其 接口契约。它们会遍历所有已发现的插件，并运行一组 -形状和行为断言。默认的 `pnpm test` 单元测试通道会有意 -跳过这些共享接缝和冒烟文件；当你修改共享渠道或 provider 接口时， -请显式运行契约命令。 +关于形状和行为的断言。默认的 `pnpm test` unit 通道会刻意 +跳过这些共享接缝和冒烟文件；当你修改共享渠道或 provider 接口时，请显式 +运行这些契约命令。 ### 命令 -- 所有契约：`pnpm test:contracts` -- 仅渠道契约：`pnpm test:contracts:channels` -- 仅 provider 契约：`pnpm test:contracts:plugins` +- 所有契约测试：`pnpm test:contracts` +- 仅渠道契约测试：`pnpm test:contracts:channels` +- 仅 provider 契约测试：`pnpm test:contracts:plugins` -### 渠道契约 +### 渠道契约测试 位于 `src/channels/plugins/contracts/*.contract.test.ts`： - **plugin** - 基本插件形状（id、name、capabilities） - **setup** - 设置向导契约 - **session-binding** - 会话绑定行为 -- **outbound-payload** - 消息 payload 结构 +- **outbound-payload** - 消息载荷结构 - **inbound** - 入站消息处理 -- **actions** - 渠道操作处理器 +- **actions** - 渠道动作处理器 - **threading** - 线程 ID 处理 - **directory** - 目录 / roster API -- **group-policy** - 群组策略强制执行 +- **group-policy** - 群组策略执行 -### Provider 状态契约 +### Provider 状态契约测试 位于 `src/plugins/contracts/*.contract.test.ts`。 - **status** - 渠道状态探测 - **registry** - 插件注册表形状 -### Provider 契约 +### Provider 契约测试 位于 `src/plugins/contracts/*.contract.test.ts`： - **auth** - 认证流程契约 -- **auth-choice** - 认证选择 / 选择逻辑 +- **auth-choice** - 认证选择 / 选取 - **catalog** - 模型目录 API - **discovery** - 插件发现 - **loader** - 插件加载 @@ -990,21 +982,21 @@ Telegram、Discord 或 iMessage 账号。它会启动一个预置的 Gateway 网 ### 何时运行 -- 修改 `plugin-sdk` 导出或子路径之后 +- 修改 plugin-sdk 导出或子路径之后 - 新增或修改渠道插件或 provider 插件之后 - 重构插件注册或发现逻辑之后 -契约测试会在 CI 中运行，并且不需要真实 API 密钥。 +契约测试会在 CI 中运行，并且不需要真实 API keys。 ## 添加回归测试（指南） -当你修复一个在实时测试中发现的 provider / model 问题时： +当你修复在 live 中发现的 provider / model 问题时： -- 如果可能，添加一个 CI 安全的回归测试（模拟 / stub provider，或捕获精确的请求形状转换） -- 如果该问题天然只能通过实时测试覆盖（速率限制、认证策略），请让实时测试保持收窄，并通过环境变量主动启用 -- 优先选择能捕获该缺陷的最小层级： - - provider 请求转换 / 回放缺陷 → direct models 测试 - - Gateway 网关会话 / 历史 / 工具管线缺陷 → Gateway 网关实时冒烟测试或 CI 安全的 Gateway 网关模拟测试 -- SecretRef 遍历防护规则： - - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言遍历段 exec id 会被拒绝。 - - 如果你在 `src/secrets/target-registry-data.ts` 中新增一个 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类的目标 id 时有意失败，这样新类就无法被静默跳过。 +- 如果可能，添加一个 CI 安全的回归测试（mock / stub provider，或捕获精确的请求形状转换） +- 如果它天然只能在 live 中复现（速率限制、认证策略），则保持 live 测试范围狭窄，并通过环境变量选择启用 +- 优先瞄准能捕获该缺陷的最小层级： + - provider 请求转换 / 重放缺陷 → direct models 测试 + - Gateway 网关会话 / 历史 / 工具流水线缺陷 → Gateway 网关 live 冒烟测试或 CI 安全的 Gateway 网关 mock 测试 +- SecretRef 遍历保护规则： + - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言会拒绝 traversal-segment exec ids。 + - 如果你在 `src/secrets/target-registry-data.ts` 中新增一个 `includeInPlan` SecretRef 目标族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类目标 id 时故意失败，从而防止新类别被静默跳过。