openclaw/docs
openclaw/docs
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

chore(i18n): refresh zh-CN translations

Browse Source
This commit is contained in:
openclaw-docs-i18n[bot] 2026-04-06 18:27:11 +00:00
parent 881231f0d0
commit 1dff9e6418
2 changed files with 310 additions and 323 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

561
docs/zh-CN/help/testing.md
View File

@ -6,22 +6,22 @@ read_when:
summary: 测试工具包：单元 / e2e / 实时测试套件、Docker 运行器，以及各项测试覆盖的内容
title: 测试
x-i18n:
generated_at: "2026-04-06T18:19:15Z"
generated_at: "2026-04-06T18:27:10Z"
model: gpt-5.4
provider: openai
source_hash: 1e1e3b5092c91786fb93de1ed84bf3867f6cc85ef797775fa242a56009da3372
source_hash: bcb6733dba52dd03c625121fc2eb5ef0837553b19698b0c554140f5685fe13b8
source_path: help/testing.md
workflow: 15
---
# 测试
OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及一小组 Docker 运行器。
OpenClaw 有三个 Vitest 测试套件（单元 / 集成、e2e、实时）以及一小组 Docker 运行器。
本文档是一份“我们如何测试”的指南：
- 每个测试套件覆盖什么内容（以及它刻意 _不_ 覆盖的内容）
- 常见工作流（本地、推送前、调试）应运行哪些命令
- 每个测试套件覆盖什么内容（以及它刻意 _不_ 覆盖什么）
- 常见工作流应运行哪些命令（本地、推送前、调试）
- 实时测试如何发现凭证并选择模型 / 提供商
- 如何为真实世界中的模型 / 提供商问题添加回归测试
@ -29,77 +29,77 @@ OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及
大多数时候：
- 完整 gate（推送前预期执行）：`pnpm build && pnpm check && pnpm test`
- 在配置充足的机器上更快地运行本地完整测试套件：`pnpm test:max`
- 直接进入 Vitest 监听循环：`pnpm test:watch`
- 现在直接指定文件也会路由扩展 / 渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts`
- 完整门禁（预期在推送前运行）：`pnpm build && pnpm check && pnpm test`
- 在配置充裕的机器上进行更快的本地全套运行：`pnpm test:max`
- 直接使用 Vitest 观察循环：`pnpm test:watch`
- 直接按文件定位现在也会路由扩展 / 渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts`
- 基于 Docker 的 QA 站点：`pnpm qa:lab:up`
当你修改了测试或想获得更多信心时：
当你修改了测试或希望获得更多信心时：
- 覆盖率 gate：`pnpm test:coverage`
- 覆盖率门禁：`pnpm test:coverage`
- E2E 测试套件：`pnpm test:e2e`
当你在调试真实提供商 / 模型时（需要真实凭证）：
在调试真实提供商 / 模型时（需要真实凭证）：
- 实时测试套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live`
- 安静地只跑一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts`
- 实时测试套件（模型 + Gateway 网关工具 / 图像探针）：`pnpm test:live`
- 安静地只运行一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts`
提示：当你只需要一个失败用例时，优先使用下面介绍的 allowlist 环境变量来收窄实时测试范围。
提示：当你只需要一个失败用例时，优先使用下面介绍的 allowlist 环境变量来缩小实时测试范围。
## 测试套件（各自在哪里运行）
## 测试套件（各自运行位置）
可以把这些测试套件理解为“真实性逐步增加”（同时不稳定性 / 成本也逐步增加）：
### 单元 / 集成（默认）
- 命令：`pnpm test`
- 配置：在现有分范围 Vitest 项目上运行五个顺序分片配置（`vitest.full-*.config.ts`）
- 文件：`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的核心 / 单元测试清单，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试
- 配置：对现有分范围 Vitest 项目执行五个顺序分片运行（`vitest.full-*.config.ts`）
- 文件：位于 `src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 的 core / 单元清单，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试
- 范围：
- 纯单元测试
- 进程内集成测试（Gateway 网关认证、路由、工具、解析、配置）
- 针对已知缺陷的确定性回归测试
- 已知缺陷的确定性回归测试
- 预期：
- 在 CI 中运行
- 不需要真实密钥
- 应该快速且稳定
- 应当快速且稳定
- 项目说明：
- 无定向的 `pnpm test` 现在会运行五个更小的分片配置（`core-unit`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生根项目进程。这样可以降低高负载机器上的 RSS 峰值，并避免 auto-reply / 扩展相关工作拖慢无关测试套件。
- `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片监听循环并不现实。
- `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会先把显式的文件 / 目录目标路由到分范围 lane，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 不必承担完整根项目启动开销。
- `pnpm test:changed` 会在 diff 只涉及可路由的源码 / 测试文件时，把变更的 git 路径扩展到同样的分范围 lane；如果改动了 config / setup，仍会回退到较宽泛的根项目重跑。
- 部分选定的 `plugin-sdk` 和 `commands` 测试也会通过专门的轻量 lane 路由，这些 lane 会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件仍保留在原有 lane 中。
- 部分选定的 `plugin-sdk` 和 `commands` 辅助源码文件也会在 changed 模式下映射到这些轻量 lane 中的显式同级测试，因此辅助文件的修改不需要为该目录重跑完整的重型测试套件。
- `auto-reply` 现在有三个专门 bucket：顶层核心辅助、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这样可以把最重的 reply harness 工作与轻量的 status / chunk / token 测试分开。
- 未定向的 `pnpm test` 现在会运行六个更小的分片配置（`core-unit-src`、`core-unit-support`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生根项目进程。这样可以降低繁忙机器上的 RSS 峰值，并避免 auto-reply / 扩展工作拖累无关测试套件。
- `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片观察循环并不现实。
- `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会先将显式文件 / 目录目标路由到分范围通道，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 无需承担完整根项目启动开销。
- `pnpm test:changed` 会在差异只涉及可路由的源码 / 测试文件时，把变更过的 git 路径展开为相同的分范围通道；配置 / 设置类修改仍会回退到更广泛的根项目重跑。
- 部分 `plugin-sdk` 和 `commands` 测试也会路由到专用的轻量通道，以跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件仍保留在现有通道上。
- 部分 `plugin-sdk` 和 `commands` 辅助源码文件也会在 changed 模式下将运行映射到这些轻量通道中的显式同级测试，因此辅助文件修改不会让该目录的整套重型测试全部重跑。
- `auto-reply` 现在有三个专用分桶：顶层 core 辅助函数、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这样可以让最重的回复测试框架不影响廉价的 status / chunk / token 测试。
- 嵌入式运行器说明：
- 当你修改消息工具发现输入或压缩运行时上下文时，
需要同时保留两个层级的覆盖。
- 为纯路由 / 归一化边界添加聚焦的辅助回归测试。
- 同时也要保持嵌入式运行器集成测试套件健康：
需要同时保持两个层级的覆盖。
- 为纯路由 / 规范化边界添加聚焦的辅助函数回归测试。
- 也要保持嵌入式运行器集成测试套件健康：
`src/agents/pi-embedded-runner/compact.hooks.test.ts`、
`src/agents/pi-embedded-runner/run.overflow-compaction.test.ts`，以及
`src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和
`src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。
- 这些测试套件会验证作用域 id 和压缩行为仍会通过真实的 `run.ts` / `compact.ts` 路径流转；仅有辅助测试并不能充分替代这些集成路径。
- Pool 说明：
- 这些套件验证带作用域的 id 和压缩行为仍会流经真实的 `run.ts` / `compact.ts` 路径；仅有辅助函数测试并不能充分替代这些集成路径。
- 池说明：
- 基础 Vitest 配置现在默认使用 `threads`。
- 共享 Vitest 配置还固定了 `isolate: false`，并在根项目、e2e 和实时配置中使用非隔离运行器。
- 根 UI lane 仍保留其 `jsdom` 设置和优化器，但现在也运行在共享的非隔离运行器上。
- 每个 `pnpm test` 分片都会从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。
- 共享的 `scripts/run-vitest.mjs` 启动器现在默认还会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与原生 V8 行为对比，可设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。
- 本地快速迭代说明：
- `pnpm test:changed` 会在变更路径可以清晰映射到更小测试套件时，通过分范围 lane 路由。
- 根 UI 通道仍保留其 `jsdom` 设置和优化器，但现在也运行在共享的非隔离运行器上。
- 每个 `pnpm test` 分片都继承共享 Vitest 配置中的同一组 `threads` + `isolate: false` 默认值。
- 共享的 `scripts/run-vitest.mjs` 启动器现在也会默认为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与原生 V8 行为比较，请设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。
- 快速本地迭代说明：
- `pnpm test:changed` 会在变更路径能清晰映射到较小测试套件时，通过分范围通道运行。
- `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的 worker 上限。
- 本地 worker 自动伸缩现在有意更保守，并且在宿主机平均负载已经较高时也会退让，因此默认情况下多个并发 Vitest 运行造成的影响会更小。
- 基础 Vitest 配置将项目 / 配置文件标记为 `forceRerunTriggers`，以便在测试接线变化时，changed 模式重跑仍然正确。
- 配置在受支持主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你想为直接性能分析指定一个显式缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。
- 本地 worker 自动扩缩容现在有意更保守，并且在主机负载平均值已很高时也会回退，因此默认情况下多个并发 Vitest 运行带来的影响更小。
- 基础 Vitest 配置会把项目 / 配置文件标记为 `forceRerunTriggers`，以便在测试接线发生变化时，changed 模式重跑仍然正确。
- 该配置会在受支持主机上保持 `OPENCLAW_VITEST_FS_MODULE_CACHE` 启用；如果你希望为直接性能分析指定一个明确的缓存位置，请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。
- 性能调试说明：
- `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入拆分输出。
- `pnpm test:perf:imports:changed` 会将相同的分析视图限制到自 `origin/main` 以来发生变更的文件。
- `pnpm test:perf:changed:bench -- --ref <git-ref>` 会把已提交 diff 的路由 `test:changed` 与原生根项目路径进行比较，并输出墙钟时间以及 macOS 最大 RSS。
- `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置，对当前脏工作树进行基准测试。
- `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和转换开销写出主线程 CPU profile。
- `pnpm test:perf:profile:runner` 会在禁用文件并行时，为单元测试套件写出运行器 CPU + 堆 profile。
- `pnpm test:perf:imports` 会启用 Vitest 导入时长报告以及导入明细输出。
- `pnpm test:perf:imports:changed` 会把相同的性能分析视图限定到自 `origin/main` 以来发生变更的文件。
- `pnpm test:perf:changed:bench -- --ref <git-ref>` 会将定向 `test:changed` 与该已提交差异的原生根项目路径进行比较，并输出总耗时以及 macOS 最大 RSS。
- `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置，将变更文件列表路由后，对当前未提交工作树进行基准测试。
- `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和 transform 开销写入主线程 CPU profile。
- `pnpm test:perf:profile:runner` 会在禁用文件并行时，为单元测试套件写入运行器 CPU + 堆 profile。
### E2E（Gateway 网关冒烟）
@ -107,19 +107,19 @@ OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及
- 配置：`vitest.e2e.config.ts`
- 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts`
- 运行时默认值：
- 使用 Vitest `threads` 与 `isolate: false`，与仓库其他部分保持一致。
- 使用自适应 worker（CI：最多 2 个，本地：默认 1 个）。
- 默认以静默模式运行，以降低控制台 I/O 开销。
- 常用覆盖方式：
- `OPENCLAW_E2E_WORKERS=<n>` 强制设置 worker 数量（上限为 16）。
- 使用 Vitest `threads` 和 `isolate: false`，与仓库其他部分保持一致。
- 使用自适应 workers（CI：最多 2 个，本地：默认 1 个）。
- 默认以静默模式运行，以减少控制台 I/O 开销。
- 常用覆盖选项：
- `OPENCLAW_E2E_WORKERS=<n>` 强制指定 worker 数（上限 16）。
- `OPENCLAW_E2E_VERBOSE=1` 重新启用详细控制台输出。
- 范围：
- 多实例 Gateway 网关端到端行为
- WebSocket / HTTP 表面、节点配对和更重的网络行为
- WebSocket / HTTP 接口、节点配对，以及更重的网络行为
- 预期：
- 在 CI 中运行（当流水线启用时）
- 不需要真实密钥
- 比单元测试涉及更多可变因素（可能更慢）
- 比单元测试包含更多活动部件（可能更慢）
### E2E：OpenShell 后端冒烟
@ -128,82 +128,82 @@ OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及
- 范围：
- 通过 Docker 在主机上启动一个隔离的 OpenShell Gateway 网关
- 从临时本地 Dockerfile 创建一个沙箱
- 通过真实的 `sandbox ssh-config` + SSH exec，执行 OpenClaw 的 OpenShell 后端
- 通过沙箱 fs bridge 验证远程规范化文件系统行为
- 通过真实的 `sandbox ssh-config` + SSH exec 使用 OpenClaw 的 OpenShell 后端
- 通过沙箱文件系统桥验证远端规范化文件系统行为
- 预期：
- 仅按需启用；不属于默认 `pnpm test:e2e` 运行的一部分
- 需要本地 `openshell` CLI 和可用的 Docker daemon
- 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 Gateway 网关和沙箱
- 常用覆盖方式：
- `OPENCLAW_E2E_OPENSHELL=1`，在手动运行更宽泛的 e2e 套件时启用该测试
- `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`，指定非默认 CLI 二进制或包装脚本
- 仅按需启用；不属于默认 `pnpm test:e2e` 运行
- 需要本地 `openshell` CLI 和可工作的 Docker daemon
- 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，随后销毁测试 Gateway 网关和沙箱
- 常用覆盖选项：
- `OPENCLAW_E2E_OPENSHELL=1` 在手动运行更大范围 e2e 套件时启用该测试
- `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 指向非默认 CLI 二进制文件或包装脚本
### 实时（真实提供商 + 真实模型）
- 命令：`pnpm test:live`
- 配置：`vitest.live.config.ts`
- 文件：`src/**/*.live.test.ts`
- 默认：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`）
- 默认：由 `pnpm test:live` **启用**（会设置 `OPENCLAW_LIVE_TEST=1`）
- 范围：
- “这个提供商 / 模型今天是否真的能用真实凭证工作？”
- 捕获提供商格式变化、工具调用怪癖、认证问题以及速率限制行为
- “这个提供商 / 模型 _今天_ 是否真的能在真实凭证下工作？”
- 捕获提供商格式变化、工具调用怪癖、认证问题和速率限制行为
- 预期：
- 按设计并不适合作为稳定的 CI 测试（真实网络、真实提供商策略、配额、故障）
- 按设计并非 CI 稳定（真实网络、真实提供商策略、配额、故障）
- 会花钱 / 消耗速率限制
- 优先运行收窄后的子集，而不是“全部”
- 实时运行会 source `~/.profile` 以补齐缺失的 API key。
- 默认情况下，实时运行仍会隔离 `HOME`，并把配置 / 认证材料复制到临时测试 home 中，这样单元测试夹具就不会修改你真实的 `~/.openclaw`。
- 仅在你明确需要让实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。
- `pnpm test:live` 现在默认更安静：会保留 `[live] ...` 进度输出，但隐藏额外的 `~/.profile` 提示，并静音 Gateway 网关启动日志 / Bonjour 杂音。如果想恢复完整启动日志，设置 `OPENCLAW_LIVE_TEST_QUIET=0`。
- API key 轮换（提供商特定）：设置逗号 / 分号格式的 `*_API_KEYS` 或 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），或通过 `OPENCLAW_LIVE_*_KEY` 进行每个实时测试的覆盖；测试会在遇到速率限制响应时重试。
- 优先运行缩小范围的子集，而不是“全部”
- 实时运行会 source `~/.profile` 以获取缺失的 API 密钥。
- 默认情况下，实时运行仍会隔离 `HOME`，并把配置 / 认证材料复制到临时测试 home 中，以便单元测试夹具不会修改你的真实 `~/.openclaw`。
- 仅当你明确需要让实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。
- `pnpm test:live` 现在默认采用更安静的模式：保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静音 Gateway 网关引导日志 / Bonjour 噪声。如果你希望恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。
- API 密钥轮换（提供商特定）：可设置使用逗号 / 分号格式的 `*_API_KEYS`，或 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），也可通过 `OPENCLAW_LIVE_*_KEY` 进行每次实时运行覆盖；测试会在遇到速率限制响应时重试。
- 进度 / 心跳输出：
- 实时测试套件现在会把进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间的提供商调用也能明显看到仍在运行。
- `vitest.live.config.ts` 禁用了 Vitest 控制台拦截，因此提供商 / Gateway 网关进度行会在实时运行时立即输出。
- 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直连模型心跳。
- 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / 探测心跳。
- 实时测试套件现在会把进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间的提供商调用也能明显看出仍在活动。
- `vitest.live.config.ts` 禁用了 Vitest 控制台拦截，因此提供商 / Gateway 网关进度行会在实时运行期间立即流出。
- 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型心跳。
- 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / 探针心跳。
## 我应该运行哪个测试套件？
使用这个决策表：
使用下面的决策表：
- 修改逻辑 / 测试：运行 `pnpm test`（如果你改动较多，再加上 `pnpm test:coverage`）
- 涉及 Gateway 网关网络 / WS 协议 / 配对：再加上 `pnpm test:e2e`
- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行收窄后的 `pnpm test:live`
- 编辑逻辑 / 测试：运行 `pnpm test`（如果修改较多，也运行 `pnpm test:coverage`）
- 涉及 Gateway 网关网络 / WS 协议 / 配对：加上 `pnpm test:e2e`
- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行一个缩小范围的 `pnpm test:live`
## 实时：Android 节点能力全量扫描
## 实时：Android 节点能力扫描
- 测试：`src/gateway/android-node.capabilities.live.test.ts`
- 脚本：`pnpm android:test:integration`
- 目标：调用已连接 Android 节点当前**宣告的每一个命令**，并断言命令契约行为。
- 目标：调用已连接 Android 节点当前声明的**每一项命令**，并断言命令契约行为。
- 范围：
- 依赖前置 / 手动设置（该测试套件不会安装 / 运行 / 配对 app）。
- 针对所选 Android 节点，逐命令验证 Gateway 网关 `node.invoke`。
- 所需预设：
- Android app 已连接并与 Gateway 网关配对。
- app 保持前台。
- 对你预期通过的能力，相关权限 / 捕获授权已授予。
- 预先准备 / 手动设置（该套件不会安装 / 运行 / 配对应用）。
- 对所选 Android 节点逐条命令进行 Gateway 网关 `node.invoke` 验证。
- 必需的预设置：
- Android 应用已连接并配对到 Gateway 网关。
- 应用保持在前台。
- 已授予你预期通过的能力所需的权限 / 捕获同意。
- 可选目标覆盖：
- `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。
- `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。
- 完整 Android 设置细节： [Android App](/zh-CN/platforms/android)
- 完整 Android 设置详情：[Android App](/zh-CN/platforms/android)
## 实时：模型冒烟（配置档案密钥）
实时测试分成两层，这样我们可以隔离故障：
实时测试分为两层，这样我们可以隔离故障：
- “直接模型”告诉我们：给定密钥时，提供商 / 模型是否至少可以回答。
- “Gateway 网关冒烟”告诉我们：该模型在完整的 Gateway 网关 + 智能体流水线中是否正常工作（会话、历史、工具、沙箱策略等）。
- “直接模型”告诉我们：给定密钥时，提供商 / 模型是否至少能正常回答。
- “Gateway 网关冒烟”告诉我们：该模型的完整 Gateway 网关 + 智能体流水线是否可用（会话、历史、工具、沙箱策略等）。
### 第 1 层：直接模型补全（无 Gateway 网关）
- 测试：`src/agents/models.profiles.live.test.ts`
- 目标：
- 枚举发现到的模型
- 枚举已发现的模型
- 使用 `getApiKeyForModel` 选择你拥有凭证的模型
- 对每个模型运行一个小型补全（并在需要时运行定向回归）
- 对每个模型运行一个小型补全（以及在需要时运行定向回归）
- 启用方式：
- `pnpm test:live`（或者如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`）
- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）来实际运行该套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 Gateway 网关冒烟
- `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`）
- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，它是 modern 的别名）才会真正运行该套件；否则它会跳过，以便让 `pnpm test:live` 继续聚焦在 Gateway 网关冒烟上
- 如何选择模型：
- `OPENCLAW_LIVE_MODELS=modern` 运行 modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4）
- `OPENCLAW_LIVE_MODELS=all` 是 modern allowlist 的别名
@ -211,47 +211,47 @@ OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及
- 如何选择提供商：
- `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔 allowlist）
- 密钥来源：
- 默认：profile store 和环境变量回退
- 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 以强制**仅使用 profile store**
- 该层存在的原因：
- 将“提供商 API 坏了 / 密钥无效”和“Gateway 网关智能体流水线坏了”区分开来
- 容纳小而隔离的回归测试（例如：OpenAI Responses / Codex Responses 的推理回放 + 工具调用流程）
- 默认：配置档案存储与环境变量回退
- 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅**使用配置档案存储
- 为什么存在这一层：
- 把“提供商 API 坏了 / 密钥无效”和“Gateway 网关智能体流水线坏了”区分开
- 容纳小而隔离的回归测试（例如：OpenAI Responses / Codex Responses 推理重放 + 工具调用流程）
### 第 2 层：Gateway 网关 + dev 智能体冒烟（也就是 “@openclaw” 实际做的事）
### 第 2 层：Gateway 网关 + dev 智能体冒烟（即 “@openclaw” 实际做的事）
- 测试：`src/gateway/gateway-models.profiles.live.test.ts`
- 目标：
- 启动一个进程内 Gateway 网关
- 创建 / 修补一个 `agent:dev:*` 会话（每次运行覆盖模型）
- 迭代带密钥的模型，并断言：
- “有意义”的响应（无工具）
- 一个真实工具调用可以正常工作（read probe）
- 可选的额外工具探测工作正常（exec+read probe）
- OpenAI 回归路径（仅工具调用 → 后续跟进）保持可用
- Probe 细节（这样你可以快速解释故障）：
- `read` probe：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 它，然后把 nonce 回显出来。
- `exec+read` probe：测试要求智能体用 `exec` 把 nonce 写入临时文件，然后再 `read` 回来。
- image probe：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat <CODE>`。
- 创建 / 修补一个 `agent:dev:*` 会话（每次运行按模型覆盖）
- 遍历带密钥的模型并断言：
- “有意义”的回复（无工具）
- 一个真实工具调用可正常工作（read 探针）
- 可选的额外工具探针（exec+read 探针）
- OpenAI 回归路径（仅工具调用 → 后续跟进）保持正常
- 探针细节（这样你就能快速解释故障）：
- `read` 探针：测试会在工作区中写入一个 nonce 文件，并要求智能体 `read` 它并把 nonce 回显出来。
- `exec+read` 探针：测试会要求智能体通过 `exec` 将一个 nonce 写入临时文件，然后再 `read` 回来。
- 图像探针：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat <CODE>`。
- 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。
- 启用方式：
- `pnpm test:live`（或者如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`）
- `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`）
- 如何选择模型：
- 默认：modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4）
- `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是 modern allowlist 的别名
- 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来收窄范围
- 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来缩小范围
- 如何选择提供商（避免“OpenRouter 全家桶”）：
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔 allowlist）
- 工具 + 图像探测在这个实时测试中始终开启：
- `read` probe + `exec+read` probe（工具压力测试）
- 当模型宣告支持图像输入时，会运行 image probe
- 流程（高层级）：
- 测试生成一个带有 “CAT” + 随机代码的小 PNG（`src/gateway/live-image-probe.ts`）
- 工具 + 图像探针在这个实时测试中始终启用：
- `read` 探针 + `exec+read` 探针（工具压力测试）
- 当模型声明支持图像输入时，会运行图像探针
- 流程（高层）：
- 测试生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`）
- 通过 `agent` `attachments: [{ mimeType: "image/png", content: "<base64>" }]` 发送
- Gateway 网关将附件解析到 `images[]` 中（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`）
- 嵌入式智能体向模型转发一个多模态用户消息
- 断言：回复包含 `cat` + 该代码（OCR 容错：允许少量错误）
- 嵌入式智能体向模型转发一条多模态用户消息
- 断言：回复包含 `cat` + 该代码（OCR 容错：允许轻微错误）
提示：如果想查看你的机器上能测什么（以及精确的 `provider/model` id），运行：
提示：如果你想查看你机器上可以测试什么（以及精确的 `provider/model` id），请运行：
```bash
openclaw models list
@ -261,9 +261,9 @@ openclaw models list --json
## 实时：CLI 后端冒烟（Codex CLI 或其他本地 CLI）
- 测试：`src/gateway/gateway-cli-backend.live.test.ts`
- 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线，同时不触碰你的默认配置。
- 目标：在不触碰默认配置的前提下，使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线。
- 启用：
- `pnpm test:live`（或者如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`）
- `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`）
- `OPENCLAW_LIVE_CLI_BACKEND=1`
- 默认值：
- 模型：`codex-cli/gpt-5.4`
@ -273,9 +273,9 @@ openclaw models list --json
- `OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.4"`
- `OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"`
- `OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'`
- `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图像附件（路径会注入到提示中）。
- `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"`，将图像文件路径作为 CLI 参数传递，而不是注入到提示中。
- `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`），控制在设置 `IMAGE_ARG` 时图像参数的传递方式。
- `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图像附件（路径会注入提示词）。
- `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 通过 CLI 参数传入图像文件路径，而不是通过提示词注入。
- `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）在设置 `IMAGE_ARG` 时控制图像参数的传递方式。
- `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮消息并验证 resume 流程。
示例：
@ -295,31 +295,31 @@ pnpm test:docker:live-cli-backend
说明：
- Docker 运行器位于 `scripts/test-live-cli-backend-docker.sh`。
- 它会在仓库 Docker 镜像中，以非 root 的 `node` 用户运行实时 CLI 后端冒烟测试。
- 对于 `codex-cli`，它会把 Linux 版 `@openai/codex` 包安装到可缓存的可写前缀 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 中（默认：`~/.cache/openclaw/docker-cli-tools`）。
- 它会在仓库 Docker 镜像中以非 root 的 `node` 用户身份运行实时 CLI 后端冒烟。
- 对于 `codex-cli`，它会把 Linux `@openai/codex` 包安装到一个带缓存的可写前缀 `OPENCLAW_DOCKER_CLI_TOOLS_DIR`（默认：`~/.cache/openclaw/docker-cli-tools`）。
## 实时：ACP 绑定冒烟（`/acp spawn ... --bind here`）
- 测试：`src/gateway/gateway-acp-bind.live.test.ts`
- 目标：使用实时 ACP 智能体验证真实 ACP 会话绑定流程：
- 目标：使用一个实时 ACP 智能体验证真实的 ACP 会话绑定流程：
- 发送 `/acp spawn <agent> --bind here`
- 就地绑定一个合成的消息渠道会话
- 在同一个会话上发送普通后续消息
- 验证后续消息会落到绑定的 ACP 会话转录中
- 原地绑定一个合成的消息渠道会话
- 在同一会话上发送一条普通后续消息
- 验证后续消息落入绑定的 ACP 会话转录中
- 启用：
- `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts`
- `OPENCLAW_LIVE_ACP_BIND=1`
- 默认值：
- ACP 智能体：`claude`
- 合成渠道：Slack 私信风格会话上下文
- 合成渠道：Slack 私信风格的会话上下文
- ACP 后端：`acpx`
- 覆盖项：
- `OPENCLAW_LIVE_ACP_BIND_AGENT=claude`
- `OPENCLAW_LIVE_ACP_BIND_AGENT=codex`
- `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@<version>'`
- 说明：
- 该 lane 使用 Gateway 网关 `chat.send` 表面，并附带仅管理员可用的合成来源路由字段，因此测试可以附加消息渠道上下文，而不需要伪装成外部投递。
- 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会为所选 ACP harness 智能体使用内置 `acpx` 插件自带的智能体注册表。
- 这个通道使用 Gateway 网关 `chat.send` 接口以及仅管理员可用的合成 originating-route 字段，以便测试附加消息渠道上下文，而无需假装向外部实际投递。
- 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会为所选 ACP 测试智能体使用嵌入式 `acpx` 插件的内置智能体注册表。
示例：
@ -338,14 +338,14 @@ pnpm test:docker:live-acp-bind
Docker 说明：
- Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。
- 它会 source `~/.profile`，把匹配的 CLI 认证材料暂存到容器中，将 `acpx` 安装到可写 npm 前缀中，并在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code` 或 `@openai/codex`）。
- 在 Docker 内，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 `acpx` 就能让来自已 source 配置档案的提供商环境变量继续对其子 harness CLI 可用。
- 它会 source `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，把 `acpx` 安装到一个可写的 npm 前缀中，然后在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code` 或 `@openai/codex`）。
- 在 Docker 内，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 acpx 就能让来自已 source profile 的提供商环境变量继续对其子 harness CLI 可用。
### 推荐的实时测试配方
### 推荐的实时配方
范围明确的 allowlist 最快、也最不容易出问题：
范围窄、显式的 allowlist 最快且最不容易出问题：
- 单模型，直接测试（无 Gateway 网关）：
- 单模型，直接运行（无 Gateway 网关）：
- `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts`
- 单模型，Gateway 网关冒烟：
@ -354,31 +354,31 @@ Docker 说明：
- 多个提供商上的工具调用：
- `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts`
- 聚焦 Google（Gemini API key + Antigravity）：
- Gemini（API key）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts`
- Google 聚焦（Gemini API 密钥 + Antigravity）：
- Gemini（API 密钥）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts`
- Antigravity（OAuth）：`OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts`
说明：
- `google/...` 使用 Gemini API（API key）。
- `google-antigravity/...` 使用 Antigravity OAuth bridge（Cloud Code Assist 风格的智能体端点）。
- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（独立认证 + 工具怪癖）。
- `google/...` 使用 Gemini API（API 密钥）。
- `google-antigravity/...` 使用 Antigravity OAuth 桥（Cloud Code Assist 风格的智能体端点）。
- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（单独的认证 + 工具行为差异）。
- Gemini API 与 Gemini CLI：
- API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API key / profile auth）；这通常是大多数用户所说的 “Gemini”。
- CLI：OpenClaw 通过 shell 调用本地 `gemini` 二进制；它有自己的认证方式，并且行为可能不同（流式传输 / 工具支持 / 版本偏差）。
- API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API 密钥 / 配置档案认证）；这是大多数用户口中的“Gemini”。
- CLI：OpenClaw 通过 shell 调用本地 `gemini` 二进制文件；它有自己的认证方式，行为也可能不同（流式传输 / 工具支持 / 版本偏差）。
## 实时：模型矩阵（我们的覆盖范围）
## 实时：模型矩阵（我们覆盖什么）
没有固定的“CI 模型列表”（实时测试是按需启用的），但以下是**推荐**在有密钥的开发机器上定期覆盖的模型。
这里没有固定的“CI 模型列表”（实时测试是按需启用的），但以下是建议在有密钥的开发机器上定期覆盖的模型。
### 现代冒烟集合（工具调用 + 图像）
### 现代冒烟集（工具调用 + 图像）
这是我们预期应持续保持可用的“常用模型”运行：
这是我们期望始终保持可用的“常用模型”运行：
- OpenAI（非 Codex）：`openai/gpt-5.4`（可选：`openai/gpt-5.4-mini`）
- OpenAI Codex：`openai-codex/gpt-5.4`
- Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`）
- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免更旧的 Gemini 2.x 模型）
- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免较旧的 Gemini 2.x 模型）
- Google（Antigravity）：`google-antigravity/claude-opus-4-6-thinking` 和 `google-antigravity/gemini-3-flash`
- Z.AI（GLM）：`zai/glm-4.7`
- MiniMax：`minimax/MiniMax-M2.7`
@ -396,44 +396,44 @@ Docker 说明：
- Z.AI（GLM）：`zai/glm-4.7`
- MiniMax：`minimax/MiniMax-M2.7`
可选的附加覆盖（最好有）：
可选的额外覆盖（有则更好）：
- xAI：`xai/grok-4`（或当前最新可用版本）
- Mistral：`mistral/`…（选择一个你已启用、支持 “tools” 的模型）
- xAI：`xai/grok-4`（或最新可用版本）
- Mistral：`mistral/`…（选择一个你已启用、支持“tools”的模型）
- Cerebras：`cerebras/`…（如果你有访问权限）
- LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式）
### Vision：图像发送（附件 → 多模态消息）
### 视觉：图像发送（附件 → 多模态消息）
在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 的支持视觉的变体等），以执行 image probe。
在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 支持视觉的变体等），以覆盖图像探针。
### 聚合器 / 替代 Gateway 网关
### 聚合器 / 备用 Gateway 网关
如果你启用了相关密钥，我们也支持通过以下方式测试：
如果你已启用相关密钥，我们也支持通过以下方式测试：
- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选）
- OpenRouter：`openrouter/...`（数百种模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选项）
- OpenCode：`opencode/...` 用于 Zen，`opencode-go/...` 用于 Go（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证）
你还可以在实时矩阵中加入更多提供商（如果你有凭证 / 配置）：
如果你有凭证 / 配置，也可以把以下更多提供商加入实时矩阵：
- 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`google-gemini-cli`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot`
- 通过 `models.providers`（自定义端点）：`minimax`（云 / API），以及任何兼容 OpenAI / Anthropic 的代理（LM Studio、vLLM、LiteLLM 等）
- 通过 `models.providers`（自定义端点）：`minimax`（云 / API），以及任意兼容 OpenAI / Anthropic 的代理（LM Studio、vLLM、LiteLLM 等）
提示：不要试图在文档里硬编码“所有模型”。权威列表始终是你机器上 `discoverModels(...)` 返回的内容 + 当前可用的密钥。
提示：不要尝试在文档里硬编码“所有模型”。权威列表应始终以你机器上的 `discoverModels(...)` 返回结果以及当前可用密钥为准。
## 凭证（绝不要提交）
实时测试发现凭证的方式与 CLI 相同。实际含义如下：
- 如果 CLI 能工作，实时测试通常也应该能找到相同的密钥。
- 如果实时测试说“没有凭证”，就像排查 `openclaw models list` / 模型选择那样去排查。
- 如果 CLI 可用，实时测试通常也应能找到相同的密钥。
- 如果实时测试提示“没有凭证”，请按你调试 `openclaw models list` / 模型选择时的方式来调试。
- 每个智能体的认证 profile：`~/.openclaw/agents/<agentId>/agent/auth-profiles.json`（这就是实时测试里 “profile keys” 的含义）
- 每个智能体的认证配置档案：`~/.openclaw/agents/<agentId>/agent/auth-profiles.json`（这就是实时测试中“配置档案密钥”的含义）
- 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`）
- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时测试 home 中，但它不是主要的 profile-key 存储）
- 本地实时运行默认会复制活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及支持的外部 CLI 认证目录到临时测试 home；在该暂存配置中会移除 `agents.*.workspace` / `agentDir` 路径覆盖，以便 probe 不会落到你的真实主机工作区。
- 旧版状态目录：`~/.openclaw/credentials/`（如果存在，会被复制到暂存的实时 home 中，但它不是主配置档案密钥存储）
- 本地实时运行默认会复制当前激活的配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录到临时测试 home 中；暂存配置中的 `agents.*.workspace` / `agentDir` 路径覆盖会被移除，以便探针不会落到你的真实主机工作区中。
如果你想依赖环境变量密钥（例如导出在你的 `~/.profile` 中），请在本地测试前运行 `source ~/.profile`，或者使用下面的 Docker 运行器（它们可以把 `~/.profile` 挂载到容器中）。
如果你想依赖环境变量密钥（例如在 `~/.profile` 中导出），请在本地测试前运行 `source ~/.profile`，或者使用下面的 Docker 运行器（它们可以把 `~/.profile` 挂载进容器）。
## Deepgram 实时（音频转录）
@ -451,9 +451,9 @@ Docker 说明：
- 测试：`extensions/comfy/comfy.live.test.ts`
- 启用：`OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts`
- 范围：
- 执行内置 comfy 图像、视频和 `music_generate` 路径
- 除非已配置 `models.providers.comfy.<capability>`，否则会跳过对应能力
- 在修改 comfy 工作流提交、轮询、下载或插件注册后很有用
- 覆盖内置 comfy 图像、视频和 `music_generate` 路径
- 除非已配置 `models.providers.comfy.<capability>`，否则会跳过各项能力
- 适合在修改 comfy 工作流提交、轮询、下载或插件注册后运行
## 图像生成实时测试
@ -461,10 +461,10 @@ Docker 说明：
- 命令：`pnpm test:live src/image-generation/runtime.live.test.ts`
- Harness：`pnpm test:live:media image`
- 范围：
- 枚举每一个已注册的图像生成提供商插件
- 枚举每个已注册的图像生成提供商插件
- 在探测前从你的登录 shell（`~/.profile`）加载缺失的提供商环境变量
- 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证
- 跳过没有可用认证 / profile / 模型的提供商
- 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证配置档案，这样 `auth-profiles.json` 中过期的测试密钥就不会掩盖真实的 shell 凭证
- 跳过没有可用认证 / 配置档案 / 模型的提供商
- 通过共享运行时能力运行标准图像生成变体：
- `google:flash-generate`
- `google:pro-generate`
@ -473,12 +473,12 @@ Docker 说明：
- 当前覆盖的内置提供商：
- `openai`
- `google`
- 可选收窄：
- 可选范围缩小：
- `OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="openai,google"`
- `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-1,google/gemini-3.1-flash-image-preview"`
- `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit"`
- 可选认证行为：
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅环境变量覆盖
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置档案存储认证并忽略仅环境变量覆盖
## 音乐生成实时测试
@ -486,23 +486,23 @@ Docker 说明：
- 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts`
- Harness：`pnpm test:live:media music`
- 范围：
- 执行共享内置音乐生成提供商路径
- 覆盖共享的内置音乐生成提供商路径
- 当前覆盖 Google 和 MiniMax
- 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量
- 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证
- 跳过没有可用认证 / profile / 模型的提供商
- 在可用时运行两个已声明的运行时模式：
- `generate`：仅提示词输入
- `edit`：当提供商声明 `capabilities.edit.enabled` 时
- 当前共享 lane 覆盖：
- 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证配置档案，这样 `auth-profiles.json` 中过期的测试密钥就不会掩盖真实的 shell 凭证
- 跳过没有可用认证 / 配置档案 / 模型的提供商
- 在可用时运行两种已声明的运行时模式：
- 仅提示词输入的 `generate`
- 当提供商声明 `capabilities.edit.enabled` 时运行 `edit`
- 当前共享通道覆盖：
- `google`：`generate`、`edit`
- `minimax`：`generate`
- `comfy`：使用单独的 Comfy 实时测试文件，不在该共享扫描中
- 可选收窄：
- `comfy`：单独的 Comfy 实时文件，不在此共享扫描中
- 可选范围缩小：
- `OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"`
- `OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.5+"`
- 可选认证行为：
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅环境变量覆盖
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置档案存储认证并忽略仅环境变量覆盖
## 视频生成实时测试
@ -510,36 +510,36 @@ Docker 说明：
- 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts`
- Harness：`pnpm test:live:media video`
- 范围：
- 执行共享内置视频生成提供商路径
- 覆盖共享的内置视频生成提供商路径
- 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量
- 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证
- 跳过没有可用认证 / profile / 模型的提供商
- 在可用时运行两个已声明的运行时模式：
- `generate`：仅提示词输入
- `imageToVideo`：当提供商声明 `capabilities.imageToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地图像输入时
- `videoToVideo`：当提供商声明 `capabilities.videoToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地视频输入时
- 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证配置档案，这样 `auth-profiles.json` 中过期的测试密钥就不会掩盖真实的 shell 凭证
- 跳过没有可用认证 / 配置档案 / 模型的提供商
- 在可用时运行两种已声明的运行时模式：
- 仅提示词输入的 `generate`
- 当提供商声明 `capabilities.imageToVideo.enabled` 且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地图像输入时，运行 `imageToVideo`
- 当提供商声明 `capabilities.videoToVideo.enabled` 且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地视频输入时，运行 `videoToVideo`
- 当前在共享扫描中已声明但被跳过的 `imageToVideo` 提供商：
- `vydra`，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图像 URL
- 当前 `videoToVideo` 的实时覆盖：
- `vydra`，因为内置 `veo3` 仅支持文本，内置 `kling` 则需要远程图像 URL
- 当前 `videoToVideo` 实时覆盖：
- 仅 `runway`，且所选模型为 `runway/gen4_aleph`
- 当前在共享扫描中已声明但被跳过的 `videoToVideo` 提供商：
- `alibaba`、`qwen`、`xai`，因为这些路径当前需要远程 `http(s)` / MP4 参考 URL
- `google`，因为当前共享 Gemini / Veo lane 使用基于本地 buffer 的输入，而该路径在共享扫描中不被接受
- `openai`，因为当前共享 lane 无法保证具备组织特定的视频修补 / remix 访问权限
- 可选收窄：
- `google`，因为当前共享 Gemini / Veo 通道使用的是基于本地 buffer 的输入，而该路径在共享扫描中不被接受
- `openai`，因为当前共享通道缺少组织特定的视频修复 / 混编访问保证
- 可选范围缩小：
- `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"`
- `OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"`
- 可选认证行为：
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅环境变量覆盖
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用配置档案存储认证并忽略仅环境变量覆盖
## 媒体实时 harness
## 媒体实时测试 harness
- 命令：`pnpm test:live:media`
- 目的：
- 通过一个仓库原生入口运行共享的图像、音乐和视频实时测试套件
- 自动从 `~/.profile` 加载缺失的提供商环境变量
- 默认自动将每个测试套件收窄为当前具有可用认证的提供商
- 复用 `scripts/test-live.mjs`，因此心跳与 quiet 模式行为保持一致
- 默认自动将每个测试套件缩小到当前拥有可用认证的提供商
- 复用 `scripts/test-live.mjs`，这样心跳与静默模式行为保持一致
- 示例：
- `pnpm test:live:media`
- `pnpm test:live:media image video --providers openai,google,minimax`
@ -550,123 +550,110 @@ Docker 说明：
这些 Docker 运行器分成两类：
- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行与其匹配的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），会挂载你的本地配置目录和工作区（如果已挂载，还会 source `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。
- Docker 实时运行器默认使用更小的冒烟上限，以便完整 Docker 扫描仍然可行：
`test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，并且
- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像内运行它们各自匹配的配置档案密钥实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），同时挂载你的本地配置目录和工作区（若已挂载，也会 source `~/.profile`）。对应的本地入口点分别是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。
- Docker 实时运行器默认使用较小的冒烟上限，以保持完整 Docker 扫描的可操作性：
`test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，而
`test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、
`OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、
`OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000`，以及
`OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你
明确想运行更大范围的穷举扫描时，可以覆盖这些环境变量。
- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后复用它运行两个实时 Docker lane。
`OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 以及
`OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。如果你明确想要更大的详尽扫描，请覆盖这些环境变量。
- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后在两个 Docker 实时通道中复用它。
- 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层级的集成路径。
实时模型 Docker 运行器还会只 bind-mount 所需的 CLI 认证 home（如果运行未收窄，则挂载所有受支持的认证 home），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 可以刷新令牌，而不会修改主机认证存储：
实时模型 Docker 运行器还会仅绑定挂载所需的 CLI 认证 home（如果运行未缩小范围，则挂载全部受支持项），然后在运行前将其复制到容器 home 中，这样外部 CLI OAuth 可以刷新令牌，而不会修改主机认证存储：
- 直连模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`）
- 直接模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`）
- ACP 绑定冒烟：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`）
- CLI 后端冒烟：`pnpm test:docker:live-cli-backend`（脚本：`scripts/test-live-cli-backend-docker.sh`）
- Gateway 网关 + dev 智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`）
- Open WebUI 实时冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`）
- 新手引导向导（TTY，完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`）
- Gateway 网关网络（两个容器，WS 认证 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`）
- MCP 渠道桥接（预置 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`）
- Gateway 网关网络（两个容器，WS 认证 + health）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`）
- MCP 渠道桥（带种子 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`）
- 插件（安装冒烟 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`）
实时模型 Docker 运行器还会以只读方式 bind-mount 当前 checkout，
并将其暂存到容器中的临时 workdir。这样可以在保持运行时
镜像精简的同时，仍然让 Vitest 对你当前本地的精确源码 / 配置运行。
暂存步骤会跳过大型本地专用缓存和 app 构建输出，例如
`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及 app 本地的 `.build` 或
Gradle 输出目录，因此 Docker 实时运行不会花几分钟去复制
机器特定工件。
它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关实时探测
就不会在容器中启动真实的 Telegram / Discord / 等渠道 worker。
`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要收窄或排除该 Docker lane 中的 Gateway 网关
实时覆盖时，也可以一并传入
实时模型 Docker 运行器还会以只读方式绑定挂载当前 checkout，并将其暂存到容器内的临时工作目录中。这样可以保持运行时镜像精简，同时仍能让 Vitest 针对你精确的本地源码 / 配置运行。
暂存步骤会跳过大型本地缓存和应用构建输出，例如
`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地 `.build` 或
Gradle 输出目录，这样 Docker 实时运行就不会花费数分钟复制机器特定的制品。
它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，因此 Gateway 网关实时探针不会在容器内启动真实的 Telegram / Discord / 等渠道 worker。
`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要缩小范围或从该 Docker 通道中排除 Gateway 网关实时覆盖时，也请一并传入
`OPENCLAW_LIVE_GATEWAY_*`。
`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个
启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器，
再针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器，通过
Open WebUI 完成登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过
Open WebUI 的 `/api/chat/completions` 代理发送
一个真实聊天请求。
首次运行可能明显更慢，因为 Docker 可能需要拉取
Open WebUI 镜像，并且 Open WebUI 可能需要完成自身的冷启动设置。
这个 lane 需要可用的实时模型密钥，而 `OPENCLAW_PROFILE_FILE`
（默认 `~/.profile`）是在 Docker 化运行中提供该密钥的主要方式。
成功运行会打印一小段 JSON 载荷，例如 `{ "ok": true, "model":
`test:docker:openwebui` 是一个更高层级的兼容性冒烟：它会启动一个启用了 OpenAI 兼容 HTTP 端点的
OpenClaw Gateway 网关容器，针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器，通过
Open WebUI 登录，验证 `/api/models` 暴露 `openclaw/default`，然后通过
Open WebUI 的 `/api/chat/completions` 代理发送一次真实聊天请求。
第一次运行可能会明显更慢，因为 Docker 可能需要拉取
Open WebUI 镜像，而且 Open WebUI 也可能需要完成自己的冷启动设置。
这个通道要求提供一个可用的实时模型密钥，而 `OPENCLAW_PROFILE_FILE`
（默认 `~/.profile`）是在 Docker 化运行中提供它的主要方式。
成功运行会打印一个小型 JSON 负载，例如 `{ "ok": true, "model":
"openclaw/default", ... }`。
`test:docker:mcp-channels` 刻意设计为确定性运行，不需要
真实的 Telegram、Discord 或 iMessage 账号。它会启动一个预置的 Gateway 网关
容器，启动第二个会生成 `openclaw mcp serve` 的容器，然后
验证路由后的会话发现、转录读取、附件元数据、
实时事件队列行为、出站发送路由，以及 Claude 风格的渠道 +
权限通知，这些都通过真实的 stdio MCP bridge 完成。通知检查
会直接检查原始 stdio MCP frame，因此该冒烟测试验证的是
bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴露了什么。
`test:docker:mcp-channels` 是有意保持确定性的，不需要真实的
Telegram、Discord 或 iMessage 账号。它会启动一个带种子的 Gateway 网关
容器，随后启动第二个容器来运行 `openclaw mcp serve`，然后
通过真实的 stdio MCP bridge 验证路由会话发现、转录读取、附件元数据、
实时事件队列行为、出站发送路由，以及类 Claude 的渠道 +
权限通知。通知检查会直接检查原始的 stdio MCP 帧，因此该冒烟测试验证的是
bridge 实际发出的内容，而不仅仅是某个特定客户端 SDK 恰好暴露出来的内容。
手动 ACP 自然语言线程冒烟（非 CI）：
- `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel <discord-channel-id> ...`
- 为回归 / 调试工作流保留这个脚本。之后它可能还会再次用于 ACP 线程路由验证，因此不要删除它。
- 请保留此脚本用于回归 / 调试工作流。后续仍可能需要它来验证 ACP 线程路由，因此不要删除它。
常用环境变量：
- `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`）挂载到 `/home/node/.openclaw`
- `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`）挂载到 `/home/node/.openclaw/workspace`
- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前 source
- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于 Docker 内缓存 CLI 安装
- `$HOME` 下的外部 CLI 认证目录 / 文件会以只读方式挂载到 `/host-auth...`，然后在测试开始前复制到 `/home/node/...`
- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于 Docker 内缓存的 CLI 安装
- `$HOME` 下的外部 CLI 认证目录 / 文件会以只读方式挂载到 `/host-auth...` 下，然后在测试开始前复制到 `/home/node/...`
- 默认目录：`.minimax`
- 默认文件：`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json`
- 收窄后的提供商运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件
- 也可以手动覆盖：`OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或逗号列表，例如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex`
- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于收窄运行范围
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内筛选提供商
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 确保凭证来自 profile store（而不是环境变量）
- `OPENCLAW_OPENWEBUI_MODEL=...` 选择 Open WebUI 冒烟测试中 Gateway 网关暴露的模型
- `OPENCLAW_OPENWEBUI_PROMPT=...` 覆盖 Open WebUI 冒烟测试所使用的 nonce 检查提示词
- 已缩小提供商范围的运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件
- 可使用 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none` 或逗号列表（如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex`）手动覆盖
- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器中过滤提供商
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 确保凭证来自配置档案存储（而不是环境变量）
- `OPENCLAW_OPENWEBUI_MODEL=...` 选择 Open WebUI 冒烟中由 Gateway 网关暴露的模型
- `OPENCLAW_OPENWEBUI_PROMPT=...` 覆盖 Open WebUI 冒烟使用的 nonce 检查提示词
- `OPENWEBUI_IMAGE=...` 覆盖固定的 Open WebUI 镜像标签
## 文档完整性检查
编辑文档后运行文档检查：`pnpm check:docs`。
如果还需要页内标题检查，请运行完整的 Mintlify 锚点校验：`pnpm docs:check-links:anchors`。
修改文档后运行文档检查：`pnpm check:docs`。
如果你还需要完整的 Mintlify 锚点验证，包括页内标题检查，请运行：`pnpm docs:check-links:anchors`。
## 离线回归（CI 安全）
这些是无需真实提供商的“真实流水线”回归：
以下是无需真实提供商的“真实流水线”回归：
- Gateway 网关工具调用（模拟 OpenAI，真实 Gateway 网关 + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”）
- Gateway 网关向导（WS `wizard.start` / `wizard.next`，写入配置 + 强制认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”）
- Gateway 网关向导（WS `wizard.start` / `wizard.next`，强制写入配置 + auth）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”）
## 智能体可靠性评估（Skills）
我们已经有一些 CI 安全的测试，行为上类似“智能体可靠性评估”：
我们已经有一些 CI 安全的测试，它们的行为类似“智能体可靠性评估”：
- 通过真实 Gateway 网关 + 智能体循环进行模拟工具调用（`src/gateway/gateway.test.ts`）。
- 验证会话接线和配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。
针对 Skills 仍然缺少的内容（见 [Skills](/zh-CN/tools/skills)）：
Skills 方面仍然缺失的内容（参见 [Skills](/zh-CN/tools/skills)）：
- **决策**：当提示中列出 Skills 时，智能体是否会选择正确的 skill（或避免选择无关 skill）？
- **合规**：智能体在使用前是否会读取 `SKILL.md`，并遵循要求的步骤 / 参数？
- **工作流契约**：断言工具顺序、会话历史承接和沙箱边界的多轮场景。
- **决策能力：** 当提示词中列出 Skills 时，智能体是否会选择正确的 Skill（或避开无关的 Skill）？
- **合规性：** 智能体是否会在使用前读取 `SKILL.md` 并遵循所需步骤 / 参数？
- **工作流契约：** 断言工具顺序、会话历史延续和沙箱边界的多轮场景。
未来的评估应首先保持确定性：
- 一个使用模拟提供商的场景运行器，用于断言工具调用 + 顺序、skill 文件读取以及会话接线。
- 一小组聚焦 skill 的场景测试（使用与避免、gate、提示注入）。
- 仅在 CI 安全套件就位之后，再加入可选的实时评估（按需启用、环境变量 gate）。
- 一个使用模拟提供商的场景运行器，用于断言工具调用 + 顺序、Skill 文件读取和会话接线。
- 一小组聚焦 Skill 的场景（使用 vs 避免、门控、提示词注入）。
- 只有在 CI 安全套件到位后，才添加可选的实时评估（按需启用、环境变量门控）。
## 契约测试（插件和渠道形状）
## 契约测试（插件与渠道形状）
契约测试会验证每个已注册插件和渠道都符合其
接口契约。它们会遍历所有发现到的插件，并运行一组
形状和行为断言。默认的 `pnpm test` 单元 lane 会刻意
跳过这些共享 seam 和冒烟文件；当你修改共享渠道或提供商表面时，
请显式运行这些契约命令。
契约测试用于验证每个已注册插件和渠道都符合其接口契约。它们会遍历所有已发现的插件，并运行一组形状和行为断言。默认的 `pnpm test` 单元通道会有意跳过这些共享边界和冒烟文件；当你修改共享渠道或提供商接口时，请显式运行契约命令。
### 命令
@ -681,7 +668,7 @@ bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴
- **plugin** - 基本插件形状（id、名称、能力）
- **setup** - 设置向导契约
- **session-binding** - 会话绑定行为
- **outbound-payload** - 消息载荷结构
- **outbound-payload** - 消息负载结构
- **inbound** - 入站消息处理
- **actions** - 渠道动作处理器
- **threading** - 线程 ID 处理
@ -692,7 +679,7 @@ bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴
位于 `src/plugins/contracts/*.contract.test.ts`。
- **status** - 渠道状态探测
- **status** - 渠道状态探针
- **registry** - 插件注册表形状
### 提供商契约
@ -700,7 +687,7 @@ bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴
位于 `src/plugins/contracts/*.contract.test.ts`：
- **auth** - 认证流程契约
- **auth-choice** - 认证选择 / 选择逻辑
- **auth-choice** - 认证选项 / 选择
- **catalog** - 模型目录 API
- **discovery** - 插件发现
- **loader** - 插件加载
@ -710,21 +697,21 @@ bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴
### 何时运行
- 修改 plugin-sdk 导出或子路径之后
- 修改 `plugin-sdk` 导出或子路径之后
- 添加或修改渠道或提供商插件之后
- 重构插件注册或发现逻辑之后
- 重构插件注册或发现之后
契约测试会在 CI 中运行，并且不需要真实 API key。
契约测试会在 CI 中运行，不需要真实 API 密钥。
## 添加回归测试（指南）
当你修复了在实时测试中发现的提供商 / 模型问题时：
当你修复在实时测试中发现的提供商 / 模型问题时：
- 如果可能，添加一个 CI 安全的回归测试（模拟 / 存根提供商，或捕获精确的请求形状转换）
- 如果问题天然只能通过实时测试发现（速率限制、认证策略），那就让实时测试保持收窄，并通过环境变量按需启用
- 优先选择能捕获该缺陷的最小层级：
- 提供商请求转换 / 回放缺陷 → 直连模型测试
- 如果可能，添加一个 CI 安全的回归测试（模拟 / stub 提供商，或捕获精确的请求形状转换）
- 如果问题天然只能在实时环境中出现（速率限制、认证策略），请让实时测试保持范围窄，并通过环境变量按需启用
- 优先定位到能捕获该缺陷的最小层级：
- 提供商请求转换 / 重放缺陷 → 直接模型测试
- Gateway 网关会话 / 历史 / 工具流水线缺陷 → Gateway 网关实时冒烟或 CI 安全的 Gateway 网关模拟测试
- SecretRef 遍历护栏：
- `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言遍历分段 exec id 会被拒绝。
- 如果你在 `src/secrets/target-registry-data.ts` 中新增了一个 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类目标 id 时故意失败，以确保新类别不会被悄悄跳过。
- SecretRef 遍历防护：
- `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类推导一个采样目标，然后断言遍历段 exec id 会被拒绝。
- 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类目标 id 时有意失败，以确保新类别不会被悄悄跳过。

72
docs/zh-CN/reference/test.md
View File

@ -1,60 +1,60 @@
---
read_when:
- 运行或修复测试时
summary: 如何在本地运行测试（Vitest），以及何时使用 force/coverage 模式
summary: 如何在本地运行测试（Vitest）以及何时使用 force/coverage 模式
title: 测试
x-i18n:
generated_at: "2026-04-06T16:36:00Z"
generated_at: "2026-04-06T18:25:14Z"
model: gpt-5.4
provider: openai
source_hash: a2a664aed9c2cc37144311d0257320268fe29d36da642775278f29bfc305bdeb
source_hash: daae3a499d78023da270e7d0e190c94a2eee2a3d42cd6c15cf551db48a18e6f4
source_path: reference/test.md
workflow: 15
---
# 测试
- 完整测试工具包（测试套件、实时测试、Docker）：[测试](/zh-CN/help/testing)
- 完整测试工具集（套件、实时、Docker）：[测试](/zh-CN/help/testing)
- `pnpm test:force`：终止任何仍在占用默认控制端口的残留 Gateway 网关进程，然后使用隔离的 Gateway 网关端口运行完整的 Vitest 测试套件，以避免服务端测试与正在运行的实例发生冲突。当之前的 Gateway 网关运行遗留了对端口 18789 的占用时，请使用此命令。
- `pnpm test:coverage`：使用 V8 覆盖率运行单元测试套件（通过 `vitest.unit.config.ts`）。全局阈值为 70% 的行/分支/函数/语句覆盖率。覆盖率会排除集成度较高的入口点（CLI 连接代码、gateway/telegram 桥接、webchat 静态服务器），以便将目标聚焦于适合单元测试的逻辑。
- `pnpm test:force`：终止任何仍在占用默认控制端口的残留 Gateway 网关进程，然后使用隔离的 Gateway 网关端口运行完整的 Vitest 套件，以避免服务器测试与正在运行的实例发生冲突。当之前的 Gateway 网关运行导致端口 `18789` 仍被占用时，使用此命令。
- `pnpm test:coverage`：使用 V8 覆盖率运行单元测试套件（通过 `vitest.unit.config.ts`）。全局阈值为 70% 的行数/分支/函数/语句。覆盖率会排除集成较重的入口点（CLI 连接代码、gateway/telegram 桥接、webchat 静态服务器），以便将目标聚焦在适合单元测试的逻辑上。
- `pnpm test:coverage:changed`：仅对自 `origin/main` 以来变更的文件运行单元测试覆盖率。
- `pnpm test:changed`：当差异仅涉及可路由的源文件/测试文件时，将变更的 git 路径展开到有作用域的 Vitest 通道中。配置/设置更改仍会回退到原生根项目运行，因此在需要时，连接代码改动仍会触发更广泛的重新运行。
- `pnpm test`：通过有作用域的 Vitest 通道路由显式的文件/目录目标。未指定目标的运行现在会依次执行五个分片配置（`vitest.full-core-unit.config.ts`、`vitest.full-core-runtime.config.ts`、`vitest.full-agentic.config.ts`、`vitest.full-auto-reply.config.ts`、`vitest.full-extensions.config.ts`），而不是使用单个庞大的根项目进程。
- 选定的 `plugin-sdk` 和 `commands` 测试文件现在会通过专用的轻量通道进行路由，这些通道仅保留 `test/setup.ts`，而运行时较重的用例仍保留在原有通道中。
- 选定的 `plugin-sdk` 和 `commands` 辅助源文件也会将 `pnpm test:changed` 映射到这些轻量通道中的显式同级测试，因此对小型辅助函数的修改可以避免重新运行那些依赖重型运行时的测试套件。
- `auto-reply` 现在也拆分为三个专用配置（`core`、`top-level`、`reply`），这样回复测试框架就不会主导那些更轻量的顶层状态/token/辅助函数测试。
- `pnpm test:changed`：当 diff 仅涉及可路由的源文件/测试文件时，将变更的 git 路径展开为带作用域的 Vitest 通道。配置/设置变更仍会回退到原生根项目运行，以便在需要时对连接代码改动进行更广泛的重跑。
- `pnpm test`：通过带作用域的 Vitest 通道路由显式的文件/目录目标。未指定目标的运行现在会依次执行六个分片配置（`vitest.full-core-unit-src.config.ts`、`vitest.full-core-unit-support.config.ts`、`vitest.full-core-runtime.config.ts`、`vitest.full-agentic.config.ts`、`vitest.full-auto-reply.config.ts`、`vitest.full-extensions.config.ts`），而不是使用单个庞大的根项目进程。
- 选定的 `plugin-sdk` 和 `commands` 测试文件现在会通过专用的轻量通道路由，这些通道只保留 `test/setup.ts`，而运行时较重的用例仍留在原有通道中。
- 选定的 `plugin-sdk` 和 `commands` 辅助源文件也会将 `pnpm test:changed` 映射到这些轻量通道中的显式同级测试，因此对小型辅助函数的修改无需重跑那些由重量级运行时支撑的测试套件。
- `auto-reply` 现在也拆分为三个专用配置（`core`、`top-level`、`reply`），这样 reply 测试框架就不会主导那些更轻量的顶层状态/token/辅助函数测试。
- 基础 Vitest 配置现在默认使用 `pool: "threads"` 和 `isolate: false`，并在整个仓库配置中启用共享的非隔离运行器。
- `pnpm test:channels` 运行 `vitest.channels.config.ts`。
- `pnpm test:extensions` 运行 `vitest.extensions.config.ts`。
- `pnpm test:extensions`：运行扩展/插件测试套件。
- `pnpm test:perf:imports`：启用 Vitest 导入时长 + 导入明细报告，同时仍对显式文件/目录目标使用有作用域的通道路由。
- `pnpm test:perf:imports`：启用 Vitest 导入时长 + 导入明细报告，同时仍对显式文件/目录目标使用带作用域的通道路由。
- `pnpm test:perf:imports:changed`：相同的导入性能分析，但仅针对自 `origin/main` 以来变更的文件。
- `pnpm test:perf:changed:bench -- --ref <git-ref>`：对已路由的 changed 模式路径与相同已提交 git 差异下的原生根项目运行进行基准测试。
- `pnpm test:perf:changed:bench -- --ref <git-ref>`：针对同一组已提交的 git diff，将已路由的 changed 模式路径与原生根项目运行进行基准对比。
- `pnpm test:perf:changed:bench -- --worktree`：对当前工作树的变更集进行基准测试，无需先提交。
- `pnpm test:perf:profile:main`：为 Vitest 主线程写入 CPU 性能分析文件（`.artifacts/vitest-main-profile`）。
- `pnpm test:perf:profile:runner`：为单元测试运行器写入 CPU + 堆性能分析文件（`.artifacts/vitest-runner-profile`）。
- Gateway 网关集成测试：通过 `OPENCLAW_TEST_INCLUDE_GATEWAY=1 pnpm test` 或 `pnpm test:gateway` 显式启用。
- `pnpm test:e2e`：运行 Gateway 网关端到端冒烟测试（多实例 WS/HTTP/节点配对）。默认在 `vitest.e2e.config.ts` 中使用 `threads` + `isolate: false` 和自适应 worker；可通过 `OPENCLAW_E2E_WORKERS=<n>` 调整，并设置 `OPENCLAW_E2E_VERBOSE=1` 以输出详细日志。
- `pnpm test:live`：运行提供商实时测试（minimax/zai）。需要 API 密钥以及 `LIVE=1`（或提供商专用的 `*_LIVE_TEST=1`）才能取消跳过。
- `pnpm test:docker:openwebui`：启动 Docker 化的 OpenClaw + Open WebUI，通过 Open WebUI 登录，检查 `/api/models`，然后通过 `/api/chat/completions` 运行一次真实的代理聊天。需要可用的实时模型密钥（例如 `~/.profile` 中的 OpenAI），会拉取外部 Open WebUI 镜像，并且不像常规单元/e2e 测试套件那样预期具有 CI 稳定性。
- `pnpm test:docker:mcp-channels`：启动一个带种子的 Gateway 网关容器和第二个客户端容器，后者会启动 `openclaw mcp serve`，然后验证经路由的会话发现、转录读取、附件元数据、实时事件队列行为、出站发送路由，以及通过真实 stdio 桥接传递的 Claude 风格渠道 + 权限通知。Claude 通知断言会直接读取原始 stdio MCP 帧，因此该冒烟测试反映的是桥接实际发出的内容。
- `pnpm test:perf:profile:main`：为 Vitest 主线程写入 CPU profile（`.artifacts/vitest-main-profile`）。
- `pnpm test:perf:profile:runner`：为单元测试运行器写入 CPU + 堆 profile（`.artifacts/vitest-runner-profile`）。
- Gateway 网关集成测试：通过 `OPENCLAW_TEST_INCLUDE_GATEWAY=1 pnpm test` 或 `pnpm test:gateway` 选择启用。
- `pnpm test:e2e`：运行 Gateway 网关端到端冒烟测试（多实例 WS/HTTP/节点配对）。在 `vitest.e2e.config.ts` 中默认使用 `threads` + `isolate: false` 以及自适应 workers；可通过 `OPENCLAW_E2E_WORKERS=<n>` 调整，并设置 `OPENCLAW_E2E_VERBOSE=1` 以输出详细日志。
- `pnpm test:live`：运行 provider 实时测试（minimax/zai）。需要 API 密钥以及 `LIVE=1`（或特定 provider 的 `*_LIVE_TEST=1`）才能取消跳过。
- `pnpm test:docker:openwebui`：启动 Docker 化的 OpenClaw + Open WebUI，通过 Open WebUI 登录，检查 `/api/models`，然后通过 `/api/chat/completions` 运行一次真实的代理聊天。需要可用的实时模型密钥（例如 `~/.profile` 中的 OpenAI），会拉取外部 Open WebUI 镜像，并不像普通单元测试/端到端测试套件那样要求在 CI 中保持稳定。
- `pnpm test:docker:mcp-channels`：启动一个已预置数据的 Gateway 网关容器和第二个客户端容器，后者会启动 `openclaw mcp serve`，然后通过真实的 stdio 桥接验证路由对话发现、转录读取、附件元数据、实时事件队列行为、出站发送路由，以及 Claude 风格的渠道 + 权限通知。Claude 通知断言会直接读取原始 stdio MCP 帧，因此该冒烟测试反映的是桥接实际发出的内容。
## 本地 PR gate
## 本地 PR 门禁
对于本地 PR 合并/gate 检查，请运行：
对于本地 PR 落地/门禁检查，运行：
- `pnpm check`
- `pnpm build`
- `pnpm test`
- `pnpm check:docs`
如果 `pnpm test` 在高负载主机上发生偶发失败，请先重跑一次，再将其视为回归问题；然后使用 `pnpm test <path/to/test>` 进行隔离。对于内存受限的主机，请使用：
如果 `pnpm test` 在负载较高的主机上出现偶发失败，先重跑一次，再将其视为回归问题；然后使用 `pnpm test <path/to/test>` 进行隔离。对于内存受限的主机，使用：
- `OPENCLAW_VITEST_MAX_WORKERS=1 pnpm test`
- `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/tmp/openclaw-vitest-cache pnpm test:changed`
## 模型延迟基准测试（本地密钥）
## 模型延迟基准（本地密钥）
脚本：[`scripts/bench-model.ts`](https://github.com/openclaw/openclaw/blob/main/scripts/bench-model.ts)
@ -62,14 +62,14 @@ x-i18n:
- `source ~/.profile && pnpm tsx scripts/bench-model.ts --runs 10`
- 可选环境变量：`MINIMAX_API_KEY`、`MINIMAX_BASE_URL`、`MINIMAX_MODEL`、`ANTHROPIC_API_KEY`
- 默认提示词：“Reply with a single word: ok. No punctuation or extra text.”
- 默认提示词：“用一个单词回复：ok。不要标点，也不要额外文本。”
最近一次运行（2025-12-31，20 次）：
- minimax 中位数 1279 ms（最小 1114，最大 2431）
- opus 中位数 2454 ms（最小 1224，最大 3170）
- minimax 中位数 1279ms（最小 1114，最大 2431）
- opus 中位数 2454ms（最小 1224，最大 3170）
## CLI 启动基准测试
## CLI 启动基准
脚本：[`scripts/bench-cli-startup.ts`](https://github.com/openclaw/openclaw/blob/main/scripts/bench-cli-startup.ts)
@ -94,25 +94,25 @@ x-i18n:
- `startup`：`--version`、`--help`、`health`、`health --json`、`status --json`、`status`
- `real`：`health`、`status`、`status --json`、`sessions`、`sessions --json`、`agents list --json`、`gateway status`、`gateway status --json`、`gateway health --json`、`config get gateway.port`
- `all`：两个预设都包含
- `all`：以上两个预设
输出包括每个命令的 `sampleCount`、平均值、p50、p95、最小值/最大值、退出码/信号分布以及最大 RSS 摘要。可选的 `--cpu-prof-dir` / `--heap-prof-dir` 会为每次运行写入 V8 性能分析文件，因此计时与性能采集会使用同一个测试框架。
输出包含每个命令的 `sampleCount`、平均值、p50、p95、最小/最大值、exit-code/signal 分布，以及最大 RSS 汇总。可选的 `--cpu-prof-dir` / `--heap-prof-dir` 会为每次运行写入 V8 profile，因此计时和 profile 捕获使用的是同一个测试框架。
保存输出约定：
- `pnpm test:startup:bench:smoke` 会将目标冒烟产物写入 `.artifacts/cli-startup-bench-smoke.json`
- `pnpm test:startup:bench:save` 会使用 `runs=5` 和 `warmup=1` 将完整测试套件产物写入 `.artifacts/cli-startup-bench-all.json`
- `pnpm test:startup:bench:update` 会使用 `runs=5` 和 `warmup=1` 刷新已检入的基线夹具 `test/fixtures/cli-startup-bench.json`
- `pnpm test:startup:bench:save` 会使用 `runs=5` 和 `warmup=1` 将完整套件产物写入 `.artifacts/cli-startup-bench-all.json`
- `pnpm test:startup:bench:update` 会使用 `runs=5` 和 `warmup=1` 刷新已签入的基线 fixture，路径为 `test/fixtures/cli-startup-bench.json`
已检入的夹具：
已签入的 fixture：
- `test/fixtures/cli-startup-bench.json`
- 使用 `pnpm test:startup:bench:update` 刷新
- 使用 `pnpm test:startup:bench:check` 将当前结果与该夹具进行比较
- 使用 `pnpm test:startup:bench:check` 将当前结果与该 fixture 进行比较
## 新手引导 E2E（Docker）
Docker 是可选的；只有在进行容器化新手引导冒烟测试时才需要它。
Docker 是可选的；仅在容器化的新手引导冒烟测试中需要。
在干净的 Linux 容器中执行完整冷启动流程：
@ -120,7 +120,7 @@ Docker 是可选的；只有在进行容器化新手引导冒烟测试时才需
scripts/e2e/onboard-docker.sh
```
该脚本会通过伪 TTY 驱动交互式向导，验证 config/workspace/session 文件，然后启动 Gateway 网关并运行 `openclaw health`。
此脚本会通过伪 TTY 驱动交互式向导，验证 config/workspace/session 文件，然后启动 Gateway 网关并运行 `openclaw health`。
## QR 导入冒烟测试（Docker）