chore(i18n): refresh zh-CN translations
This commit is contained in:
parent
1fae5d6db9
commit
a482f97cce
336
docs/zh-CN/ci.md
336
docs/zh-CN/ci.md
@ -1,75 +1,75 @@
|
||||
---
|
||||
read_when:
|
||||
- 你需要了解某个 CI 作业为何运行或未运行
|
||||
- 你需要了解为什么某个 CI 作业运行了或没有运行
|
||||
- 你正在调试一个失败的 GitHub Actions 检查
|
||||
- 你正在协调发布验证的运行或重新运行
|
||||
summary: CI 作业图、范围门禁、发布总括项和本地命令等效项
|
||||
- 你正在协调一次发布验证运行或重新运行
|
||||
summary: CI 作业图、范围门禁、发布总括项和本地命令等价项
|
||||
title: CI 流水线
|
||||
x-i18n:
|
||||
generated_at: "2026-05-01T20:49:29Z"
|
||||
generated_at: "2026-05-01T22:37:35Z"
|
||||
model: gpt-5.5
|
||||
provider: openai
|
||||
source_hash: e7bd0c3eca0730b9121cb7971f46924451b0377515fd326352f72499c37103bd
|
||||
source_hash: c6d284871bfc5f8c4740bd729563070baf396c60a2769f49c521c44dd709addf
|
||||
source_path: ci.md
|
||||
workflow: 16
|
||||
---
|
||||
|
||||
OpenClaw CI 会在每次推送到 `main` 以及每个拉取请求上运行。`preflight` 作业会对差异进行分类,并在只有无关区域发生变化时关闭高成本通道。手动 `workflow_dispatch` 运行会有意绕过智能作用域限定,并展开完整图,用于候选发布和广泛验证。Android 通道通过 `include_android` 保持可选。仅发布时的插件覆盖位于单独的 [`插件预发布`](#plugin-prerelease) 工作流中,并且只会从 [`完整发布验证`](#full-release-validation) 或显式手动调度运行。
|
||||
OpenClaw CI 会在每次推送到 `main` 和每个拉取请求上运行。`preflight` 作业会对差异进行分类,并在只有不相关区域发生变更时关闭昂贵的检查线。手动 `workflow_dispatch` 运行会有意绕过智能作用域限定,并为发布候选版本和广泛验证展开完整图。Android 检查线通过 `include_android` 保持选择加入。仅发布使用的插件覆盖位于单独的 [`Plugin Prerelease`](#plugin-prerelease) 工作流中,并且只会从 [`Full Release Validation`](#full-release-validation) 或显式手动调度运行。
|
||||
|
||||
## 流水线概览
|
||||
|
||||
| 作业 | 用途 | 运行时机 |
|
||||
| 作业 | 用途 | 运行时机 |
|
||||
| -------------------------------- | -------------------------------------------------------------------------------------------- | ---------------------------------- |
|
||||
| `preflight` | 检测仅文档变更、已变更作用域、已变更插件,并构建 CI 清单 | 在非草稿推送和 PR 上始终运行 |
|
||||
| `security-scm-fast` | 通过 `zizmor` 进行私钥检测和工作流审计 | 在非草稿推送和 PR 上始终运行 |
|
||||
| `security-dependency-audit` | 针对 npm 公告执行无依赖的生产 lockfile 审计 | 在非草稿推送和 PR 上始终运行 |
|
||||
| `security-fast` | 快速安全作业的必需聚合项 | 在非草稿推送和 PR 上始终运行 |
|
||||
| `check-dependencies` | 生产 Knip 仅依赖检查,以及未使用文件 allowlist 保护 | Node 相关变更 |
|
||||
| `build-artifacts` | 构建 `dist/`、Control UI、已构建产物检查,以及可复用的下游产物 | Node 相关变更 |
|
||||
| `checks-fast-core` | 快速 Linux 正确性通道,例如内置插件、插件契约和协议检查 | Node 相关变更 |
|
||||
| `checks-fast-contracts-channels` | 分片渠道契约检查,并提供稳定的聚合检查结果 | Node 相关变更 |
|
||||
| `checks-node-core-test` | Core Node 测试分片,不包括渠道、内置插件、契约和插件通道 | Node 相关变更 |
|
||||
| `check` | 分片主本地门禁等效项:生产类型、lint、保护项、测试类型和严格 smoke | Node 相关变更 |
|
||||
| `check-additional` | 架构、边界、插件表面保护、包边界和 gateway-watch 分片 | Node 相关变更 |
|
||||
| `build-smoke` | 已构建 CLI smoke 测试和启动内存 smoke | Node 相关变更 |
|
||||
| `checks` | 已构建产物渠道测试的验证器 | Node 相关变更 |
|
||||
| `checks-node-compat-node22` | Node 22 兼容性构建和 smoke 通道 | 发布用手动 CI 调度 |
|
||||
| `check-docs` | 文档格式、lint 和断链检查 | 文档变更 |
|
||||
| `skills-python` | 针对 Python 支持的 Skills 运行 Ruff + pytest | Python Skills 相关变更 |
|
||||
| `checks-windows` | Windows 特定进程/路径测试,以及共享运行时导入说明符回归测试 | Windows 相关变更 |
|
||||
| `macos-node` | 使用共享已构建产物的 macOS TypeScript 测试通道 | macOS 相关变更 |
|
||||
| `macos-swift` | macOS 应用的 Swift lint、构建和测试 | macOS 相关变更 |
|
||||
| `android` | 两个 flavor 的 Android 单元测试,以及一个 debug APK 构建 | Android 相关变更 |
|
||||
| `test-performance-agent` | 在可信活动之后进行每日 Codex 慢测试优化 | 主 CI 成功或手动调度 |
|
||||
| `preflight` | 检测仅文档变更、变更作用域、变更插件,并构建 CI 清单 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `security-scm-fast` | 通过 `zizmor` 进行私钥检测和工作流审计 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `security-dependency-audit` | 针对 npm 公告执行无依赖的生产 lockfile 审计 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `security-fast` | 快速安全作业的必需聚合结果 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `check-dependencies` | 生产 Knip 仅依赖检查,以及未使用文件允许列表防护 | Node 相关变更 |
|
||||
| `build-artifacts` | 构建 `dist/`、Control UI、构建产物检查和可复用下游产物 | Node 相关变更 |
|
||||
| `checks-fast-core` | 快速 Linux 正确性检查线,例如内置/插件合约/协议检查 | Node 相关变更 |
|
||||
| `checks-fast-contracts-channels` | 分片的渠道合约检查,并提供稳定的聚合检查结果 | Node 相关变更 |
|
||||
| `checks-node-core-test` | Core Node 测试分片,不包括渠道、内置、合约和插件检查线 | Node 相关变更 |
|
||||
| `check` | 分片的主本地门禁等价项:生产类型、lint、防护、测试类型和严格 smoke | Node 相关变更 |
|
||||
| `check-additional` | 架构、边界、插件表面防护、包边界和 gateway-watch 分片 | Node 相关变更 |
|
||||
| `build-smoke` | 已构建 CLI smoke 测试和启动内存 smoke | Node 相关变更 |
|
||||
| `checks` | 已构建产物渠道测试的验证器 | Node 相关变更 |
|
||||
| `checks-node-compat-node22` | Node 22 兼容性构建和 smoke 检查线 | 发布用手动 CI 调度 |
|
||||
| `check-docs` | 文档格式、lint 和断链检查 | 文档已变更 |
|
||||
| `skills-python` | 对 Python 支持的 Skills 运行 Ruff + pytest | Python Skills 相关变更 |
|
||||
| `checks-windows` | Windows 特定的进程/路径测试,以及共享运行时导入说明符回归 | Windows 相关变更 |
|
||||
| `macos-node` | 使用共享构建产物的 macOS TypeScript 测试检查线 | macOS 相关变更 |
|
||||
| `macos-swift` | macOS 应用的 Swift lint、构建和测试 | macOS 相关变更 |
|
||||
| `android` | 两种 flavor 的 Android 单元测试,以及一次 debug APK 构建 | Android 相关变更 |
|
||||
| `test-performance-agent` | 受信任活动之后的每日 Codex 慢测试优化 | 主 CI 成功或手动调度 |
|
||||
|
||||
## 快速失败顺序
|
||||
|
||||
1. `preflight` 决定哪些通道会存在。`docs-scope` 和 `changed-scope` 逻辑是此作业中的步骤,而不是独立作业。
|
||||
2. `security-scm-fast`、`security-dependency-audit`、`security-fast`、`check`、`check-additional`、`check-docs` 和 `skills-python` 会快速失败,不等待更重的产物和平台矩阵作业。
|
||||
3. `build-artifacts` 会与快速 Linux 通道重叠运行,因此共享构建就绪后,下游消费者可以立即开始。
|
||||
4. 更重的平台和运行时通道随后展开:`checks-fast-core`、`checks-fast-contracts-channels`、`checks-node-core-test`、`checks`、`checks-windows`、`macos-node`、`macos-swift` 和 `android`。
|
||||
1. `preflight` 决定哪些检查线实际存在。`docs-scope` 和 `changed-scope` 逻辑是此作业内部的步骤,不是独立作业。
|
||||
2. `security-scm-fast`、`security-dependency-audit`、`security-fast`、`check`、`check-additional`、`check-docs` 和 `skills-python` 会快速失败,而不等待更重的产物和平台矩阵作业。
|
||||
3. `build-artifacts` 会与快速 Linux 检查线重叠运行,这样下游使用方就能在共享构建就绪后立即开始。
|
||||
4. 更重的平台和运行时检查线随后展开:`checks-fast-core`、`checks-fast-contracts-channels`、`checks-node-core-test`、`checks`、`checks-windows`、`macos-node`、`macos-swift` 和 `android`。
|
||||
|
||||
当同一 PR 或 `main` ref 上有较新的推送落地时,GitHub 可能会将被取代的作业标记为 `cancelled`。除非同一 ref 的最新运行也失败,否则将其视为 CI 噪声。聚合分片检查使用 `!cancelled() && always()`,因此它们仍会报告正常的分片失败,但不会在整个工作流已经被取代后继续排队。自动 CI 并发键带有版本(`CI-v7-*`),因此 GitHub 侧旧队列组中的僵尸项无法无限期阻塞较新的 main 运行。手动完整套件运行使用 `CI-manual-v1-*`,并且不会取消正在进行的运行。
|
||||
当同一个 PR 或 `main` ref 上有更新的推送落地时,GitHub 可能会把被取代的作业标记为 `cancelled`。除非同一 ref 的最新运行也在失败,否则将其视为 CI 噪声。聚合分片检查使用 `!cancelled() && always()`,因此它们仍会报告正常的分片失败,但在整个工作流已经被取代后不会继续排队。自动 CI 并发键带有版本号(`CI-v7-*`),因此 GitHub 端旧队列组中的僵尸项不能无限期阻塞更新的 main 运行。手动完整套件运行使用 `CI-manual-v1-*`,并且不会取消进行中的运行。
|
||||
|
||||
## 作用域和路由
|
||||
|
||||
作用域逻辑位于 `scripts/ci-changed-scope.mjs`,并由 `src/scripts/ci-changed-scope.test.ts` 中的单元测试覆盖。手动调度会跳过变更作用域检测,并让 preflight 清单表现得像每个作用域区域都发生了变更。
|
||||
作用域逻辑位于 `scripts/ci-changed-scope.mjs`,并由 `src/scripts/ci-changed-scope.test.ts` 中的单元测试覆盖。手动调度会跳过变更作用域检测,并让 preflight 清单表现得像每个受作用域限定的区域都发生了变更。
|
||||
|
||||
- **CI 工作流编辑**会验证 Node CI 图以及工作流 lint,但它们本身不会强制 Windows、Android 或 macOS 原生构建;这些平台通道仍然限定于平台源代码变更。
|
||||
- **仅 CI 路由编辑、选定的低成本核心测试 fixture 编辑,以及窄范围插件契约 helper/测试路由编辑**会使用快速 Node-only 清单路径:`preflight`、安全检查,以及单个 `checks-fast-core` 任务。当变更仅限于该快速任务直接覆盖的路由或 helper 表面时,此路径会跳过构建产物、Node 22 兼容性、渠道契约、完整核心分片、内置插件分片和额外保护矩阵。
|
||||
- **Windows Node 检查**限定于 Windows 特定进程/路径封装、npm/pnpm/UI runner helper、包管理器配置,以及执行该通道的 CI 工作流表面;无关源代码、插件、install-smoke 和仅测试变更会留在 Linux Node 通道上。
|
||||
- **CI 工作流编辑** 会验证 Node CI 图以及工作流 lint,但不会单独强制 Windows、Android 或 macOS 原生构建;这些平台检查线仍然限定为平台源码变更。
|
||||
- **仅 CI 路由编辑、选定的廉价核心测试 fixture 编辑,以及窄范围插件合约 helper/测试路由编辑** 会使用快速 Node-only 清单路径:`preflight`、安全检查和单个 `checks-fast-core` 任务。当变更仅限于该快速任务直接执行的路由或 helper 表面时,该路径会跳过构建产物、Node 22 兼容性、渠道合约、完整核心分片、内置插件分片和额外防护矩阵。
|
||||
- **Windows Node 检查** 限定为 Windows 特定的进程/路径包装器、npm/pnpm/UI runner helper、包管理器配置,以及执行该检查线的 CI 工作流表面;不相关的源码、插件、install-smoke 和仅测试变更会留在 Linux Node 检查线上。
|
||||
|
||||
最慢的 Node 测试族会被拆分或均衡,让每个作业保持较小规模,而不超量预留 runner:渠道契约作为三个加权分片运行,小型核心单元通道会配对,auto-reply 作为四个均衡 worker 运行(reply 子树拆分为 agent-runner、dispatch 和 commands/state-routing 分片),agentic gateway/plugin 配置会分布在现有的仅源代码 agentic Node 作业中,而不是等待已构建产物。广泛的浏览器、QA、媒体和杂项插件测试使用各自专用的 Vitest 配置,而不是共享的插件 catch-all。包含模式分片会使用 CI 分片名称记录计时条目,因此 `.artifacts/vitest-shard-timings.json` 可以区分整个配置和经过过滤的分片。`check-additional` 将包边界编译/canary 工作放在一起,并将运行时拓扑架构与 gateway watch 覆盖分开;边界保护分片会在一个作业内并发运行其小型独立保护项。Gateway 网关 watch、渠道测试和核心 support-boundary 分片会在 `dist/` 和 `dist-runtime/` 已构建之后,在 `build-artifacts` 内并发运行。
|
||||
最慢的 Node 测试族会被拆分或均衡,以便每个作业保持较小规模且不过度占用 runner:渠道合约作为三个加权分片运行,小型核心单元检查线会配对,auto-reply 作为四个均衡 worker 运行(reply 子树拆分为 agent-runner、dispatch 和 commands/state-routing 分片),agentic gateway/插件配置分散到现有的仅源码 agentic Node 作业中,而不是等待构建产物。广泛的浏览器、QA、媒体和杂项插件测试使用它们专用的 Vitest 配置,而不是共享插件 catch-all。include-pattern 分片使用 CI 分片名称记录计时条目,因此 `.artifacts/vitest-shard-timings.json` 可以区分整个配置和经过筛选的分片。`check-additional` 将 package-boundary 编译/canary 工作放在一起,并将运行时拓扑架构与 gateway watch 覆盖分开;边界防护分片会在一个作业内并发运行其小型独立防护。Gateway watch、渠道测试和核心支持边界分片会在 `dist/` 和 `dist-runtime/` 已构建后,在 `build-artifacts` 内并发运行。
|
||||
|
||||
Android CI 会运行 `testPlayDebugUnitTest` 和 `testThirdPartyDebugUnitTest`,然后构建 Play debug APK。第三方 flavor 没有单独的 source set 或 manifest;它的单元测试通道仍会使用 SMS/call-log BuildConfig 标志编译该 flavor,同时避免在每次 Android 相关推送上执行重复的 debug APK 打包作业。
|
||||
Android CI 会运行 `testPlayDebugUnitTest` 和 `testThirdPartyDebugUnitTest`,然后构建 Play debug APK。third-party flavor 没有单独的源码集或 manifest;它的单元测试检查线仍会使用 SMS/通话记录 BuildConfig 标志编译该 flavor,同时避免在每个 Android 相关推送上重复执行 debug APK 打包作业。
|
||||
|
||||
`check-dependencies` 分片会运行 `pnpm deadcode:dependencies`(固定到最新 Knip 版本的生产 Knip 仅依赖检查,并在 `dlx` 安装中禁用 pnpm 的最小发布时间限制)和 `pnpm deadcode:unused-files`,后者会将 Knip 的生产未使用文件发现结果与 `scripts/deadcode-unused-files.allowlist.mjs` 进行比较。当 PR 新增未经过审查的未使用文件,或留下陈旧的 allowlist 条目时,未使用文件保护会失败,同时保留 Knip 无法静态解析的有意动态插件、生成内容、构建、实时测试和包桥接表面。
|
||||
`check-dependencies` 分片会运行 `pnpm deadcode:dependencies`(固定到最新 Knip 版本的生产 Knip 仅依赖检查,并在 `dlx` 安装中禁用 pnpm 的最低发布时间限制)和 `pnpm deadcode:unused-files`,后者会将 Knip 的生产未使用文件发现与 `scripts/deadcode-unused-files.allowlist.mjs` 进行比较。当 PR 添加新的未经审核的未使用文件或留下过期的允许列表条目时,未使用文件防护会失败,同时保留 Knip 无法静态解析的有意动态插件、生成内容、构建、实时测试和包桥接表面。
|
||||
|
||||
## 手动调度
|
||||
|
||||
手动 CI 调度会运行与普通 CI 相同的作业图,但会强制开启每个非 Android 作用域通道:Linux Node 分片、内置插件分片、渠道契约、Node 22 兼容性、`check`、`check-additional`、构建 smoke、文档检查、Python Skills、Windows、macOS 和 Control UI i18n。独立手动 CI 调度只有在 `include_android=true` 时才运行 Android;完整发布总括流程会通过传递 `include_android=true` 启用 Android。插件预发布静态检查、仅发布用的 `agentic-plugins` 分片、完整插件批量扫描和插件预发布 Docker 通道都排除在 CI 之外。Docker 预发布套件仅在 `Full Release Validation` 以启用 release-validation 门禁的方式调度单独的 `Plugin Prerelease` 工作流时运行。
|
||||
手动 CI 调度会运行与普通 CI 相同的作业图,但强制开启每个非 Android 作用域检查线:Linux Node 分片、内置插件分片、渠道合约、Node 22 兼容性、`check`、`check-additional`、构建 smoke、文档检查、Python Skills、Windows、macOS 和 Control UI i18n。独立的手动 CI 调度只有在 `include_android=true` 时才会运行 Android;完整发布总控通过传入 `include_android=true` 启用 Android。插件预发布静态检查、仅发布用的 `agentic-plugins` 分片、完整插件批量扫描和插件预发布 Docker 检查线都不包含在 CI 中。Docker 预发布套件只会在 `Full Release Validation` 以启用 release-validation 门禁的方式调度单独的 `Plugin Prerelease` 工作流时运行。
|
||||
|
||||
手动运行使用唯一并发组,因此候选发布完整套件不会被同一 ref 上的另一个推送或 PR 运行取消。可选的 `target_ref` 输入允许可信调用方在使用所选调度 ref 中工作流文件的同时,针对分支、标签或完整提交 SHA 运行该图。
|
||||
手动运行使用唯一的并发组,因此发布候选版本完整套件不会被同一 ref 上的另一个推送或 PR 运行取消。可选的 `target_ref` 输入允许受信任调用方在使用所选调度 ref 的工作流文件时,针对分支、标签或完整提交 SHA 运行该图。
|
||||
|
||||
```bash
|
||||
gh workflow run ci.yml --ref release/YYYY.M.D
|
||||
@ -77,19 +77,19 @@ gh workflow run ci.yml --ref main -f target_ref=<branch-or-sha> -f include_andro
|
||||
gh workflow run full-release-validation.yml --ref main -f ref=<branch-or-sha>
|
||||
```
|
||||
|
||||
## Runners
|
||||
## Runner
|
||||
|
||||
| 运行器 | 作业 |
|
||||
| -------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| `ubuntu-24.04` | `preflight`、快速安全作业和聚合项(`security-scm-fast`、`security-dependency-audit`、`security-fast`)、快速协议/契约/内置检查、分片渠道契约检查、除 lint 以外的 `check` 分片、`check-additional` 分片和聚合项、Node 测试聚合验证器、文档检查、Python Skills、workflow-sanity、labeler、auto-response;install-smoke 预检也使用 GitHub 托管的 Ubuntu,以便 Blacksmith 矩阵可以更早排队 |
|
||||
| `ubuntu-24.04` | `preflight`、快速安全作业和聚合(`security-scm-fast`、`security-dependency-audit`、`security-fast`)、快速协议/契约/内置检查、分片渠道契约检查、除 lint 外的 `check` 分片、`check-additional` 分片和聚合、Node 测试聚合验证器、文档检查、Python Skills、workflow-sanity、labeler、auto-response;install-smoke 预检也使用 GitHub 托管的 Ubuntu,以便 Blacksmith 矩阵可以更早排队 |
|
||||
| `blacksmith-4vcpu-ubuntu-2404` | `CodeQL Critical Quality`、较轻量的插件分片、`checks-fast-core`、`checks-node-compat-node22`、`check-prod-types` 和 `check-test-types` |
|
||||
| `blacksmith-8vcpu-ubuntu-2404` | `build-artifacts`、build-smoke、Linux Node 测试分片、内置插件测试分片、`android` |
|
||||
| `blacksmith-16vcpu-ubuntu-2404` | `check-lint`(对 CPU 足够敏感,以至于 8 vCPU 的成本高于节省的时间);install-smoke Docker 构建(32-vCPU 排队时间的成本高于节省的时间) |
|
||||
| `blacksmith-16vcpu-ubuntu-2404` | `check-lint`(对 CPU 足够敏感,8 vCPU 节省的时间不抵成本);install-smoke Docker 构建(32-vCPU 排队时间的成本不抵节省的时间) |
|
||||
| `blacksmith-16vcpu-windows-2025` | `checks-windows` |
|
||||
| `blacksmith-6vcpu-macos-latest` | `openclaw/openclaw` 上的 `macos-node`;fork 回退到 `macos-latest` |
|
||||
| `blacksmith-12vcpu-macos-latest` | `openclaw/openclaw` 上的 `macos-swift`;fork 回退到 `macos-latest` |
|
||||
|
||||
## 本地等价命令
|
||||
## 本地等效命令
|
||||
|
||||
```bash
|
||||
pnpm changed:lanes # inspect the local changed-lane classifier for origin/main...HEAD
|
||||
@ -117,31 +117,31 @@ pnpm test:perf:groups:compare .artifacts/test-perf/baseline-before.json .artifac
|
||||
|
||||
## 完整发布验证
|
||||
|
||||
`Full Release Validation` 是用于“在发布前运行所有内容”的手动总控工作流。它接受分支、标签或完整 commit SHA,用该目标调度手动 `CI` 工作流,调度 `Plugin Prerelease` 以提供仅发布所需的插件/软件包/静态/Docker 证明,并调度 `OpenClaw Release Checks` 以覆盖安装冒烟、软件包验收、Docker 发布路径套件、live/E2E、OpenWebUI、QA Lab parity、Matrix 和 Telegram 通道。当提供已发布的软件包规格时,它还可以运行发布后的 `NPM Telegram Beta E2E` 工作流。
|
||||
`Full Release Validation` 是“在发布前运行所有内容”的手动总括工作流。它接受分支、标签或完整提交 SHA,使用该目标调度手动 `CI` 工作流,为仅发布使用的插件/包/静态/Docker 证明调度 `Plugin Prerelease`,并为安装冒烟测试、包验收、Docker 发布路径套件、live/E2E、OpenWebUI、QA Lab parity、Matrix 和 Telegram 通道调度 `OpenClaw Release Checks`。提供已发布的包规格时,它还可以运行发布后的 `NPM Telegram Beta E2E` 工作流。
|
||||
|
||||
请参阅[完整发布验证](/zh-CN/reference/full-release-validation),了解阶段矩阵、精确工作流作业名称、配置差异、产物以及聚焦重跑入口。
|
||||
请参阅[完整发布验证](/zh-CN/reference/full-release-validation),了解阶段矩阵、精确的工作流作业名称、配置差异、产物以及定向重跑入口。
|
||||
|
||||
`release_profile` 控制传递给发布检查的 live/provider 覆盖范围。手动发布工作流默认使用 `stable`;仅当你有意需要广泛的 advisory provider/media 矩阵时,才使用 `full`。
|
||||
`release_profile` 控制传入发布检查的 live/provider 覆盖范围。手动发布工作流默认使用 `stable`;仅当你有意需要广泛的参考 provider/media 矩阵时,才使用 `full`。
|
||||
|
||||
- `minimum` 保留最快的 OpenAI/核心发布关键通道。
|
||||
- `stable` 增加稳定的提供商/后端集合。
|
||||
- `full` 运行广泛的 advisory provider/media 矩阵。
|
||||
- `stable` 添加稳定的 provider/backend 集合。
|
||||
- `full` 运行广泛的参考 provider/media 矩阵。
|
||||
|
||||
总控工作流会记录已调度的子运行 id,最终的 `Verify full validation` 作业会重新检查当前子运行结论,并为每个子运行追加最慢作业表。如果某个子工作流被重跑并变绿,只需重跑父级验证器作业,即可刷新总控结果和计时摘要。
|
||||
总括工作流会记录已调度的子运行 ID,最终的 `Verify full validation` 作业会重新检查当前子运行结论,并为每个子运行追加最慢作业表。如果某个子工作流重跑后转绿,只需重跑父验证器作业,以刷新总括结果和时间摘要。
|
||||
|
||||
对于恢复,`Full Release Validation` 和 `OpenClaw Release Checks` 都接受 `rerun_group`。发布候选版本使用 `all`,仅普通完整 CI 子项使用 `ci`,仅插件预发布子项使用 `plugin-prerelease`,每个发布子项使用 `release-checks`,或者在总控工作流上使用更窄的分组:`install-smoke`、`cross-os`、`live-e2e`、`package`、`qa`、`qa-parity`、`qa-live` 或 `npm-telegram`。这样在聚焦修复后,可以让失败的发布盒子重跑保持有界。
|
||||
对于恢复,`Full Release Validation` 和 `OpenClaw Release Checks` 都接受 `rerun_group`。发布候选版本使用 `all`,仅普通完整 CI 子项使用 `ci`,仅插件预发布子项使用 `plugin-prerelease`,每个发布子项使用 `release-checks`,或在总括工作流上使用更窄的组:`install-smoke`、`cross-os`、`live-e2e`、`package`、`qa`、`qa-parity`、`qa-live` 或 `npm-telegram`。这会在定向修复后,将失败发布环境的重跑范围控制在边界内。
|
||||
|
||||
`OpenClaw Release Checks` 使用受信任的工作流 ref,将选定 ref 解析一次为 `release-package-under-test` tarball,然后把该产物传递给 live/E2E 发布路径 Docker 工作流和软件包验收分片。这样可以让发布盒子之间的软件包字节保持一致,并避免在多个子作业中重新打包同一个候选版本。
|
||||
`OpenClaw Release Checks` 使用受信任的工作流 ref,将选定的 ref 一次解析为 `release-package-under-test` tarball,然后将该产物传递给 live/E2E 发布路径 Docker 工作流和包验收分片。这样可以确保发布环境之间的包字节一致,并避免在多个子作业中重新打包同一个候选版本。
|
||||
|
||||
针对 `ref=main` 和 `rerun_group=all` 的重复 `Full Release Validation` 运行会取代较旧的总控运行。当父级被取消时,父级监视器会取消它已经调度的任何子工作流,因此较新的 main 验证不会排在陈旧的两小时发布检查运行之后。发布分支/标签验证和聚焦重跑分组保持 `cancel-in-progress: false`。
|
||||
`ref=main` 且 `rerun_group=all` 的重复 `Full Release Validation` 运行会取代较旧的总括运行。父监视器在父运行被取消时,会取消其已调度的任何子工作流,因此较新的 main 验证不会排在过时的两小时 release-check 运行之后。发布分支/标签验证和定向重跑组保持 `cancel-in-progress: false`。
|
||||
|
||||
## Live 和 E2E 分片
|
||||
|
||||
发布 live/E2E 子项保留广泛的原生 `pnpm test:live` 覆盖,但它通过 `scripts/test-live-shard.mjs` 以命名分片运行,而不是使用一个串行作业:
|
||||
发布 live/E2E 子项保留广泛的原生 `pnpm test:live` 覆盖,但它会通过 `scripts/test-live-shard.mjs` 以命名分片运行,而不是作为一个串行作业运行:
|
||||
|
||||
- `native-live-src-agents`
|
||||
- `native-live-src-gateway-core`
|
||||
- 提供商过滤的 `native-live-src-gateway-profiles` 作业
|
||||
- provider 过滤的 `native-live-src-gateway-profiles` 作业
|
||||
- `native-live-src-gateway-backends`
|
||||
- `native-live-test`
|
||||
- `native-live-extensions-a-k`
|
||||
@ -149,57 +149,59 @@ pnpm test:perf:groups:compare .artifacts/test-perf/baseline-before.json .artifac
|
||||
- `native-live-extensions-openai`
|
||||
- `native-live-extensions-o-z-other`
|
||||
- `native-live-extensions-xai`
|
||||
- 拆分后的媒体音频/视频分片和提供商过滤的音乐分片
|
||||
- 拆分的媒体音频/视频分片和 provider 过滤的音乐分片
|
||||
|
||||
这会保持相同的文件覆盖范围,同时让缓慢的 live 提供商失败更容易重跑和诊断。聚合的 `native-live-extensions-o-z`、`native-live-extensions-media` 和 `native-live-extensions-media-music` 分片名称仍然可用于手动一次性重跑。
|
||||
这样可以保持相同的文件覆盖,同时让缓慢的 live provider 故障更容易重跑和诊断。聚合分片名称 `native-live-extensions-o-z`、`native-live-extensions-media` 和 `native-live-extensions-media-music` 仍然可用于手动一次性重跑。
|
||||
|
||||
原生 live 媒体分片在 `ghcr.io/openclaw/openclaw-live-media-runner:ubuntu-24.04` 中运行,该镜像由 `Live Media Runner Image` 工作流构建。该镜像预装 `ffmpeg` 和 `ffprobe`;媒体作业只在设置前验证二进制文件。让 Docker 支持的 live 套件留在普通 Blacksmith 运行器上:容器作业不是启动嵌套 Docker 测试的正确位置。
|
||||
原生 live 媒体分片在 `ghcr.io/openclaw/openclaw-live-media-runner:ubuntu-24.04` 中运行,该镜像由 `Live Media Runner Image` 工作流构建。该镜像预装 `ffmpeg` 和 `ffprobe`;媒体作业只会在设置前验证二进制文件。将 Docker 支持的 live 套件保留在普通 Blacksmith 运行器上,容器作业不适合启动嵌套 Docker 测试。
|
||||
|
||||
Docker 支持的 live 模型/后端分片会为每个选定 commit 使用单独共享的 `ghcr.io/openclaw/openclaw-live-test:<sha>` 镜像。live 发布工作流会构建并推送该镜像一次,然后 Docker live 模型、按提供商分片的 Gateway 网关、CLI 后端、ACP bind 和 Codex harness 分片使用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行。Gateway 网关 Docker 分片带有显式的脚本级 `timeout` 上限,低于工作流作业超时,因此卡住的容器或清理路径会快速失败,而不是消耗整个发布检查预算。如果这些分片独立重新构建完整源码 Docker 目标,则说明发布运行配置错误,并会在重复镜像构建上浪费实际耗时。
|
||||
Docker 支持的 live 模型/backend 分片会针对选定提交使用单独的共享 `ghcr.io/openclaw/openclaw-live-test:<sha>` 镜像。live 发布工作流会构建并推送该镜像一次,然后 Docker live 模型、provider 分片的 Gateway 网关、CLI backend、ACP bind 和 Codex harness 分片会使用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行。Gateway 网关 Docker 分片在脚本层带有显式 `timeout` 上限,低于工作流作业超时,因此卡住的容器或清理路径会快速失败,而不是消耗整个 release-check 预算。如果这些分片独立重建完整源 Docker 目标,说明发布运行配置错误,并会在重复镜像构建上浪费实际耗时。
|
||||
|
||||
## 软件包验收
|
||||
## 包验收
|
||||
|
||||
当问题是“这个可安装的 OpenClaw 软件包作为产品是否可用?”时,使用 `Package Acceptance`。它不同于普通 CI:普通 CI 验证源码树,而软件包验收会通过用户在安装或更新后实际使用的同一个 Docker E2E harness 来验证单个 tarball。
|
||||
当问题是“这个可安装的 OpenClaw 包作为产品是否可用?”时,使用 `Package Acceptance`。它不同于普通 CI:普通 CI 验证源码树,而包验收通过用户安装或更新后实际使用的同一个 Docker E2E harness,验证单个 tarball。
|
||||
|
||||
### 作业
|
||||
|
||||
1. `resolve_package` 检出 `workflow_ref`,解析一个包候选项,写入 `.artifacts/docker-e2e-package/openclaw-current.tgz`,写入 `.artifacts/docker-e2e-package/package-candidate.json`,将二者作为 `package-under-test` 工件上传,并在 GitHub 步骤摘要中打印来源、工作流引用、包引用、版本、SHA-256 和配置文件。
|
||||
2. `docker_acceptance` 调用 `openclaw-live-and-e2e-checks-reusable.yml`,并传入 `ref=workflow_ref` 和 `package_artifact_name=package-under-test`。可复用工作流会下载该工件,验证 tarball 清单,在需要时准备包摘要 Docker 镜像,并针对该包运行所选 Docker 线路,而不是打包工作流检出内容。当一个配置文件选择多个目标 `docker_lanes` 时,可复用工作流会先准备一次包和共享镜像,然后将这些线路展开为并行的目标 Docker 作业,并为每个作业生成唯一工件。
|
||||
3. `package_telegram` 可选调用 `NPM Telegram Beta E2E`。当 `telegram_mode` 不是 `none` 时运行;如果包验收解析出了包,它会安装同一个 `package-under-test` 工件;独立的 Telegram 调度仍可安装已发布的 npm 规格。
|
||||
4. 如果包解析、Docker 验收或可选 Telegram 线路失败,`summary` 会让工作流失败。
|
||||
1. `resolve_package` 检出 `workflow_ref`,解析一个候选包,写入 `.artifacts/docker-e2e-package/openclaw-current.tgz`,写入 `.artifacts/docker-e2e-package/package-candidate.json`,将两者作为 `package-under-test` 工件上传,并在 GitHub 步骤摘要中打印来源、workflow ref、package ref、版本、SHA-256 和 profile。
|
||||
2. `docker_acceptance` 使用 `ref=workflow_ref` 和 `package_artifact_name=package-under-test` 调用 `openclaw-live-and-e2e-checks-reusable.yml`。可复用工作流会下载该工件,验证 tarball 清单,在需要时准备 package-digest Docker 镜像,并针对该包运行选定的 Docker lanes,而不是打包工作流检出内容。当某个 profile 选择多个目标 `docker_lanes` 时,可复用工作流会先准备一次包和共享镜像,然后将这些 lanes 扇出为并行的目标 Docker 作业,并使用唯一工件。
|
||||
3. `package_telegram` 可选调用 `NPM Telegram Beta E2E`。当 `telegram_mode` 不是 `none` 时运行,并且在 Package Acceptance 解析出包时安装同一个 `package-under-test` 工件;独立 Telegram 调度仍可安装已发布的 npm spec。
|
||||
4. 如果包解析、Docker acceptance 或可选 Telegram lane 失败,`summary` 会让工作流失败。
|
||||
|
||||
### 候选来源
|
||||
|
||||
- `source=npm` 只接受 `openclaw@beta`、`openclaw@latest`,或精确的 OpenClaw 发布版本,例如 `openclaw@2026.4.27-beta.2`。用于已发布 beta/稳定版验收。
|
||||
- `source=ref` 打包受信任的 `package_ref` 分支、标签或完整提交 SHA。解析器会获取 OpenClaw 分支/标签,验证所选提交可从仓库分支历史或发布标签到达,在分离的工作树中安装依赖,并用 `scripts/package-openclaw-for-docker.mjs` 打包。
|
||||
- `source=url` 下载 HTTPS `.tgz`;必须提供 `package_sha256`。
|
||||
- `source=artifact` 从 `artifact_run_id` 和 `artifact_name` 下载一个 `.tgz`;`package_sha256` 是可选项,但对于外部共享工件应提供。
|
||||
- `source=npm` 仅接受 `openclaw@beta`、`openclaw@latest`,或精确的 OpenClaw 发布版本,例如 `openclaw@2026.4.27-beta.2`。用于已发布 beta/稳定版 acceptance。
|
||||
- `source=ref` 打包受信任的 `package_ref` 分支、标签或完整提交 SHA。解析器会获取 OpenClaw 分支/标签,验证所选提交可从仓库分支历史或发布标签访问,在分离 worktree 中安装依赖,并使用 `scripts/package-openclaw-for-docker.mjs` 打包。
|
||||
- `source=url` 下载一个 HTTPS `.tgz`;必须提供 `package_sha256`。
|
||||
- `source=artifact` 从 `artifact_run_id` 和 `artifact_name` 下载一个 `.tgz`;`package_sha256` 可选,但外部共享工件应提供。
|
||||
|
||||
保持 `workflow_ref` 和 `package_ref` 分离。`workflow_ref` 是运行测试的受信任工作流/测试框架代码。`package_ref` 是 `source=ref` 时会被打包的源提交。这样当前测试框架就可以验证较旧的受信任源提交,而不运行旧的工作流逻辑。
|
||||
请将 `workflow_ref` 和 `package_ref` 分开。`workflow_ref` 是运行测试的受信任工作流/harness 代码。`package_ref` 是在 `source=ref` 时被打包的源提交。这样当前测试 harness 就能验证较旧的受信任源提交,而无需运行旧的工作流逻辑。
|
||||
|
||||
### 套件配置文件
|
||||
### Suite profiles
|
||||
|
||||
- `smoke` — `npm-onboard-channel-agent`、`gateway-network`、`config-reload`
|
||||
- `package` — `npm-onboard-channel-agent`、`doctor-switch`、`update-channel-switch`、`upgrade-survivor`、`published-upgrade-survivor`、`plugins-offline`、`plugin-update`
|
||||
- `product` — `package` 加上 `mcp-channels`、`cron-mcp-cleanup`、`openai-web-search-minimal`、`openwebui`
|
||||
- `full` — 带 OpenWebUI 的完整 Docker 发布路径分块
|
||||
- `custom` — 精确的 `docker_lanes`;当 `suite_profile=custom` 时必填
|
||||
- `full` — 带 OpenWebUI 的完整 Docker release-path 分块
|
||||
- `custom` — 精确的 `docker_lanes`;当 `suite_profile=custom` 时必需
|
||||
|
||||
`package` 配置文件使用离线插件覆盖,因此已发布包验证不会受实时 ClawHub 可用性限制。可选 Telegram 线路在 `NPM Telegram Beta E2E` 中复用 `package-under-test` 工件,并保留已发布 npm 规格路径供独立调度使用。
|
||||
`package` profile 使用离线插件覆盖,因此已发布包验证不会受实时 ClawHub 可用性阻塞。可选 Telegram lane 会在 `NPM Telegram Beta E2E` 中复用 `package-under-test` 工件,同时为独立调度保留已发布 npm spec 路径。
|
||||
|
||||
发布检查会以 `source=ref`、`package_ref=<release-ref>`、`workflow_ref=<release workflow ref>`、`suite_profile=custom`、`docker_lanes='plugins-offline plugin-update'` 和 `telegram_mode=mock-openai` 调用包验收。发布路径 Docker 分块覆盖重叠的包/更新/插件线路;包验收针对同一个已解析包 tarball 保留离线插件、更新和 Telegram 证明。跨 OS 发布检查仍覆盖特定 OS 的新手引导、安装器和平台行为;包/更新产品验证应从包验收开始。`published-upgrade-survivor` Docker 线路每次运行验证一个已发布包基线。在包验收中,解析出的 `package-under-test` tarball 始终是候选包,而 `published_upgrade_survivor_baseline` 选择回退的已发布基线,默认是 `openclaw@latest`;失败线路的重运行命令会保留该基线。设置 `published_upgrade_survivor_baselines=release-history` 可将该线路扩展到去重的历史矩阵:最新六个稳定版、`2026.4.23`,以及 `2026-03-15` 之前的最新稳定版。设置 `published_upgrade_survivor_scenarios=reported-issues` 可在同一组基线中扩展面向问题的夹具,覆盖 Feishu 配置、保留的引导/persona 文件、波浪号日志路径和过期旧版插件依赖根。 本地聚合运行可以通过 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 传入精确包规格,通过 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 保持单一线路(例如 `openclaw@2026.4.15`),或设置 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS` 以使用场景矩阵。已发布线路会用内置的 `openclaw config set` 命令配方配置基线,在 `summary.json` 中记录配方步骤,并在 Gateway 网关启动后探测 `/healthz`、`/readyz` 以及 RPC Status。Windows 打包版和安装器全新安装线路还会验证,已安装包可以从原始 Windows 绝对路径导入浏览器控制覆盖项。OpenAI 跨 OS 智能体回合冒烟测试在设置时默认使用 `OPENCLAW_CROSS_OS_OPENAI_MODEL`,否则使用 `openai/gpt-5.5`,因此安装和 Gateway 网关证明会保留在首选 GPT-5 测试模型上。
|
||||
关于专用的更新和插件测试策略,包括本地命令、Docker lanes、Package Acceptance 输入、发布默认值和失败分流,请参阅 [更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
|
||||
发布检查会调用 Package Acceptance,并使用 `source=artifact`、准备好的发布包工件、`suite_profile=custom`、`docker_lanes='doctor-switch update-channel-switch upgrade-survivor published-upgrade-survivor plugins-offline plugin-update'`、`published_upgrade_survivor_baselines=release-history`、`published_upgrade_survivor_scenarios=reported-issues` 和 `telegram_mode=mock-openai`。这会让包迁移、更新、陈旧插件依赖清理、离线插件、插件更新和 Telegram 证明都基于同一个已解析的包 tarball。跨 OS 发布检查仍覆盖特定 OS 的新手引导、安装器和平台行为;包/更新产品验证应从 Package Acceptance 开始。`published-upgrade-survivor` Docker lane 每次运行验证一个已发布包基线。在 Package Acceptance 中,解析出的 `package-under-test` tarball 始终是候选包,而 `published_upgrade_survivor_baseline` 选择回退的已发布基线,默认是 `openclaw@latest`;失败 lane 的重跑命令会保留该基线。设置 `published_upgrade_survivor_baselines=release-history` 可将该 lane 扩展到去重后的历史矩阵:最新六个稳定版本、`2026.4.23`,以及 `2026-03-15` 之前的最新稳定版本。设置 `published_upgrade_survivor_scenarios=reported-issues` 可将同一组基线扩展到按问题形状构造的 fixtures,覆盖 Feishu 配置、保留的 bootstrap/persona 文件、波浪号日志路径,以及陈旧旧版插件依赖根。本地聚合运行可以通过 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 传入精确包 spec,也可以使用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 保持单个 lane,例如 `openclaw@2026.4.15`,或设置 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS` 使用场景矩阵。已发布 lane 使用内置的 `openclaw config set` 命令配方配置基线,在 `summary.json` 中记录配方步骤,并在 Gateway 网关启动后探测 `/healthz`、`/readyz` 以及 RPC 状态。Windows 打包版和安装器全新安装 lanes 还会验证已安装包可以从原始绝对 Windows 路径导入 browser-control 覆盖。OpenAI 跨 OS agent-turn 冒烟测试在设置时默认使用 `OPENCLAW_CROSS_OS_OPENAI_MODEL`,否则使用 `openai/gpt-5.5`,因此安装和 Gateway 网关证明会保持使用首选 GPT-5 测试模型。
|
||||
|
||||
### 旧版兼容窗口
|
||||
|
||||
包验收为已经发布的包提供有界旧版兼容窗口。到 `2026.4.25` 为止的包,包括 `2026.4.25-beta.*`,可以使用兼容路径:
|
||||
Package Acceptance 对已经发布的包有有界的旧版兼容窗口。直到 `2026.4.25` 的包,包括 `2026.4.25-beta.*`,都可以使用兼容路径:
|
||||
|
||||
- `dist/postinstall-inventory.json` 中已知的私有 QA 条目可以指向 tarball 省略的文件;
|
||||
- 当包未暴露 `gateway install --wrapper` 标志时,`doctor-switch` 可以跳过持久化子用例;
|
||||
- `update-channel-switch` 可以从 tarball 派生的假 git 夹具中修剪缺失的 `pnpm.patchedDependencies`,并可以记录缺失的持久化 `update.channel`;
|
||||
- 插件冒烟测试可以读取旧版安装记录位置,或接受缺失的 marketplace 安装记录持久化;
|
||||
- `plugin-update` 可以允许配置元数据迁移,同时仍要求安装记录和不重新安装行为保持不变。
|
||||
- `dist/postinstall-inventory.json` 中已知的私有 QA 条目可能指向 tarball 中省略的文件;
|
||||
- 当包未暴露 `gateway install --wrapper` 标志时,`doctor-switch` 可能会跳过其持久化子用例;
|
||||
- `update-channel-switch` 可能会从 tarball 派生的伪 git fixture 中修剪缺失的 `pnpm.patchedDependencies`,并可能记录缺失的已持久化 `update.channel`;
|
||||
- 插件冒烟测试可能读取旧版安装记录位置,或接受缺失的 marketplace 安装记录持久化;
|
||||
- `plugin-update` 可能允许配置元数据迁移,同时仍要求安装记录和不重新安装行为保持不变。
|
||||
|
||||
已发布的 `2026.4.26` 包也可以对已经发布的本地构建元数据戳文件发出警告。更晚的包必须满足现代契约;相同条件会失败,而不是警告或跳过。
|
||||
已发布的 `2026.4.26` 包也可能针对已经发布的本地构建元数据 stamp 文件给出警告。后续包必须满足现代契约;相同条件会失败,而不是警告或跳过。
|
||||
|
||||
### 示例
|
||||
|
||||
@ -242,47 +244,47 @@ gh workflow run package-acceptance.yml \
|
||||
-f docker_lanes='install-e2e plugin-update'
|
||||
```
|
||||
|
||||
调试失败的包验收运行时,先查看 `resolve_package` 摘要,以确认包来源、版本和 SHA-256。然后检查 `docker_acceptance` 子运行及其 Docker 工件:`.artifacts/docker-tests/**/summary.json`、`failures.json`、线路日志、阶段耗时和重运行命令。优先重运行失败的包配置文件或精确 Docker 线路,而不是重运行完整发布验证。
|
||||
调试失败的 package acceptance 运行时,先查看 `resolve_package` 摘要,确认包来源、版本和 SHA-256。然后检查 `docker_acceptance` 子运行及其 Docker 工件:`.artifacts/docker-tests/**/summary.json`、`failures.json`、lane 日志、阶段计时和重跑命令。优先重跑失败的包 profile 或精确 Docker lanes,而不是重跑完整发布验证。
|
||||
|
||||
## 安装冒烟测试
|
||||
|
||||
单独的 `Install Smoke` 工作流通过自己的 `preflight` 作业复用同一个范围脚本。它将冒烟覆盖拆分为 `run_fast_install_smoke` 和 `run_full_install_smoke`。
|
||||
单独的 `Install Smoke` 工作流会通过自己的 `preflight` 作业复用同一个 scope 脚本。它将冒烟覆盖拆分为 `run_fast_install_smoke` 和 `run_full_install_smoke`。
|
||||
|
||||
- **快速路径**会在拉取请求触及 Docker/包表面、内置插件包/manifest 变更,或 Docker 冒烟作业会覆盖的核心插件/渠道/Gateway 网关/插件 SDK 表面时运行。仅源码的内置插件变更、仅测试编辑和仅文档编辑不会预留 Docker worker。快速路径构建一次根 Dockerfile 镜像,检查 CLI,运行 agents delete shared-workspace CLI 冒烟测试,运行容器 gateway-network e2e,验证内置 extension 构建参数,并在 240 秒聚合命令超时内运行有界的内置插件 Docker 配置文件(每个场景的 Docker 运行会单独设限)。
|
||||
- **完整路径**为夜间计划运行、手动调度、workflow-call 发布检查,以及真正触及安装器/包/Docker 表面的拉取请求保留 QR 包安装和安装器 Docker/更新覆盖。在完整模式下,install-smoke 会准备或复用一个目标 SHA 的 GHCR 根 Dockerfile 冒烟镜像,然后将 QR 包安装、根 Dockerfile/Gateway 网关冒烟测试、安装器/更新冒烟测试,以及快速内置插件 Docker E2E 作为独立作业运行,使安装器工作无需等待根镜像冒烟测试之后再开始。
|
||||
- **快速路径** 针对触及 Docker/包表面、内置插件包/manifest 变更,或 Docker 冒烟作业会覆盖的核心插件/渠道/Gateway 网关/插件 SDK 表面的拉取请求运行。仅源代码的内置插件变更、仅测试编辑和仅文档编辑不会占用 Docker worker。快速路径会构建一次根 Dockerfile 镜像,检查 CLI,运行 agents delete shared-workspace CLI 冒烟测试,运行容器 gateway-network e2e,验证内置 extension build arg,并在 240 秒聚合命令超时内运行有界的内置插件 Docker profile(每个场景的 Docker 运行分别设上限)。
|
||||
- **完整路径** 为夜间定时运行、手动调度、workflow-call 发布检查,以及确实触及安装器/包/Docker 表面的拉取请求保留 QR 包安装和安装器 Docker/更新覆盖。在完整模式下,install-smoke 会准备或复用一个目标 SHA 的 GHCR 根 Dockerfile 冒烟镜像,然后将 QR 包安装、根 Dockerfile/Gateway 网关冒烟测试、安装器/更新冒烟测试,以及快速内置插件 Docker E2E 作为独立作业运行,这样安装器工作不会等待根镜像冒烟测试完成。
|
||||
|
||||
`main` 推送(包括合并提交)不会强制使用完整路径;当变更范围逻辑会在推送上请求完整覆盖时,工作流会保留快速 Docker 冒烟测试,并将完整安装冒烟测试留给夜间或发布验证。
|
||||
`main` 推送(包括合并提交)不会强制完整路径;当变更范围逻辑会在推送上请求完整覆盖时,该工作流会保留快速 Docker 冒烟测试,并将完整安装冒烟测试留给夜间或发布验证。
|
||||
|
||||
较慢的 Bun 全局安装 image-provider 冒烟测试由 `run_bun_global_install_smoke` 单独控制。它会在夜间计划和发布检查工作流中运行,手动 `Install Smoke` 调度也可以选择启用它,但拉取请求和 `main` 推送不会运行。QR 和安装器 Docker 测试保留各自以安装为重点的 Dockerfile。
|
||||
慢速 Bun 全局安装 image-provider 冒烟测试由 `run_bun_global_install_smoke` 单独控制。它会在夜间计划和发布检查工作流中运行,手动 `Install Smoke` 调度也可以选择启用它,但拉取请求和 `main` 推送不会运行。QR 和安装器 Docker 测试保留各自聚焦安装的 Dockerfile。
|
||||
|
||||
## 本地 Docker E2E
|
||||
|
||||
`pnpm test:docker:all` 会预构建一个共享实时测试镜像,将 OpenClaw 打包一次为 npm tarball,并构建两个共享的 `scripts/e2e/Dockerfile` 镜像:
|
||||
`pnpm test:docker:all` 会预构建一个共享实时测试镜像,将 OpenClaw 打包一次为 npm tarball,并构建两个共享 `scripts/e2e/Dockerfile` 镜像:
|
||||
|
||||
- 用于安装器/更新/插件依赖线路的裸 Node/Git 运行器;
|
||||
- 将同一个 tarball 安装到 `/app` 的功能镜像,用于正常功能线路。
|
||||
- 用于安装器/更新/插件依赖 lanes 的裸 Node/Git runner;
|
||||
- 将同一个 tarball 安装到 `/app` 的功能镜像,用于正常功能 lanes。
|
||||
|
||||
Docker 线路定义位于 `scripts/lib/docker-e2e-scenarios.mjs`,规划器逻辑位于 `scripts/lib/docker-e2e-plan.mjs`,运行器只执行所选计划。调度器通过 `OPENCLAW_DOCKER_E2E_BARE_IMAGE` 和 `OPENCLAW_DOCKER_E2E_FUNCTIONAL_IMAGE` 为每条线路选择镜像,然后用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行线路。
|
||||
Docker lane 定义位于 `scripts/lib/docker-e2e-scenarios.mjs`,planner 逻辑位于 `scripts/lib/docker-e2e-plan.mjs`,runner 只执行选定计划。调度器使用 `OPENCLAW_DOCKER_E2E_BARE_IMAGE` 和 `OPENCLAW_DOCKER_E2E_FUNCTIONAL_IMAGE` 为每个 lane 选择镜像,然后使用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行 lanes。
|
||||
|
||||
### 可调项
|
||||
|
||||
| 变量 | 默认值 | 用途 |
|
||||
| -------------------------------------- | ------ | --------------------------------------------------------------------------------------------- |
|
||||
| `OPENCLAW_DOCKER_ALL_PARALLELISM` | 10 | 普通通道的主池槽位数量。 |
|
||||
| `OPENCLAW_DOCKER_ALL_TAIL_PARALLELISM` | 10 | 对提供商敏感的尾部池槽位数量。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LIVE_LIMIT` | 9 | 并发实时通道上限,避免提供商限流。 |
|
||||
| `OPENCLAW_DOCKER_ALL_NPM_LIMIT` | 10 | 并发 npm install 通道上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT` | 7 | 并发多服务通道上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_START_STAGGER_MS` | 2000 | 通道启动之间的错峰间隔,用于避免 Docker daemon 创建风暴;设为 `0` 表示不使用错峰。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LANE_TIMEOUT_MS` | 7200000 | 每通道回退超时(120 分钟);选定的实时/尾部通道使用更严格的上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_DRY_RUN` | unset | `1` 会打印调度器计划而不运行通道。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LANES` | unset | 逗号分隔的精确通道列表;跳过清理冒烟测试,让智能体可以复现某个失败通道。 |
|
||||
| 变量 | 默认值 | 用途 |
|
||||
| -------------------------------------- | ------- | -------------------------------------------------------------------------------------------- |
|
||||
| `OPENCLAW_DOCKER_ALL_PARALLELISM` | 10 | 普通通道的主池槽位数。 |
|
||||
| `OPENCLAW_DOCKER_ALL_TAIL_PARALLELISM` | 10 | 对提供商敏感的尾池槽位数。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LIVE_LIMIT` | 9 | 并发实时通道上限,避免提供商限流。 |
|
||||
| `OPENCLAW_DOCKER_ALL_NPM_LIMIT` | 10 | 并发 npm install 通道上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT` | 7 | 并发多服务通道上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_START_STAGGER_MS` | 2000 | 通道启动之间的错峰间隔,用于避免 Docker daemon 创建风暴;设为 `0` 表示不做错峰。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LANE_TIMEOUT_MS` | 7200000 | 每通道兜底超时(120 分钟);选定的实时/尾部通道使用更严格的上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_DRY_RUN` | 未设置 | `1` 会打印调度器计划而不运行通道。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LANES` | 未设置 | 逗号分隔的精确通道列表;跳过清理烟测,以便智能体复现单个失败通道。 |
|
||||
|
||||
比其有效上限更重的通道仍可从空池启动,然后独占运行,直到释放容量。本地聚合会预检 Docker、移除陈旧的 OpenClaw E2E 容器、输出活跃通道 Status、持久化通道耗时以便按最长优先排序,并且默认在首次失败后停止调度新的池化通道。
|
||||
比其有效上限更重的通道仍可从空池启动,然后独占运行,直到释放容量。local 聚合流程会预检 Docker,移除陈旧的 OpenClaw E2E 容器,输出活跃通道状态,持久化通道耗时以便按最长优先排序,并默认在第一次失败后停止调度新的池化通道。
|
||||
|
||||
### 可复用的实时/E2E 工作流
|
||||
### 可复用实时/E2E 工作流
|
||||
|
||||
可复用的实时/E2E 工作流会询问 `scripts/test-docker-all.mjs --plan-json` 需要哪些包、镜像类型、实时镜像、通道和凭证覆盖。随后,`scripts/docker-e2e.mjs` 会把该计划转换为 GitHub 输出和摘要。它会通过 `scripts/package-openclaw-for-docker.mjs` 打包 OpenClaw、下载当前运行的包构件,或从 `package_artifact_run_id` 下载包构件;校验 tarball 清单;当计划需要已安装包的通道时,通过 Blacksmith 的 Docker layer cache 构建并推送带包摘要标签的 bare/functional GHCR Docker E2E 镜像;并复用提供的 `docker_e2e_bare_image`/`docker_e2e_functional_image` 输入或已有的包摘要镜像,而不是重新构建。Docker 镜像拉取会使用有界的每次尝试 180 秒超时进行重试,这样卡住的 registry/cache 流可以快速重试,而不是消耗 CI 关键路径的大部分时间。
|
||||
可复用实时/E2E 工作流会询问 `scripts/test-docker-all.mjs --plan-json` 需要哪些包、镜像类型、实时镜像、通道和凭据覆盖。随后 `scripts/docker-e2e.mjs` 会把该计划转换成 GitHub 输出和摘要。它会通过 `scripts/package-openclaw-for-docker.mjs` 打包 OpenClaw,下载当前运行的包构件,或从 `package_artifact_run_id` 下载包构件;校验 tarball 清单;当计划需要安装包后的通道时,通过 Blacksmith 的 Docker 层缓存构建并推送带包摘要标签的 bare/functional GHCR Docker E2E 镜像;并复用提供的 `docker_e2e_bare_image`/`docker_e2e_functional_image` 输入或已有的包摘要镜像,而不是重新构建。Docker 镜像拉取会使用有界的每次尝试 180 秒超时进行重试,因此卡住的 registry/cache 流会快速重试,而不是消耗 CI 关键路径的大部分时间。
|
||||
|
||||
### 发布路径分块
|
||||
|
||||
@ -291,62 +293,62 @@ Docker 线路定义位于 `scripts/lib/docker-e2e-scenarios.mjs`,规划器逻
|
||||
- `OPENCLAW_DOCKER_ALL_PROFILE=release-path`
|
||||
- `OPENCLAW_DOCKER_ALL_CHUNK=core | package-update-openai | package-update-anthropic | package-update-core | plugins-runtime-plugins | plugins-runtime-services | plugins-runtime-install-a..h`
|
||||
|
||||
当前发布 Docker 分块是 `core`、`package-update-openai`、`package-update-anthropic`、`package-update-core`、`plugins-runtime-plugins`、`plugins-runtime-services`,以及从 `plugins-runtime-install-a` 到 `plugins-runtime-install-h`。`plugins-runtime-core`、`plugins-runtime` 和 `plugins-integrations` 仍然是聚合插件/运行时别名。`install-e2e` 通道别名仍然是两个提供商安装器通道的聚合手动重跑别名。
|
||||
当前发布 Docker 分块包括 `core`、`package-update-openai`、`package-update-anthropic`、`package-update-core`、`plugins-runtime-plugins`、`plugins-runtime-services`,以及从 `plugins-runtime-install-a` 到 `plugins-runtime-install-h`。`plugins-runtime-core`、`plugins-runtime` 和 `plugins-integrations` 仍然是聚合插件/运行时别名。`install-e2e` 通道别名仍是两个提供商安装器通道的聚合手动重跑别名。
|
||||
|
||||
当完整发布路径覆盖请求 OpenWebUI 时,OpenWebUI 会并入 `plugins-runtime-services`,并且仅针对只调度 OpenWebUI 的情况保留独立的 `openwebui` 分块。内置渠道更新通道会针对瞬时 npm 网络故障重试一次。
|
||||
当完整 release-path 覆盖请求 OpenWebUI 时,OpenWebUI 会合并到 `plugins-runtime-services` 中,并且仅为只调度 OpenWebUI 的场景保留独立的 `openwebui` 分块。内置渠道更新通道会针对临时 npm 网络失败重试一次。
|
||||
|
||||
每个分块都会上传 `.artifacts/docker-tests/`,其中包含通道日志、耗时、`summary.json`、`failures.json`、阶段耗时、调度器计划 JSON、慢通道表,以及每通道重跑命令。工作流的 `docker_lanes` 输入会针对已准备的镜像运行选定通道,而不是运行分块作业,这会把失败通道调试限定在一个目标 Docker 作业内,并为该运行准备、下载或复用包构件;如果选定通道是实时 Docker 通道,目标作业会为该次重跑在本地构建实时测试镜像。生成的每通道 GitHub 重跑命令会在这些值存在时包含 `package_artifact_run_id`、`package_artifact_name` 和已准备的镜像输入,因此失败通道可以复用失败运行中的确切包和镜像。
|
||||
每个分块都会上传 `.artifacts/docker-tests/`,其中包含通道日志、耗时、`summary.json`、`failures.json`、阶段耗时、调度器计划 JSON、慢通道表,以及每通道重跑命令。工作流 `docker_lanes` 输入会针对准备好的镜像运行选定通道,而不是运行分块作业,这会把失败通道调试限定在一个目标 Docker 作业内,并为该次运行准备、下载或复用包构件;如果选定通道是实时 Docker 通道,目标作业会为该次重跑在本地构建实时测试镜像。生成的每通道 GitHub 重跑命令会在这些值存在时包含 `package_artifact_run_id`、`package_artifact_name` 和准备好的镜像输入,因此失败通道可以复用失败运行中的精确包和镜像。
|
||||
|
||||
```bash
|
||||
pnpm test:docker:rerun <run-id> # 下载 Docker 构件并打印合并/每通道目标重跑命令
|
||||
pnpm test:docker:rerun <run-id> # 下载 Docker 构件并打印组合/每通道的目标重跑命令
|
||||
pnpm test:docker:timings <summary> # 慢通道和阶段关键路径摘要
|
||||
```
|
||||
|
||||
计划的实时/E2E 工作流每天运行完整的发布路径 Docker 套件。
|
||||
定时实时/E2E 工作流每天运行完整的 release-path Docker 套件。
|
||||
|
||||
## 插件预发布
|
||||
|
||||
`Plugin Prerelease` 是成本更高的产品/包覆盖,因此它是一个单独的工作流,由 `Full Release Validation` 或显式操作员调度。普通 pull request、`main` 推送和独立手动 CI 调度都会关闭该套件。它会在八个 extension worker 之间均衡内置插件测试;这些 extension 分片作业一次最多运行两个插件配置组,每组一个 Vitest worker,并使用更大的 Node 堆,因此导入密集型插件批次不会创建额外 CI 作业。仅发布的 Docker 预发布路径会以小批量运行目标 Docker 通道,避免为一到三分钟的作业预留数十个 runner。
|
||||
`Plugin Prerelease` 是成本更高的产品/包覆盖,因此它是由 `Full Release Validation` 或显式操作员调度的独立工作流。普通 pull request、`main` 推送和独立手动 CI 调度会保持该套件关闭。它会在八个插件工作器之间平衡内置插件测试;这些插件分片作业每次最多运行两个插件配置组,每组使用一个 Vitest worker 和更大的 Node 堆,因此导入繁重的插件批次不会创建额外的 CI 作业。仅发布的 Docker 预发布路径会把目标 Docker 通道分成小组批处理,以避免为一到三分钟的作业预留数十个 runner。
|
||||
|
||||
## QA Lab
|
||||
|
||||
QA Lab 在主智能作用域工作流之外有专用 CI 通道。
|
||||
QA Lab 有位于主智能作用域工作流之外的专用 CI 通道。
|
||||
|
||||
- `Parity gate` 工作流会在匹配的 PR 变更和手动调度时运行;它会构建私有 QA 运行时,并比较模拟 GPT-5.5 和 Opus 4.6 智能体包。
|
||||
- `QA-Lab - All Lanes` 工作流每晚在 `main` 上运行,也可手动调度;它会把模拟 parity gate、实时 Matrix 通道,以及实时 Telegram 和 Discord 通道作为并行作业展开。实时作业使用 `qa-live-shared` 环境,Telegram/Discord 使用 Convex 租约。
|
||||
- `Parity gate` 工作流会在匹配的 PR 更改和手动调度时运行;它会构建私有 QA 运行时,并比较模拟 GPT-5.5 和 Opus 4.6 智能体包。
|
||||
- `QA-Lab - All Lanes` 工作流每晚在 `main` 上运行,也可手动调度;它会把模拟一致性门、实时 Matrix 通道,以及实时 Telegram 和 Discord 通道作为并行作业展开。实时作业使用 `qa-live-shared` 环境,Telegram/Discord 使用 Convex leases。
|
||||
|
||||
发布检查会使用确定性的模拟提供商和模拟限定模型(`mock-openai/gpt-5.5` 与 `mock-openai/gpt-5.5-alt`)运行 Matrix 和 Telegram 实时传输通道,因此渠道契约会与实时模型延迟和普通提供商插件启动隔离。实时传输 Gateway 网关会禁用记忆搜索,因为 QA parity 会单独覆盖记忆行为;提供商连接性由单独的实时模型、原生提供商和 Docker 提供商套件覆盖。
|
||||
发布检查会使用确定性的模拟提供商和模拟限定模型(`mock-openai/gpt-5.5` 与 `mock-openai/gpt-5.5-alt`)运行 Matrix 与 Telegram 实时传输通道,因此渠道契约会与实时模型延迟和普通提供商插件启动隔离。实时传输 Gateway 网关会禁用记忆搜索,因为 QA 一致性会单独覆盖记忆行为;提供商连通性由独立的实时模型、原生提供商和 Docker 提供商套件覆盖。
|
||||
|
||||
Matrix 对计划和发布门禁使用 `--profile fast`,并且仅在检出的 CLI 支持时添加 `--fail-fast`。CLI 默认值和手动工作流输入仍然是 `all`;手动 `matrix_profile=all` 调度总是会把完整 Matrix 覆盖分片为 `transport`、`media`、`e2ee-smoke`、`e2ee-deep` 和 `e2ee-cli` 作业。
|
||||
Matrix 对定时和发布门使用 `--profile fast`,仅在检出的 CLI 支持时添加 `--fail-fast`。CLI 默认值和手动工作流输入仍为 `all`;手动 `matrix_profile=all` 调度始终会把完整 Matrix 覆盖分片为 `transport`、`media`、`e2ee-smoke`、`e2ee-deep` 和 `e2ee-cli` 作业。
|
||||
|
||||
`OpenClaw Release Checks` 也会在发布批准前运行发布关键的 QA Lab 通道;它的 QA parity gate 会把候选包和基线包作为并行通道作业运行,然后把两个构件下载到一个小报告作业中,用于最终 parity 比较。
|
||||
`OpenClaw Release Checks` 还会在发布批准前运行发布关键的 QA Lab 通道;其 QA 一致性门会把候选包和基线包作为并行通道作业运行,然后把两个构件下载到一个小型报告作业中,用于最终一致性比较。
|
||||
|
||||
除非变更确实触及 QA 运行时、模型包 parity,或 parity 工作流拥有的表面,否则不要把 PR 落地路径放在 `Parity gate` 后面。对于普通渠道、配置、文档或单元测试修复,应把它视为可选信号,并遵循有作用域的 CI/检查证据。
|
||||
不要把 PR 落地路径置于 `Parity gate` 之后,除非更改确实触及 QA 运行时、模型包一致性或一致性工作流拥有的表面。对于普通渠道、配置、文档或单元测试修复,应将其视为可选信号,并遵循有作用域的 CI/检查证据。
|
||||
|
||||
## CodeQL
|
||||
|
||||
`CodeQL` 工作流是刻意收窄的第一轮安全扫描器,而不是完整仓库扫描。每日、手动和非草稿 pull request 守卫运行会扫描 Actions 工作流代码以及风险最高的 JavaScript/TypeScript 表面,并使用筛选到高/严重 `security-severity` 的高置信度安全查询。
|
||||
`CodeQL` 工作流有意作为窄范围的第一轮安全扫描器,而不是完整仓库扫描。每日、手动和非草稿 pull request 保护运行会扫描 Actions 工作流代码,以及最高风险的 JavaScript/TypeScript 表面,并使用高置信度安全查询,过滤到 high/critical `security-severity`。
|
||||
|
||||
pull request 守卫保持轻量:它只会针对 `.github/actions`、`.github/codeql`、`.github/workflows`、`packages` 或 `src` 下的变更启动,并运行与计划工作流相同的高置信度安全矩阵。Android 和 macOS CodeQL 不包含在 PR 默认项中。
|
||||
pull request 保护保持轻量:它只会针对 `.github/actions`、`.github/codeql`、`.github/workflows`、`packages` 或 `src` 下的更改启动,并运行与定时工作流相同的高置信度安全矩阵。Android 和 macOS CodeQL 不包含在 PR 默认项中。
|
||||
|
||||
### 安全类别
|
||||
|
||||
| 类别 | 表面 |
|
||||
| ------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| `/codeql-security-high/core-auth-secrets` | Auth、secrets、沙箱、cron 和 Gateway 网关基线 |
|
||||
| `/codeql-security-high/channel-runtime-boundary` | 核心渠道实现契约,加上渠道插件运行时、Gateway 网关、插件 SDK、secrets、audit 触点 |
|
||||
| `/codeql-security-high/network-ssrf-boundary` | 核心 SSRF、IP 解析、网络守卫、web-fetch 和插件 SDK SSRF 策略表面 |
|
||||
| `/codeql-security-high/mcp-process-tool-boundary` | MCP servers、进程执行助手、出站投递和智能体工具执行门禁 |
|
||||
| `/codeql-security-high/plugin-trust-boundary` | 插件安装、加载器、manifest、registry、package-manager install、source-loading 和插件 SDK package contract 信任表面 |
|
||||
| `/codeql-security-high/core-auth-secrets` | 认证、密钥、沙箱、cron 和 gateway 基线 |
|
||||
| `/codeql-security-high/channel-runtime-boundary` | 核心渠道实现契约,以及渠道插件运行时、gateway、插件 SDK、密钥、审计触点 |
|
||||
| `/codeql-security-high/network-ssrf-boundary` | 核心 SSRF、IP 解析、网络保护、web-fetch 和插件 SDK SSRF 策略表面 |
|
||||
| `/codeql-security-high/mcp-process-tool-boundary` | MCP 服务器、进程执行辅助工具、出站交付和智能体工具执行门 |
|
||||
| `/codeql-security-high/plugin-trust-boundary` | 插件安装、加载器、manifest、registry、包管理器安装、source-loading 和插件 SDK 包契约信任表面 |
|
||||
|
||||
### 平台专用安全分片
|
||||
### 平台特定安全分片
|
||||
|
||||
- `CodeQL Android Critical Security` — 计划的 Android 安全分片。在 workflow sanity 接受的最小 Blacksmith Linux runner 上为 CodeQL 手动构建 Android 应用。上传到 `/codeql-critical-security/android` 下。
|
||||
- `CodeQL macOS Critical Security` — 每周/手动 macOS 安全分片。在 Blacksmith macOS 上为 CodeQL 手动构建 macOS 应用,从上传的 SARIF 中过滤掉依赖构建结果,并上传到 `/codeql-critical-security/macos` 下。它保留在每日默认项之外,因为即使干净,macOS 构建也会主导运行时间。
|
||||
- `CodeQL Android Critical Security` — 定时 Android 安全分片。在工作流完整性检查接受的最小 Blacksmith Linux runner 上为 CodeQL 手动构建 Android 应用。上传到 `/codeql-critical-security/android` 下。
|
||||
- `CodeQL macOS Critical Security` — 每周/手动 macOS 安全分片。在 Blacksmith macOS 上为 CodeQL 手动构建 macOS 应用,从上传的 SARIF 中过滤掉依赖构建结果,并上传到 `/codeql-critical-security/macos` 下。由于 macOS 构建即使干净时也主导运行时间,因此保留在每日默认项之外。
|
||||
|
||||
### Critical Quality 类别
|
||||
### 关键质量类别
|
||||
|
||||
`CodeQL Critical Quality` 是对应的非安全分片。它只在更小的 Blacksmith Linux runner 上,针对较窄但高价值的表面运行错误严重度、非安全 JavaScript/TypeScript 质量查询。它的 pull request 守卫有意小于计划配置:非草稿 PR 只会针对智能体命令/模型/工具执行与回复分发代码、配置 schema/迁移/IO 代码、auth/secrets/沙箱/security 代码、核心渠道和内置渠道插件运行时、Gateway 网关 protocol/server-method、memory runtime/SDK glue、MCP/process/outbound delivery、提供商 runtime/model catalog、会话 diagnostics/delivery queues、插件 loader、插件 SDK/package-contract 或插件 SDK reply runtime 变更,运行匹配的 `agent-runtime-boundary`、`config-boundary`、`core-auth-secrets`、`channel-runtime-boundary`、`gateway-runtime-boundary`、`memory-runtime-boundary`、`mcp-process-runtime-boundary`、`provider-runtime-boundary`、`session-diagnostics-boundary`、`plugin-boundary`、`plugin-sdk-package-contract` 和 `plugin-sdk-reply-runtime` 分片。CodeQL 配置和质量工作流变更会运行全部十二个 PR quality 分片。
|
||||
`CodeQL Critical Quality` 是对应的非安全分片。它只在较小的 Blacksmith Linux runner 上,对窄范围高价值表面运行 error-severity、非安全 JavaScript/TypeScript 质量查询。其 pull request 保护有意小于定时配置:非草稿 PR 只会为智能体命令/模型/工具执行和回复调度代码、配置 schema/迁移/IO 代码、认证/密钥/沙箱/安全代码、核心渠道和内置渠道插件运行时、gateway 协议/服务器方法、记忆运行时/SDK glue、MCP/进程/出站交付、提供商运行时/模型目录、会话诊断/交付队列、插件加载器、插件 SDK/包契约,或插件 SDK 回复运行时更改,运行匹配的 `agent-runtime-boundary`、`config-boundary`、`core-auth-secrets`、`channel-runtime-boundary`、`gateway-runtime-boundary`、`memory-runtime-boundary`、`mcp-process-runtime-boundary`、`provider-runtime-boundary`、`session-diagnostics-boundary`、`plugin-boundary`、`plugin-sdk-package-contract` 和 `plugin-sdk-reply-runtime` 分片。CodeQL 配置和质量工作流更改会运行全部十二个 PR 质量分片。
|
||||
|
||||
手动调度接受:
|
||||
|
||||
@ -356,38 +358,38 @@ profile=all|agent-runtime-boundary|config-boundary|core-auth-secrets|channel-run
|
||||
|
||||
窄配置是用于单独运行一个质量分片的教学/迭代钩子。
|
||||
|
||||
| 类别 | 范围 |
|
||||
| ------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| `/codeql-critical-quality/core-auth-secrets` | 凭证、密钥、沙箱、cron 和 Gateway 网关安全边界代码 |
|
||||
| `/codeql-critical-quality/config-boundary` | 配置 schema、迁移、规范化和 IO 合约 |
|
||||
| `/codeql-critical-quality/gateway-runtime-boundary` | Gateway 网关协议 schema 和服务器方法合约 |
|
||||
| `/codeql-critical-quality/channel-runtime-boundary` | 核心渠道和内置渠道插件实现合约 |
|
||||
| `/codeql-critical-quality/agent-runtime-boundary` | 命令执行、模型/提供商分发、自动回复分发与队列,以及 ACP 控制平面运行时合约 |
|
||||
| `/codeql-critical-quality/mcp-process-runtime-boundary` | MCP 服务器和工具桥接、进程监管 helper,以及出站投递合约 |
|
||||
| `/codeql-critical-quality/memory-runtime-boundary` | 记忆宿主 SDK、记忆运行时 facade、记忆插件 SDK 别名、记忆运行时激活胶水代码,以及记忆 doctor 命令 |
|
||||
| `/codeql-critical-quality/session-diagnostics-boundary` | 回复队列内部机制、会话投递队列、出站会话绑定/投递 helper、诊断事件/日志包接口,以及会话 doctor CLI 合约 |
|
||||
| `/codeql-critical-quality/plugin-sdk-reply-runtime` | 插件 SDK 入站回复分发、回复载荷/分块/运行时 helper、渠道回复选项、投递队列,以及会话/线程绑定 helper |
|
||||
| `/codeql-critical-quality/provider-runtime-boundary` | 模型目录规范化、提供商凭证和设备发现、提供商运行时注册、提供商默认值/目录,以及 Web/搜索/获取/嵌入 registry |
|
||||
| `/codeql-critical-quality/ui-control-plane` | 控制 UI 启动、本地持久化、Gateway 网关控制流,以及任务控制平面运行时合约 |
|
||||
| `/codeql-critical-quality/web-media-runtime-boundary` | 核心 Web 获取/搜索、媒体 IO、媒体理解、图像生成和媒体生成运行时合约 |
|
||||
| `/codeql-critical-quality/plugin-boundary` | 加载器、registry、公开接口和插件 SDK 入口点合约 |
|
||||
| `/codeql-critical-quality/plugin-sdk-package-contract` | 已发布包侧插件 SDK 源码和插件包合约 helper |
|
||||
| 类别 | 范围 |
|
||||
| ------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| `/codeql-critical-quality/core-auth-secrets` | 凭证、机密、沙箱、cron 和 Gateway 网关安全边界代码 |
|
||||
| `/codeql-critical-quality/config-boundary` | 配置 schema、迁移、规范化和 IO 契约 |
|
||||
| `/codeql-critical-quality/gateway-runtime-boundary` | Gateway 网关协议 schema 和服务器方法契约 |
|
||||
| `/codeql-critical-quality/channel-runtime-boundary` | 核心渠道和内置渠道插件实现契约 |
|
||||
| `/codeql-critical-quality/agent-runtime-boundary` | 命令执行、模型/提供商分发、自动回复分发和队列,以及 ACP 控制平面运行时契约 |
|
||||
| `/codeql-critical-quality/mcp-process-runtime-boundary` | MCP 服务器和工具桥、进程监督辅助工具,以及出站投递契约 |
|
||||
| `/codeql-critical-quality/memory-runtime-boundary` | Memory 宿主 SDK、Memory 运行时 facade、Memory 插件 SDK 别名、Memory 运行时激活胶水代码,以及 Memory doctor 命令 |
|
||||
| `/codeql-critical-quality/session-diagnostics-boundary` | 回复队列内部机制、会话投递队列、出站会话绑定/投递辅助工具、诊断事件/日志包界面,以及会话 doctor CLI 契约 |
|
||||
| `/codeql-critical-quality/plugin-sdk-reply-runtime` | 插件 SDK 入站回复分发、回复载荷/分块/运行时辅助工具、渠道回复选项、投递队列,以及会话/线程绑定辅助工具 |
|
||||
| `/codeql-critical-quality/provider-runtime-boundary` | 模型目录规范化、提供商凭证和设备发现、提供商运行时注册、提供商默认值/目录,以及 web/搜索/fetch/embedding 注册表 |
|
||||
| `/codeql-critical-quality/ui-control-plane` | 控制 UI bootstrap、本地持久化、Gateway 网关控制流,以及任务控制平面运行时契约 |
|
||||
| `/codeql-critical-quality/web-media-runtime-boundary` | 核心 web fetch/搜索、媒体 IO、媒体理解、图像生成和媒体生成运行时契约 |
|
||||
| `/codeql-critical-quality/plugin-boundary` | 加载器、注册表、公共界面和插件 SDK 入口点契约 |
|
||||
| `/codeql-critical-quality/plugin-sdk-package-contract` | 已发布包侧插件 SDK 源码和插件包契约辅助工具 |
|
||||
|
||||
质量与安全保持分离,这样质量发现项就可以在不遮蔽安全信号的情况下进行排期、度量、禁用或扩展。Swift、Python 和内置插件 CodeQL 扩展应仅在这些窄范围配置拥有稳定运行时和信号后,作为有作用域或分片的后续工作加回。
|
||||
质量与安全保持分离,这样质量发现就可以被排期、度量、禁用或扩展,而不会遮蔽安全信号。只有在窄配置文件具备稳定运行时和信号之后,才应将 Swift、Python 和内置插件 CodeQL 扩展作为有范围或分片的后续工作加回。
|
||||
|
||||
## 维护工作流
|
||||
|
||||
### Docs Agent
|
||||
|
||||
`Docs Agent` 工作流是一个事件驱动的 Codex 维护通道,用于让现有文档与最近落地的变更保持一致。它没有纯定时计划:`main` 上一次成功的非机器人 push CI 运行可以触发它,手动调度也可以直接运行它。当 `main` 已经继续前进,或过去一小时内已创建另一个未跳过的 Docs Agent 运行时,workflow-run 调用会跳过。运行时,它会审查从上一个未跳过的 Docs Agent 来源 SHA 到当前 `main` 的提交范围,因此一次小时级运行可以覆盖上次文档处理后累积的所有 main 变更。
|
||||
`Docs Agent` 工作流是一个事件驱动的 Codex 维护通道,用于让现有文档与最近落地的变更保持一致。它没有纯定时计划:`main` 上一次成功的非机器人 push CI 运行可以触发它,也可以通过手动 dispatch 直接运行它。当 `main` 已经前进,或过去一小时内已创建过另一个未跳过的 Docs Agent 运行时,workflow-run 调用会跳过。运行时,它会审查从上一个未跳过的 Docs Agent 源 SHA 到当前 `main` 的提交范围,因此每小时一次运行可以覆盖自上次文档检查以来累计的所有 main 变更。
|
||||
|
||||
### Test Performance Agent
|
||||
|
||||
`Test Performance Agent` 工作流是一个事件驱动的 Codex 维护通道,用于处理慢测试。它没有纯定时计划:`main` 上一次成功的非机器人 push CI 运行可以触发它,但如果同一个 UTC 日已有另一个 workflow-run 调用已经运行或正在运行,它会跳过。手动调度会绕过该每日活动门禁。该通道会构建完整套件分组 Vitest 性能报告,让 Codex 只进行小型、保留覆盖率的测试性能修复,而不是大范围重构,然后重新运行完整套件报告,并拒绝会降低通过基线测试数量的变更。如果基线存在失败测试,Codex 只能修复明显失败项,并且 agent 后的完整套件报告必须通过后才能提交任何内容。当 `main` 在机器人 push 落地前前进时,该通道会 rebase 已验证补丁,重新运行 `pnpm check:changed`,并重试 push;有冲突的陈旧补丁会被跳过。它使用 GitHub 托管的 Ubuntu,因此 Codex action 可以与 docs agent 保持相同的 drop-sudo 安全姿态。
|
||||
`Test Performance Agent` 工作流是一个事件驱动的 Codex 维护通道,用于处理慢测试。它没有纯定时计划:`main` 上一次成功的非机器人 push CI 运行可以触发它,但如果当天 UTC 已经有另一个 workflow-run 调用运行过或正在运行,它会跳过。手动 dispatch 会绕过这个每日活动门禁。该通道会生成一份完整套件分组 Vitest 性能报告,让 Codex 只做小范围且保持覆盖率的测试性能修复,而不是大规模重构,然后重新运行完整套件报告,并拒绝会降低通过基线测试数量的变更。如果基线存在失败测试,Codex 只能修复明显失败,并且 agent 之后的完整套件报告必须通过,才能提交任何内容。当 `main` 在机器人 push 落地前前进时,该通道会 rebase 已验证补丁,重新运行 `pnpm check:changed`,并重试 push;有冲突的陈旧补丁会被跳过。它使用 GitHub 托管的 Ubuntu,因此 Codex action 可以保持与 docs agent 相同的 drop-sudo 安全姿态。
|
||||
|
||||
### 合并后的重复 PR
|
||||
|
||||
`Duplicate PRs After Merge` 工作流是一个手动维护者工作流,用于落地后的重复项清理。它默认 dry-run,并且仅在 `apply=true` 时关闭显式列出的 PR。在变更 GitHub 之前,它会验证已落地 PR 已合并,并验证每个重复项都有共享的引用 issue 或重叠的已更改 hunk。
|
||||
`Duplicate PRs After Merge` 工作流是一个手动维护者工作流,用于落地后的重复项清理。默认是 dry-run,且只有在 `apply=true` 时才会关闭显式列出的 PR。在修改 GitHub 之前,它会验证已落地 PR 已合并,并且每个重复项都有共享的引用 issue 或重叠的变更 hunk。
|
||||
|
||||
```bash
|
||||
gh workflow run duplicate-after-merge.yml \
|
||||
@ -398,27 +400,27 @@ gh workflow run duplicate-after-merge.yml \
|
||||
|
||||
## 本地检查门禁和变更路由
|
||||
|
||||
本地 changed-lane 逻辑位于 `scripts/changed-lanes.mjs`,并由 `scripts/check-changed.mjs` 执行。该本地检查门禁对架构边界的要求比宽泛的 CI 平台范围更严格:
|
||||
本地 changed-lane 逻辑位于 `scripts/changed-lanes.mjs`,并由 `scripts/check-changed.mjs` 执行。这个本地检查门禁在架构边界上比广泛的 CI 平台范围更严格:
|
||||
|
||||
- 核心生产变更会运行核心生产和核心测试类型检查,以及核心 lint/guard;
|
||||
- 仅核心测试变更只会运行核心测试类型检查和核心 lint;
|
||||
- 插件生产变更会运行插件生产和插件测试类型检查,以及插件 lint;
|
||||
- 仅插件测试变更会运行插件测试类型检查和插件 lint;
|
||||
- 公开插件 SDK 或插件合约变更会扩展到插件类型检查,因为插件依赖这些核心合约(Vitest 插件 sweep 仍然是显式测试工作);
|
||||
- 仅发布元数据的版本号提升会运行有针对性的版本/配置/root-dependency 检查;
|
||||
- 未知 root/配置变更会 fail safe 到所有检查通道。
|
||||
- 核心生产变更会运行核心生产和核心测试类型检查,加上核心 lint/guard;
|
||||
- 仅核心测试变更只运行核心测试类型检查,加上核心 lint;
|
||||
- 插件生产变更会运行插件生产和插件测试类型检查,加上插件 lint;
|
||||
- 仅插件测试变更会运行插件测试类型检查,加上插件 lint;
|
||||
- 公共插件 SDK 或插件契约变更会扩展到插件类型检查,因为插件依赖这些核心契约(Vitest 插件扫描仍然是显式测试工作);
|
||||
- 仅发布元数据版本 bump 会运行有针对性的版本/配置/root-dependency 检查;
|
||||
- 未知的 root/config 变更会故障安全地进入所有检查通道。
|
||||
|
||||
本地 changed-test 路由位于 `scripts/test-projects.test-support.mjs`,并且有意比 `check:changed` 更便宜:直接测试编辑会运行自身,源码编辑优先使用显式映射,然后是同级测试和 import-graph 依赖方。共享 group-room 投递配置是显式映射之一:对 group 可见回复配置、来源回复投递模式或 message-tool 系统提示的更改,会经过核心回复测试以及 Discord 和 Slack 投递回归测试,因此共享默认值变更会在第一次 PR push 前失败。仅当变更的范围足够覆盖整个 harness,使便宜的映射集合不再是可信代理时,才使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
本地 changed-test 路由位于 `scripts/test-projects.test-support.mjs`,并且有意比 `check:changed` 更便宜:直接测试编辑运行自身,源码编辑优先使用显式映射,然后是 sibling 测试和 import-graph 依赖项。共享 group-room 投递配置是显式映射之一:对 group 可见回复配置、源回复投递模式或 message-tool 系统提示词的变更,会通过核心回复测试加上 Discord 和 Slack 投递回归,因此共享默认值变更会在第一次 PR push 前失败。只有当变更覆盖整个 harness,导致廉价映射集无法作为可信代理时,才使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
|
||||
## Testbox 验证
|
||||
|
||||
从 repo root 运行 Testbox,并优先为宽泛证明使用新预热的 box。在一个复用、过期或刚刚报告了异常大同步量的 box 上花费慢门禁之前,先在该 box 内运行 `pnpm testbox:sanity`。
|
||||
从仓库根目录运行 Testbox,并优先为广泛证明使用新预热的 box。在一个被复用、已过期或刚报告异常大同步的 box 上花时间运行慢门禁之前,先在 box 内运行 `pnpm testbox:sanity`。
|
||||
|
||||
当所需 root 文件(如 `pnpm-lock.yaml`)消失,或 `git status --short` 显示至少 200 个已跟踪删除时,sanity 检查会快速失败。这通常表示远程同步状态不是 PR 的可信副本;停止该 box,并预热一个新的 box,而不是调试产品测试失败。对于有意进行大量删除的 PR,请为该 sanity 运行设置 `OPENCLAW_TESTBOX_ALLOW_MASS_DELETIONS=1`。
|
||||
当所需根文件(例如 `pnpm-lock.yaml`)消失,或 `git status --short` 显示至少 200 个已跟踪删除时,完整性检查会快速失败。这通常意味着远程同步状态不是 PR 的可信副本;停止该 box,并预热一个新的,而不是调试产品测试失败。对于有意的大删除 PR,请为该完整性运行设置 `OPENCLAW_TESTBOX_ALLOW_MASS_DELETIONS=1`。
|
||||
|
||||
`pnpm testbox:run` 还会终止一个本地 Blacksmith CLI 调用,如果它在同步阶段停留超过五分钟且没有同步后输出。设置 `OPENCLAW_TESTBOX_SYNC_TIMEOUT_MS=0` 可禁用该 guard,或者为异常大的本地 diff 使用更大的毫秒值。
|
||||
`pnpm testbox:run` 还会终止在同步阶段停留超过五分钟且没有同步后输出的本地 Blacksmith CLI 调用。设置 `OPENCLAW_TESTBOX_SYNC_TIMEOUT_MS=0` 可禁用该保护,或者为异常大的本地 diff 使用更大的毫秒值。
|
||||
|
||||
当 Blacksmith 不可用或更适合使用自有云容量时,Crabbox 是 repo 拥有的第二条远程 box Linux 证明路径。预热一个 box,通过项目工作流 hydrate 它,然后通过 Crabbox CLI 运行命令:
|
||||
当 Blacksmith 不可用,或更适合使用自有云容量时,Crabbox 是仓库自有的第二条远程 box Linux 证明路径。预热一个 box,通过项目工作流 hydrate 它,然后通过 Crabbox CLI 运行命令:
|
||||
|
||||
```bash
|
||||
pnpm crabbox:warmup -- --idle-timeout 90m
|
||||
@ -427,7 +429,7 @@ pnpm crabbox:run -- --id <cbx_id> --shell "OPENCLAW_TESTBOX=1 pnpm check:changed
|
||||
pnpm crabbox:stop -- <cbx_id>
|
||||
```
|
||||
|
||||
`.crabbox.yaml` 拥有提供商、同步和 GitHub Actions hydrate 默认值。它排除本地 `.git`,因此 hydrate 后的 Actions checkout 会保留自己的远程 Git 元数据,而不是同步维护者本地 remote 和 object store;它还排除永远不应传输的本地运行时/构建产物。`.github/workflows/crabbox-hydrate.yml` 拥有 checkout、Node/pnpm 设置、`origin/main` fetch,以及后续 `crabbox run --id <cbx_id>` 命令会 source 的非密钥环境交接。
|
||||
`.crabbox.yaml` 负责提供商、同步和 GitHub Actions hydrate 默认值。它会排除本地 `.git`,这样 hydrate 后的 Actions checkout 会保留自己的远程 Git 元数据,而不是同步维护者本地 remotes 和 object stores;它还会排除绝不应传输的本地运行时/构建产物。`.github/workflows/crabbox-hydrate.yml` 负责 checkout、Node/pnpm 设置、`origin/main` fetch,以及后续 `crabbox run --id <cbx_id>` 命令所 source 的非机密环境交接。
|
||||
|
||||
## 相关
|
||||
|
||||
|
||||
@ -1,45 +1,46 @@
|
||||
---
|
||||
read_when:
|
||||
- 你是新手,想要一份“我该点击/运行什么”的指南
|
||||
- 出了问题,你想要最快的修复路径
|
||||
summary: 帮助中心:常见修复、安装完整性检查,以及出现问题时该去哪里查看
|
||||
- 你是新用户,想要一份“该点击/运行什么”的指南
|
||||
- 出了问题,你想找到最快的修复路径
|
||||
summary: 帮助中心:常见修复、安装完整性检查,以及出问题时该查看哪里
|
||||
title: 帮助
|
||||
x-i18n:
|
||||
generated_at: "2026-04-24T06:58:56Z"
|
||||
model: gpt-5.4
|
||||
generated_at: "2026-05-01T22:37:28Z"
|
||||
model: gpt-5.5
|
||||
provider: openai
|
||||
source_hash: f4ea596c304ceee2422fd0ba67f61ad6e38c423a476a41cabec06f53f7a55b38
|
||||
source_hash: bb85d5c74da9efdb83762c4d735d0871e252a26956e904c09b42ab293e4dffca
|
||||
source_path: help/index.md
|
||||
workflow: 15
|
||||
workflow: 16
|
||||
---
|
||||
|
||||
最常见问题的快速“解决问题”路径:
|
||||
快速“解决问题”路径,适用于最常见的问题:
|
||||
|
||||
- [故障排除](/zh-CN/help/troubleshooting) — 按症状优先的决策树
|
||||
- [调试](/zh-CN/help/debugging) — 监视模式、原始流、开发配置文件
|
||||
- [调试](/zh-CN/help/debugging) — 监视模式、原始流、开发配置
|
||||
- [安装完整性检查](/zh-CN/install/node#troubleshooting) — Node / npm / PATH 检查
|
||||
- [Gateway 网关故障排除](/zh-CN/gateway/troubleshooting) — Gateway 网关特定问题
|
||||
- [Doctor](/zh-CN/gateway/doctor) — 自动修复 + 诊断包
|
||||
|
||||
## 常见问题
|
||||
|
||||
- [常见问题](/zh-CN/help/faq) — 日常概念与操作问题
|
||||
- [首次运行常见问题](/zh-CN/help/faq-first-run) — 安装、新手引导、凭证、订阅、早期失败
|
||||
- [模型常见问题](/zh-CN/help/faq-models) — 模型选择、故障切换、认证配置文件
|
||||
- [常见问题](/zh-CN/help/faq) — 日常概念和运维问题
|
||||
- [首次运行常见问题](/zh-CN/help/faq-first-run) — 安装、新手引导、身份验证、订阅、早期故障
|
||||
- [Models 常见问题](/zh-CN/help/faq-models) — 模型选择、故障转移、身份验证配置文件
|
||||
|
||||
## 诊断
|
||||
|
||||
- [环境变量](/zh-CN/help/environment) — OpenClaw 在哪里加载环境变量以及优先级
|
||||
- [诊断标志](/zh-CN/diagnostics/flags) — 运行时诊断与详细模式
|
||||
- [环境变量](/zh-CN/help/environment) — OpenClaw 加载环境变量的位置和优先级
|
||||
- [诊断标志](/zh-CN/diagnostics/flags) — 运行时诊断和详细模式
|
||||
- [Node + tsx 崩溃](/zh-CN/debug/node-issue) — 特定的 Node / tsx 运行时崩溃场景
|
||||
|
||||
## 测试
|
||||
|
||||
- [测试](/zh-CN/help/testing) — 测试套件与 Docker 运行器
|
||||
- [实时测试](/zh-CN/help/testing-live) — 涉及网络的提供商与 CLI 冒烟测试
|
||||
- [测试](/zh-CN/help/testing) — 测试套件和 Docker 运行器
|
||||
- [更新和插件测试](/zh-CN/help/testing-updates-plugins) — 包更新、迁移和插件安装验证
|
||||
- [实时测试](/zh-CN/help/testing-live) — 涉及网络的提供商和 CLI 冒烟测试
|
||||
|
||||
## 社区与其他
|
||||
## 社区和元信息
|
||||
|
||||
- [OpenClaw 背景故事](/zh-CN/start/lore) — 故事背景
|
||||
- [OpenClaw 掌故](/zh-CN/start/lore) — 故事
|
||||
- [文档中心](/zh-CN/start/hubs) — 本文档的组织方式
|
||||
- [文档目录](/zh-CN/start/docs-directory) — 完整文件映射
|
||||
|
||||
176
docs/zh-CN/help/testing-updates-plugins.md
Normal file
176
docs/zh-CN/help/testing-updates-plugins.md
Normal file
@ -0,0 +1,176 @@
|
||||
---
|
||||
read_when:
|
||||
- 更改 OpenClaw 更新、Doctor、软件包验收或插件安装行为
|
||||
- 准备或批准发布候选版
|
||||
- 调试包更新、插件依赖清理或插件安装回归问题
|
||||
sidebarTitle: Update and plugin tests
|
||||
summary: OpenClaw 如何验证更新路径、软件包迁移以及插件安装/更新行为
|
||||
title: 更新和插件测试
|
||||
x-i18n:
|
||||
generated_at: "2026-05-01T22:37:40Z"
|
||||
model: gpt-5.5
|
||||
provider: openai
|
||||
source_hash: dc3cfa7b6a1ede28dfb12940b56d34d3f8ca4d539c26fd818d663d7052f962a8
|
||||
source_path: help/testing-updates-plugins.md
|
||||
workflow: 16
|
||||
---
|
||||
|
||||
这是更新和插件验证的专用清单。目标很简单:证明可安装包可以更新真实用户状态,通过 `doctor` 修复陈旧的旧版状态,并且仍能从受支持的来源安装、加载、更新和卸载插件。
|
||||
|
||||
如需更完整的测试运行器地图,请参见 [测试](/zh-CN/help/testing)。如需实时提供商密钥和触网套件,请参见 [实时测试](/zh-CN/help/testing-live)。
|
||||
|
||||
## 我们保护什么
|
||||
|
||||
更新和插件测试保护以下契约:
|
||||
|
||||
- 软件包 tarball 完整,包含有效的 `dist/postinstall-inventory.json`,并且不依赖未打包的仓库文件。
|
||||
- 用户可以从较旧的已发布包迁移到候选包,而不会丢失配置、智能体、会话、工作区、插件 allowlist 或渠道配置。
|
||||
- `openclaw doctor --fix --non-interactive` 负责旧版清理和修复路径。启动流程不应为陈旧的插件状态增加隐藏的兼容性迁移。
|
||||
- 插件安装可从本地目录、git 仓库、npm 包和 ClawHub 注册表路径正常工作。
|
||||
- 插件 npm 依赖会安装到托管 npm 根目录中,在信任前被扫描,并在卸载期间通过 npm 移除,避免提升的依赖残留。
|
||||
- 插件在无变更时更新保持稳定:安装记录、解析后的来源和启用状态保持不变。
|
||||
|
||||
## 开发期间的本地证明
|
||||
|
||||
从窄范围开始:
|
||||
|
||||
```bash
|
||||
pnpm changed:lanes --json
|
||||
pnpm check:changed
|
||||
pnpm test:changed
|
||||
```
|
||||
|
||||
对于插件安装、卸载、依赖或包清单变更,还要运行覆盖已编辑接缝的聚焦测试:
|
||||
|
||||
```bash
|
||||
pnpm test src/plugins/uninstall.test.ts src/infra/package-dist-inventory.test.ts test/scripts/package-acceptance-workflow.test.ts
|
||||
```
|
||||
|
||||
在任何包 Docker lane 使用 tarball 之前,先证明包产物:
|
||||
|
||||
```bash
|
||||
pnpm release:check
|
||||
```
|
||||
|
||||
`release:check` 会运行配置/文档/API 漂移检查,写入包 dist 清单,运行 `npm pack --dry-run`,拒绝被禁止打包的文件,将 tarball 安装到临时前缀,运行 postinstall,并对内置渠道入口点做冒烟测试。
|
||||
|
||||
## Docker lane
|
||||
|
||||
Docker lane 是产品级证明。它们会在 Linux 容器内安装或更新真实包,并通过 CLI 命令、Gateway 网关启动、HTTP 探测、RPC Status 和文件系统状态断言行为。
|
||||
|
||||
迭代时使用聚焦 lane:
|
||||
|
||||
```bash
|
||||
pnpm test:docker:plugins
|
||||
pnpm test:docker:plugin-update
|
||||
pnpm test:docker:upgrade-survivor
|
||||
pnpm test:docker:published-upgrade-survivor
|
||||
```
|
||||
|
||||
重要 lane:
|
||||
|
||||
- `test:docker:plugins` 验证插件安装冒烟、本地文件夹安装、带预安装依赖的本地文件夹、带包依赖的 git 安装、npm 包依赖安装、本地 ClawHub fixture 安装、市场更新行为,以及 Claude bundle 启用/检查。设置 `OPENCLAW_PLUGINS_E2E_CLAWHUB=0` 可让 ClawHub 区块保持封闭/离线。
|
||||
- `test:docker:plugin-update` 验证未变更的已安装插件在 `openclaw plugins update` 期间不会重新安装或丢失安装元数据。
|
||||
- `test:docker:upgrade-survivor` 会把候选 tarball 安装到脏的旧用户 fixture 之上,运行包更新和非交互式 Doctor,然后启动 local loopback Gateway 网关并检查状态保留。
|
||||
- `test:docker:published-upgrade-survivor` 先安装已发布基线,通过烘焙的 `openclaw config set` 配方配置它,再更新到候选 tarball,运行 Doctor,检查旧版清理,启动 Gateway 网关,并探测 `/healthz`、`/readyz` 和 RPC Status。
|
||||
|
||||
有用的 published-upgrade survivor 变体:
|
||||
|
||||
```bash
|
||||
OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC=openclaw@2026.4.23 \
|
||||
OPENCLAW_UPGRADE_SURVIVOR_SCENARIO=versioned-runtime-deps \
|
||||
pnpm test:docker:published-upgrade-survivor
|
||||
|
||||
OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC=openclaw@latest \
|
||||
OPENCLAW_UPGRADE_SURVIVOR_SCENARIO=bootstrap-persona \
|
||||
pnpm test:docker:published-upgrade-survivor
|
||||
```
|
||||
|
||||
可用场景包括 `base`、`feishu-channel`、`bootstrap-persona`、`tilde-log-path` 和 `versioned-runtime-deps`。在聚合运行中,`OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS=reported-issues` 会扩展为所有已报告问题形态的场景。
|
||||
|
||||
## Package Acceptance
|
||||
|
||||
Package Acceptance 是 GitHub 原生的包门禁。它会将一个候选包解析为 `package-under-test` tarball,记录版本和 SHA-256,然后针对该精确 tarball 运行可复用的 Docker E2E lane。workflow harness ref 与包来源 ref 分离,因此当前测试逻辑可以验证较旧的受信任版本。
|
||||
|
||||
候选来源:
|
||||
|
||||
- `source=npm`:验证 `openclaw@beta`、`openclaw@latest` 或精确的已发布版本。
|
||||
- `source=ref`:使用选定的当前 harness 打包受信任的分支、标签或提交。
|
||||
- `source=url`:验证需要 `package_sha256` 的 HTTPS tarball。
|
||||
- `source=artifact`:复用另一个 Actions 运行上传的 tarball。
|
||||
|
||||
发布检查会用包/更新/插件集合调用 Package Acceptance:
|
||||
|
||||
```text
|
||||
doctor-switch update-channel-switch upgrade-survivor published-upgrade-survivor plugins-offline plugin-update
|
||||
```
|
||||
|
||||
它们还会传入:
|
||||
|
||||
```text
|
||||
published_upgrade_survivor_baselines=release-history
|
||||
published_upgrade_survivor_scenarios=reported-issues
|
||||
telegram_mode=mock-openai
|
||||
```
|
||||
|
||||
这会让包迁移、更新渠道切换、陈旧插件依赖清理、离线插件覆盖、插件更新行为和 Telegram 包 QA 使用同一个已解析产物。
|
||||
|
||||
在发布前验证候选包时,手动运行包 profile:
|
||||
|
||||
```bash
|
||||
gh workflow run package-acceptance.yml \
|
||||
--ref main \
|
||||
-f workflow_ref=main \
|
||||
-f source=npm \
|
||||
-f package_spec=openclaw@beta \
|
||||
-f suite_profile=package \
|
||||
-f published_upgrade_survivor_baselines=release-history \
|
||||
-f published_upgrade_survivor_scenarios=reported-issues \
|
||||
-f telegram_mode=mock-openai
|
||||
```
|
||||
|
||||
当发布问题包含 MCP 渠道、cron/subagent 清理、OpenAI web search 或 OpenWebUI 时,使用 `suite_profile=product`。仅在需要完整 Docker 发布路径覆盖时使用 `suite_profile=full`。
|
||||
|
||||
## 发布默认项
|
||||
|
||||
对于发布候选,默认证明栈是:
|
||||
|
||||
1. 针对源码级回归运行 `pnpm check:changed` 和 `pnpm test:changed`。
|
||||
2. 针对包产物完整性运行 `pnpm release:check`。
|
||||
3. 针对安装/更新/插件契约运行 Package Acceptance `package` profile 或发布检查自定义包 lane。
|
||||
4. 针对 OS 特定安装器、新手引导和平台行为运行跨 OS 发布检查。
|
||||
5. 仅当变更面触及提供商或托管服务行为时运行实时套件。
|
||||
|
||||
在维护者机器上,广范围门禁和 Docker/包产品证明应在 Testbox 中运行,除非明确要做本地证明。
|
||||
|
||||
## 旧版兼容性
|
||||
|
||||
兼容性宽松范围很窄且有时间限制:
|
||||
|
||||
- 截至 `2026.4.25` 的包(包括 `2026.4.25-beta.*`)可以在 Package Acceptance 中容忍已发布的包元数据缺口。
|
||||
- 已发布的 `2026.4.26` 包可以对已发布的本地构建元数据戳文件发出警告。
|
||||
- 之后的包必须满足现代契约。相同缺口会失败,而不是警告或跳过。
|
||||
|
||||
不要为这些旧形态添加新的启动迁移。添加或扩展 Doctor 修复,然后用 `upgrade-survivor` 或 `published-upgrade-survivor` 证明它。
|
||||
|
||||
## 添加覆盖
|
||||
|
||||
更改更新或插件行为时,在能因正确原因失败的最低层添加覆盖:
|
||||
|
||||
- 纯路径或元数据逻辑:源旁边的单元测试。
|
||||
- 包清单或已打包文件行为:`package-dist-inventory` 或 tarball 检查器测试。
|
||||
- CLI 安装/更新行为:Docker lane 断言或 fixture。
|
||||
- 已发布版本迁移行为:`published-upgrade-survivor` 场景。
|
||||
- 注册表/包来源行为:`test:docker:plugins` fixture 或 ClawHub fixture 服务器。
|
||||
|
||||
让新的 Docker fixture 默认保持封闭。使用本地 fixture 注册表和假包,除非测试重点是实时注册表行为。
|
||||
|
||||
## 失败分诊
|
||||
|
||||
从产物身份开始:
|
||||
|
||||
- Package Acceptance `resolve_package` 摘要:来源、版本、SHA-256 和产物名称。
|
||||
- Docker 产物:`.artifacts/docker-tests/**/summary.json`、`failures.json`、lane 日志和重跑命令。
|
||||
- Upgrade survivor 摘要:`.artifacts/upgrade-survivor/summary.json`,包括基线版本、候选版本、场景、阶段耗时和配方步骤。
|
||||
|
||||
优先使用相同包产物重跑失败的精确 lane,而不是重跑整个发布总括流程。
|
||||
@ -3,191 +3,162 @@ read_when:
|
||||
- 在本地或 CI 中运行测试
|
||||
- 为模型/提供商缺陷添加回归测试
|
||||
- 调试 Gateway 网关 + 智能体行为
|
||||
summary: 测试工具包:单元/端到端/实时测试套件、Docker 运行器,以及每个测试涵盖的内容
|
||||
summary: 测试工具包:单元/e2e/live 套件、Docker 运行器,以及每项测试覆盖的内容
|
||||
title: 测试
|
||||
x-i18n:
|
||||
generated_at: "2026-05-01T20:49:26Z"
|
||||
generated_at: "2026-05-01T22:37:39Z"
|
||||
model: gpt-5.5
|
||||
provider: openai
|
||||
source_hash: 3fb72ec57b41f776663f83380df89550e918887d96b7f420e4c9ebf53a57cdb8
|
||||
source_hash: 8f9f9731281267faa880da7c8b4dff27b05d9656c412b25e912fa464ed7d5472
|
||||
source_path: help/testing.md
|
||||
workflow: 16
|
||||
---
|
||||
|
||||
OpenClaw 有三个 Vitest 套件(单元/集成、e2e、live)和一小组
|
||||
Docker 运行器。本文档是“我们如何测试”的指南:
|
||||
OpenClaw 有三套 Vitest 测试套件(单元/集成、e2e、live)和少量
|
||||
Docker runner。本文档是一份“我们如何测试”的指南:
|
||||
|
||||
- 每个套件覆盖什么(以及它刻意 _不_ 覆盖什么)。
|
||||
- 每个测试套件覆盖什么(以及它有意 _不_ 覆盖什么)。
|
||||
- 常见工作流(本地、推送前、调试)应运行哪些命令。
|
||||
- live 测试如何发现凭据并选择模型/提供商。
|
||||
- 如何为真实世界的模型/提供商问题添加回归测试。
|
||||
- live 测试如何发现凭证并选择模型/提供商。
|
||||
- 如何为真实世界中的模型/提供商问题添加回归测试。
|
||||
|
||||
<Note>
|
||||
**QA 栈(qa-lab、qa-channel、live 传输通道)**已单独记录:
|
||||
**QA 栈(qa-lab、qa-channel、live transport lanes)** 已单独记录:
|
||||
|
||||
- [QA overview](/zh-CN/concepts/qa-e2e-automation) — 架构、命令表面、场景编写。
|
||||
- [QA overview](/zh-CN/concepts/qa-e2e-automation) — 架构、命令界面、场景编写。
|
||||
- [Matrix QA](/zh-CN/concepts/qa-matrix) — `pnpm openclaw qa matrix` 的参考。
|
||||
- [QA channel](/zh-CN/channels/qa-channel) — 仓库支持的场景使用的合成传输插件。
|
||||
- [QA channel](/zh-CN/channels/qa-channel) — repo 支持场景使用的合成传输插件。
|
||||
|
||||
本页介绍如何运行常规测试套件以及 Docker/Parallels 运行器。下面的 QA 专用运行器部分([QA 专用运行器](#qa-specific-runners))列出具体的 `qa` 调用,并指向上面的参考资料。
|
||||
本页涵盖常规测试套件和 Docker/Parallels runner 的运行方式。下面的 QA 专用 runner 小节([QA 专用 runner](#qa-specific-runners))列出了具体的 `qa` 调用,并指回上面的参考文档。
|
||||
</Note>
|
||||
|
||||
## 快速开始
|
||||
|
||||
大多数情况下:
|
||||
大多数时候:
|
||||
|
||||
- 完整门禁(推送前预期运行):`pnpm build && pnpm check && pnpm check:test-types && pnpm test`
|
||||
- 在空间充足的机器上更快地运行本地完整套件:`pnpm test:max`
|
||||
- 完整 gate(推送前预期运行):`pnpm build && pnpm check && pnpm check:test-types && pnpm test`
|
||||
- 在资源充足的机器上更快运行本地完整测试套件:`pnpm test:max`
|
||||
- 直接 Vitest watch 循环:`pnpm test:watch`
|
||||
- 直接文件定向现在也会路由扩展/渠道路径:`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts`
|
||||
- 当你在迭代单个失败时,优先先运行定向测试。
|
||||
- 直接按文件定位现在也会路由扩展/渠道路径:`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts`
|
||||
- 当你在迭代单个失败时,优先先运行有针对性的测试。
|
||||
- Docker 支持的 QA 站点:`pnpm qa:lab:up`
|
||||
- Linux VM 支持的 QA 通道:`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline`
|
||||
- Linux VM 支持的 QA lane:`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline`
|
||||
|
||||
当你改动测试或想要额外信心时:
|
||||
当你触及测试或想要额外信心时:
|
||||
|
||||
- 覆盖率门禁:`pnpm test:coverage`
|
||||
- E2E 套件:`pnpm test:e2e`
|
||||
- 覆盖率 gate:`pnpm test:coverage`
|
||||
- E2E 测试套件:`pnpm test:e2e`
|
||||
|
||||
调试真实提供商/模型时(需要真实凭据):
|
||||
调试真实提供商/模型时(需要真实凭证):
|
||||
|
||||
- live 套件(模型 + Gateway 网关工具/图像探针):`pnpm test:live`
|
||||
- 静默定向一个 live 文件:`pnpm test:live -- src/agents/models.profiles.live.test.ts`
|
||||
- live 测试套件(模型 + Gateway 网关工具/图像探测):`pnpm test:live`
|
||||
- 安静地定位一个 live 文件:`pnpm test:live -- src/agents/models.profiles.live.test.ts`
|
||||
- Docker live 模型扫描:`pnpm test:docker:live-models`
|
||||
- 每个选中的模型现在都会运行一次文本轮次以及一个小型文件读取风格探针。
|
||||
元数据声明支持 `image` 输入的模型还会运行一次微型图像轮次。
|
||||
在隔离提供商失败时,可使用 `OPENCLAW_LIVE_MODEL_FILE_PROBE=0` 或
|
||||
`OPENCLAW_LIVE_MODEL_IMAGE_PROBE=0` 禁用额外探针。
|
||||
- 每个被选中的模型现在都会运行一次文本回合,再加一个小型文件读取风格探测。
|
||||
元数据声明支持 `image` 输入的模型还会运行一个小型图像回合。
|
||||
在隔离提供商故障时,可用 `OPENCLAW_LIVE_MODEL_FILE_PROBE=0` 或
|
||||
`OPENCLAW_LIVE_MODEL_IMAGE_PROBE=0` 禁用额外探测。
|
||||
- CI 覆盖:每日 `OpenClaw Scheduled Live And E2E Checks` 和手动
|
||||
`OpenClaw Release Checks` 都会调用可复用的 live/E2E 工作流,并设置
|
||||
`include_live_suites: true`,其中包含按提供商分片的独立 Docker live 模型
|
||||
矩阵作业。
|
||||
- 对于聚焦的 CI 重跑,调度 `OpenClaw Live And E2E Checks (Reusable)`,
|
||||
matrix 作业。
|
||||
- 对于聚焦的 CI 重跑,触发 `OpenClaw Live And E2E Checks (Reusable)`,
|
||||
并设置 `include_live_suites: true` 和 `live_models_only: true`。
|
||||
- 将新的高信号提供商密钥添加到 `scripts/ci-hydrate-live-auth.sh`
|
||||
- 将新的高信号提供商 secret 添加到 `scripts/ci-hydrate-live-auth.sh`,
|
||||
以及 `.github/workflows/openclaw-live-and-e2e-checks-reusable.yml` 和它的
|
||||
定时/发布调用方。
|
||||
- 原生 Codex 绑定聊天冒烟:`pnpm test:docker:live-codex-bind`
|
||||
- 针对 Codex app-server 路径运行 Docker live 通道,绑定一个合成
|
||||
- 原生 Codex 绑定聊天 smoke:`pnpm test:docker:live-codex-bind`
|
||||
- 针对 Codex app-server 路径运行 Docker live lane,绑定一个合成
|
||||
Slack 私信并使用 `/codex bind`,执行 `/codex fast` 和
|
||||
`/codex permissions`,然后验证普通回复和图像附件通过原生插件绑定路由,
|
||||
而不是通过 ACP。
|
||||
- Codex app-server harness 冒烟:`pnpm test:docker:live-codex-harness`
|
||||
- 通过插件拥有的 Codex app-server harness 运行 Gateway 网关智能体轮次,
|
||||
验证 `/codex status` 和 `/codex models`,并默认执行图像、
|
||||
cron MCP、子智能体和 Guardian 探针。在隔离其他 Codex
|
||||
app-server 失败时,可使用
|
||||
`OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_PROBE=0` 禁用子智能体探针。对于聚焦的子智能体检查,禁用其他探针:
|
||||
`/codex permissions`,然后验证普通回复和图像附件会通过原生插件绑定路由,
|
||||
而不是 ACP。
|
||||
- Codex app-server harness smoke:`pnpm test:docker:live-codex-harness`
|
||||
- 通过插件拥有的 Codex app-server harness 运行 Gateway 网关智能体回合,
|
||||
验证 `/codex status` 和 `/codex models`,并默认执行图像、cron MCP、
|
||||
子智能体和 Guardian 探测。在隔离其他 Codex app-server 故障时,可用
|
||||
`OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_PROBE=0` 禁用子智能体探测。对于聚焦的子智能体检查,禁用其他探测:
|
||||
`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0 OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0 OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0 OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_PROBE=1 pnpm test:docker:live-codex-harness`。
|
||||
除非设置了 `OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_ONLY=0`,
|
||||
否则会在子智能体探针之后退出。
|
||||
- Crestodian 救援命令冒烟:`pnpm test:live:crestodian-rescue-channel`
|
||||
- 对消息渠道救援命令表面进行选择性加固检查。它会执行
|
||||
否则它会在子智能体探测后退出。
|
||||
- Crestodian rescue 命令 smoke:`pnpm test:live:crestodian-rescue-channel`
|
||||
- 针对消息渠道 rescue 命令界面的可选双保险检查。它会执行
|
||||
`/crestodian status`,排队一个持久模型变更,回复 `/crestodian yes`,
|
||||
并验证审计/配置写入路径。
|
||||
- Crestodian planner Docker 冒烟:`pnpm test:docker:crestodian-planner`
|
||||
- 在无配置容器中运行 Crestodian,并在 `PATH` 上放置一个假的 Claude CLI,
|
||||
验证模糊 planner 回退会转换为经过审计的类型化配置写入。
|
||||
- Crestodian 首次运行 Docker 冒烟:`pnpm test:docker:crestodian-first-run`
|
||||
- Crestodian planner Docker smoke:`pnpm test:docker:crestodian-planner`
|
||||
- 在无配置容器中运行 Crestodian,并在 `PATH` 上提供一个假的 Claude CLI,
|
||||
验证 fuzzy planner fallback 会转换为带审计的类型化配置写入。
|
||||
- Crestodian first-run Docker smoke:`pnpm test:docker:crestodian-first-run`
|
||||
- 从空的 OpenClaw 状态目录开始,将裸 `openclaw` 路由到
|
||||
Crestodian,应用设置/模型/智能体/Discord 插件 + SecretRef 写入,
|
||||
验证配置,并验证审计条目。同一个 Ring 0 设置路径也在 QA Lab 中由
|
||||
验证配置,并验证审计条目。同一个 Ring 0 设置路径也由 QA Lab 中的
|
||||
`pnpm openclaw qa suite --scenario crestodian-ring-zero-setup` 覆盖。
|
||||
- Moonshot/Kimi 成本冒烟:设置 `MOONSHOT_API_KEY` 后,运行
|
||||
`openclaw models list --provider moonshot --json`,然后运行一个隔离的
|
||||
`openclaw agent --local --session-id live-kimi-cost --message 'Reply exactly: KIMI_LIVE_OK' --thinking off --json`
|
||||
针对 `moonshot/kimi-k2.6`。验证 JSON 报告 Moonshot/K2.6,并且
|
||||
助手转录记录存储了规范化的 `usage.cost`。
|
||||
- Moonshot/Kimi 成本 smoke:设置 `MOONSHOT_API_KEY` 后,运行
|
||||
`openclaw models list --provider moonshot --json`,然后针对
|
||||
`moonshot/kimi-k2.6` 运行隔离的
|
||||
`openclaw agent --local --session-id live-kimi-cost --message 'Reply exactly: KIMI_LIVE_OK' --thinking off --json`。
|
||||
验证 JSON 报告 Moonshot/K2.6,并且助手转录记录存储了规范化的 `usage.cost`。
|
||||
|
||||
<Tip>
|
||||
当你只需要一个失败用例时,优先通过下面描述的 allowlist 环境变量收窄 live 测试。
|
||||
当你只需要一个失败用例时,优先通过下面描述的 allowlist 环境变量缩小 live 测试范围。
|
||||
</Tip>
|
||||
|
||||
## QA 专用运行器
|
||||
## QA 专用 runner
|
||||
|
||||
当你需要 QA-lab 真实性时,这些命令与主测试套件并列:
|
||||
当你需要 QA-lab 真实度时,这些命令与主测试套件并列使用:
|
||||
|
||||
CI 在专用工作流中运行 QA Lab。`Parity gate` 会在匹配的 PR 上以及
|
||||
使用 mock 提供商的手动调度中运行。`QA-Lab - All Lanes` 会每晚在
|
||||
`main` 上运行,也可从手动调度运行,并将 mock parity gate、live Matrix 通道、
|
||||
Convex 管理的 live Telegram 通道和 Convex 管理的 live Discord 通道作为
|
||||
并行作业。定时 QA 和发布检查会显式传递 Matrix `--profile fast`,
|
||||
而 Matrix CLI 和手动工作流输入默认仍为 `all`;手动调度可以将 `all` 分片为
|
||||
`transport`、`media`、`e2ee-smoke`、`e2ee-deep` 和 `e2ee-cli` 作业。
|
||||
`OpenClaw Release Checks` 会在发布批准前运行 parity 加 fast Matrix 和
|
||||
Telegram 通道,发布传输检查使用 `mock-openai/gpt-5.5`,从而保持确定性并避免正常提供商插件启动。这些 live 传输 Gateway 网关会禁用记忆搜索;记忆行为仍由 QA parity 套件覆盖。
|
||||
CI 在专用工作流中运行 QA Lab。`Parity gate` 会在匹配的 PR 上运行,也可通过手动触发使用 mock 提供商运行。`QA-Lab - All Lanes` 每晚在 `main` 上运行,也可通过手动触发运行,并将 mock parity gate、live Matrix lane、Convex 管理的 live Telegram lane,以及 Convex 管理的 live Discord lane 作为并行作业。定时 QA 和发布检查会显式传入 Matrix `--profile fast`,而 Matrix CLI 和手动工作流输入的默认值仍为 `all`;手动触发可将 `all` 分片为 `transport`、`media`、`e2ee-smoke`、`e2ee-deep` 和 `e2ee-cli` 作业。`OpenClaw Release Checks` 会在发布批准前运行 parity,以及 fast Matrix 和 Telegram lane,发布传输检查使用 `mock-openai/gpt-5.5`,以保持确定性并避免常规提供商插件启动。这些 live transport gateway 会禁用 memory search;memory 行为仍由 QA parity 测试套件覆盖。
|
||||
|
||||
完整发布 live 媒体分片使用
|
||||
`ghcr.io/openclaw/openclaw-live-media-runner:ubuntu-24.04`,其中已包含
|
||||
完整发布 live media 分片使用
|
||||
`ghcr.io/openclaw/openclaw-live-media-runner:ubuntu-24.04`,其中已经包含
|
||||
`ffmpeg` 和 `ffprobe`。Docker live 模型/后端分片使用共享的
|
||||
`ghcr.io/openclaw/openclaw-live-test:<sha>` 镜像,该镜像会为每个选定提交构建一次,
|
||||
然后使用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 拉取它,而不是在每个分片内重新构建。
|
||||
`ghcr.io/openclaw/openclaw-live-test:<sha>` 镜像,该镜像会为每个选中的
|
||||
commit 构建一次,然后用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 拉取它,而不是在每个分片内部重新构建。
|
||||
|
||||
- `pnpm openclaw qa suite`
|
||||
- 直接在主机上运行仓库支持的 QA 场景。
|
||||
- 默认使用隔离的 Gateway 网关 worker 并行运行多个选中的场景。
|
||||
`qa-channel` 默认并发数为 4(受所选场景数量限制)。使用
|
||||
`--concurrency <count>` 调整 worker 数量,或使用 `--concurrency 1`
|
||||
运行较旧的串行通道。
|
||||
- 当任何场景失败时以非零状态退出。当你想要产物但不想要失败退出码时,使用 `--allow-failures`。
|
||||
- 直接在主机上运行 repo 支持的 QA 场景。
|
||||
- 默认使用隔离的 Gateway 网关 worker 并行运行多个选中的场景。`qa-channel` 默认并发为 4(受选中场景数量限制)。使用 `--concurrency <count>` 调整 worker 数量,或使用 `--concurrency 1` 运行较旧的串行 lane。
|
||||
- 任何场景失败时以非零退出码退出。当你想获得 artifacts 但不想失败退出码时,使用 `--allow-failures`。
|
||||
- 支持提供商模式 `live-frontier`、`mock-openai` 和 `aimock`。
|
||||
`aimock` 会启动一个本地 AIMock 支持的提供商服务器,用于实验性
|
||||
fixture 和协议 mock 覆盖,而不会替换具备场景感知能力的
|
||||
`mock-openai` 通道。
|
||||
`aimock` 会启动一个本地 AIMock 支持的提供商服务器,用于实验性 fixture 和协议 mock 覆盖,同时不替换场景感知的 `mock-openai` lane。
|
||||
- `pnpm test:gateway:cpu-scenarios`
|
||||
- 运行 Gateway 网关启动基准以及一个小型 mock QA Lab 场景包
|
||||
- 运行 Gateway 网关启动 bench,加上一小组 mock QA Lab 场景包
|
||||
(`channel-chat-baseline`、`memory-failure-fallback`、
|
||||
`gateway-restart-inflight-run`),并在 `.artifacts/gateway-cpu-scenarios/`
|
||||
下写入合并后的 CPU 观测摘要。
|
||||
- 默认仅标记持续的高 CPU 观测(`--cpu-core-warn`
|
||||
加 `--hot-wall-warn-ms`),因此短暂启动突增会记录为指标,
|
||||
而不会看起来像持续数分钟的 Gateway 网关占满回归。
|
||||
- 使用已构建的 `dist` 产物;当检出中尚无新鲜运行时输出时,先运行构建。
|
||||
下写入组合的 CPU observation 摘要。
|
||||
- 默认只标记持续高 CPU observation(`--cpu-core-warn` 加
|
||||
`--hot-wall-warn-ms`),因此短暂启动突增会记录为指标,而不会看起来像持续数分钟的 Gateway 网关占满 CPU 回归。
|
||||
- 使用构建出的 `dist` artifact;当 checkout 中还没有新的运行时输出时,请先运行构建。
|
||||
- `pnpm openclaw qa suite --runner multipass`
|
||||
- 在一次性 Multipass Linux VM 内运行相同的 QA 套件。
|
||||
- 在一次性 Multipass Linux VM 中运行同一个 QA 测试套件。
|
||||
- 保持与主机上的 `qa suite` 相同的场景选择行为。
|
||||
- 复用与 `qa suite` 相同的提供商/模型选择标志。
|
||||
- live 运行会转发对 guest 实用的受支持 QA 凭据输入:
|
||||
基于环境变量的提供商密钥、QA live 提供商配置路径,以及存在时的 `CODEX_HOME`。
|
||||
- 输出目录必须保留在仓库根目录下,以便 guest 能通过挂载的工作区写回。
|
||||
- 在 `.artifacts/qa-e2e/...` 下写入常规 QA 报告 + 摘要以及 Multipass 日志。
|
||||
- live 运行会转发对 guest 来说可行的受支持 QA 认证输入:
|
||||
基于 env 的提供商 key、QA live 提供商配置路径,以及存在时的 `CODEX_HOME`。
|
||||
- 输出目录必须保留在 repo 根目录下,以便 guest 可以通过挂载的工作区写回。
|
||||
- 在 `.artifacts/qa-e2e/...` 下写入常规 QA report + summary,以及 Multipass 日志。
|
||||
- `pnpm qa:lab:up`
|
||||
- 启动用于操作员风格 QA 工作的 Docker 支持 QA 站点。
|
||||
- 启动 Docker 支持的 QA 站点,用于 operator 风格的 QA 工作。
|
||||
- `pnpm test:docker:npm-onboard-channel-agent`
|
||||
- 从当前检出构建 npm tarball,在 Docker 中全局安装,运行非交互式
|
||||
OpenAI API key 新手引导,默认配置 Telegram,验证打包的插件运行时在没有启动依赖修复的情况下加载,运行 Doctor,并针对一个
|
||||
mock OpenAI 端点运行一次本地智能体轮次。
|
||||
- 使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 以 Discord 运行相同的打包安装通道。
|
||||
- 从当前 checkout 构建 npm tarball,在 Docker 中全局安装它,运行非交互式 OpenAI API key 新手引导,默认配置 Telegram,验证打包插件运行时可在没有启动依赖修复的情况下加载,运行 Doctor,并针对 mock OpenAI endpoint 运行一个本地智能体回合。
|
||||
- 使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 可用 Discord 运行同一个打包安装 lane。
|
||||
- `pnpm test:docker:session-runtime-context`
|
||||
- 为嵌入式运行时上下文转录记录运行确定性的已构建应用 Docker 冒烟。
|
||||
它验证隐藏的 OpenClaw 运行时上下文会作为非展示自定义消息持久化,
|
||||
而不是泄漏到可见的用户轮次中,然后植入一个受影响的损坏会话 JSONL,
|
||||
并验证 `openclaw doctor --fix` 会将它重写到活动分支且创建备份。
|
||||
- 针对嵌入式运行时上下文转录记录运行确定性的 built-app Docker smoke。它验证隐藏的 OpenClaw 运行时上下文会作为非显示 custom message 持久化,而不是泄漏到可见的用户回合中,然后植入一个受影响的损坏会话 JSONL,并验证 `openclaw doctor --fix` 会用备份将其重写到 active branch。
|
||||
- `pnpm test:docker:npm-telegram-live`
|
||||
- 在 Docker 中安装 OpenClaw 候选包,运行已安装包的新手引导,
|
||||
通过已安装的 CLI 配置 Telegram,然后复用 live Telegram QA 通道,
|
||||
并将该已安装包作为 SUT Gateway 网关。
|
||||
- 默认使用 `OPENCLAW_NPM_TELEGRAM_PACKAGE_SPEC=openclaw@beta`;设置
|
||||
- 在 Docker 中安装一个 OpenClaw package candidate,运行已安装包的新手引导,通过已安装的 CLI 配置 Telegram,然后将 live Telegram QA lane 与该已安装包作为 SUT Gateway 网关复用。
|
||||
- 默认值为 `OPENCLAW_NPM_TELEGRAM_PACKAGE_SPEC=openclaw@beta`;设置
|
||||
`OPENCLAW_NPM_TELEGRAM_PACKAGE_TGZ=/path/to/openclaw-current.tgz` 或
|
||||
`OPENCLAW_CURRENT_PACKAGE_TGZ`,以测试已解析的本地 tarball,而不是从注册表安装。
|
||||
- 使用与 `pnpm openclaw qa telegram` 相同的 Telegram 环境凭据或 Convex 凭据来源。
|
||||
对于 CI/发布自动化,设置
|
||||
`OPENCLAW_NPM_TELEGRAM_CREDENTIAL_SOURCE=convex` 加
|
||||
`OPENCLAW_QA_CONVEX_SITE_URL` 和角色密钥。如果
|
||||
`OPENCLAW_QA_CONVEX_SITE_URL` 和一个 Convex 角色密钥存在于 CI 中,
|
||||
Docker 包装器会自动选择 Convex。
|
||||
- `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_ROLE=ci|maintainer` 仅为此通道覆盖共享的
|
||||
`OPENCLAW_CURRENT_PACKAGE_TGZ`,可测试已解析的本地 tarball,而不是从 registry 安装。
|
||||
- 使用与 `pnpm openclaw qa telegram` 相同的 Telegram env 凭证或 Convex 凭证来源。对于 CI/发布自动化,设置
|
||||
`OPENCLAW_NPM_TELEGRAM_CREDENTIAL_SOURCE=convex`,以及
|
||||
`OPENCLAW_QA_CONVEX_SITE_URL` 和角色 secret。如果 CI 中存在
|
||||
`OPENCLAW_QA_CONVEX_SITE_URL` 和 Convex 角色 secret,Docker wrapper 会自动选择 Convex。
|
||||
- `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_ROLE=ci|maintainer` 仅针对这个 lane 覆盖共享的
|
||||
`OPENCLAW_QA_CREDENTIAL_ROLE`。
|
||||
- GitHub Actions 将此通道作为手动维护者工作流
|
||||
`NPM Telegram Beta E2E` 暴露。它不会在合并时运行。该工作流使用
|
||||
`qa-live-shared` 环境和 Convex CI 凭据租约。
|
||||
- GitHub Actions 还暴露 `Package Acceptance`,用于针对一个候选包进行旁路产品证明。
|
||||
它接受可信 ref、已发布 npm spec、HTTPS tarball URL 加 SHA-256,或来自另一次运行的 tarball 产物,
|
||||
将规范化后的 `openclaw-current.tgz` 上传为 `package-under-test`,
|
||||
然后用 smoke、package、product、full 或 custom 通道 profile 运行现有 Docker E2E 调度器。
|
||||
设置 `telegram_mode=mock-openai` 或 `live-frontier`,以针对同一个
|
||||
`package-under-test` 产物运行 Telegram QA 工作流。
|
||||
- 最新 beta 产品证明:
|
||||
- GitHub Actions 将这个 lane 暴露为手动 maintainer 工作流
|
||||
`NPM Telegram Beta E2E`。它不会在 merge 时运行。该工作流使用
|
||||
`qa-live-shared` 环境和 Convex CI 凭证 lease。
|
||||
- GitHub Actions 还暴露 `Package Acceptance`,用于针对一个候选包运行旁路产品验证。它接受可信 ref、已发布的 npm spec、HTTPS tarball URL 加 SHA-256,或来自另一次运行的 tarball artifact,上传规范化的 `openclaw-current.tgz` 作为 `package-under-test`,然后以 smoke、package、product、full 或 custom lane profile 运行现有 Docker E2E scheduler。设置 `telegram_mode=mock-openai` 或 `live-frontier`,可针对同一个 `package-under-test` artifact 运行 Telegram QA 工作流。
|
||||
- 最新 beta 产品验证:
|
||||
|
||||
```bash
|
||||
gh workflow run package-acceptance.yml --ref main \
|
||||
@ -197,7 +168,7 @@ gh workflow run package-acceptance.yml --ref main \
|
||||
-f telegram_mode=mock-openai
|
||||
```
|
||||
|
||||
- 精确 tarball URL 证明需要摘要:
|
||||
- 精确 tarball URL 验证需要 digest:
|
||||
|
||||
```bash
|
||||
gh workflow run package-acceptance.yml --ref main \
|
||||
@ -219,43 +190,43 @@ gh workflow run package-acceptance.yml --ref main \
|
||||
|
||||
- `pnpm test:docker:plugins`
|
||||
- 在 Docker 中打包并安装当前 OpenClaw 构建,启动已配置 OpenAI 的 Gateway 网关,然后通过配置编辑启用内置渠道/插件。
|
||||
- 验证设置发现会让未配置的可下载插件保持缺失状态,第一次配置后的 Doctor 修复会显式安装每个缺失的可下载插件,并且第二次重启不会运行隐藏依赖修复。
|
||||
- 验证设置发现会让未配置的可下载插件保持缺席,第一次配置后的 Doctor 修复会显式安装每个缺失的可下载插件,并且第二次重启不会运行隐藏的依赖修复。
|
||||
- 还会安装一个已知的旧版 npm 基线,在运行 `openclaw update --tag <candidate>` 前启用 Telegram,并验证候选版本的更新后 Doctor 会清理旧版插件依赖残留,而不需要 harness 侧的 postinstall 修复。
|
||||
- `pnpm test:parallels:npm-update`
|
||||
- 跨 Parallels 来宾运行原生打包安装更新冒烟测试。每个选定平台都会先安装请求的基线包,然后在同一个来宾中运行已安装的 `openclaw update` 命令,并验证已安装版本、更新 Status、Gateway 网关就绪状态以及一次本地智能体回合。
|
||||
- 迭代单个来宾时使用 `--platform macos`、`--platform windows` 或 `--platform linux`。使用 `--json` 获取摘要工件路径和各通道 Status。
|
||||
- OpenAI 通道默认使用 `openai/gpt-5.5` 进行实时智能体回合证明。若要有意验证另一个 OpenAI 模型,请传入 `--model <provider/model>` 或设置 `OPENCLAW_PARALLELS_OPENAI_MODEL`。
|
||||
- 用主机超时包装较长的本地运行,这样 Parallels 传输卡顿就不会耗尽剩余测试窗口:
|
||||
- 跨 Parallels 客户机运行原生打包安装更新冒烟测试。每个选定平台都会先安装请求的基线包,然后在同一个客户机中运行已安装的 `openclaw update` 命令,并验证已安装版本、更新状态、Gateway 网关就绪状态和一次本地智能体轮次。
|
||||
- 在迭代单个客户机时使用 `--platform macos`、`--platform windows` 或 `--platform linux`。使用 `--json` 获取摘要工件路径和每个通道的状态。
|
||||
- OpenAI 通道默认使用 `openai/gpt-5.5` 进行实时智能体轮次证明。只有在有意验证另一个 OpenAI 模型时,才传入 `--model <provider/model>` 或设置 `OPENCLAW_PARALLELS_OPENAI_MODEL`。
|
||||
- 将长时间本地运行包在主机超时中,避免 Parallels 传输停滞耗尽剩余测试窗口:
|
||||
|
||||
```bash
|
||||
timeout --foreground 150m pnpm test:parallels:npm-update -- --json
|
||||
timeout --foreground 90m pnpm test:parallels:npm-update -- --platform windows --json
|
||||
```
|
||||
|
||||
- 该脚本会在 `/tmp/openclaw-parallels-npm-update.*` 下写入嵌套通道日志。先检查 `windows-update.log`、`macos-update.log` 或 `linux-update.log`,再判断外层包装器是否挂起。
|
||||
- Windows 更新在冷启动来宾上可能会花 10 到 15 分钟执行更新后 Doctor 和包更新工作;只要嵌套 npm 调试日志仍在推进,这仍然是正常的。
|
||||
- 不要将此聚合包装器与单独的 Parallels macOS、Windows 或 Linux 冒烟通道并行运行。它们共享 VM 状态,可能会在快照恢复、包服务或来宾 Gateway 网关状态上发生冲突。
|
||||
- 更新后证明会运行正常的内置插件表面,因为语音、图像生成和媒体理解等能力门面会通过内置运行时 API 加载,即使智能体回合本身只检查一个简单文本响应。
|
||||
- 该脚本会将嵌套通道日志写入 `/tmp/openclaw-parallels-npm-update.*` 下。先检查 `windows-update.log`、`macos-update.log` 或 `linux-update.log`,再假定外层包装器已挂起。
|
||||
- 在冷启动客户机上,Windows 更新可能会在更新后 Doctor 和包更新工作中花费 10 到 15 分钟;只要嵌套的 npm 调试日志仍在前进,这仍是健康状态。
|
||||
- 不要将这个聚合包装器与单独的 Parallels macOS、Windows 或 Linux 冒烟通道并行运行。它们共享 VM 状态,可能在快照恢复、包服务或客户机 Gateway 网关状态上冲突。
|
||||
- 更新后证明会运行常规内置插件表面,因为语音、图像生成和媒体理解等能力门面是通过内置运行时 API 加载的,即使智能体轮次本身只检查一个简单文本响应。
|
||||
|
||||
- `pnpm openclaw qa aimock`
|
||||
- 仅启动本地 AIMock 提供商服务器,用于直接协议冒烟测试。
|
||||
- `pnpm openclaw qa matrix`
|
||||
- 针对一次性 Docker 支持的 Tuwunel homeserver 运行 Matrix 实时 QA 通道。仅限源代码检出;打包安装不会随附 `qa-lab`。
|
||||
- 针对一次性 Docker 支持的 Tuwunel homeserver 运行 Matrix 实时 QA 通道。仅限源码检出,打包安装不会分发 `qa-lab`。
|
||||
- 完整 CLI、profile/scenario 目录、环境变量和工件布局:[Matrix QA](/zh-CN/concepts/qa-matrix)。
|
||||
- `pnpm openclaw qa telegram`
|
||||
- 使用来自环境变量的 driver 和 SUT bot token,针对真实私有群组运行 Telegram 实时 QA 通道。
|
||||
- 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 ID 必须是数字形式的 Telegram chat id。
|
||||
- 支持 `--credential-source convex` 以使用共享池化凭证。默认使用环境变量模式,或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 选择加入池化租约。
|
||||
- 任一场景失败时会以非零状态退出。当你希望获取工件但不希望退出码失败时,使用 `--allow-failures`。
|
||||
- 需要同一个私有群组中的两个不同 bot,并且 SUT bot 需公开一个 Telegram 用户名。
|
||||
- 为了获得稳定的 bot 到 bot 观察,请在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode,并确保 driver bot 可以观察群组 bot 流量。
|
||||
- 会在 `.artifacts/qa-e2e/...` 下写入 Telegram QA 报告、摘要和 observed-messages 工件。回复场景包含从 driver 发送请求到观察到 SUT 回复之间的 RTT。
|
||||
- 使用来自环境变量的驱动和 SUT bot 令牌,针对真实私有群组运行 Telegram 实时 QA 通道。
|
||||
- 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 ID 必须是数字 Telegram 聊天 ID。
|
||||
- 支持 `--credential-source convex` 以使用共享池化凭证。默认使用环境变量模式,或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以选择使用池化租约。
|
||||
- 任一场景失败时会以非零退出码退出。当你希望获取工件但不使用失败退出码时,使用 `--allow-failures`。
|
||||
- 需要同一个私有群组中的两个不同 bot,且 SUT bot 需要公开一个 Telegram 用户名。
|
||||
- 为了获得稳定的 bot 到 bot 观察,在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode,并确保驱动 bot 可以观察群组 bot 流量。
|
||||
- 会在 `.artifacts/qa-e2e/...` 下写入 Telegram QA 报告、摘要和 observed-messages 工件。回复场景包含从驱动发送请求到观察到 SUT 回复的 RTT。
|
||||
|
||||
实时传输通道共享一个标准契约,因此新传输不会漂移;每个通道的覆盖矩阵位于 [QA overview → 实时传输覆盖范围](/zh-CN/concepts/qa-e2e-automation#live-transport-coverage)。`qa-channel` 是广泛的合成套件,不属于该矩阵。
|
||||
实时传输通道共享一个标准契约,这样新传输不会漂移;每个通道的覆盖矩阵位于 [QA overview → 实时传输覆盖范围](/zh-CN/concepts/qa-e2e-automation#live-transport-coverage)。`qa-channel` 是广泛的合成套件,不属于该矩阵。
|
||||
|
||||
### 通过 Convex 共享 Telegram 凭证(v1)
|
||||
|
||||
当为 `openclaw qa telegram` 启用 `--credential-source convex`(或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`)时,QA lab 会从 Convex 支持的池中获取独占租约,在通道运行期间对该租约发送 Heartbeat,并在关闭时释放租约。
|
||||
为 `openclaw qa telegram` 启用 `--credential-source convex`(或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`)后,QA 实验室会从 Convex 支持的池中获取独占租约,在通道运行期间为该租约发送 Heartbeat,并在关闭时释放租约。
|
||||
|
||||
参考 Convex 项目脚手架:
|
||||
|
||||
@ -269,7 +240,7 @@ gh workflow run package-acceptance.yml --ref main \
|
||||
- `OPENCLAW_QA_CONVEX_SECRET_CI` 用于 `ci`
|
||||
- 凭证角色选择:
|
||||
- CLI:`--credential-role maintainer|ci`
|
||||
- 环境变量默认值:`OPENCLAW_QA_CREDENTIAL_ROLE`(在 CI 中默认为 `ci`,否则默认为 `maintainer`)
|
||||
- 环境变量默认值:`OPENCLAW_QA_CREDENTIAL_ROLE`(在 CI 中默认为 `ci`,否则为 `maintainer`)
|
||||
|
||||
可选环境变量:
|
||||
|
||||
@ -279,13 +250,13 @@ gh workflow run package-acceptance.yml --ref main \
|
||||
- `OPENCLAW_QA_CREDENTIAL_HTTP_TIMEOUT_MS`(默认 `15000`)
|
||||
- `OPENCLAW_QA_CONVEX_ENDPOINT_PREFIX`(默认 `/qa-credentials/v1`)
|
||||
- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`(可选跟踪 ID)
|
||||
- `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许 local loopback `http://` Convex URL,仅用于本地开发。
|
||||
- `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许 local loopback `http://` Convex URL 用于仅本地开发。
|
||||
|
||||
`OPENCLAW_QA_CONVEX_SITE_URL` 在正常操作中应使用 `https://`。
|
||||
`OPENCLAW_QA_CONVEX_SITE_URL` 在正常运行中应使用 `https://`。
|
||||
|
||||
Maintainer 管理命令(池 add/remove/list)特别需要 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。
|
||||
维护者管理命令(池添加/移除/列表)明确需要 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。
|
||||
|
||||
面向 maintainers 的 CLI 助手:
|
||||
维护者 CLI 辅助命令:
|
||||
|
||||
```bash
|
||||
pnpm openclaw qa credentials doctor
|
||||
@ -294,7 +265,7 @@ pnpm openclaw qa credentials list --kind telegram
|
||||
pnpm openclaw qa credentials remove --credential-id <credential-id>
|
||||
```
|
||||
|
||||
在实时运行前使用 `doctor` 检查 Convex 站点 URL、broker 密钥、端点前缀、HTTP 超时和 admin/list 可达性,且不会打印密钥值。在脚本和 CI 工具中使用 `--json` 获取机器可读输出。
|
||||
在实时运行前使用 `doctor` 检查 Convex 站点 URL、broker 密钥、端点前缀、HTTP 超时以及 admin/list 可达性,而不会打印密钥值。在脚本和 CI 实用工具中使用 `--json` 获取机器可读输出。
|
||||
|
||||
默认端点契约(`OPENCLAW_QA_CONVEX_SITE_URL` + `/qa-credentials/v1`):
|
||||
|
||||
@ -308,107 +279,107 @@ pnpm openclaw qa credentials remove --credential-id <credential-id>
|
||||
- `POST /release`
|
||||
- 请求:`{ kind, ownerId, actorRole, credentialId, leaseToken }`
|
||||
- 成功:`{ status: "ok" }`(或空 `2xx`)
|
||||
- `POST /admin/add`(仅 maintainer 密钥)
|
||||
- `POST /admin/add`(仅维护者密钥)
|
||||
- 请求:`{ kind, actorId, payload, note?, status? }`
|
||||
- 成功:`{ status: "ok", credential }`
|
||||
- `POST /admin/remove`(仅 maintainer 密钥)
|
||||
- `POST /admin/remove`(仅维护者密钥)
|
||||
- 请求:`{ credentialId, actorId }`
|
||||
- 成功:`{ status: "ok", changed, credential }`
|
||||
- 活跃租约保护:`{ status: "error", code: "LEASE_ACTIVE", ... }`
|
||||
- `POST /admin/list`(仅 maintainer 密钥)
|
||||
- `POST /admin/list`(仅维护者密钥)
|
||||
- 请求:`{ kind?, status?, includePayload?, limit? }`
|
||||
- 成功:`{ status: "ok", credentials, count }`
|
||||
|
||||
Telegram kind 的 payload 形状:
|
||||
Telegram kind 的载荷形状:
|
||||
|
||||
- `{ groupId: string, driverToken: string, sutToken: string }`
|
||||
- `groupId` 必须是数字形式的 Telegram chat id 字符串。
|
||||
- `admin/add` 会针对 `kind: "telegram"` 验证此形状,并拒绝格式错误的 payload。
|
||||
- `groupId` 必须是数字 Telegram 聊天 ID 字符串。
|
||||
- `admin/add` 会为 `kind: "telegram"` 验证此形状,并拒绝格式错误的载荷。
|
||||
|
||||
### 向 QA 添加一个渠道
|
||||
### 向 QA 添加渠道
|
||||
|
||||
新渠道适配器的架构和场景助手名称位于 [QA overview → 添加一个渠道](/zh-CN/concepts/qa-e2e-automation#adding-a-channel)。最低要求:在共享 `qa-lab` 主机 seam 上实现传输运行器,在插件清单中声明 `qaRunners`,挂载为 `openclaw qa <runner>`,并在 `qa/scenarios/` 下编写场景。
|
||||
新渠道适配器的架构和场景辅助名称位于 [QA overview → 添加渠道](/zh-CN/concepts/qa-e2e-automation#adding-a-channel)。最低要求:在共享 `qa-lab` 主机接缝上实现传输运行器,在插件清单中声明 `qaRunners`,挂载为 `openclaw qa <runner>`,并在 `qa/scenarios/` 下编写场景。
|
||||
|
||||
## 测试套件(在哪里运行什么)
|
||||
|
||||
可以把这些套件理解为“真实性逐步提高”(同时不稳定性/成本也逐步提高):
|
||||
将这些套件视为“逐步提高真实性”(也会提高不稳定性/成本):
|
||||
|
||||
### 单元 / 集成(默认)
|
||||
|
||||
- 命令:`pnpm test`
|
||||
- 配置:未定向运行使用 `vitest.full-*.config.ts` 分片集合,并且可能会将多项目分片展开为按项目配置以便并行调度
|
||||
- 文件:`src/**/*.test.ts`、`packages/**/*.test.ts` 和 `test/**/*.test.ts` 下的 core/unit 清单;UI 单元测试在专用 `unit-ui` 分片中运行
|
||||
- 配置:非定向运行使用 `vitest.full-*.config.ts` 分片集,并且可能会将多项目分片展开为按项目的配置,以便并行调度
|
||||
- 文件:`src/**/*.test.ts`、`packages/**/*.test.ts` 和 `test/**/*.test.ts` 下的核心/单元清单;UI 单元测试在专用 `unit-ui` 分片中运行
|
||||
- 范围:
|
||||
- 纯单元测试
|
||||
- 进程内集成测试(Gateway 网关认证、路由、工具、解析、配置)
|
||||
- 已知 bug 的确定性回归测试
|
||||
- 已知错误的确定性回归测试
|
||||
- 预期:
|
||||
- 在 CI 中运行
|
||||
- 不需要真实密钥
|
||||
- 应快速且稳定
|
||||
- 解析器和公共表面加载器测试必须用生成的微型插件 fixture 证明广泛的 `api.js` 和 `runtime-api.js` fallback 行为,而不是使用真实内置插件源 API。真实插件 API 加载应放在插件所属的契约/集成套件中。
|
||||
- 应该快速且稳定
|
||||
- 解析器和公共表面加载器测试必须使用生成的微型插件 fixture 证明广泛的 `api.js` 和 `runtime-api.js` 回退行为,而不是使用真实内置插件源 API。真实插件 API 加载属于插件拥有的契约/集成套件。
|
||||
|
||||
<AccordionGroup>
|
||||
<Accordion title="Projects, shards, and scoped lanes">
|
||||
<Accordion title="项目、分片和 scoped 通道">
|
||||
|
||||
- 未指定目标的 `pnpm test` 会运行十二个更小的分片配置(`core-unit-fast`、`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`),而不是一个巨大的原生根项目进程。这会降低繁忙机器上的峰值 RSS,并避免 auto-reply/插件工作让无关套件得不到资源。
|
||||
- `pnpm test --watch` 仍使用原生根 `vitest.config.ts` 项目图,因为多分片 watch 循环并不实际。
|
||||
- `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会先将显式文件/目录目标路由到作用域化 lane,因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 可以避免付出完整根项目启动成本。
|
||||
- `pnpm test:changed` 默认会把已变更的 git 路径展开为低成本的作用域化 lane:直接测试编辑、同级 `*.test.ts` 文件、显式源码映射,以及本地导入图依赖项。配置/设置/包编辑不会广泛运行测试,除非你显式使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
- `pnpm check:changed` 是窄范围工作的常规智能本地检查门禁。它会把 diff 分类为 core、core tests、extensions、extension tests、apps、docs、release metadata、live Docker tooling 和 tooling,然后运行匹配的类型检查、lint 和保护命令。它不会运行 Vitest 测试;如需测试证明,请调用 `pnpm test:changed` 或显式 `pnpm test <target>`。仅 release metadata 的版本递增会运行定向版本/配置/根依赖检查,并带有一个保护项,用于拒绝顶层 version 字段之外的包变更。
|
||||
- Live Docker ACP harness 编辑会运行聚焦检查:live Docker 凭证脚本的 shell 语法检查,以及 live Docker 调度器 dry-run。只有当 diff 限于 `scripts["test:docker:live-*"]` 时,才会纳入 `package.json` 变更;依赖、导出、版本和其他包表面编辑仍使用更广泛的保护项。
|
||||
- 来自 agents、commands、plugins、auto-reply helpers、`plugin-sdk` 和类似纯工具区域的轻导入单元测试会路由到 `unit-fast` lane,该 lane 会跳过 `test/setup-openclaw-runtime.ts`;有状态/运行时较重的文件仍保留在现有 lane 上。
|
||||
- 选定的 `plugin-sdk` 和 `commands` 辅助源码文件也会把 changed-mode 运行映射到这些轻量 lane 中的显式同级测试,因此辅助代码编辑可以避免为该目录重新运行完整的重型套件。
|
||||
- `auto-reply` 为顶层核心辅助函数、顶层 `reply.*` 集成测试以及 `src/auto-reply/reply/**` 子树提供专用 bucket。CI 还会进一步把 reply 子树拆分为 agent-runner、dispatch 和 commands/state-routing 分片,使单个导入较重的 bucket 不会独占完整的 Node 尾部时间。
|
||||
- 常规 PR/main CI 会有意跳过插件批量扫测和仅发布使用的 `agentic-plugins` 分片。完整 Release Validation 会为发布候选版本派发单独的 `Plugin Prerelease` 子工作流,用于这些插件/扩展较重的套件。
|
||||
- 非定向的 `pnpm test` 会运行十二个更小的分片配置(`core-unit-fast`、`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`),而不是一个巨大的原生根项目进程。这会降低负载机器上的峰值 RSS,并避免 auto-reply/插件工作饿死无关的套件。
|
||||
- `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图,因为多分片 watch 循环不切实际。
|
||||
- `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会先通过作用域化 lane 路由显式文件/目录目标,因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 可以避免支付完整根项目启动成本。
|
||||
- `pnpm test:changed` 默认会把变更的 git 路径展开为廉价的作用域化 lane:直接测试编辑、同级 `*.test.ts` 文件、显式源映射,以及本地导入图依赖项。配置/设置/包编辑不会广泛运行测试,除非你显式使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
- `pnpm check:changed` 是窄范围工作的常规智能本地检查门禁。它会把 diff 分类为核心、核心测试、插件、插件测试、应用、文档、发布元数据、实时 Docker 工具和工具链,然后运行匹配的类型检查、lint 和守卫命令。它不会运行 Vitest 测试;如需测试证明,请调用 `pnpm test:changed` 或显式的 `pnpm test <target>`。仅发布元数据的版本号递增会运行定向版本/配置/根依赖检查,并通过一个守卫拒绝顶层版本字段之外的包变更。
|
||||
- 实时 Docker ACP harness 编辑会运行聚焦检查:实时 Docker 认证脚本的 shell 语法检查,以及实时 Docker 调度器 dry-run。只有当 diff 限于 `scripts["test:docker:live-*"]` 时,才会包含 `package.json` 变更;依赖、导出、版本和其他包表面编辑仍然使用更宽的守卫。
|
||||
- 来自 agents、commands、plugins、auto-reply helpers、`plugin-sdk` 及类似纯工具区域的轻导入单元测试会通过 `unit-fast` lane 路由,该 lane 会跳过 `test/setup-openclaw-runtime.ts`;有状态/运行时较重的文件保留在现有 lane 上。
|
||||
- 选定的 `plugin-sdk` 和 `commands` helper 源文件也会把 changed-mode 运行映射到这些轻量 lane 中的显式同级测试,因此 helper 编辑可以避免为该目录重新运行完整重型套件。
|
||||
- `auto-reply` 有专用 bucket,分别覆盖顶层核心 helpers、顶层 `reply.*` 集成测试,以及 `src/auto-reply/reply/**` 子树。CI 还会把 reply 子树进一步拆分为 agent-runner、dispatch 和 commands/state-routing 分片,避免一个导入较重的 bucket 占据完整 Node 尾部时间。
|
||||
- 常规 PR/main CI 会有意跳过插件批量扫描和仅发布使用的 `agentic-plugins` 分片。完整 Release Validation 会为发布候选版本调度独立的 `Plugin Prerelease` 子工作流,以运行这些插件/扩展较重的套件。
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="嵌入式运行器覆盖">
|
||||
<Accordion title="嵌入式 runner 覆盖率">
|
||||
|
||||
- 当你更改 message-tool 发现输入或 compaction 运行时上下文时,请保留两个层级的覆盖。
|
||||
- 为纯路由和规范化边界添加聚焦的辅助函数回归测试。
|
||||
- 保持嵌入式运行器集成套件健康:
|
||||
- 当你更改消息工具发现输入或压缩运行时上下文时,保留两个层级的覆盖率。
|
||||
- 为纯路由和归一化边界添加聚焦的 helper 回归测试。
|
||||
- 保持嵌入式 runner 集成套件健康:
|
||||
`src/agents/pi-embedded-runner/compact.hooks.test.ts`、
|
||||
`src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和
|
||||
`src/agents/pi-embedded-runner/run.overflow-compaction.test.ts`,以及
|
||||
`src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。
|
||||
- 这些套件验证作用域化 id 和 compaction 行为仍会流经真实的 `run.ts` / `compact.ts` 路径;仅辅助函数测试不能充分替代这些集成路径。
|
||||
- 这些套件会验证作用域化 id 和压缩行为仍然流经真实的 `run.ts` / `compact.ts` 路径;仅 helper 的测试不足以替代这些集成路径。
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="Vitest 池和隔离默认值">
|
||||
<Accordion title="Vitest pool 和隔离默认值">
|
||||
|
||||
- 基础 Vitest 配置默认使用 `threads`。
|
||||
- 共享 Vitest 配置固定为 `isolate: false`,并在根项目、e2e 和 live 配置中使用非隔离运行器。
|
||||
- 根 UI lane 保留其 `jsdom` 设置和优化器,但也运行在共享非隔离运行器上。
|
||||
- 共享 Vitest 配置固定为 `isolate: false`,并在根项目、e2e 和 live 配置中使用非隔离 runner。
|
||||
- 根 UI lane 保留其 `jsdom` 设置和优化器,但也运行在共享的非隔离 runner 上。
|
||||
- 每个 `pnpm test` 分片都会从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。
|
||||
- `scripts/run-vitest.mjs` 默认会为 Vitest 子 Node 进程添加 `--no-maglev`,以减少大型本地运行期间的 V8 编译抖动。设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1` 可与原生 V8 行为进行对比。
|
||||
- `scripts/run-vitest.mjs` 默认会为 Vitest 子 Node 进程添加 `--no-maglev`,以减少大型本地运行期间的 V8 编译抖动。设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1` 可与原生 V8 行为对比。
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="快速本地迭代">
|
||||
|
||||
- `pnpm changed:lanes` 会显示某个 diff 触发哪些架构 lane。
|
||||
- pre-commit hook 只负责格式化。它会重新暂存已格式化文件,不会运行 lint、类型检查或测试。
|
||||
- 当你需要智能本地检查门禁时,请在交接或 push 前显式运行 `pnpm check:changed`。
|
||||
- `pnpm test:changed` 默认会通过低成本的作用域化 lane 路由。仅当 agent 判定 harness、配置、包或合约编辑确实需要更广泛的 Vitest 覆盖时,才使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
- `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为,只是 worker 上限更高。
|
||||
- 本地 worker 自动伸缩有意保持保守,并会在主机负载平均值已经很高时退让,因此多个并发 Vitest 运行默认造成的影响更小。
|
||||
- 基础 Vitest 配置把项目/配置文件标记为 `forceRerunTriggers`,因此当测试接线发生变化时,changed-mode 重新运行仍保持正确。
|
||||
- 配置会在受支持的主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`;如果你想为直接性能分析指定一个明确的缓存位置,请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。
|
||||
- `pnpm changed:lanes` 会显示一个 diff 触发了哪些架构 lane。
|
||||
- pre-commit hook 只做格式化。它会重新暂存已格式化的文件,不会运行 lint、类型检查或测试。
|
||||
- 当你需要智能本地检查门禁时,请在交付或 push 前显式运行 `pnpm check:changed`。
|
||||
- `pnpm test:changed` 默认通过廉价的作用域化 lane 路由。只有当智能体判定某个 harness、配置、包或契约编辑确实需要更广泛的 Vitest 覆盖率时,才使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
- `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为,只是使用更高的 worker 上限。
|
||||
- 本地 worker 自动扩缩容刻意保持保守,并在主机平均负载已经较高时退避,因此多个并发 Vitest 运行默认会造成更少影响。
|
||||
- 基础 Vitest 配置把项目/配置文件标记为 `forceRerunTriggers`,因此当测试接线发生变化时,changed-mode 重新运行仍然正确。
|
||||
- 该配置会在受支持主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`;如果你想为直接 profiling 使用一个显式缓存位置,请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="性能调试">
|
||||
|
||||
- `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及 import-breakdown 输出。
|
||||
- `pnpm test:perf:imports:changed` 会把相同的性能分析视图限定到自 `origin/main` 以来变更的文件。
|
||||
- 分片计时数据会写入 `.artifacts/vitest-shard-timings.json`。整配置运行使用配置路径作为键;include-pattern CI 分片会附加分片名称,以便单独跟踪过滤后的分片。
|
||||
- 当某个热点测试仍把大部分时间花在启动导入上时,请把重型依赖放在一个窄的本地 `*.runtime.ts` 边界后,并直接 mock 该边界,而不是为了把运行时辅助函数传给 `vi.mock(...)` 而进行深层导入。
|
||||
- `pnpm test:perf:changed:bench -- --ref <git-ref>` 会对该已提交 diff 比较路由后的 `test:changed` 与原生根项目路径,并打印 wall time 以及 macOS 最大 RSS。
|
||||
- `pnpm test:perf:changed:bench -- --worktree` 会通过把变更文件列表路由到 `scripts/test-projects.mjs` 和根 Vitest 配置,对当前 dirty tree 进行基准测试。
|
||||
- `pnpm test:perf:profile:main` 会为 Vitest/Vite 启动和转换开销写入主线程 CPU profile。
|
||||
- `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下为单元套件写入 runner CPU+heap profiles。
|
||||
- `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告,以及导入拆分输出。
|
||||
- `pnpm test:perf:imports:changed` 会把相同的 profiling 视图限定到自 `origin/main` 以来变更的文件。
|
||||
- 分片时序数据会写入 `.artifacts/vitest-shard-timings.json`。整配置运行使用配置路径作为键;include-pattern CI 分片会追加分片名,以便分别跟踪过滤后的分片。
|
||||
- 当某个热点测试仍然把大部分时间花在启动导入上时,请把重依赖放在一个窄的本地 `*.runtime.ts` 边界之后,并直接 mock 该边界,而不是深度导入运行时 helpers 只为了把它们传给 `vi.mock(...)`。
|
||||
- `pnpm test:perf:changed:bench -- --ref <git-ref>` 会把路由后的 `test:changed` 与该已提交 diff 的原生根项目路径进行比较,并打印 wall time 和 macOS 最大 RSS。
|
||||
- `pnpm test:perf:changed:bench -- --worktree` 会通过把变更文件列表路由到 `scripts/test-projects.mjs` 和根 Vitest 配置,来 benchmark 当前脏工作树。
|
||||
- `pnpm test:perf:profile:main` 会为 Vitest/Vite 启动和 transform 开销写入主线程 CPU profile。
|
||||
- `pnpm test:perf:profile:runner` 会在禁用文件并行性的情况下,为单元套件写入 runner CPU+heap profile。
|
||||
|
||||
</Accordion>
|
||||
</AccordionGroup>
|
||||
@ -418,14 +389,14 @@ Telegram kind 的 payload 形状:
|
||||
- 命令:`pnpm test:stability:gateway`
|
||||
- 配置:`vitest.gateway.config.ts`,强制使用一个 worker
|
||||
- 范围:
|
||||
- 默认启动一个启用 diagnostics 的真实 loopback Gateway 网关
|
||||
- 通过 diagnostic event 路径驱动合成的 gateway message、memory 和 large-payload churn
|
||||
- 默认启动一个启用诊断的真实 loopback Gateway 网关
|
||||
- 通过诊断事件路径驱动合成 Gateway 网关消息、内存和大负载 churn
|
||||
- 通过 Gateway 网关 WS RPC 查询 `diagnostics.stability`
|
||||
- 覆盖 diagnostic stability bundle 持久化辅助函数
|
||||
- 断言 recorder 保持有界、合成 RSS 样本保持在压力预算以内,并且每个会话的队列深度都会回落到零
|
||||
- 覆盖诊断稳定性 bundle 持久化 helpers
|
||||
- 断言 recorder 保持有界,合成 RSS 样本低于压力预算,并且每会话队列深度回落到零
|
||||
- 预期:
|
||||
- CI 安全且不需要密钥
|
||||
- 用于稳定性回归跟进的窄 lane,不能替代完整 Gateway 网关套件
|
||||
- CI 安全且无需密钥
|
||||
- 用于稳定性回归跟进的窄 lane,不是完整 Gateway 网关套件的替代品
|
||||
|
||||
### E2E(Gateway 网关 smoke)
|
||||
|
||||
@ -433,36 +404,36 @@ Telegram kind 的 payload 形状:
|
||||
- 配置:`vitest.e2e.config.ts`
|
||||
- 文件:`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts`,以及 `extensions/` 下的内置插件 E2E 测试
|
||||
- 运行时默认值:
|
||||
- 使用 Vitest `threads` 和 `isolate: false`,与仓库其余部分匹配。
|
||||
- 使用自适应 worker(CI:最多 2 个,本地:默认 1 个)。
|
||||
- 默认以静默模式运行,以减少控制台 I/O 开销。
|
||||
- 实用覆盖项:
|
||||
- 使用 Vitest `threads` 且 `isolate: false`,与仓库其余部分一致。
|
||||
- 使用自适应 workers(CI:最多 2 个,本地:默认 1 个)。
|
||||
- 默认以静默模式运行,以减少 console I/O 开销。
|
||||
- 有用的覆盖项:
|
||||
- `OPENCLAW_E2E_WORKERS=<n>` 用于强制 worker 数量(上限为 16)。
|
||||
- `OPENCLAW_E2E_VERBOSE=1` 用于重新启用详细控制台输出。
|
||||
- `OPENCLAW_E2E_VERBOSE=1` 用于重新启用详细 console 输出。
|
||||
- 范围:
|
||||
- 多实例 Gateway 网关端到端行为
|
||||
- WebSocket/HTTP 表面、node pairing 和更重的网络功能
|
||||
- WebSocket/HTTP 表面、node 配对和更重的网络
|
||||
- 预期:
|
||||
- 在 CI 中运行(当 pipeline 中启用时)
|
||||
- 在 CI 中运行(当 pipeline 启用时)
|
||||
- 不需要真实密钥
|
||||
- 比单元测试包含更多活动部件(可能更慢)
|
||||
- 比单元测试有更多移动部件(可能更慢)
|
||||
|
||||
### E2E:OpenShell 后端 smoke
|
||||
|
||||
- 命令:`pnpm test:e2e:openshell`
|
||||
- 文件:`extensions/openshell/src/backend.e2e.test.ts`
|
||||
- 范围:
|
||||
- 通过 Docker 在主机上启动一个隔离的 OpenShell gateway
|
||||
- 从临时本地 Dockerfile 创建一个沙箱
|
||||
- 通过真实的 `sandbox ssh-config` + SSH exec 运行 OpenClaw 的 OpenShell 后端
|
||||
- 通过沙箱 fs bridge 验证 remote-canonical 文件系统行为
|
||||
- 通过 Docker 在主机上启动隔离的 OpenShell Gateway 网关
|
||||
- 从临时本地 Dockerfile 创建沙箱
|
||||
- 通过真实的 `sandbox ssh-config` + SSH exec 演练 OpenClaw 的 OpenShell 后端
|
||||
- 通过沙箱 fs bridge 验证远程规范化文件系统行为
|
||||
- 预期:
|
||||
- 仅选择启用;不属于默认 `pnpm test:e2e` 运行的一部分
|
||||
- 需要本地 `openshell` CLI 以及可工作的 Docker daemon
|
||||
- 使用隔离的 `HOME` / `XDG_CONFIG_HOME`,随后销毁测试 gateway 和沙箱
|
||||
- 实用覆盖项:
|
||||
- `OPENCLAW_E2E_OPENSHELL=1` 用于在手动运行更广泛的 e2e 套件时启用该测试
|
||||
- `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 用于指向非默认 CLI 二进制文件或 wrapper script
|
||||
- 仅 opt-in;不属于默认 `pnpm test:e2e` 运行
|
||||
- 需要本地 `openshell` CLI 和可工作的 Docker daemon
|
||||
- 使用隔离的 `HOME` / `XDG_CONFIG_HOME`,然后销毁测试 Gateway 网关和沙箱
|
||||
- 有用的覆盖项:
|
||||
- `OPENCLAW_E2E_OPENSHELL=1` 用于手动运行更广泛 e2e 套件时启用该测试
|
||||
- `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 用于指向非默认 CLI binary 或 wrapper script
|
||||
|
||||
### Live(真实提供商 + 真实模型)
|
||||
|
||||
@ -471,82 +442,84 @@ Telegram kind 的 payload 形状:
|
||||
- 文件:`src/**/*.live.test.ts`、`test/**/*.live.test.ts`,以及 `extensions/` 下的内置插件 live 测试
|
||||
- 默认值:通过 `pnpm test:live` **启用**(设置 `OPENCLAW_LIVE_TEST=1`)
|
||||
- 范围:
|
||||
- “这个提供商/模型在 _今天_ 使用真实凭证时是否实际可用?”
|
||||
- 捕获提供商格式变更、tool-calling 差异、凭证问题和速率限制行为
|
||||
- “这个提供商/模型今天真的能用真实凭证工作吗?”
|
||||
- 捕获提供商格式变更、工具调用怪癖、认证问题和速率限制行为
|
||||
- 预期:
|
||||
- 按设计不是 CI 稳定的(真实网络、真实提供商策略、配额、故障)
|
||||
- 设计上不保证 CI 稳定(真实网络、真实提供商策略、配额、故障)
|
||||
- 会花钱 / 使用速率限制
|
||||
- 优先运行缩小后的子集,而不是“一切”
|
||||
- Live 运行会 source `~/.profile` 以获取缺失的 API keys。
|
||||
- 默认情况下,live 运行仍会隔离 `HOME`,并把配置/凭证材料复制到临时测试 home 中,这样单元 fixture 就无法修改你的真实 `~/.openclaw`。
|
||||
- 优先运行收窄后的子集,而不是“全部”
|
||||
- Live 运行会 source `~/.profile` 以获取缺失的 API 密钥。
|
||||
- 默认情况下,live 运行仍然会隔离 `HOME`,并把配置/认证材料复制到临时测试 home,这样单元 fixtures 无法修改你的真实 `~/.openclaw`。
|
||||
- 只有当你有意需要 live 测试使用真实 home 目录时,才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。
|
||||
- `pnpm test:live` 现在默认使用更安静的模式:它保留 `[live] ...` 进度输出,但会抑制额外的 `~/.profile` 提示,并静音 gateway bootstrap 日志/Bonjour 噪声。如果你想恢复完整启动日志,请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。
|
||||
- API key 轮换(提供商特定):设置带逗号/分号格式的 `*_API_KEYS`,或 `*_API_KEY_1`、`*_API_KEY_2`(例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`),也可通过 `OPENCLAW_LIVE_*_KEY` 进行每次 live 覆盖;测试会在收到速率限制响应时重试。
|
||||
- `pnpm test:live` 现在默认使用更安静的模式:它保留 `[live] ...` 进度输出,但抑制额外的 `~/.profile` 提示,并静音 Gateway 网关 bootstrap 日志/Bonjour 噪声。如果你想恢复完整启动日志,请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。
|
||||
- API 密钥轮换(特定于提供商):使用逗号/分号格式设置 `*_API_KEYS`,或设置 `*_API_KEY_1`、`*_API_KEY_2`(例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`),或者通过 `OPENCLAW_LIVE_*_KEY` 设置每个 live 的覆盖项;测试会在收到速率限制响应时重试。
|
||||
- 进度/heartbeat 输出:
|
||||
- Live 套件现在会向 stderr 发出进度行,因此即使 Vitest 控制台捕获处于安静状态,长时间提供商调用也能清楚显示为仍在活动。
|
||||
- `vitest.live.config.ts` 会禁用 Vitest 控制台拦截,因此提供商/Gateway 网关进度行会在 live 运行期间立即流式输出。
|
||||
- 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整 direct-model heartbeat。
|
||||
- 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 gateway/probe heartbeat。
|
||||
- Live 套件现在会向 stderr 发出进度行,因此即使 Vitest console capture 安静,长时间的提供商调用也会可见地处于活动状态。
|
||||
- `vitest.live.config.ts` 会禁用 Vitest console interception,因此 live 运行期间提供商/Gateway 网关进度行会立即流式输出。
|
||||
- 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型 heartbeats。
|
||||
- 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关/probe heartbeats。
|
||||
|
||||
## 我应该运行哪个套件?
|
||||
|
||||
使用此决策表:
|
||||
|
||||
- 编辑逻辑/测试:运行 `pnpm test`(如果你改动很多,也运行 `pnpm test:coverage`)
|
||||
- 涉及 Gateway 网关网络 / WS 协议 / 配对:添加 `pnpm test:e2e`
|
||||
- 调试“我的 bot 挂了”/ 提供商特定的故障 / 工具调用:运行范围收窄的 `pnpm test:live`
|
||||
- 编辑逻辑/测试:运行 `pnpm test`(如果改动很多,也运行 `pnpm test:coverage`)
|
||||
- 触及 Gateway 网关网络 / WS 协议 / 配对:添加 `pnpm test:e2e`
|
||||
- 调试“我的机器人宕机了” / 特定提供商故障 / 工具调用:运行收窄范围的 `pnpm test:live`
|
||||
|
||||
## Live(涉及网络)测试
|
||||
## 实时(触网)测试
|
||||
|
||||
关于 live 模型矩阵、CLI 后端冒烟测试、ACP 冒烟测试、Codex app-server
|
||||
harness,以及所有媒体提供商 live 测试(Deepgram、BytePlus、ComfyUI、image、
|
||||
music、video、media harness)以及 live 运行的凭证处理,请参阅
|
||||
[测试 — live 套件](/zh-CN/help/testing-live)。
|
||||
关于实时模型矩阵、CLI 后端冒烟测试、ACP 冒烟测试、Codex app-server
|
||||
harness,以及所有媒体提供商实时测试(Deepgram、BytePlus、ComfyUI、图像、
|
||||
音乐、视频、媒体 harness),再加上实时运行的凭据处理,请参见
|
||||
[实时套件测试](/zh-CN/help/testing-live)。关于专门的更新和
|
||||
插件验证清单,请参见
|
||||
[更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
|
||||
## Docker 运行器(可选的“可在 Linux 中运行”检查)
|
||||
## Docker 运行器(可选的“在 Linux 中可用”检查)
|
||||
|
||||
这些 Docker 运行器分为两类:
|
||||
|
||||
- Live 模型运行器:`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像内运行对应配置键的 live 文件(`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`),并挂载你的本地配置目录和工作区(如果已挂载,也会 source `~/.profile`)。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。
|
||||
- Docker live 运行器默认使用较小的冒烟上限,让完整 Docker 扫描保持实用:
|
||||
- 实时模型运行器:`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行各自匹配的 profile-key 实时文件(`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`),挂载你的本地配置目录和工作区(如果已挂载,也会 source `~/.profile`)。匹配的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。
|
||||
- Docker 实时运行器默认使用较小的冒烟上限,让完整 Docker 扫描保持实用:
|
||||
`test:docker:live-models` 默认使用 `OPENCLAW_LIVE_MAX_MODELS=12`,并且
|
||||
`test:docker:live-gateway` 默认使用 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、
|
||||
`OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、
|
||||
`OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 和
|
||||
`OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。只有在你明确想要更大的穷尽式扫描时,才覆盖这些环境变量。
|
||||
- `test:docker:all` 先通过 `test:docker:live-build` 构建一次 live Docker 镜像,再通过 `scripts/package-openclaw-for-docker.mjs` 将 OpenClaw 打包一次为 npm tarball,然后构建/复用两个 `scripts/e2e/Dockerfile` 镜像。bare 镜像只是用于安装/更新/插件依赖 lane 的 Node/Git 运行器;这些 lane 会挂载预构建的 tarball。functional 镜像会把同一个 tarball 安装到 `/app`,用于 built-app 功能 lane。Docker lane 定义位于 `scripts/lib/docker-e2e-scenarios.mjs`;规划逻辑位于 `scripts/lib/docker-e2e-plan.mjs`;`scripts/test-docker-all.mjs` 会执行选定的计划。聚合运行使用加权本地调度器:`OPENCLAW_DOCKER_ALL_PARALLELISM` 控制进程槽位,而资源上限会防止重型 live、npm-install 和多服务 lane 同时全部启动。如果某个 lane 比当前上限更重,调度器仍可在池为空时启动它,然后让它单独运行,直到容量再次可用。默认值是 10 个槽位、`OPENCLAW_DOCKER_ALL_LIVE_LIMIT=9`、`OPENCLAW_DOCKER_ALL_NPM_LIMIT=10` 和 `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT=7`;只有在 Docker 主机有更多余量时,才调优 `OPENCLAW_DOCKER_ALL_WEIGHT_LIMIT` 或 `OPENCLAW_DOCKER_ALL_DOCKER_LIMIT`。运行器默认执行 Docker 预检,移除陈旧的 OpenClaw E2E 容器,每 30 秒打印状态,将成功 lane 的耗时保存到 `.artifacts/docker-tests/lane-timings.json`,并在后续运行中使用这些耗时优先启动更长的 lane。使用 `OPENCLAW_DOCKER_ALL_DRY_RUN=1` 可打印加权 lane 清单而不构建或运行 Docker,或使用 `node scripts/test-docker-all.mjs --plan-json` 打印所选 lane、package/image 需求和凭证的 CI 计划。
|
||||
- `Package Acceptance` 是 GitHub 原生的 package gate,用于回答“这个可安装 tarball 作为产品是否可用?”它会从 `source=npm`、`source=ref`、`source=url` 或 `source=artifact` 解析一个候选 package,将其上传为 `package-under-test`,然后针对这个精确的 tarball 运行可复用 Docker E2E lane,而不是重新打包所选 ref。`workflow_ref` 选择受信任的 workflow/harness 脚本,而 `package_ref` 在 `source=ref` 时选择要打包的源 commit/branch/tag;这让当前验收逻辑可以验证较旧的受信任 commit。Profile 按覆盖范围排序:`smoke` 是快速安装/渠道/智能体加上 Gateway 网关/配置,`package` 是 package/update/plugin contract,加上无键升级幸存者 fixture、已发布基线升级幸存者 lane,以及大多数 Parallels package/update 覆盖的默认原生替代项,`product` 添加 MCP 渠道、cron/subagent 清理、OpenAI Web 搜索和 OpenWebUI,`full` 则运行带 OpenWebUI 的发布路径 Docker 分块。对于 `published-upgrade-survivor`,Package Acceptance 始终使用 `package-under-test` 作为候选,并使用 `published_upgrade_survivor_baseline` 作为后备已发布基线,默认是 `openclaw@latest`;设置 `published_upgrade_survivor_baselines=release-history` 可将该 lane 分片到一个去重矩阵,包含最新六个稳定版本、`2026.4.23`,以及 `2026-03-15` 之前的最新稳定版本。已发布 lane 会使用烘焙好的 `openclaw config set` 命令配方配置其基线,然后在 lane 摘要中记录配方步骤。发布验证会运行自定义 package delta(`plugins-offline plugin-update`)以及 Telegram package QA,因为发布路径 Docker 分块已经覆盖重叠的 package/update/plugin lane。从工件生成的定向 GitHub Docker 重跑命令会在可用时包含先前的 package 工件、准备好的镜像输入,以及已发布升级幸存者基线列表,因此失败的 lane 可以避免重新构建 package 和镜像。
|
||||
- 构建和发布检查会在 tsdown 之后运行 `scripts/check-cli-bootstrap-imports.mjs`。该防护会从 `dist/entry.js` 和 `dist/cli/run-main.js` 遍历静态构建图,并在命令分发前的启动导入了 Commander、prompt UI、undici 或 logging 等 package 依赖时失败;它还会让打包后的 Gateway 网关 run chunk 保持在预算内,并拒绝已知冷 Gateway 网关路径的静态导入。打包后的 CLI 冒烟测试还覆盖 root help、onboard help、doctor help、Status、config schema 和 model-list 命令。
|
||||
- Package Acceptance 旧版兼容性截止到 `2026.4.25`(包含 `2026.4.25-beta.*`)。在该截止点之前,harness 仅容忍已发布 package 的元数据缺口:遗漏的私有 QA inventory 条目、缺失的 `gateway install --wrapper`、tarball 派生 git fixture 中缺失的 patch 文件、缺失的持久化 `update.channel`、旧版插件 install-record 位置、缺失的 marketplace install-record 持久化,以及 `plugins update` 期间的配置元数据迁移。对于 `2026.4.25` 之后的 package,这些路径都是严格失败。
|
||||
`OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。只有在你明确想要更大的详尽扫描时,才覆盖这些环境变量。
|
||||
- `test:docker:all` 通过 `test:docker:live-build` 构建一次实时 Docker 镜像,通过 `scripts/package-openclaw-for-docker.mjs` 将 OpenClaw 打包一次为 npm tarball,然后构建/复用两个 `scripts/e2e/Dockerfile` 镜像。裸镜像只是用于安装/更新/插件依赖 lane 的 Node/Git 运行器;这些 lane 会挂载预构建的 tarball。功能镜像会把同一个 tarball 安装到 `/app`,用于已构建应用的功能 lane。Docker lane 定义位于 `scripts/lib/docker-e2e-scenarios.mjs`;规划器逻辑位于 `scripts/lib/docker-e2e-plan.mjs`;`scripts/test-docker-all.mjs` 执行选定的计划。聚合流程使用加权本地调度器:`OPENCLAW_DOCKER_ALL_PARALLELISM` 控制进程槽位,而资源上限会避免重量级实时、npm 安装和多服务 lane 同时全部启动。如果单个 lane 比当前上限更重,调度器仍可在池为空时启动它,并让它独占运行,直到容量再次可用。默认值为 10 个槽位、`OPENCLAW_DOCKER_ALL_LIVE_LIMIT=9`、`OPENCLAW_DOCKER_ALL_NPM_LIMIT=10` 和 `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT=7`;仅当 Docker 主机有更多余量时,才调整 `OPENCLAW_DOCKER_ALL_WEIGHT_LIMIT` 或 `OPENCLAW_DOCKER_ALL_DOCKER_LIMIT`。运行器默认执行 Docker 预检,移除陈旧的 OpenClaw E2E 容器,每 30 秒打印一次状态,将成功 lane 的耗时存储在 `.artifacts/docker-tests/lane-timings.json`,并在后续运行中使用这些耗时优先启动更长的 lane。使用 `OPENCLAW_DOCKER_ALL_DRY_RUN=1` 可以打印加权 lane 清单而不构建或运行 Docker,或使用 `node scripts/test-docker-all.mjs --plan-json` 打印所选 lane、包/镜像需求和凭据的 CI 计划。
|
||||
- `Package Acceptance` 是 GitHub 原生的包门禁,用于回答“这个可安装 tarball 作为产品是否可用?”它从 `source=npm`、`source=ref`、`source=url` 或 `source=artifact` 解析一个候选包,将其上传为 `package-under-test`,然后针对该精确 tarball 运行可复用的 Docker E2E lane,而不是重新打包所选 ref。配置按覆盖范围从小到大排序:`smoke`、`package`、`product` 和 `full`。关于包/更新/插件契约、已发布升级幸存者矩阵、发布默认值和失败分诊,请参见[更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
- 构建和发布检查会在 tsdown 之后运行 `scripts/check-cli-bootstrap-imports.mjs`。该防护会从 `dist/entry.js` 和 `dist/cli/run-main.js` 遍历静态构建图,如果分发前启动导入了 Commander、提示 UI、undici 或日志等包依赖,就会失败;它还会让打包的 Gateway 网关运行 chunk 保持在预算内,并拒绝对已知冷 Gateway 网关路径的静态导入。打包 CLI 冒烟测试也覆盖根帮助、新手引导帮助、Doctor 帮助、Status、配置 schema 和模型列表命令。
|
||||
- Package Acceptance 旧版兼容性上限为 `2026.4.25`(包含 `2026.4.25-beta.*`)。在该截止点之前,harness 只容忍已发布包的元数据缺口:省略的私有 QA 库存条目、缺失的 `gateway install --wrapper`、tarball 派生 git fixture 中缺失的 patch 文件、缺失的持久化 `update.channel`、旧版插件安装记录位置、缺失的 marketplace 安装记录持久化,以及 `plugins update` 期间的配置元数据迁移。对于 `2026.4.25` 之后的包,这些路径都是严格失败。
|
||||
- 容器冒烟运行器:`test:docker:openwebui`、`test:docker:onboard`、`test:docker:npm-onboard-channel-agent`、`test:docker:update-channel-switch`、`test:docker:upgrade-survivor`、`test:docker:published-upgrade-survivor`、`test:docker:session-runtime-context`、`test:docker:agents-delete-shared-workspace`、`test:docker:gateway-network`、`test:docker:browser-cdp-snapshot`、`test:docker:mcp-channels`、`test:docker:pi-bundle-mcp-tools`、`test:docker:cron-mcp-cleanup`、`test:docker:plugins`、`test:docker:plugin-update` 和 `test:docker:config-reload` 会启动一个或多个真实容器,并验证更高层级的集成路径。
|
||||
|
||||
live 模型 Docker 运行器还只 bind-mount 所需的 CLI auth home(或者在运行未收窄时挂载所有受支持的 home),然后在运行前将它们复制到容器 home 中,使外部 CLI OAuth 可以刷新 token,而不会修改宿主机 auth 存储:
|
||||
实时模型 Docker 运行器还只会 bind-mount 所需的 CLI 认证主目录(或在运行未收窄时挂载所有受支持的主目录),然后在运行前将它们复制到容器主目录中,这样外部 CLI OAuth 就可以刷新令牌,而不会修改主机认证存储:
|
||||
|
||||
- 直接模型:`pnpm test:docker:live-models`(脚本:`scripts/test-live-models-docker.sh`)
|
||||
- ACP 绑定冒烟测试:`pnpm test:docker:live-acp-bind`(脚本:`scripts/test-live-acp-bind-docker.sh`;默认覆盖 Claude、Codex 和 Gemini,并通过 `pnpm test:docker:live-acp-bind:droid` 和 `pnpm test:docker:live-acp-bind:opencode` 严格覆盖 Droid/OpenCode)
|
||||
- ACP 绑定冒烟测试:`pnpm test:docker:live-acp-bind`(脚本:`scripts/test-live-acp-bind-docker.sh`;默认覆盖 Claude、Codex 和 Gemini,并通过 `pnpm test:docker:live-acp-bind:droid` 与 `pnpm test:docker:live-acp-bind:opencode` 严格覆盖 Droid/OpenCode)
|
||||
- CLI 后端冒烟测试:`pnpm test:docker:live-cli-backend`(脚本:`scripts/test-live-cli-backend-docker.sh`)
|
||||
- Codex app-server harness 冒烟测试:`pnpm test:docker:live-codex-harness`(脚本:`scripts/test-live-codex-harness-docker.sh`)
|
||||
- Gateway 网关 + dev 智能体:`pnpm test:docker:live-gateway`(脚本:`scripts/test-live-gateway-models-docker.sh`)
|
||||
- 可观测性冒烟测试:`pnpm qa:otel:smoke` 是私有 QA 源码检出验证通道。它有意不属于包 Docker 发布验证通道,因为 npm tarball 会省略 QA Lab。
|
||||
- Open WebUI live 冒烟测试:`pnpm test:docker:openwebui`(脚本:`scripts/e2e/openwebui-docker.sh`)
|
||||
- Gateway 网关 + 开发智能体:`pnpm test:docker:live-gateway`(脚本:`scripts/test-live-gateway-models-docker.sh`)
|
||||
- 可观测性冒烟测试:`pnpm qa:otel:smoke` 是一个私有 QA 源码检出测试通道。它有意不包含在包 Docker 发布测试通道中,因为 npm tarball 会省略 QA Lab。
|
||||
- Open WebUI 实时冒烟测试:`pnpm test:docker:openwebui`(脚本:`scripts/e2e/openwebui-docker.sh`)
|
||||
- 新手引导向导(TTY,完整脚手架):`pnpm test:docker:onboard`(脚本:`scripts/e2e/onboard-docker.sh`)
|
||||
- Npm tarball 新手引导/渠道/智能体冒烟测试:`pnpm test:docker:npm-onboard-channel-agent` 会在 Docker 中全局安装已打包的 OpenClaw tarball,通过 env-ref 新手引导配置 OpenAI,并默认配置 Telegram,运行 doctor,然后运行一次模拟的 OpenAI 智能体回合。可用 `OPENCLAW_CURRENT_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball,用 `OPENCLAW_NPM_ONBOARD_HOST_BUILD=0` 跳过主机重建,或用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 切换渠道。
|
||||
- 更新渠道切换冒烟测试:`pnpm test:docker:update-channel-switch` 会在 Docker 中全局安装已打包的 OpenClaw tarball,从包 `stable` 切换到 git `dev`,验证持久化渠道和插件更新后工作正常,然后切回包 `stable` 并检查更新状态。
|
||||
- 升级幸存者冒烟测试:`pnpm test:docker:upgrade-survivor` 会把已打包的 OpenClaw tarball 安装到一个脏的旧用户 fixture 上,其中包含智能体、渠道配置、插件 allowlist、陈旧的插件依赖状态,以及已有工作区/会话文件。它会在没有 live 提供商或渠道密钥的情况下运行包更新加非交互式 doctor,然后启动一个 loopback Gateway 网关,并检查配置/状态保留以及启动/Status 预算。
|
||||
- 已发布升级幸存者冒烟测试:`pnpm test:docker:published-upgrade-survivor` 默认安装 `openclaw@latest`,填充真实的既有用户文件,用内置命令配方配置该基线,验证生成的配置,把该已发布安装更新到候选 tarball,运行非交互式 doctor,写入 `.artifacts/upgrade-survivor/summary.json`,然后启动一个 loopback Gateway 网关,并检查已配置意图、状态保留、启动、`/healthz`、`/readyz` 和 RPC Status 预算。用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 覆盖单个基线,用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 要求聚合调度器展开精确基线,并用 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS` 展开问题形态的 fixture,例如 `reported-issues`;Package Acceptance 会将这些公开为 `published_upgrade_survivor_baseline`、`published_upgrade_survivor_baselines` 和 `published_upgrade_survivor_scenarios`。
|
||||
- 会话运行时上下文冒烟测试:`pnpm test:docker:session-runtime-context` 会验证隐藏运行时上下文转录持久化,以及 doctor 对受影响的重复 prompt-rewrite 分支的修复。
|
||||
- Bun 全局安装冒烟测试:`bash scripts/e2e/bun-global-install-smoke.sh` 会打包当前树,在隔离的 home 中用 `bun install -g` 安装,并验证 `openclaw infer image providers --json` 返回内置图片提供商,而不是挂起。可用 `OPENCLAW_BUN_GLOBAL_SMOKE_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball,用 `OPENCLAW_BUN_GLOBAL_SMOKE_HOST_BUILD=0` 跳过主机构建,或用 `OPENCLAW_BUN_GLOBAL_SMOKE_DIST_IMAGE=openclaw-dockerfile-smoke:local` 从已构建 Docker 镜像复制 `dist/`。
|
||||
- 安装器 Docker 冒烟测试:`bash scripts/test-install-sh-docker.sh` 会在其 root、update 和 direct-npm 容器之间共享同一个 npm 缓存。更新冒烟测试默认使用 npm `latest` 作为 stable 基线,然后升级到候选 tarball。可在本地用 `OPENCLAW_INSTALL_SMOKE_UPDATE_BASELINE=2026.4.22` 覆盖,或在 GitHub 上用 Install Smoke 工作流的 `update_baseline_version` 输入覆盖。非 root 安装器检查会保留隔离的 npm 缓存,避免 root 拥有的缓存条目掩盖用户本地安装行为。设置 `OPENCLAW_INSTALL_SMOKE_NPM_CACHE_DIR=/path/to/cache` 可在本地重跑时复用 root/update/direct-npm 缓存。
|
||||
- Install Smoke CI 会用 `OPENCLAW_INSTALL_SMOKE_SKIP_NPM_GLOBAL=1` 跳过重复的 direct-npm 全局更新;需要覆盖直接 `npm install -g` 时,请在本地运行脚本且不要设置该环境变量。
|
||||
- Npm tarball 新手引导/渠道/智能体冒烟测试:`pnpm test:docker:npm-onboard-channel-agent` 会在 Docker 中全局安装打包后的 OpenClaw tarball,通过 env-ref 新手引导配置 OpenAI,并默认配置 Telegram,运行 Doctor,然后运行一次模拟的 OpenAI 智能体回合。可用 `OPENCLAW_CURRENT_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball,用 `OPENCLAW_NPM_ONBOARD_HOST_BUILD=0` 跳过主机重建,或用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 切换渠道。
|
||||
- 更新渠道切换冒烟测试:`pnpm test:docker:update-channel-switch` 会在 Docker 中全局安装打包后的 OpenClaw tarball,从包 `stable` 切换到 git `dev`,验证持久化的渠道和插件更新后工作正常,然后切回包 `stable` 并检查更新 Status。
|
||||
- 升级保留冒烟测试:`pnpm test:docker:upgrade-survivor` 会把打包后的 OpenClaw tarball 安装到一个脏的旧用户 fixture 上,其中包含智能体、渠道配置、插件允许列表、陈旧的插件依赖状态,以及现有工作区/会话文件。它会在没有实时提供商或渠道密钥的情况下运行包更新和非交互式 Doctor,然后启动一个 local loopback Gateway 网关,并检查配置/状态保留情况以及启动/Status 预算。
|
||||
- 已发布版本升级保留冒烟测试:`pnpm test:docker:published-upgrade-survivor` 默认安装 `openclaw@latest`,填充真实的现有用户文件,用内置命令配方配置该基线,验证生成的配置,将该已发布安装更新到候选 tarball,运行非交互式 Doctor,写入 `.artifacts/upgrade-survivor/summary.json`,然后启动一个 local loopback Gateway 网关,并检查已配置意图、状态保留、启动、`/healthz`、`/readyz` 和 RPC Status 预算。用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 覆盖一个基线,用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 要求聚合调度器展开精确基线,并用 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS` 展开问题形状的 fixture,例如 `reported-issues`;Package Acceptance 会将这些公开为 `published_upgrade_survivor_baseline`、`published_upgrade_survivor_baselines` 和 `published_upgrade_survivor_scenarios`。
|
||||
- 会话运行时上下文冒烟测试:`pnpm test:docker:session-runtime-context` 会验证隐藏运行时上下文转录持久化,以及 Doctor 对受影响的重复提示词重写分支的修复。
|
||||
- Bun 全局安装冒烟测试:`bash scripts/e2e/bun-global-install-smoke.sh` 会打包当前树,在隔离的 home 中用 `bun install -g` 安装,并验证 `openclaw infer image providers --json` 返回内置图片提供商而不是挂起。可用 `OPENCLAW_BUN_GLOBAL_SMOKE_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball,用 `OPENCLAW_BUN_GLOBAL_SMOKE_HOST_BUILD=0` 跳过主机构建,或用 `OPENCLAW_BUN_GLOBAL_SMOKE_DIST_IMAGE=openclaw-dockerfile-smoke:local` 从已构建的 Docker 镜像复制 `dist/`。
|
||||
- 安装器 Docker 冒烟测试:`bash scripts/test-install-sh-docker.sh` 会在其 root、update 和 direct-npm 容器之间共享一个 npm 缓存。更新冒烟测试默认以 npm `latest` 作为稳定基线,然后升级到候选 tarball。本地可用 `OPENCLAW_INSTALL_SMOKE_UPDATE_BASELINE=2026.4.22` 覆盖,或在 GitHub 上用 Install Smoke 工作流的 `update_baseline_version` 输入覆盖。非 root 安装器检查会保留隔离的 npm 缓存,这样 root 拥有的缓存条目不会掩盖用户本地安装行为。设置 `OPENCLAW_INSTALL_SMOKE_NPM_CACHE_DIR=/path/to/cache` 可在本地重复运行时复用 root/update/direct-npm 缓存。
|
||||
- Install Smoke CI 会用 `OPENCLAW_INSTALL_SMOKE_SKIP_NPM_GLOBAL=1` 跳过重复的 direct-npm 全局更新;需要直接 `npm install -g` 覆盖时,请在本地运行脚本且不要设置该环境变量。
|
||||
- 智能体删除共享工作区 CLI 冒烟测试:`pnpm test:docker:agents-delete-shared-workspace`(脚本:`scripts/e2e/agents-delete-shared-workspace-docker.sh`)默认构建根 Dockerfile 镜像,在隔离容器 home 中填充两个智能体和一个工作区,运行 `agents delete --json`,并验证有效 JSON 以及工作区保留行为。可用 `OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_IMAGE=openclaw-dockerfile-smoke:local OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_SKIP_BUILD=1` 复用 install-smoke 镜像。
|
||||
- Gateway 网关网络(两个容器,WS 认证 + health):`pnpm test:docker:gateway-network`(脚本:`scripts/e2e/gateway-network-docker.sh`)
|
||||
- 浏览器 CDP 快照冒烟测试:`pnpm test:docker:browser-cdp-snapshot`(脚本:`scripts/e2e/browser-cdp-snapshot-docker.sh`)会构建源码 E2E 镜像和 Chromium 层,用原始 CDP 启动 Chromium,运行 `browser doctor --deep`,并验证 CDP 角色快照覆盖链接 URL、游标提升的可点击项、iframe 引用和 frame 元数据。
|
||||
- OpenAI Responses `web_search` 最小推理回归:`pnpm test:docker:openai-web-search-minimal`(脚本:`scripts/e2e/openai-web-search-minimal-docker.sh`)会通过 Gateway 网关运行一个模拟 OpenAI 服务器,验证 `web_search` 将 `reasoning.effort` 从 `minimal` 提升到 `low`,然后强制提供商 schema 拒绝,并检查原始详情出现在 Gateway 网关日志中。
|
||||
- MCP 渠道桥接(已填充 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟测试):`pnpm test:docker:mcp-channels`(脚本:`scripts/e2e/mcp-channels-docker.sh`)
|
||||
- Pi bundle MCP 工具(真实 stdio MCP 服务器 + 嵌入式 Pi profile allow/deny 冒烟测试):`pnpm test:docker:pi-bundle-mcp-tools`(脚本:`scripts/e2e/pi-bundle-mcp-tools-docker.sh`)
|
||||
- Cron/subagent MCP 清理(真实 Gateway 网关 + 在隔离 cron 和一次性 subagent 运行后拆除 stdio MCP 子进程):`pnpm test:docker:cron-mcp-cleanup`(脚本:`scripts/e2e/cron-mcp-cleanup-docker.sh`)
|
||||
- Gateway 网关联网(两个容器,WS 认证 + 健康检查):`pnpm test:docker:gateway-network`(脚本:`scripts/e2e/gateway-network-docker.sh`)
|
||||
- 浏览器 CDP 快照冒烟测试:`pnpm test:docker:browser-cdp-snapshot`(脚本:`scripts/e2e/browser-cdp-snapshot-docker.sh`)会构建源码 E2E 镜像和一个 Chromium 层,用原始 CDP 启动 Chromium,运行 `browser doctor --deep`,并验证 CDP 角色快照覆盖链接 URL、光标提升的可点击项、iframe 引用和 frame 元数据。
|
||||
- OpenAI Responses web_search 最小推理回归测试:`pnpm test:docker:openai-web-search-minimal`(脚本:`scripts/e2e/openai-web-search-minimal-docker.sh`)会通过 Gateway 网关运行一个模拟的 OpenAI 服务器,验证 `web_search` 将 `reasoning.effort` 从 `minimal` 提升到 `low`,然后强制提供商 schema 拒绝,并检查原始详情出现在 Gateway 网关日志中。
|
||||
- MCP 渠道桥接(已填充的 Gateway 网关 + stdio 桥接 + 原始 Claude 通知帧冒烟测试):`pnpm test:docker:mcp-channels`(脚本:`scripts/e2e/mcp-channels-docker.sh`)
|
||||
- Pi bundle MCP 工具(真实 stdio MCP 服务器 + 嵌入式 Pi 配置文件允许/拒绝冒烟测试):`pnpm test:docker:pi-bundle-mcp-tools`(脚本:`scripts/e2e/pi-bundle-mcp-tools-docker.sh`)
|
||||
- Cron/子智能体 MCP 清理(真实 Gateway 网关 + stdio MCP 子进程在隔离 cron 和一次性子智能体运行后拆除):`pnpm test:docker:cron-mcp-cleanup`(脚本:`scripts/e2e/cron-mcp-cleanup-docker.sh`)
|
||||
- 插件(安装冒烟测试、ClawHub kitchen-sink 安装/卸载、marketplace 更新,以及 Claude-bundle 启用/检查):`pnpm test:docker:plugins`(脚本:`scripts/e2e/plugins-docker.sh`)
|
||||
设置 `OPENCLAW_PLUGINS_E2E_CLAWHUB=0` 可跳过 ClawHub 区块,或用 `OPENCLAW_PLUGINS_E2E_CLAWHUB_SPEC` 和 `OPENCLAW_PLUGINS_E2E_CLAWHUB_ID` 覆盖默认 kitchen-sink 包/运行时配对。没有 `OPENCLAW_CLAWHUB_URL`/`CLAWHUB_URL` 时,测试会使用 hermetic 本地 ClawHub fixture 服务器。
|
||||
设置 `OPENCLAW_PLUGINS_E2E_CLAWHUB=0` 可跳过 ClawHub 块,或用 `OPENCLAW_PLUGINS_E2E_CLAWHUB_SPEC` 和 `OPENCLAW_PLUGINS_E2E_CLAWHUB_ID` 覆盖默认的 kitchen-sink 包/运行时组合。没有 `OPENCLAW_CLAWHUB_URL`/`CLAWHUB_URL` 时,测试会使用一个 hermetic 本地 ClawHub fixture 服务器。
|
||||
- 插件更新未变化冒烟测试:`pnpm test:docker:plugin-update`(脚本:`scripts/e2e/plugin-update-unchanged-docker.sh`)
|
||||
- 配置重载元数据冒烟测试:`pnpm test:docker:config-reload`(脚本:`scripts/e2e/config-reload-source-docker.sh`)
|
||||
- 插件:`pnpm test:docker:plugins` 覆盖安装冒烟测试、本地 ClawHub fixture 安装、marketplace 更新、npm 包依赖安装,以及 Claude-bundle 启用/检查。`pnpm test:docker:plugin-update` 覆盖已安装插件的未变化更新行为。
|
||||
@ -558,112 +531,111 @@ OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e-functional:local pnpm test:docker:
|
||||
OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e-functional:local OPENCLAW_SKIP_DOCKER_BUILD=1 pnpm test:docker:mcp-channels
|
||||
```
|
||||
|
||||
设置了诸如 `OPENCLAW_GATEWAY_NETWORK_E2E_IMAGE` 这类套件专用镜像覆盖时,它们仍然优先。当 `OPENCLAW_SKIP_DOCKER_BUILD=1` 指向远程共享镜像时,如果该镜像尚未在本地存在,脚本会拉取它。QR 和安装器 Docker 测试保留自己的 Dockerfile,因为它们验证的是包/安装行为,而不是共享已构建应用运行时。
|
||||
设置了 `OPENCLAW_GATEWAY_NETWORK_E2E_IMAGE` 等套件特定镜像覆盖时,它们仍然优先生效。当 `OPENCLAW_SKIP_DOCKER_BUILD=1` 指向远程共享镜像时,如果该镜像还不在本地,脚本会拉取它。QR 和安装器 Docker 测试保留自己的 Dockerfile,因为它们验证的是包/安装行为,而不是共享的已构建应用运行时。
|
||||
|
||||
live-model Docker runner 也会以只读方式 bind-mount 当前 checkout,并
|
||||
将其暂存到容器内的临时 workdir。这能让运行时镜像保持精简,同时仍然
|
||||
针对你的精确本地源码/配置运行 Vitest。
|
||||
实时模型 Docker runner 也会以只读方式绑定挂载当前检出,
|
||||
并在容器内将其暂存到一个临时 workdir。这样可让运行时
|
||||
镜像保持精简,同时仍然针对你的精确本地源码/配置运行 Vitest。
|
||||
暂存步骤会跳过大型本地专用缓存和应用构建输出,例如
|
||||
`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`,以及应用本地 `.build` 或
|
||||
Gradle 输出目录,因此 Docker live 运行不会花几分钟复制
|
||||
特定机器的工件。
|
||||
它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`,因此 Gateway 网关 live probe 不会在容器内启动
|
||||
真实 Telegram/Discord 等渠道 worker。
|
||||
`test:docker:live-models` 仍会运行 `pnpm test:live`,因此当你需要从该 Docker 验证通道
|
||||
缩小或排除 Gateway 网关 live 覆盖时,也要传入
|
||||
Gradle 输出目录,因此 Docker 实时运行不会花数分钟复制
|
||||
机器特定的产物。
|
||||
它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`,这样 Gateway 网关实时探针就不会在容器内启动
|
||||
真实的 Telegram/Discord 等渠道 worker。
|
||||
`test:docker:live-models` 仍会运行 `pnpm test:live`,因此当你需要缩小或排除该 Docker 测试通道中的 Gateway 网关
|
||||
实时覆盖时,也要透传
|
||||
`OPENCLAW_LIVE_GATEWAY_*`。
|
||||
`test:docker:openwebui` 是更高层级的兼容性冒烟测试:它启动一个
|
||||
启用了 OpenAI 兼容 HTTP 端点的 OpenClaw gateway 容器,
|
||||
针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器,通过
|
||||
Open WebUI 登录,验证 `/api/models` 暴露 `openclaw/default`,然后通过
|
||||
Open WebUI 的 `/api/chat/completions` 代理发送一个
|
||||
`test:docker:openwebui` 是更高层的兼容性冒烟测试:它启动一个
|
||||
启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器,
|
||||
启动一个固定版本的 Open WebUI 容器并连接到该 Gateway 网关,通过
|
||||
Open WebUI 登录,验证 `/api/models` 暴露 `openclaw/default`,然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一个
|
||||
真实聊天请求。
|
||||
第一次运行可能明显更慢,因为 Docker 可能需要拉取
|
||||
Open WebUI 镜像,且 Open WebUI 可能需要完成自己的冷启动设置。
|
||||
此验证通道需要可用的 live 模型密钥,`OPENCLAW_PROFILE_FILE`
|
||||
(默认 `~/.profile`)是在 Docker 化运行中提供它的主要方式。
|
||||
成功运行会打印一个小的 JSON payload,例如 `{ "ok": true, "model":
|
||||
首次运行可能明显更慢,因为 Docker 可能需要拉取
|
||||
Open WebUI 镜像,并且 Open WebUI 可能需要完成自己的冷启动设置。
|
||||
该测试通道需要可用的实时模型密钥,而 `OPENCLAW_PROFILE_FILE`
|
||||
(默认是 `~/.profile`)是在 Docker 化运行中提供它的主要方式。
|
||||
成功运行会打印一个小型 JSON 载荷,例如 `{ "ok": true, "model":
|
||||
"openclaw/default", ... }`。
|
||||
`test:docker:mcp-channels` 有意保持确定性,并且不需要
|
||||
真实 Telegram、Discord 或 iMessage 账号。它会启动一个已填充的 Gateway 网关
|
||||
`test:docker:mcp-channels` 有意保持确定性,不需要
|
||||
真实的 Telegram、Discord 或 iMessage 账号。它会启动一个已填充的 Gateway 网关
|
||||
容器,启动第二个容器并派生 `openclaw mcp serve`,然后
|
||||
验证路由会话发现、转录读取、附件元数据、
|
||||
live 事件队列行为、出站发送路由,以及通过真实 stdio MCP bridge 发送的 Claude 风格渠道 +
|
||||
权限通知。通知检查会直接
|
||||
检查原始 stdio MCP frame,因此该冒烟测试验证的是
|
||||
bridge 实际发出的内容,而不仅是某个特定 client SDK 恰好呈现的内容。
|
||||
`test:docker:pi-bundle-mcp-tools` 是确定性的,不需要 live
|
||||
模型密钥。它构建 repo Docker 镜像,在容器内启动真实 stdio MCP probe server,
|
||||
通过嵌入式 Pi bundle
|
||||
MCP 运行时物化该服务器,执行工具,然后验证 `coding` 和 `messaging` 保留
|
||||
实时事件队列行为、出站发送路由,以及通过真实 stdio MCP 桥接发送的 Claude 风格渠道 +
|
||||
权限通知。通知检查会直接检查
|
||||
原始 stdio MCP 帧,因此该冒烟测试验证的是
|
||||
桥接实际发出的内容,而不只是某个特定客户端 SDK 恰好暴露的内容。
|
||||
`test:docker:pi-bundle-mcp-tools` 是确定性的,不需要实时
|
||||
模型密钥。它会构建仓库 Docker 镜像,在容器内启动一个真实 stdio MCP 探针服务器,
|
||||
通过嵌入式 Pi bundle MCP 运行时实例化该服务器,
|
||||
执行该工具,然后验证 `coding` 和 `messaging` 保留
|
||||
`bundle-mcp` 工具,而 `minimal` 和 `tools.deny: ["bundle-mcp"]` 会过滤它们。
|
||||
`test:docker:cron-mcp-cleanup` 是确定性的,不需要 live 模型
|
||||
密钥。它启动一个带有真实 stdio MCP probe server 的已填充 Gateway 网关,运行一个
|
||||
隔离 cron 回合和一个 `/subagents spawn` 一次性子回合,然后验证
|
||||
`test:docker:cron-mcp-cleanup` 是确定性的,不需要实时模型
|
||||
密钥。它会启动一个带有真实 stdio MCP 探针服务器的已填充 Gateway 网关,运行一个
|
||||
隔离的 cron 回合和一个 `/subagents spawn` 一次性子智能体回合,然后验证
|
||||
MCP 子进程在每次运行后退出。
|
||||
|
||||
手动 ACP 自然语言线程冒烟测试(非 CI):
|
||||
|
||||
- `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel <discord-channel-id> ...`
|
||||
- 保留此脚本用于回归/调试工作流。ACP 线程路由验证可能再次需要它,因此不要删除它。
|
||||
- 保留此脚本用于回归/调试工作流。ACP 线程路由验证以后可能还会再次需要它,因此不要删除它。
|
||||
|
||||
有用的环境变量:
|
||||
|
||||
- `OPENCLAW_CONFIG_DIR=...`(默认:`~/.openclaw`)挂载到 `/home/node/.openclaw`
|
||||
- `OPENCLAW_WORKSPACE_DIR=...`(默认:`~/.openclaw/workspace`)挂载到 `/home/node/.openclaw/workspace`
|
||||
- `OPENCLAW_PROFILE_FILE=...`(默认:`~/.profile`)挂载到 `/home/node/.profile`,并在运行测试前 source
|
||||
- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 用于仅验证从 `OPENCLAW_PROFILE_FILE` source 的环境变量,使用临时配置/工作区目录,且不挂载外部 CLI 凭证
|
||||
- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`(默认:`~/.cache/openclaw/docker-cli-tools`)挂载到 `/home/node/.npm-global`,用于 Docker 内部缓存的 CLI 安装
|
||||
- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 仅验证从 `OPENCLAW_PROFILE_FILE` source 的环境变量,使用临时配置/工作区目录且不挂载外部 CLI 凭证
|
||||
- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`(默认:`~/.cache/openclaw/docker-cli-tools`)挂载到 `/home/node/.npm-global`,用于 Docker 内缓存的 CLI 安装
|
||||
- `$HOME` 下的外部 CLI 凭证目录/文件会以只读方式挂载到 `/host-auth...` 下,然后在测试开始前复制到 `/home/node/...`
|
||||
- 默认目录:`.minimax`
|
||||
- 默认文件:`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json`
|
||||
- 缩小范围的提供商运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录/文件
|
||||
- 可用 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none` 或逗号列表(如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex`)手动覆盖
|
||||
- 缩小范围的提供商运行只挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录/文件
|
||||
- 可用 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none` 或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表手动覆盖
|
||||
- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围
|
||||
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内过滤提供商
|
||||
- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于在不需要重新构建的重跑中复用现有 `openclaw:local-live` 镜像
|
||||
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭据来自配置文件存储(而不是环境变量)
|
||||
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭证来自 profile 存储(而不是 env)
|
||||
- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 Gateway 网关为 Open WebUI smoke 暴露的模型
|
||||
- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI smoke 使用的 nonce 检查提示词
|
||||
- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI smoke 使用的 nonce 检查 prompt
|
||||
- `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签
|
||||
|
||||
## 文档完整性检查
|
||||
|
||||
在编辑文档后运行文档检查:`pnpm check:docs`。
|
||||
当你还需要页内标题检查时,运行完整 Mintlify 锚点验证:`pnpm docs:check-links:anchors`。
|
||||
文档编辑后运行文档检查:`pnpm check:docs`。
|
||||
当你还需要页内标题检查时,运行完整的 Mintlify 锚点验证:`pnpm docs:check-links:anchors`。
|
||||
|
||||
## 离线回归(CI 安全)
|
||||
|
||||
这些是没有真实提供商的“真实流水线”回归:
|
||||
这些是不使用真实提供商的“真实流水线”回归:
|
||||
|
||||
- Gateway 网关工具调用(mock OpenAI,真实 Gateway 网关 + Agent loop):`src/gateway/gateway.test.ts`(用例:"runs a mock OpenAI tool call end-to-end via gateway agent loop")
|
||||
- Gateway 网关向导(WS `wizard.start`/`wizard.next`,写入配置 + 强制凭证):`src/gateway/gateway.test.ts`(用例:"runs wizard over ws and writes auth token config")
|
||||
|
||||
## 智能体可靠性评估(Skills)
|
||||
|
||||
我们已经有一些 CI 安全测试,它们的行为类似于“智能体可靠性评估”:
|
||||
我们已经有一些像“智能体可靠性评估”一样运行的 CI 安全测试:
|
||||
|
||||
- 通过真实 Gateway 网关 + Agent loop 进行 mock 工具调用(`src/gateway/gateway.test.ts`)。
|
||||
- 端到端向导流程,用于验证会话接线和配置效果(`src/gateway/gateway.test.ts`)。
|
||||
- 验证会话接线和配置效果的端到端向导流程(`src/gateway/gateway.test.ts`)。
|
||||
|
||||
Skills 仍缺少的内容(参见 [Skills](/zh-CN/tools/skills)):
|
||||
|
||||
- **决策:** 当提示词中列出 Skills 时,智能体是否会选择正确的 Skills(或避开无关项)?
|
||||
- **合规:** 智能体是否会在使用前读取 `SKILL.md`,并遵循必需步骤/参数?
|
||||
- **工作流契约:** 多轮场景,用于断言工具顺序、会话历史延续和沙箱边界。
|
||||
- **决策:**当 Skills 列在 prompt 中时,智能体是否会选择正确的 Skills(或避开无关项)?
|
||||
- **合规:**智能体是否在使用前读取 `SKILL.md` 并遵循必需步骤/参数?
|
||||
- **工作流契约:**断言工具顺序、会话历史延续和沙箱边界的多轮场景。
|
||||
|
||||
未来评估应首先保持确定性:
|
||||
|
||||
- 使用 mock 提供商的场景运行器,用于断言工具调用 + 顺序、Skills 文件读取和会话接线。
|
||||
- 一小套聚焦 Skills 的场景(使用与避免、门控、提示词注入)。
|
||||
- 可选 live 评估(选择加入、由环境变量门控)仅在 CI 安全套件就位后添加。
|
||||
- 使用 mock 提供商的场景运行器,用于断言工具调用 + 顺序、技能文件读取和会话接线。
|
||||
- 一小组聚焦技能的场景(使用 vs 避免、门控、prompt 注入)。
|
||||
- 仅在 CI 安全套件就绪后,再添加可选 live 评估(选择加入、由环境变量门控)。
|
||||
|
||||
## 契约测试(插件和渠道形状)
|
||||
## 契约测试(插件和渠道形态)
|
||||
|
||||
契约测试用于验证每个已注册的插件和渠道都符合其
|
||||
接口契约。它们会遍历所有已发现的插件,并运行一组
|
||||
形状和行为断言。默认 `pnpm test` 单元 lane 会有意
|
||||
跳过这些共享衔接点和 smoke 文件;当你触及共享渠道或提供商表面时,
|
||||
契约测试会验证每个已注册插件和渠道是否符合其
|
||||
接口契约。它们会遍历所有发现的插件,并运行一组
|
||||
形态和行为断言。默认的 `pnpm test` 单元 lane 会有意
|
||||
跳过这些共享边界和 smoke 文件;当你触碰共享渠道或提供商表面时,
|
||||
请显式运行契约命令。
|
||||
|
||||
### 命令
|
||||
@ -676,58 +648,59 @@ Skills 仍缺少的内容(参见 [Skills](/zh-CN/tools/skills)):
|
||||
|
||||
位于 `src/channels/plugins/contracts/*.contract.test.ts`:
|
||||
|
||||
- **plugin** - 基本插件形状(id、名称、能力)
|
||||
- **plugin** - 基本插件形态(id、name、capabilities)
|
||||
- **setup** - 设置向导契约
|
||||
- **session-binding** - 会话绑定行为
|
||||
- **outbound-payload** - 消息负载结构
|
||||
- **outbound-payload** - 消息 payload 结构
|
||||
- **inbound** - 入站消息处理
|
||||
- **actions** - 渠道操作处理程序
|
||||
- **threading** - 线程 ID 处理
|
||||
- **directory** - 目录/成员名册 API
|
||||
- **group-policy** - 群组策略强制执行
|
||||
- **actions** - 渠道 action 处理器
|
||||
- **threading** - Thread ID 处理
|
||||
- **directory** - Directory/roster API
|
||||
- **group-policy** - Group policy 强制执行
|
||||
|
||||
### 提供商 Status 契约
|
||||
|
||||
位于 `src/plugins/contracts/*.contract.test.ts`。
|
||||
|
||||
- **status** - 渠道 Status 探测
|
||||
- **registry** - 插件注册表形状
|
||||
- **registry** - 插件 registry 形态
|
||||
|
||||
### 提供商契约
|
||||
|
||||
位于 `src/plugins/contracts/*.contract.test.ts`:
|
||||
|
||||
- **auth** - 凭证流程契约
|
||||
- **auth-choice** - 凭证选择/选定
|
||||
- **catalog** - 模型目录 API
|
||||
- **discovery** - 插件设备发现
|
||||
- **auth** - Auth 流程契约
|
||||
- **auth-choice** - Auth 选择/选项
|
||||
- **catalog** - 模型 catalog API
|
||||
- **discovery** - 插件发现
|
||||
- **loader** - 插件加载
|
||||
- **runtime** - 提供商运行时
|
||||
- **shape** - 插件形状/接口
|
||||
- **shape** - 插件形态/接口
|
||||
- **wizard** - 设置向导
|
||||
|
||||
### 何时运行
|
||||
|
||||
- 更改 plugin-sdk 导出或子路径后
|
||||
- 修改 plugin-sdk 导出或子路径后
|
||||
- 添加或修改渠道或提供商插件后
|
||||
- 重构插件注册或设备发现后
|
||||
- 重构插件注册或发现后
|
||||
|
||||
契约测试会在 CI 中运行,且不需要真实 API key。
|
||||
契约测试会在 CI 中运行,不需要真实 API keys。
|
||||
|
||||
## 添加回归(指南)
|
||||
|
||||
当你修复 live 中发现的提供商/模型问题时:
|
||||
|
||||
- 如果可能,添加 CI 安全回归(mock/stub 提供商,或捕获精确的请求形状转换)
|
||||
- 如果问题天然只能 live 验证(速率限制、凭证策略),请保持 live 测试范围较窄,并通过环境变量选择加入
|
||||
- 优先定位到能捕获该错误的最小层:
|
||||
- 提供商请求转换/重放错误 → 直接模型测试
|
||||
- Gateway 网关会话/历史/工具流水线错误 → Gateway 网关 live smoke 或 CI 安全 Gateway 网关 mock 测试
|
||||
- SecretRef 遍历防护栏:
|
||||
- `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据(`listSecretTargetRegistryEntries()`)为每个 SecretRef 类派生一个采样目标,然后断言 traversal-segment exec id 会被拒绝。
|
||||
- 如果你在 `src/secrets/target-registry-data.ts` 中新增 `includeInPlan` SecretRef 目标族,请更新该测试中的 `classifyTargetClass`。该测试会有意在未分类目标 id 上失败,确保新类不会被静默跳过。
|
||||
- 尽可能添加 CI 安全回归(mock/stub 提供商,或捕获精确的请求形态转换)
|
||||
- 如果它本质上只能 live 测试(速率限制、凭证策略),保持 live 测试范围较窄,并通过环境变量选择加入
|
||||
- 优先定位到能捕获 bug 的最小层:
|
||||
- 提供商请求转换/replay bug → 直接模型测试
|
||||
- Gateway 网关会话/历史/工具流水线 bug → Gateway 网关 live smoke 或 CI 安全 Gateway 网关 mock 测试
|
||||
- SecretRef 遍历防护:
|
||||
- `src/secrets/exec-secret-ref-id-parity.test.ts` 会从 registry 元数据(`listSecretTargetRegistryEntries()`)为每个 SecretRef 类派生一个采样目标,然后断言 traversal-segment exec ids 会被拒绝。
|
||||
- 如果你在 `src/secrets/target-registry-data.ts` 中添加新的 `includeInPlan` SecretRef 目标族,请更新该测试中的 `classifyTargetClass`。该测试会故意在未分类目标 ids 上失败,确保新类不会被静默跳过。
|
||||
|
||||
## 相关
|
||||
|
||||
- [Testing live](/zh-CN/help/testing-live)
|
||||
- [更新和插件测试](/zh-CN/help/testing-updates-plugins)
|
||||
- [CI](/zh-CN/ci)
|
||||
|
||||
@ -1,141 +1,157 @@
|
||||
---
|
||||
read_when:
|
||||
- 正在查找公开发布渠道定义
|
||||
- 正在查找公共发布渠道定义
|
||||
- 运行发布验证或软件包验收
|
||||
- 在找版本命名和发布节奏?
|
||||
summary: 发布通道、操作员检查清单、验证环境、版本命名和发布节奏
|
||||
- 查找版本命名和发布节奏
|
||||
summary: 发布通道、操作员检查清单、验证环境、版本命名和节奏
|
||||
title: 发布策略
|
||||
x-i18n:
|
||||
generated_at: "2026-05-01T20:49:29Z"
|
||||
generated_at: "2026-05-01T22:37:37Z"
|
||||
model: gpt-5.5
|
||||
provider: openai
|
||||
source_hash: 9897d7388f9110f291a62a908c95b58abe099be688d6a398c28dc368059e163f
|
||||
source_hash: 6ebbb0f42ee5f1ea29eb3133fcef7c829f855f5d668d8b8af373a6e148bb56ee
|
||||
source_path: reference/RELEASING.md
|
||||
workflow: 16
|
||||
---
|
||||
|
||||
OpenClaw 有三个公开发布通道:
|
||||
|
||||
- stable:带标签的正式发布,默认发布到 npm `beta`,或在明确请求时发布到 npm `latest`
|
||||
- beta:预发布标签,发布到 npm `beta`
|
||||
- dev:`main` 的移动最新头部
|
||||
- stable:已打标签的发布,默认发布到 npm `beta`,或在明确请求时发布到 npm `latest`
|
||||
- beta:发布到 npm `beta` 的预发布标签
|
||||
- dev:`main` 的移动头部
|
||||
|
||||
## 版本命名
|
||||
|
||||
- Stable 发布版本:`YYYY.M.D`
|
||||
- 稳定发布版本:`YYYY.M.D`
|
||||
- Git 标签:`vYYYY.M.D`
|
||||
- Stable 修正发布版本:`YYYY.M.D-N`
|
||||
- 稳定修正版发布版本:`YYYY.M.D-N`
|
||||
- Git 标签:`vYYYY.M.D-N`
|
||||
- Beta 预发布版本:`YYYY.M.D-beta.N`
|
||||
- Git 标签:`vYYYY.M.D-beta.N`
|
||||
- 月份或日期不要补零
|
||||
- `latest` 表示当前已提升的 stable npm 发布
|
||||
- 不要给月份或日期补零
|
||||
- `latest` 表示当前已提升的稳定 npm 发布
|
||||
- `beta` 表示当前 beta 安装目标
|
||||
- Stable 和 stable 修正发布默认发布到 npm `beta`;发布操作者可以明确指定 `latest`,或之后提升一个已验证的 beta 构建
|
||||
- 每个 stable OpenClaw 发布都会同时交付 npm 包和 macOS 应用;
|
||||
beta 发布通常先验证并发布 npm/包路径,mac 应用构建/签名/公证保留给 stable,除非明确请求
|
||||
- 稳定和稳定修正版发布默认发布到 npm `beta`;发布操作员可以明确指定 `latest`,或稍后提升一个已验证的 beta 构建
|
||||
- 每个稳定 OpenClaw 发布都会同时交付 npm 包和 macOS 应用;
|
||||
beta 发布通常会先验证并发布 npm/包路径,而
|
||||
Mac 应用的构建/签名/公证保留给稳定发布,除非明确请求
|
||||
|
||||
## 发布节奏
|
||||
|
||||
- 发布按 beta 优先推进
|
||||
- 只有在最新 beta 通过验证后,stable 才会跟进
|
||||
- 维护者通常从基于当前 `main` 创建的 `release/YYYY.M.D` 分支切出发布,
|
||||
这样发布验证和修复不会阻塞 `main` 上的新开发
|
||||
- 如果 beta 标签已推送或发布并且需要修复,维护者会切出下一个
|
||||
`-beta.N` 标签,而不是删除或重新创建旧 beta 标签
|
||||
- 详细发布流程、审批、凭据和恢复说明仅供维护者使用
|
||||
- 只有在最新 beta 完成验证后才会跟进稳定发布
|
||||
- 维护者通常会从当前 `main` 创建的 `release/YYYY.M.D` 分支切出发布,
|
||||
这样发布验证和修复不会阻塞 `main` 上的新
|
||||
开发
|
||||
- 如果 beta 标签已经推送或发布且需要修复,维护者会切出
|
||||
下一个 `-beta.N` 标签,而不是删除或重新创建旧的 beta 标签
|
||||
- 详细的发布流程、审批、凭证和恢复说明
|
||||
仅限维护者访问
|
||||
|
||||
## 发布操作者检查清单
|
||||
## 发布操作员检查清单
|
||||
|
||||
此检查清单是发布流程的公开形态。私有凭据、
|
||||
此检查清单是发布流程的公开形态。私有凭证、
|
||||
签名、公证、dist-tag 恢复和紧急回滚细节保留在
|
||||
仅供维护者使用的发布运行手册中。
|
||||
仅限维护者访问的发布运行手册中。
|
||||
|
||||
1. 从当前 `main` 开始:拉取最新内容,确认目标提交已推送,
|
||||
并确认当前 `main` CI 状态足够良好,可以从它创建分支。
|
||||
并确认当前 `main` CI 足够绿色,可以从它创建分支。
|
||||
2. 使用 `/changelog` 基于真实提交历史重写顶部 `CHANGELOG.md` 章节,
|
||||
保持条目面向用户,提交、推送,并在创建分支前再 rebase/pull 一次。
|
||||
3. 查看
|
||||
保持条目面向用户,提交并推送,然后在创建分支前
|
||||
再 rebase/pull 一次。
|
||||
3. 审查
|
||||
`src/plugins/compat/registry.ts` 和
|
||||
`src/commands/doctor/shared/deprecation-compat.ts` 中的发布兼容性记录。仅在升级路径仍被覆盖时移除已过期的兼容性,
|
||||
或记录为什么有意继续保留它。
|
||||
4. 从当前 `main` 创建 `release/YYYY.M.D`;不要直接在 `main` 上执行常规发布工作。
|
||||
5. 为目标标签更新每个必需的版本位置,然后运行本地确定性预检:
|
||||
`src/commands/doctor/shared/deprecation-compat.ts` 中的发布兼容性记录。只有在升级路径仍然被覆盖时才移除已过期的
|
||||
兼容性,否则记录为什么要有意继续保留。
|
||||
4. 从当前 `main` 创建 `release/YYYY.M.D`;不要直接在 `main` 上
|
||||
做常规发布工作。
|
||||
5. 为目标标签更新每个必需的版本位置,然后运行
|
||||
本地确定性预检:
|
||||
`pnpm check:test-types`、`pnpm check:architecture`、
|
||||
`pnpm build && pnpm ui:build` 和 `pnpm release:check`。
|
||||
6. 运行 `OpenClaw NPM Release`,并设置 `preflight_only=true`。在标签存在之前,
|
||||
允许使用完整 40 字符的发布分支 SHA 进行仅验证预检。保存成功的 `preflight_run_id`。
|
||||
7. 使用 `Full Release Validation` 为发布分支、标签或完整提交 SHA 启动所有预发布测试。这是四个大型发布测试盒的唯一手动入口点:Vitest、Docker、QA Lab 和 Package。
|
||||
8. 如果验证失败,在发布分支上修复,并重新运行能证明修复有效的最小失败文件、通道、工作流作业、包配置文件、提供商或模型 allowlist。只有当变更表面让先前证据过期时,才重新运行完整总入口。
|
||||
9. 对于 beta,打标签 `vYYYY.M.D-beta.N`,使用 npm dist-tag `beta` 发布,然后针对已发布的 `openclaw@YYYY.M.D-beta.N`
|
||||
6. 以 `preflight_only=true` 运行 `OpenClaw NPM Release`。在标签存在之前,
|
||||
允许使用完整的 40 字符发布分支 SHA 进行仅验证
|
||||
预检。保存成功的 `preflight_run_id`。
|
||||
7. 对发布分支、标签或完整提交 SHA,使用 `Full Release Validation`
|
||||
启动所有预发布测试。这是四个大型发布测试箱
|
||||
Vitest、Docker、QA Lab 和 Package 的唯一手动入口点。
|
||||
8. 如果验证失败,在发布分支上修复,并重新运行能证明修复的
|
||||
最小失败文件、通道、workflow job、包配置、提供商或模型允许列表。
|
||||
只有当变更面让之前的证据失效时,才重新运行完整总控流程。
|
||||
9. 对于 beta,打标签 `vYYYY.M.D-beta.N`,使用 npm dist-tag `beta` 发布,
|
||||
然后针对已发布的 `openclaw@YYYY.M.D-beta.N`
|
||||
或 `openclaw@beta` 包运行发布后包验收。如果已推送或已发布的 beta 需要修复,
|
||||
切出下一个 `-beta.N`;不要删除或重写旧 beta。
|
||||
10. 对于 stable,只有在已验证的 beta 或发布候选具备所需验证证据后才继续。Stable npm 发布会通过 `preflight_run_id` 复用成功的预检产物;stable macOS 发布就绪还要求打包后的 `.zip`、`.dmg`、`.dSYM.zip` 以及更新后的
|
||||
`appcast.xml` 已在 `main` 上。
|
||||
11. 发布后,运行 npm 发布后验证器;在需要发布后渠道证明时,可选择运行独立的 published-npm Telegram E2E;
|
||||
在需要时执行 dist-tag 提升;基于完整匹配的 `CHANGELOG.md` 章节生成 GitHub release/prerelease 说明;
|
||||
并执行发布公告步骤。
|
||||
10. 对于稳定发布,只有在已验证的 beta 或发布候选具备
|
||||
所需验证证据后才继续。稳定 npm 发布会通过 `preflight_run_id`
|
||||
复用成功的预检产物;稳定 macOS 发布就绪
|
||||
还要求 `main` 上存在已打包的 `.zip`、`.dmg`、`.dSYM.zip`
|
||||
以及已更新的 `appcast.xml`。
|
||||
11. 发布后,运行 npm 发布后验证器;在需要发布后渠道证明时,运行可选的独立
|
||||
已发布 npm Telegram E2E;
|
||||
按需进行 dist-tag 提升;从完整匹配的 `CHANGELOG.md` 章节生成 GitHub release/prerelease 说明;
|
||||
并执行发布公告
|
||||
步骤。
|
||||
|
||||
## 发布预检
|
||||
|
||||
- 在发布预检前运行 `pnpm check:test-types`,确保测试 TypeScript 仍由更快的本地 `pnpm check` 门禁之外的检查覆盖
|
||||
- 在发布预检前运行 `pnpm check:architecture`,确保更广泛的导入循环和架构边界检查在更快的本地门禁之外保持绿色
|
||||
- 在运行 `pnpm release:check` 前运行 `pnpm build && pnpm ui:build`,确保预期的 `dist/*` 发布产物和 Control UI 包存在,可供打包验证步骤使用
|
||||
- 在发布批准前运行手动 `Full Release Validation` 工作流,从一个入口点启动所有预发布测试盒。它接受分支、标签或完整提交 SHA,会派发手动 `CI`,并派发 `OpenClaw Release Checks`,覆盖安装冒烟、包验收、Docker 发布路径套件、live/E2E、OpenWebUI、QA Lab 对等性、Matrix 和 Telegram 通道。仅在包已经发布且发布后 Telegram E2E 也应运行时,才提供 `npm_telegram_package_spec`。当私有证据报告需要证明验证匹配已发布的 npm 包、但不强制运行 Telegram E2E 时,提供 `evidence_package_spec`。
|
||||
- 在发布预检前运行 `pnpm check:test-types`,这样测试 TypeScript 会在较快的本地 `pnpm check` 门禁之外保持覆盖
|
||||
- 在发布预检前运行 `pnpm check:architecture`,这样更广泛的导入循环和架构边界检查会在较快的本地门禁之外保持绿色
|
||||
- 在 `pnpm release:check` 前运行 `pnpm build && pnpm ui:build`,这样预期的 `dist/*` 发布产物和 Control UI 包会在打包验证步骤前存在
|
||||
- 在发布批准前运行手动 `Full Release Validation` 工作流,从一个入口点启动所有预发布测试箱。它接受分支、标签或完整提交 SHA,调度手动 `CI`,并调度 `OpenClaw Release Checks`,覆盖安装冒烟、包验收、Docker 发布路径套件、实时/E2E、OpenWebUI、QA Lab 对等性、Matrix 和 Telegram 通道。只有在包已发布且发布后的 Telegram E2E 也应运行时,才提供 `npm_telegram_package_spec`。当私有证据报告应证明验证匹配已发布的 npm 包、但不强制运行 Telegram E2E 时,提供 `evidence_package_spec`。
|
||||
示例:
|
||||
`gh workflow run full-release-validation.yml --ref main -f ref=release/YYYY.M.D`
|
||||
- 当你希望在发布工作继续推进时,为包候选版本获取旁路证明,请运行手动 `Package Acceptance` 工作流。对于 `openclaw@beta`、`openclaw@latest` 或精确发布版本,使用 `source=npm`;要用当前 `workflow_ref` harness 打包受信任的 `package_ref` 分支/标签/SHA,使用 `source=ref`;对于带必需 SHA-256 的 HTTPS tarball,使用 `source=url`;对于由另一个 GitHub Actions 运行上传的 tarball,使用 `source=artifact`。该工作流会将候选项解析为 `package-under-test`,复用 Docker E2E 发布调度器对该 tarball 执行检查,并可使用 `telegram_mode=mock-openai` 或 `telegram_mode=live-frontier` 对同一个 tarball 运行 Telegram QA。当所选 Docker 通道包含 `published-upgrade-survivor` 时,包产物就是候选项,`published_upgrade_survivor_baseline` 选择已发布的基线。
|
||||
- 当你希望在发布工作继续进行时,为包候选版本提供旁路证明,请运行手动 `Package Acceptance` 工作流。对 `openclaw@beta`、`openclaw@latest` 或精确发布版本使用 `source=npm`;使用 `source=ref` 将受信任的 `package_ref` 分支/标签/SHA 与当前 `workflow_ref` harness 打包;对带有必需 SHA-256 的 HTTPS tarball 使用 `source=url`;或对另一个 GitHub Actions 运行上传的 tarball 使用 `source=artifact`。该工作流会将候选项解析为 `package-under-test`,针对该 tarball 复用 Docker E2E 发布调度器,并可使用 `telegram_mode=mock-openai` 或 `telegram_mode=live-frontier` 针对同一个 tarball 运行 Telegram QA。当选中的 Docker 通道包含 `published-upgrade-survivor` 时,包产物就是候选项,`published_upgrade_survivor_baseline` 选择已发布基线。
|
||||
示例:`gh workflow run package-acceptance.yml --ref main -f workflow_ref=main -f source=npm -f package_spec=openclaw@beta -f suite_profile=product -f published_upgrade_survivor_baseline=openclaw@2026.4.26 -f telegram_mode=mock-openai`
|
||||
常用配置档:
|
||||
常见配置档:
|
||||
- `smoke`:安装/渠道/智能体、Gateway 网关网络和配置重载通道
|
||||
- `package`:不含 OpenWebUI 或 live ClawHub 的产物原生包/更新/插件通道
|
||||
- `product`:package 配置档加上 MCP 渠道、cron/subagent 清理、OpenAI Web 搜索和 OpenWebUI
|
||||
- `package`:不含 OpenWebUI 或实时 ClawHub 的产物原生包/更新/插件通道
|
||||
- `product`:包配置档加上 MCP 渠道、cron/子智能体清理、OpenAI Web 搜索和 OpenWebUI
|
||||
- `full`:带 OpenWebUI 的 Docker 发布路径分块
|
||||
- `custom`:用于聚焦重跑的精确 `docker_lanes` 选择
|
||||
- 当你只需要发布候选版本的完整常规 CI 覆盖时,直接运行手动 `CI` 工作流。手动 CI 派发会绕过变更作用域并强制运行 Linux Node 分片、内置插件分片、渠道契约、Node 22 兼容性、`check`、`check-additional`、构建冒烟、文档检查、Python Skills、Windows、macOS、Android 和 Control UI i18n 通道。
|
||||
- 当你只需要发布候选版本的完整常规 CI 覆盖时,直接运行手动 `CI` 工作流。手动 CI 调度会绕过变更范围限定,并强制运行 Linux Node 分片、内置插件分片、渠道契约、Node 22 兼容性、`check`、`check-additional`、构建冒烟、文档检查、Python Skills、Windows、macOS、Android 和 Control UI i18n 通道。
|
||||
示例:`gh workflow run ci.yml --ref release/YYYY.M.D`
|
||||
- 验证发布遥测时运行 `pnpm qa:otel:smoke`。它通过本地 OTLP/HTTP 接收器演练 QA-lab,并验证导出的 trace span 名称、有界属性以及内容/标识符脱敏,而无需 Opik、Langfuse 或其他外部收集器。
|
||||
- 每次打标签发布前运行 `pnpm release:check`
|
||||
- 验证发布遥测时运行 `pnpm qa:otel:smoke`。它通过本地 OTLP/HTTP 接收器执行 QA-lab,并在无需 Opik、Langfuse 或其他外部收集器的情况下验证导出的跟踪 span 名称、有界属性以及内容/标识符脱敏。
|
||||
- 每个带标签的发布前运行 `pnpm release:check`
|
||||
- 发布检查现在在单独的手动工作流中运行:
|
||||
`OpenClaw Release Checks`
|
||||
- `OpenClaw Release Checks` 也会在发布批准前运行 QA Lab mock 对等性门禁,以及快速 live Matrix 配置档和 Telegram QA 通道。live 通道使用 `qa-live-shared` 环境;Telegram 还使用 Convex CI 凭证租约。当你想并行运行完整 Matrix 传输、媒体和 E2EE 清单时,使用 `matrix_profile=all` 和 `matrix_shards=true` 运行手动 `QA-Lab - All Lanes` 工作流。
|
||||
- 跨操作系统安装和升级运行时验证属于公开 `OpenClaw Release Checks` 和 `Full Release Validation` 的一部分,它们会直接调用可复用工作流 `.github/workflows/openclaw-cross-os-release-checks-reusable.yml`
|
||||
- 这种拆分是有意为之:让真实 npm 发布路径保持短小、确定且聚焦产物,而较慢的 live 检查保留在自己的通道中,避免拖慢或阻塞发布
|
||||
- 携带密钥的发布检查应通过 `Full Release Validation` 派发,或从 `main`/release 工作流 ref 派发,以便工作流逻辑和密钥保持受控
|
||||
- `OpenClaw Release Checks` 也会在发布批准前运行 QA Lab 模拟对等性门禁,以及快速实时 Matrix 配置档和 Telegram QA 通道。实时通道使用 `qa-live-shared` 环境;Telegram 也使用 Convex CI 凭证租约。当你希望并行运行完整 Matrix 传输、媒体和 E2EE 清单时,请使用 `matrix_profile=all` 和 `matrix_shards=true` 运行手动 `QA-Lab - All Lanes` 工作流。
|
||||
- 跨 OS 安装和升级运行时验证是公开 `OpenClaw Release Checks` 和 `Full Release Validation` 的一部分,它们会直接调用可复用工作流 `.github/workflows/openclaw-cross-os-release-checks-reusable.yml`
|
||||
- 这种拆分是有意的:让真实 npm 发布路径保持短小、确定且聚焦产物,而较慢的实时检查保留在自己的通道中,这样它们不会拖慢或阻塞发布
|
||||
- 带有密钥的发布检查应通过 `Full Release Validation` 调度,或从 `main`/release 工作流引用调度,这样工作流逻辑和密钥保持受控
|
||||
- `OpenClaw Release Checks` 接受分支、标签或完整提交 SHA,只要解析出的提交可从 OpenClaw 分支或发布标签到达
|
||||
- `OpenClaw NPM Release` 的仅验证预检也接受当前完整 40 字符工作流分支提交 SHA,无需已推送标签
|
||||
- `OpenClaw NPM Release` 的仅验证预检也接受当前完整的 40 字符工作流分支提交 SHA,而不要求已推送标签
|
||||
- 该 SHA 路径仅用于验证,不能提升为真实发布
|
||||
- 在 SHA 模式中,工作流只为包元数据检查合成 `v<package.json version>`;真实发布仍需要真实发布标签
|
||||
- 两个工作流都将真实发布和提升路径保留在 GitHub 托管 runner 上,而非变更式验证路径可以使用更大的 Blacksmith Linux runner
|
||||
- 该工作流会使用 `OPENAI_API_KEY` 和 `ANTHROPIC_API_KEY` 工作流密钥运行
|
||||
`OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_CACHE_TEST=1 pnpm test:live:cache`
|
||||
- 在 SHA 模式下,工作流只会为包元数据检查合成 `v<package.json version>`;真实发布仍需要真实发布标签
|
||||
- 两个工作流都会把真实发布和推广路径保持在 GitHub 托管 runner 上,而非变更型验证路径可以使用更大的 Blacksmith Linux runner
|
||||
- 该工作流会使用 `OPENAI_API_KEY` 和 `ANTHROPIC_API_KEY` 工作流密钥运行 `OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_CACHE_TEST=1 pnpm test:live:cache`
|
||||
- npm 发布预检不再等待单独的发布检查通道
|
||||
- 在批准前运行 `RELEASE_TAG=vYYYY.M.D node --import tsx scripts/openclaw-npm-release-check.ts`(或匹配的 beta/修正版标签)
|
||||
- npm 发布后,运行 `node --import tsx scripts/openclaw-npm-postpublish-verify.ts YYYY.M.D`(或匹配的 beta/修正版版本),在新的临时前缀中验证已发布 registry 安装路径
|
||||
- beta 发布后,运行 `OPENCLAW_NPM_TELEGRAM_PACKAGE_SPEC=openclaw@YYYY.M.D-beta.N OPENCLAW_NPM_TELEGRAM_CREDENTIAL_SOURCE=convex OPENCLAW_NPM_TELEGRAM_CREDENTIAL_ROLE=ci pnpm test:docker:npm-telegram-live`,使用共享租用的 Telegram 凭证池,针对已发布 npm 包验证已安装包新手引导、Telegram 设置和真实 Telegram E2E。本地维护者的一次性运行可以省略 Convex 变量,并直接传入三个 `OPENCLAW_QA_TELEGRAM_*` 环境变量凭证。
|
||||
- 维护者可以通过手动 `NPM Telegram Beta E2E` 工作流,从 GitHub Actions 运行同样的发布后检查。它有意仅保留为手动运行,不会在每次合并时运行。
|
||||
- 维护者发布自动化现在使用先预检、后提升:
|
||||
- 批准前运行 `RELEASE_TAG=vYYYY.M.D node --import tsx scripts/openclaw-npm-release-check.ts`(或匹配的 beta/修正版标签)
|
||||
- npm 发布后,运行 `node --import tsx scripts/openclaw-npm-postpublish-verify.ts YYYY.M.D`(或匹配的 beta/修正版版本),在新的临时前缀中验证已发布注册表安装路径
|
||||
- beta 发布后,运行 `OPENCLAW_NPM_TELEGRAM_PACKAGE_SPEC=openclaw@YYYY.M.D-beta.N OPENCLAW_NPM_TELEGRAM_CREDENTIAL_SOURCE=convex OPENCLAW_NPM_TELEGRAM_CREDENTIAL_ROLE=ci pnpm test:docker:npm-telegram-live`,使用共享的租用 Telegram 凭证池,针对已发布 npm 包验证已安装包新手引导、Telegram 设置和真实 Telegram E2E。本地维护者一次性运行可以省略 Convex 变量,并直接传入三个 `OPENCLAW_QA_TELEGRAM_*` 环境变量凭证。
|
||||
- 维护者也可以通过手动 `NPM Telegram Beta E2E` 工作流,从 GitHub Actions 运行同一个发布后检查。它有意只支持手动运行,不会在每次合并时运行。
|
||||
- 维护者发布自动化现在使用先预检再推广:
|
||||
- 真实 npm 发布必须通过成功的 npm `preflight_run_id`
|
||||
- 真实 npm 发布必须从与成功预检运行相同的 `main` 或 `release/YYYY.M.D` 分支派发
|
||||
- 稳定 npm 发布默认到 `beta`
|
||||
- 真实 npm 发布必须从与成功预检运行相同的 `main` 或 `release/YYYY.M.D` 分支调度
|
||||
- 稳定 npm 发布默认使用 `beta`
|
||||
- 稳定 npm 发布可以通过工作流输入显式指向 `latest`
|
||||
- 基于令牌的 npm dist-tag 变更现在位于 `openclaw/releases-private/.github/workflows/openclaw-npm-dist-tags.yml`,这是出于安全考虑,因为 `npm dist-tag add` 仍然需要 `NPM_TOKEN`,而公开仓库保持仅 OIDC 发布
|
||||
- 公开 `macOS Release` 仅用于验证;当标签只存在于发布分支但工作流从 `main` 派发时,设置 `public_release_branch=release/YYYY.M.D`
|
||||
- 基于 token 的 npm dist-tag 变更现在位于 `openclaw/releases-private/.github/workflows/openclaw-npm-dist-tags.yml`,用于安全控制,因为 `npm dist-tag add` 仍需要 `NPM_TOKEN`,而公开仓库保持仅 OIDC 发布
|
||||
- 公开 `macOS Release` 仅用于验证;当标签只存在于发布分支但工作流从 `main` 调度时,设置 `public_release_branch=release/YYYY.M.D`
|
||||
- 真实私有 mac 发布必须通过成功的私有 mac `preflight_run_id` 和 `validate_run_id`
|
||||
- 真实发布路径会提升已准备好的产物,而不是再次重新构建它们
|
||||
- 对于像 `YYYY.M.D-N` 这样的稳定修正版发布,发布后验证器还会检查从 `YYYY.M.D` 到 `YYYY.M.D-N` 的同一个临时前缀升级路径,确保发布修正不会静默地让较旧的全局安装停留在基础稳定载荷上
|
||||
- npm 发布预检会失败关闭,除非 tarball 同时包含 `dist/control-ui/index.html` 和非空 `dist/control-ui/assets/` 载荷,以免我们再次发布空的浏览器仪表盘
|
||||
- 发布后验证还会检查已发布插件入口点和包元数据是否存在于已安装 registry 布局中。若发布缺少插件运行时载荷,发布后验证器会失败,并且不能提升到 `latest`。
|
||||
- `pnpm test:install:smoke` 也会对候选更新 tarball 强制执行 npm pack `unpackedSize` 预算,因此安装器 e2e 能在发布路径前捕获意外的打包膨胀
|
||||
- 如果发布工作触及 CI 规划、插件计时清单或插件测试矩阵,请在批准前重新生成并审查由规划器拥有的 `.github/workflows/plugin-prerelease.yml` 中的 `plugin-prerelease-extension-shard` 矩阵输出,确保发布说明不会描述过期的 CI 布局
|
||||
- 稳定 macOS 发布就绪性还包括更新器表面:
|
||||
- GitHub release 最终必须包含打包的 `.zip`、`.dmg` 和 `.dSYM.zip`
|
||||
- 发布后,`main` 上的 `appcast.xml` 必须指向新的稳定 zip
|
||||
- 打包应用必须保持非调试 bundle id、非空 Sparkle feed URL,以及达到或高于该发布版本规范 Sparkle 构建下限的 `CFBundleVersion`
|
||||
- 真实发布路径会推广已准备好的产物,而不是再次重新构建它们
|
||||
- 对于像 `YYYY.M.D-N` 这样的稳定修正发布,发布后验证器还会检查从 `YYYY.M.D` 到 `YYYY.M.D-N` 的相同临时前缀升级路径,这样发布修正不会静默地让较旧的全局安装停留在基础稳定版载荷上
|
||||
- 除非 tarball 同时包含 `dist/control-ui/index.html` 和非空的 `dist/control-ui/assets/` 载荷,否则 npm 发布预检会默认失败关闭,这样我们不会再次发布空的浏览器仪表盘
|
||||
- 发布后验证还会检查已发布插件入口点和包元数据是否存在于已安装的注册表布局中。发布版本如果缺少插件运行时载荷,会导致 postpublish 验证器失败,并且不能被推广到 `latest`。
|
||||
- `pnpm test:install:smoke` 还会对候选更新 tarball 强制执行 npm pack `unpackedSize` 预算,因此安装器 e2e 会在发布路径发布前捕获意外的包体积膨胀
|
||||
- 如果发布工作触及 CI 规划、插件计时清单或插件测试矩阵,请在批准前重新生成并审查来自 `.github/workflows/plugin-prerelease.yml`、由规划器拥有的 `plugin-prerelease-extension-shard` 矩阵输出,这样发布说明不会描述过期的 CI 布局
|
||||
- 稳定 macOS 发布就绪状态还包括更新器表面:
|
||||
- GitHub 发布最终必须包含打包后的 `.zip`、`.dmg` 和 `.dSYM.zip`
|
||||
- 发布后 `main` 上的 `appcast.xml` 必须指向新的稳定版 zip
|
||||
- 打包后的应用必须保持非调试 bundle id、非空 Sparkle feed URL,以及不低于该发布版本规范 Sparkle 构建下限的 `CFBundleVersion`
|
||||
|
||||
## 发布测试盒
|
||||
## 发布测试箱
|
||||
|
||||
`Full Release Validation` 是操作员从一个入口点启动所有预发布测试的方式。请从受信任的 `main` 工作流 ref 运行它,并将发布分支、标签或完整提交 SHA 作为 `ref` 传入:
|
||||
`Full Release Validation` 是操作人员从一个入口点启动所有预发布测试的方式。从受信任的 `main` 工作流引用运行它,并将发布分支、标签或完整提交 SHA 作为 `ref` 传入:
|
||||
|
||||
```bash
|
||||
gh workflow run full-release-validation.yml \
|
||||
@ -147,19 +163,17 @@ gh workflow run full-release-validation.yml \
|
||||
-f evidence_package_spec=openclaw@YYYY.M.D-beta.N
|
||||
```
|
||||
|
||||
该工作流会解析目标 ref,使用 `target_ref=<release-ref>` 派发手动 `CI`,派发 `OpenClaw Release Checks`,并在设置 `npm_telegram_package_spec` 时可选地派发独立的发布后 Telegram E2E。随后 `OpenClaw Release Checks` 会展开安装冒烟、跨操作系统发布检查、live/E2E Docker 发布路径覆盖、带 Telegram 包 QA 的 Package Acceptance、QA Lab 对等性、live Matrix 和 live Telegram。只有当 `Full Release Validation` 摘要显示 `normal_ci` 和 `release_checks` 成功,且任何可选的 `npm_telegram` 子项成功或有意跳过时,完整运行才可接受。最终验证器摘要会包含每个子运行的最慢作业表,因此发布经理无需下载日志即可查看当前关键路径。
|
||||
完整阶段矩阵、精确工作流作业名称、stable 与 full 配置档差异、产物和聚焦重跑句柄,见 [完整发布验证](/zh-CN/reference/full-release-validation)。
|
||||
子工作流会从运行 `Full Release Validation` 的受信任 ref 派发,通常是 `--ref main`,即使目标 `ref` 指向较旧的发布分支或标签也是如此。不存在单独的 Full Release Validation 工作流 ref 输入;通过选择工作流运行 ref 来选择受信任 harness。
|
||||
该工作流解析目标引用,使用 `target_ref=<release-ref>` 调度手动 `CI`,调度 `OpenClaw Release Checks`,并在设置了 `npm_telegram_package_spec` 时,可选地调度独立的发布后 Telegram E2E。随后 `OpenClaw Release Checks` 会展开安装冒烟、跨 OS 发布检查、实时/E2E Docker 发布路径覆盖、带 Telegram 包 QA 的 Package Acceptance、QA Lab 对等性、实时 Matrix 和实时 Telegram。只有当 `Full Release Validation` 摘要显示 `normal_ci` 和 `release_checks` 成功,且任何可选的 `npm_telegram` 子项成功或被有意跳过时,完整运行才可接受。最终验证器摘要包含每个子运行的最慢作业表,因此发布经理无需下载日志就能看到当前关键路径。
|
||||
请参阅 [完整发布验证](/zh-CN/reference/full-release-validation),了解完整阶段矩阵、精确工作流作业名称、稳定与完整配置档差异、产物以及聚焦重跑句柄。
|
||||
子工作流从运行 `Full Release Validation` 的受信任引用调度,通常是 `--ref main`,即使目标 `ref` 指向较旧的发布分支或标签也是如此。没有单独的 Full Release Validation 工作流引用输入;通过选择工作流运行引用来选择受信任的 harness。
|
||||
|
||||
使用 `release_profile` 选择 live/provider 覆盖范围:
|
||||
使用 `release_profile` 选择实时/提供商广度:
|
||||
|
||||
- `minimum`:最快的发布关键 OpenAI/core live 和 Docker 路径
|
||||
- `stable`:minimum 加上用于发布批准的稳定 provider/backend 覆盖
|
||||
- `full`:stable 加上广泛的 advisory provider/media 覆盖
|
||||
- `minimum`:最快的发布关键 OpenAI/核心实时和 Docker 路径
|
||||
- `stable`:minimum 加上用于发布批准的稳定提供商/后端覆盖
|
||||
- `full`:stable 加上广泛的建议性提供商/媒体覆盖
|
||||
|
||||
`OpenClaw Release Checks` 使用受信任的工作流 ref 将目标
|
||||
ref 一次性解析为 `release-package-under-test`,并在发布路径 Docker 检查和 Package Acceptance 中复用该制品。这样可让所有面向包的盒子使用相同字节,并避免重复构建包。
|
||||
跨操作系统 OpenAI 安装冒烟在仓库/组织变量已设置时使用 `OPENCLAW_CROSS_OS_OPENAI_MODEL`,否则使用 `openai/gpt-5.5`,因为此通道验证的是包安装、新手引导、Gateway 网关启动和一次实时智能体轮次,而不是对最慢的默认模型做基准测试。更广泛的实时提供商矩阵仍然负责模型特定覆盖。
|
||||
`OpenClaw Release Checks` 使用可信工作流 ref 将目标 ref 一次性解析为 `release-package-under-test`,并在发布路径 Docker 检查和 Package Acceptance 中复用该构件。这样可以让所有面向包的检查箱使用相同字节,并避免重复构建包。跨 OS OpenAI 安装冒烟检查在设置了 repo/org 变量时使用 `OPENCLAW_CROSS_OS_OPENAI_MODEL`,否则使用 `openai/gpt-5.5`,因为这个通道验证的是包安装、新手引导、Gateway 网关启动,以及一次实时智能体轮次,而不是对最慢的默认模型做基准测试。更广泛的实时提供商矩阵仍然是模型专项覆盖的地方。
|
||||
|
||||
根据发布阶段使用这些变体:
|
||||
|
||||
@ -190,22 +204,22 @@ gh workflow run full-release-validation.yml \
|
||||
-f npm_telegram_provider_mode=mock-openai
|
||||
```
|
||||
|
||||
不要在一次聚焦修复之后将完整总控工作流作为首次重跑。如果某个盒子失败,请使用失败的子工作流、作业、Docker 通道、包配置档、模型提供商或 QA 通道作为下一次证明。只有当修复更改了共享发布编排,或让较早的全盒子证据失效时,才再次运行完整总控工作流。总控工作流的最终验证器会重新检查记录的子工作流运行 ID,因此在子工作流成功重跑后,只需重跑失败的父作业 `Verify full validation`。
|
||||
不要把完整总控工作流作为聚焦修复后的首次重跑。如果某个检查箱失败,请使用失败的子工作流、作业、Docker 通道、包配置档、模型提供商或 QA 通道作为下一次证明。只有当修复更改了共享发布编排,或让此前的全检查箱证据过期时,才再次运行完整总控工作流。总控工作流的最终验证器会重新检查记录的子工作流运行 ID,因此在子工作流成功重跑后,只需重跑失败的 `Verify full validation` 父作业。
|
||||
|
||||
对于有界恢复,请向总控工作流传入 `rerun_group`。`all` 是真正的候选发布运行,`ci` 只运行普通 CI 子项,`plugin-prerelease` 只运行仅发布插件子项,`release-checks` 会运行每个发布盒子,更窄的发布分组是在提供独立包 Telegram 通道时使用的 `install-smoke`、`cross-os`、`live-e2e`、`package`、`qa`、`qa-parity`、`qa-live` 和 `npm-telegram`。
|
||||
对于有界恢复,向总控工作流传递 `rerun_group`。`all` 是真正的候选发布运行,`ci` 只运行普通 CI 子工作流,`plugin-prerelease` 只运行仅发布使用的插件子工作流,`release-checks` 运行每个发布检查箱,更窄的发布组包括 `install-smoke`、`cross-os`、`live-e2e`、`package`、`qa`、`qa-parity`、`qa-live`,以及在提供独立包 Telegram 通道时的 `npm-telegram`。
|
||||
|
||||
### Vitest
|
||||
|
||||
Vitest 盒子是手动 `CI` 子工作流。手动 CI 有意绕过变更范围限定,并强制为候选发布运行普通测试图:Linux Node 分片、内置插件分片、渠道契约、Node 22 兼容性、`check`、`check-additional`、构建冒烟、文档检查、Python skills、Windows、macOS、Android 和 Control UI i18n。
|
||||
Vitest 检查箱是手动 `CI` 子工作流。手动 CI 会有意绕过变更范围筛选,并为候选发布强制运行正常测试图:Linux Node 分片、内置插件分片、渠道契约、Node 22 兼容性、`check`、`check-additional`、构建冒烟检查、文档检查、Python Skills、Windows、macOS、Android,以及 Control UI i18n。
|
||||
|
||||
用这个盒子回答“源代码树是否通过了完整普通测试套件?”它不同于发布路径产品验证。需要保留的证据:
|
||||
使用这个检查箱回答“源代码树是否通过了完整的正常测试套件?”它不同于发布路径产品验证。需要保留的证据:
|
||||
|
||||
- `Full Release Validation` 摘要,显示已分派的 `CI` 运行 URL
|
||||
- `CI` 在精确目标 SHA 上为绿色
|
||||
- `Full Release Validation` 摘要,显示已分发的 `CI` 运行 URL
|
||||
- `CI` 在精确目标 SHA 上通过
|
||||
- 调查回归时来自 CI 作业的失败或慢速分片名称
|
||||
- 当某次运行需要性能分析时,保留 Vitest 计时制品,例如 `.artifacts/vitest-shard-timings.json`
|
||||
- 当某次运行需要性能分析时,Vitest 计时构件,例如 `.artifacts/vitest-shard-timings.json`
|
||||
|
||||
仅当发布需要确定性的普通 CI,但不需要 Docker、QA Lab、实时、跨操作系统或包盒子时,才直接运行手动 CI:
|
||||
仅当发布需要确定性的正常 CI,而不需要 Docker、QA Lab、实时、跨 OS 或包检查箱时,才直接运行手动 CI:
|
||||
|
||||
```bash
|
||||
gh workflow run ci.yml --ref main -f target_ref=release/YYYY.M.D
|
||||
@ -213,47 +227,49 @@ gh workflow run ci.yml --ref main -f target_ref=release/YYYY.M.D
|
||||
|
||||
### Docker
|
||||
|
||||
Docker 盒子位于 `OpenClaw Release Checks` 中,通过 `openclaw-live-and-e2e-checks-reusable.yml` 以及发布模式的 `install-smoke` 工作流提供。它通过打包后的 Docker 环境验证候选发布,而不只是源代码级测试。
|
||||
Docker 检查箱位于 `OpenClaw Release Checks` 中,通过 `openclaw-live-and-e2e-checks-reusable.yml` 以及发布模式的 `install-smoke` 工作流运行。它通过打包后的 Docker 环境验证候选发布,而不只是源代码级测试。
|
||||
|
||||
发布 Docker 覆盖包括:
|
||||
|
||||
- 启用慢速 Bun 全局安装冒烟的完整安装冒烟
|
||||
- 按目标 SHA 准备/复用根 Dockerfile 冒烟镜像,QR、root/gateway 和 installer/Bun 冒烟作业作为独立 install-smoke 分片运行
|
||||
- 启用慢速 Bun 全局安装冒烟检查的完整安装冒烟检查
|
||||
- 按目标 SHA 准备/复用根 Dockerfile 冒烟镜像,其中 QR、root/gateway,以及 installer/Bun 冒烟作业作为独立 install-smoke 分片运行
|
||||
- 仓库 E2E 通道
|
||||
- 发布路径 Docker 分块:`core`、`package-update-openai`、`package-update-anthropic`、`package-update-core`、`plugins-runtime-plugins`、`plugins-runtime-services`、`plugins-runtime-install-a`、`plugins-runtime-install-b`、`plugins-runtime-install-c`、`plugins-runtime-install-d`、`plugins-runtime-install-e`、`plugins-runtime-install-f`、`plugins-runtime-install-g` 和 `plugins-runtime-install-h`
|
||||
- 按请求在 `plugins-runtime-services` 分块中覆盖 OpenWebUI
|
||||
- 拆分的内置插件安装/卸载通道,范围从 `bundled-plugin-install-uninstall-0` 到 `bundled-plugin-install-uninstall-23`
|
||||
- 当发布检查包含实时套件时,覆盖实时/E2E 提供商套件和 Docker 实时模型
|
||||
- 请求时,在 `plugins-runtime-services` 分块内包含 OpenWebUI 覆盖
|
||||
- 拆分的内置插件安装/卸载通道,从 `bundled-plugin-install-uninstall-0` 到 `bundled-plugin-install-uninstall-23`
|
||||
- 当发布检查包含实时套件时,包含实时/E2E 提供商套件和 Docker 实时模型覆盖
|
||||
|
||||
在重跑之前先使用 Docker 制品。发布路径调度器会上传 `.artifacts/docker-tests/`,其中包含通道日志、`summary.json`、`failures.json`、阶段计时、调度器计划 JSON 和重跑命令。对于聚焦恢复,请在可复用的实时/E2E 工作流上使用 `docker_lanes=<lane[,lane]>`,而不是重跑所有发布分块。生成的重跑命令会在可用时包含先前的 `package_artifact_run_id` 和已准备的 Docker 镜像输入,因此失败通道可以复用同一个 tarball 和 GHCR 镜像。
|
||||
重跑前先使用 Docker 构件。发布路径调度器会上传 `.artifacts/docker-tests/`,其中包含通道日志、`summary.json`、`failures.json`、阶段计时、调度器计划 JSON,以及重跑命令。对于聚焦恢复,请在可复用实时/E2E 工作流上使用 `docker_lanes=<lane[,lane]>`,而不是重跑所有发布分块。生成的重跑命令会在可用时包含此前的 `package_artifact_run_id` 和已准备的 Docker 镜像输入,因此失败的通道可以复用同一个 tarball 和 GHCR 镜像。
|
||||
|
||||
### QA Lab
|
||||
|
||||
QA Lab 盒子也是 `OpenClaw Release Checks` 的一部分。它是智能体行为和渠道级发布门禁,独立于 Vitest 和 Docker 包机制。
|
||||
QA Lab 检查箱也是 `OpenClaw Release Checks` 的一部分。它是智能体行为和渠道级发布门禁,独立于 Vitest 和 Docker 包机制。
|
||||
|
||||
发布 QA Lab 覆盖包括:
|
||||
|
||||
- 使用智能体 parity 包,对 OpenAI 候选通道与 Opus 4.6 基线进行比较的模拟 parity 门禁
|
||||
- 使用智能体一致性包,将 OpenAI 候选通道与 Opus 4.6 基线进行比较的模拟一致性门禁
|
||||
- 使用 `qa-live-shared` 环境的快速实时 Matrix QA 配置档
|
||||
- 使用 Convex CI 凭证租约的实时 Telegram QA 通道
|
||||
- 当发布遥测需要明确的本地证明时运行 `pnpm qa:otel:smoke`
|
||||
- 使用 Convex CI 凭据租约的实时 Telegram QA 通道
|
||||
- 当发布遥测需要显式本地证明时运行 `pnpm qa:otel:smoke`
|
||||
|
||||
用这个盒子回答“发布在 QA 场景和实时渠道流程中表现是否正确?”批准发布时保留 parity、Matrix 和 Telegram 通道的制品 URL。完整 Matrix 覆盖仍可作为手动分片 QA-Lab 运行使用,而不是默认的发布关键通道。
|
||||
使用这个检查箱回答“发布在 QA 场景和实时渠道流中是否行为正确?”批准发布时,请保留一致性、Matrix 和 Telegram 通道的构件 URL。完整 Matrix 覆盖仍可作为手动分片 QA-Lab 运行使用,而不是默认发布关键通道。
|
||||
|
||||
### 包
|
||||
|
||||
包盒子是可安装产品门禁。它由 `Package Acceptance` 和解析器 `scripts/resolve-openclaw-package-candidate.mjs` 支撑。解析器会将候选项规范化为供 Docker E2E 使用的 `package-under-test` tarball,验证包清单,记录包版本和 SHA-256,并将工作流 harness ref 与包源 ref 分离。
|
||||
包检查箱是可安装产品门禁。它由 `Package Acceptance` 和解析器 `scripts/resolve-openclaw-package-candidate.mjs` 支撑。解析器会将候选项规范化为 Docker E2E 使用的 `package-under-test` tarball,验证包清单,记录包版本和 SHA-256,并将工作流 harness ref 与包源 ref 分开。
|
||||
|
||||
支持的候选来源:
|
||||
|
||||
- `source=npm`:`openclaw@beta`、`openclaw@latest` 或精确的 OpenClaw 发布版本
|
||||
- `source=ref`:使用选定的 `workflow_ref` harness 打包受信任的 `package_ref` 分支、标签或完整提交 SHA
|
||||
- `source=url`:下载需要 `package_sha256` 的 HTTPS `.tgz`
|
||||
- `source=npm`:`openclaw@beta`、`openclaw@latest`,或精确的 OpenClaw 发布版本
|
||||
- `source=ref`:使用选定的 `workflow_ref` harness 打包可信的 `package_ref` 分支、标签或完整提交 SHA
|
||||
- `source=url`:下载 HTTPS `.tgz`,并要求提供 `package_sha256`
|
||||
- `source=artifact`:复用另一个 GitHub Actions 运行上传的 `.tgz`
|
||||
|
||||
`OpenClaw Release Checks` 使用 `source=ref`、`package_ref=<release-ref>`、`suite_profile=custom`、`docker_lanes=plugins-offline plugin-update` 和 `telegram_mode=mock-openai` 运行 Package Acceptance。发布路径 Docker 分块覆盖重叠的安装、更新和插件更新通道;Package Acceptance 针对同一个已解析 tarball 保留离线插件夹具、插件更新和 Telegram 包 QA。它是 GitHub 原生的替代方案,用于替代过去大多数需要 Parallels 的包/更新覆盖。跨操作系统发布检查对于操作系统特定的新手引导、安装器和平台行为仍然重要,但包/更新产品验证应优先使用 Package Acceptance。
|
||||
`OpenClaw Release Checks` 使用 `source=artifact`、已准备好的发布包构件、`suite_profile=custom`、`docker_lanes=doctor-switch update-channel-switch upgrade-survivor published-upgrade-survivor plugins-offline plugin-update`、`published_upgrade_survivor_baselines=release-history`、`published_upgrade_survivor_scenarios=reported-issues` 和 `telegram_mode=mock-openai` 运行 Package Acceptance。Package Acceptance 会让迁移、更新、陈旧插件依赖清理、离线插件夹具、插件更新,以及 Telegram 包 QA 都针对同一个已解析 tarball。它是 GitHub 原生替代方案,用于覆盖过去多数需要 Parallels 的包/更新验证。跨 OS 发布检查对于 OS 专项的新手引导、安装器和平台行为仍然重要,但包/更新产品验证应优先使用 Package Acceptance。
|
||||
|
||||
旧版 package-acceptance 宽容性有意限时。到 `2026.4.25` 为止的包可以对已经发布到 npm 的元数据缺口使用兼容路径:tarball 中缺失私有 QA 清单条目、缺失 `gateway install --wrapper`、tarball 派生 git 夹具中缺失补丁文件、缺失持久化的 `update.channel`、旧版插件安装记录位置、缺失市场安装记录持久化,以及 `plugins update` 期间的配置元数据迁移。已发布的 `2026.4.26` 包可以对已经交付的本地构建元数据戳文件发出警告。后续包必须满足现代包契约;这些相同缺口会导致发布验证失败。
|
||||
更新和插件验证的规范清单是 [更新和插件测试](/zh-CN/help/testing-updates-plugins)。在判断哪个本地、Docker、Package Acceptance 或发布检查通道能证明插件安装/更新、Doctor 清理或已发布包迁移变更时,请使用它。
|
||||
|
||||
旧版 package-acceptance 宽容行为有意设置了时间边界。到 `2026.4.25` 为止的包可以对已发布到 npm 的元数据缺口使用兼容路径:tarball 中缺失私有 QA 清单条目、缺失 `gateway install --wrapper`、tarball 派生的 git 夹具中缺失补丁文件、缺失持久化的 `update.channel`、旧版插件安装记录位置、缺失 marketplace 安装记录持久化,以及 `plugins update` 期间的配置元数据迁移。已发布的 `2026.4.26` 包可能会因已随包发布的本地构建元数据戳文件而警告。后续包必须满足现代包契约;同样的缺口会导致发布验证失败。
|
||||
|
||||
当发布问题涉及实际可安装包时,使用更广泛的 Package Acceptance 配置档:
|
||||
|
||||
@ -269,65 +285,70 @@ gh workflow run package-acceptance.yml \
|
||||
|
||||
常见包配置档:
|
||||
|
||||
- `smoke`:快速包安装/渠道/智能体、Gateway 网关网络和配置热重载通道
|
||||
- `package`:不含实时 ClawHub 的安装/更新/插件包契约;这是 release-check 默认值
|
||||
- `product`:`package` 加 MCP 渠道、cron/subagent 清理、OpenAI web 搜索和 OpenWebUI
|
||||
- `full`:带 OpenWebUI 的 Docker 发布路径分块
|
||||
- `smoke`:快速包安装/渠道/智能体、Gateway 网关网络和配置重载通道
|
||||
- `package`:没有实时 ClawHub 的安装/更新/插件包契约;这是发布检查默认值
|
||||
- `product`:`package` 加上 MCP 渠道、cron/子智能体清理、OpenAI Web 搜索和 OpenWebUI
|
||||
- `full`:包含 OpenWebUI 的 Docker 发布路径分块
|
||||
- `custom`:用于聚焦重跑的精确 `docker_lanes` 列表
|
||||
|
||||
对于包候选 Telegram 证明,请在 Package Acceptance 上启用 `telegram_mode=mock-openai` 或 `telegram_mode=live-frontier`。工作流会将已解析的 `package-under-test` tarball 传入 Telegram 通道;独立 Telegram 工作流仍接受已发布的 npm spec 用于发布后检查。
|
||||
对于包候选 Telegram 证明,请在 Package Acceptance 上启用 `telegram_mode=mock-openai` 或 `telegram_mode=live-frontier`。该工作流会把已解析的 `package-under-test` tarball 传入 Telegram 通道;独立 Telegram 工作流仍接受已发布的 npm spec,用于发布后检查。
|
||||
|
||||
## NPM 工作流输入
|
||||
|
||||
`OpenClaw NPM Release` 接受这些由操作者控制的输入:
|
||||
`OpenClaw NPM Release` 接受这些由操作员控制的输入:
|
||||
|
||||
- `tag`:必需的发布标签,例如 `v2026.4.2`、`v2026.4.2-1` 或 `v2026.4.2-beta.1`;当 `preflight_only=true` 时,它也可以是当前完整的 40 字符工作流分支提交 SHA,用于仅验证预检
|
||||
- `preflight_only`:`true` 表示仅验证/构建/打包,`false` 表示真正发布路径
|
||||
- `preflight_run_id`:在真正发布路径上必需,以便工作流复用成功预检运行准备的 tarball
|
||||
- `tag`:必填发布标签,例如 `v2026.4.2`、`v2026.4.2-1` 或 `v2026.4.2-beta.1`;当 `preflight_only=true` 时,它也可以是当前完整的 40 字符工作流分支提交 SHA,用于仅验证的预检
|
||||
- `preflight_only`:`true` 表示仅验证/构建/打包,`false` 表示真实发布路径
|
||||
- `preflight_run_id`:真实发布路径必填,使工作流复用成功预检运行准备的 tarball
|
||||
- `npm_dist_tag`:发布路径的 npm 目标标签;默认为 `beta`
|
||||
|
||||
`OpenClaw Release Checks` 接受这些由操作者控制的输入:
|
||||
`OpenClaw Release Checks` 接受这些由操作员控制的输入:
|
||||
|
||||
- `ref`:要验证的分支、标签或完整提交 SHA。带密钥的检查要求解析后的提交可从 OpenClaw 分支或发布标签到达。
|
||||
- `ref`:要验证的分支、标签或完整提交 SHA。带有密钥的检查要求已解析提交可从 OpenClaw 分支或发布标签到达。
|
||||
|
||||
规则:
|
||||
|
||||
- 稳定标签和修正标签可以发布到 `beta` 或 `latest`
|
||||
- 稳定版和修正版标签可以发布到 `beta` 或 `latest`
|
||||
- Beta 预发布标签只能发布到 `beta`
|
||||
- 对于 `OpenClaw NPM Release`,仅当 `preflight_only=true` 时才允许输入完整提交 SHA
|
||||
- `OpenClaw Release Checks` 和 `Full Release Validation` 始终仅用于验证
|
||||
- 真正发布路径必须使用预检期间使用的同一个 `npm_dist_tag`;工作流会验证发布前元数据仍然一致
|
||||
- 对于 `OpenClaw NPM Release`,只有当 `preflight_only=true` 时才允许完整提交 SHA 输入
|
||||
- `OpenClaw Release Checks` 和 `Full Release Validation` 始终只做验证
|
||||
- 真实发布路径必须使用预检期间使用的同一个 `npm_dist_tag`;工作流会在发布继续前验证该元数据
|
||||
|
||||
## 稳定 npm 发布序列
|
||||
|
||||
剪切稳定 npm 发布时:
|
||||
切稳定版 npm 发布时:
|
||||
|
||||
1. 使用 `preflight_only=true` 运行 `OpenClaw NPM Release`
|
||||
- 在标签存在之前,你可以使用当前完整工作流分支提交的
|
||||
SHA,对预检工作流执行仅验证的 dry run
|
||||
2. 为常规 beta 优先流程选择 `npm_dist_tag=beta`;只有在你有意直接发布稳定版时,才选择 `latest`
|
||||
3. 当你想通过一个手动工作流获得常规 CI,以及实时 prompt 缓存、Docker、QA Lab、Matrix 和 Telegram 覆盖时,请在发布分支、发布标签或完整提交 SHA 上运行 `Full Release Validation`
|
||||
4. 如果你有意只需要确定性的常规测试图,请改为在发布引用上运行手动 `CI` 工作流
|
||||
- 在标签存在之前,你可以使用当前完整工作流分支提交
|
||||
SHA,对预检工作流执行仅验证的空运行
|
||||
2. 为常规 beta 优先流程选择 `npm_dist_tag=beta`;仅当你有意直接发布稳定版时才选择 `latest`
|
||||
3. 当你希望通过一个手动工作流获得常规 CI,以及 live prompt cache、Docker、QA Lab、
|
||||
Matrix 和 Telegram 覆盖时,请在发布分支、发布标签或完整
|
||||
提交 SHA 上运行 `Full Release Validation`
|
||||
4. 如果你有意只需要确定性的常规测试图,请改为在发布引用上运行
|
||||
手动 `CI` 工作流
|
||||
5. 保存成功的 `preflight_run_id`
|
||||
6. 再次运行 `OpenClaw NPM Release`,使用 `preflight_only=false`、相同的
|
||||
`tag`、相同的 `npm_dist_tag`,以及已保存的 `preflight_run_id`
|
||||
6. 使用 `preflight_only=false`、相同的
|
||||
`tag`、相同的 `npm_dist_tag` 以及已保存的 `preflight_run_id`,再次运行 `OpenClaw NPM Release`
|
||||
7. 如果发布落在 `beta` 上,请使用私有
|
||||
`openclaw/releases-private/.github/workflows/openclaw-npm-dist-tags.yml`
|
||||
工作流,将该稳定版本从 `beta` 提升到 `latest`
|
||||
8. 如果发布有意直接发布到 `latest`,且 `beta` 应立即跟随同一个稳定构建,请使用同一个私有
|
||||
工作流将两个 dist-tags 都指向该稳定版本,或让它的定时自愈同步稍后移动 `beta`
|
||||
8. 如果发布有意直接发布到 `latest`,且 `beta`
|
||||
应立即跟随同一个稳定构建,请使用同一个私有
|
||||
工作流将两个 dist-tags 都指向该稳定版本,或让其定时
|
||||
自愈同步稍后移动 `beta`
|
||||
|
||||
dist-tag 变更位于私有仓库中是出于安全考虑,因为它仍然
|
||||
出于安全原因,dist-tag 变更位于私有仓库中,因为它仍然
|
||||
需要 `NPM_TOKEN`,而公共仓库保持仅 OIDC 发布。
|
||||
|
||||
这样会让直接发布路径和 beta 优先提升路径都
|
||||
有文档记录,并且对操作人员可见。
|
||||
这会让直接发布路径和 beta 优先提升路径都
|
||||
有文档记录并对操作员可见。
|
||||
|
||||
如果维护者必须回退到本地 npm 身份验证,请只在专用 tmux 会话中运行任何 1Password
|
||||
CLI(`op`)命令。不要直接从主智能体 shell 调用 `op`;将它保留在 tmux 内可以让提示、
|
||||
提醒和 OTP 处理可观察,并避免重复的主机提醒。
|
||||
如果维护者必须回退到本地 npm 身份验证,请仅在专用 tmux 会话中运行任何 1Password
|
||||
CLI(`op`)命令。不要直接从主智能体 shell 调用 `op`;将其保留在 tmux 内部可以让提示、
|
||||
警报和 OTP 处理可观察,并防止重复的主机警报。
|
||||
|
||||
## 公开参考资料
|
||||
## 公共参考
|
||||
|
||||
- [`.github/workflows/full-release-validation.yml`](https://github.com/openclaw/openclaw/blob/main/.github/workflows/full-release-validation.yml)
|
||||
- [`.github/workflows/package-acceptance.yml`](https://github.com/openclaw/openclaw/blob/main/.github/workflows/package-acceptance.yml)
|
||||
@ -343,6 +364,6 @@ CLI(`op`)命令。不要直接从主智能体 shell 调用 `op`;将它保
|
||||
[`openclaw/maintainers/release/README.md`](https://github.com/openclaw/maintainers/blob/main/release/README.md)
|
||||
中的私有发布文档作为实际运行手册。
|
||||
|
||||
## 相关内容
|
||||
## 相关
|
||||
|
||||
- [发布渠道](/zh-CN/install/development-channels)
|
||||
|
||||
@ -4,57 +4,58 @@ read_when:
|
||||
summary: 如何在本地运行测试(vitest),以及何时使用 force/coverage 模式
|
||||
title: 测试
|
||||
x-i18n:
|
||||
generated_at: "2026-05-01T20:40:42Z"
|
||||
generated_at: "2026-05-01T22:37:21Z"
|
||||
model: gpt-5.5
|
||||
provider: openai
|
||||
source_hash: b38d252c546bfa6dbc483c0b3182b56bb98531bf5c6487c8543625e99552a855
|
||||
source_hash: 3dddc0a772a422264f52096a43c601897fa0109c600f26d45274409fe26c5184
|
||||
source_path: reference/test.md
|
||||
workflow: 16
|
||||
---
|
||||
|
||||
- 完整测试工具包(套件、实时、Docker):[测试](/zh-CN/help/testing)
|
||||
- 完整测试工具包(套件、实时测试、Docker):[测试](/zh-CN/help/testing)
|
||||
- 更新和插件包验证:[更新和插件测试](/zh-CN/help/testing-updates-plugins)
|
||||
|
||||
- `pnpm test:force`:终止任何仍占用默认控制端口的残留 Gateway 网关进程,然后使用隔离的 Gateway 网关端口运行完整 Vitest 套件,避免服务器测试与正在运行的实例冲突。当先前的 Gateway 网关运行遗留占用了端口 18789 时使用此命令。
|
||||
- `pnpm test:coverage`:使用 V8 覆盖率运行单元套件(通过 `vitest.unit.config.ts`)。这是已加载文件的单元覆盖率门禁,不是整个仓库的全文件覆盖率。阈值为行数/函数/语句 70%,分支 55%。由于 `coverage.all` 为 false,该门禁衡量的是单元覆盖率套件加载的文件,而不是把每个拆分通道源文件都视为未覆盖。
|
||||
- `pnpm test:coverage:changed`:仅对自 `origin/main` 以来已更改的文件运行单元覆盖率。
|
||||
- `pnpm test:changed`:低成本智能变更测试运行。它会根据直接测试编辑、同级 `*.test.ts` 文件、显式源码映射以及本地导入图运行精确目标。广泛/配置/package 变更会被跳过,除非它们能映射到精确测试。
|
||||
- `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`:显式广泛变更测试运行。当测试 harness/配置/package 编辑应回退到 Vitest 更广泛的变更测试行为时使用。
|
||||
- `pnpm changed:lanes`:显示相对于 `origin/main` 的差异触发的架构通道。
|
||||
- `pnpm check:changed`:针对相对于 `origin/main` 的差异运行智能变更检查门禁。它会为受影响的架构通道运行类型检查、lint 和 guard 命令,但不运行 Vitest 测试。测试证明请使用 `pnpm test:changed` 或显式的 `pnpm test <target>`。
|
||||
- `pnpm test`:将显式文件/目录目标路由到有作用域的 Vitest 通道。无目标运行使用固定分片组,并展开到叶子配置以便本地并行执行;扩展组始终展开到按扩展划分的分片配置,而不是一个巨大的根项目进程。
|
||||
- 测试包装器运行结束时会输出简短的 `[test] passed|failed|skipped ... in ...` 摘要。Vitest 自身的耗时行保留为每个分片的细节。
|
||||
- `pnpm test:force`:终止任何仍占用默认控制端口的残留 Gateway 网关进程,然后使用隔离的 Gateway 网关端口运行完整 Vitest 套件,避免服务器测试与正在运行的实例冲突。当先前的 Gateway 网关运行让端口 18789 被占用时使用此命令。
|
||||
- `pnpm test:coverage`:使用 V8 覆盖率运行单元套件(通过 `vitest.unit.config.ts`)。这是已加载文件的单元覆盖率门禁,不是整个仓库所有文件的覆盖率。阈值为行/函数/语句 70%,分支 55%。由于 `coverage.all` 为 false,该门禁衡量单元覆盖率套件加载的文件,而不是把每个拆分车道的源文件都视为未覆盖。
|
||||
- `pnpm test:coverage:changed`:仅对自 `origin/main` 以来更改的文件运行单元覆盖率。
|
||||
- `pnpm test:changed`:低成本的智能变更测试运行。它会从直接测试编辑、同级 `*.test.ts` 文件、显式源码映射以及本地导入图中运行精确目标。宽泛的配置/包更改会被跳过,除非它们映射到精确测试。
|
||||
- `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`:显式宽泛变更测试运行。当测试 harness/配置/包编辑应回退到 Vitest 更宽泛的变更测试行为时使用。
|
||||
- `pnpm changed:lanes`:显示相对于 `origin/main` 的 diff 触发的架构车道。
|
||||
- `pnpm check:changed`:针对相对于 `origin/main` 的 diff 运行智能变更检查门禁。它会为受影响的架构车道运行 typecheck、lint 和 guard 命令,但不会运行 Vitest 测试。使用 `pnpm test:changed` 或显式 `pnpm test <target>` 作为测试证明。
|
||||
- `pnpm test`:将显式文件/目录目标路由到有作用域的 Vitest 车道。无目标运行会使用固定分片组,并展开到叶子配置以便本地并行执行;扩展组始终展开到按扩展划分的分片配置,而不是一个巨大的根项目进程。
|
||||
- 测试包装器运行结束时会输出简短的 `[test] passed|failed|skipped ... in ...` 摘要。Vitest 自己的耗时行仍作为每个分片的细节保留。
|
||||
- 共享 OpenClaw 测试状态:当测试需要隔离的 `HOME`、`OPENCLAW_STATE_DIR`、`OPENCLAW_CONFIG_PATH`、配置 fixture、工作区、智能体目录或 auth-profile 存储时,在 Vitest 中使用 `src/test-utils/openclaw-test-state.ts`。
|
||||
- 进程 E2E 辅助工具:当 Vitest 进程级 E2E 测试需要在一处提供运行中的 Gateway 网关、CLI 环境、日志捕获和清理时,使用 `test/helpers/openclaw-test-instance.ts`。
|
||||
- Docker/Bash E2E 辅助工具:source `scripts/lib/docker-e2e-image.sh` 的通道可以将 `docker_e2e_test_state_shell_b64 <label> <scenario>` 传入容器,并用 `scripts/lib/openclaw-e2e-instance.sh` 解码;多 home 脚本可以传入 `docker_e2e_test_state_function_b64`,并在每个流程中调用 `openclaw_test_state_create <label> <scenario>`。更底层的调用方可以使用 `scripts/lib/openclaw-test-state.mjs shell --label <name> --scenario <name>` 生成容器内 shell 片段,或使用 `node scripts/lib/openclaw-test-state.mjs -- create --label <name> --scenario <name> --env-file <path> --json` 生成可 source 的宿主环境文件。`create` 前的 `--` 可避免较新的 Node 运行时把 `--env-file` 当作 Node 标志。启动 Gateway 网关的 Docker/Bash 通道可以在容器内 source `scripts/lib/openclaw-e2e-instance.sh`,用于入口点解析、模拟 OpenAI 启动、Gateway 网关前台/后台启动、就绪探测、状态环境导出、日志转储和进程清理。
|
||||
- 完整、扩展和 include-pattern 分片运行会更新 `.artifacts/vitest-shard-timings.json` 中的本地计时数据;后续整配置运行会使用这些计时来平衡慢速和快速分片。Include-pattern CI 分片会把分片名追加到计时键中,这样可让过滤后的分片计时保持可见,而不会替换整配置计时数据。设置 `OPENCLAW_TEST_PROJECTS_TIMINGS=0` 可忽略本地计时产物。
|
||||
- 选定的 `plugin-sdk` 和 `commands` 测试文件现在会路由到专用轻量通道,这些通道仅保留 `test/setup.ts`,让运行时较重的用例留在其现有通道上。
|
||||
- 带同级测试的源文件会先映射到该同级测试,然后才回退到更宽的目录 glob。`src/channels/plugins/contracts/test-helpers`、`src/plugin-sdk/test-helpers` 和 `src/plugins/contracts` 下的辅助工具编辑会使用本地导入图运行导入它们的测试,而不是在依赖路径精确时广泛运行每个分片。
|
||||
- `auto-reply` 现在也拆分为三个专用配置(`core`、`top-level`、`reply`),因此 reply harness 不会主导较轻量的顶层 status/token/helper 测试。
|
||||
- 进程 E2E helper:当 Vitest 进程级 E2E 测试需要运行中的 Gateway 网关、CLI 环境、日志捕获和集中清理时,使用 `test/helpers/openclaw-test-instance.ts`。
|
||||
- Docker/Bash E2E helper:source `scripts/lib/docker-e2e-image.sh` 的车道可以把 `docker_e2e_test_state_shell_b64 <label> <scenario>` 传入容器,并用 `scripts/lib/openclaw-e2e-instance.sh` 解码;多 home 脚本可以传入 `docker_e2e_test_state_function_b64`,并在每个流程中调用 `openclaw_test_state_create <label> <scenario>`。更底层的调用方可以使用 `scripts/lib/openclaw-test-state.mjs shell --label <name> --scenario <name>` 获取容器内 shell 片段,或使用 `node scripts/lib/openclaw-test-state.mjs -- create --label <name> --scenario <name> --env-file <path> --json` 获取可 source 的主机环境文件。`create` 前的 `--` 可避免较新的 Node 运行时把 `--env-file` 当作 Node 标志处理。启动 Gateway 网关的 Docker/Bash 车道可以在容器内 source `scripts/lib/openclaw-e2e-instance.sh`,用于入口点解析、mock OpenAI 启动、Gateway 网关前台/后台启动、就绪探针、状态环境导出、日志转储和进程清理。
|
||||
- 完整、扩展和 include-pattern 分片运行会更新 `.artifacts/vitest-shard-timings.json` 中的本地计时数据;后续 whole-config 运行会使用这些计时来平衡慢分片和快分片。Include-pattern CI 分片会把分片名称追加到计时键中,这让过滤后的分片计时保持可见,同时不会替换 whole-config 计时数据。设置 `OPENCLAW_TEST_PROJECTS_TIMINGS=0` 可忽略本地计时 artifact。
|
||||
- 选定的 `plugin-sdk` 和 `commands` 测试文件现在会路由到专用轻量车道,这些车道只保留 `test/setup.ts`,而运行时较重的用例仍留在现有车道上。
|
||||
- 带有同级测试的源文件会先映射到该同级测试,再回退到更宽的目录 glob。`src/channels/plugins/contracts/test-helpers`、`src/plugin-sdk/test-helpers` 和 `src/plugins/contracts` 下的 helper 编辑会使用本地导入图运行导入它们的测试,而不是在依赖路径精确时宽泛运行每个分片。
|
||||
- `auto-reply` 现在也拆分为三个专用配置(`core`、`top-level`、`reply`),这样 reply harness 就不会主导较轻量的顶层 status/token/helper 测试。
|
||||
- 基础 Vitest 配置现在默认使用 `pool: "threads"` 和 `isolate: false`,并在整个仓库配置中启用共享的非隔离 runner。
|
||||
- `pnpm test:channels` 运行 `vitest.channels.config.ts`。
|
||||
- `pnpm test:extensions` 和 `pnpm test extensions` 运行所有扩展/插件分片。重型渠道插件、浏览器插件和 OpenAI 会作为专用分片运行;其他插件组保持批处理。使用 `pnpm test extensions/<id>` 运行一个内置插件通道。
|
||||
- `pnpm test:perf:imports`:启用 Vitest 导入耗时 + 导入拆解报告,同时仍对显式文件/目录目标使用有作用域的通道路由。
|
||||
- `pnpm test:perf:imports:changed`:同样的导入 profiling,但仅针对自 `origin/main` 以来已更改的文件。
|
||||
- `pnpm test:perf:changed:bench -- --ref <git-ref>`:基准测试同一已提交 git 差异下,路由后的 changed-mode 路径与原生根项目运行的对比。
|
||||
- `pnpm test:perf:changed:bench -- --worktree`:基准测试当前工作树变更集,无需先提交。
|
||||
- `pnpm test:extensions` 和 `pnpm test extensions` 运行所有扩展/插件分片。重型渠道插件、浏览器插件和 OpenAI 会作为专用分片运行;其他插件组保持批处理。对单个内置插件车道使用 `pnpm test extensions/<id>`。
|
||||
- `pnpm test:perf:imports`:启用 Vitest 导入耗时 + 导入分解报告,同时仍对显式文件/目录目标使用有作用域的车道路由。
|
||||
- `pnpm test:perf:imports:changed`:相同的导入性能分析,但仅针对自 `origin/main` 以来更改的文件。
|
||||
- `pnpm test:perf:changed:bench -- --ref <git-ref>`:针对同一个已提交的 git diff,对路由后的 changed-mode 路径和原生根项目运行进行基准测试。
|
||||
- `pnpm test:perf:changed:bench -- --worktree`:无需先提交,即可对当前工作树变更集进行基准测试。
|
||||
- `pnpm test:perf:profile:main`:为 Vitest 主线程写入 CPU profile(`.artifacts/vitest-main-profile`)。
|
||||
- `pnpm test:perf:profile:runner`:为单元 runner 写入 CPU + heap profile(`.artifacts/vitest-runner-profile`)。
|
||||
- `pnpm test:perf:groups --full-suite --allow-failures --output .artifacts/test-perf/baseline-before.json`:串行运行每个完整套件的 Vitest 叶子配置,并写入分组耗时数据以及每个配置的 JSON/日志产物。Test Performance Agent 在尝试修复慢测试之前将其用作基线。
|
||||
- `pnpm test:perf:groups:compare .artifacts/test-perf/baseline-before.json .artifacts/test-perf/after-agent.json`:在面向性能的变更之后比较分组报告。
|
||||
- `pnpm test:perf:groups --full-suite --allow-failures --output .artifacts/test-perf/baseline-before.json`:串行运行每个 full-suite Vitest 叶子配置,并写入分组耗时数据以及每配置 JSON/日志 artifact。Test Performance Agent 在尝试修复慢测试前会使用它作为基线。
|
||||
- `pnpm test:perf:groups:compare .artifacts/test-perf/baseline-before.json .artifacts/test-perf/after-agent.json`:在面向性能的更改之后比较分组报告。
|
||||
- Gateway 网关集成:通过 `OPENCLAW_TEST_INCLUDE_GATEWAY=1 pnpm test` 或 `pnpm test:gateway` 选择启用。
|
||||
- `pnpm test:e2e`:运行 Gateway 网关端到端 smoke 测试(多实例 WS/HTTP/node 配对)。默认使用 `threads` + `isolate: false`,并在 `vitest.e2e.config.ts` 中使用自适应 worker;可用 `OPENCLAW_E2E_WORKERS=<n>` 调整,并设置 `OPENCLAW_E2E_VERBOSE=1` 输出详细日志。
|
||||
- `pnpm test:live`:运行提供商实时测试(minimax/zai)。需要 API key 和 `LIVE=1`(或特定提供商的 `*_LIVE_TEST=1`)才会取消跳过。
|
||||
- `pnpm test:docker:all`:构建共享实时测试镜像,将 OpenClaw 打包一次为 npm tarball,构建/复用一个裸 Node/Git runner 镜像和一个把该 tarball 安装到 `/app` 的功能镜像,然后通过加权调度器以 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行 Docker smoke 通道。裸镜像(`OPENCLAW_DOCKER_E2E_BARE_IMAGE`)用于 installer/update/plugin-dependency 通道;这些通道挂载预构建 tarball,而不是使用复制的仓库源码。功能镜像(`OPENCLAW_DOCKER_E2E_FUNCTIONAL_IMAGE`)用于普通 built-app 功能通道。`scripts/package-openclaw-for-docker.mjs` 是单一的本地/CI package 打包器,并会在 Docker 使用前校验 tarball 和 `dist/postinstall-inventory.json`。Docker 通道定义位于 `scripts/lib/docker-e2e-scenarios.mjs`;planner 逻辑位于 `scripts/lib/docker-e2e-plan.mjs`;`scripts/test-docker-all.mjs` 执行选定计划。`node scripts/test-docker-all.mjs --plan-json` 会输出由调度器拥有的 CI 计划,包含选定通道、镜像种类、package/live-image 需求、状态场景和凭据检查,而不构建或运行 Docker。`OPENCLAW_DOCKER_ALL_PARALLELISM=<n>` 控制进程槽位,默认 10;`OPENCLAW_DOCKER_ALL_TAIL_PARALLELISM=<n>` 控制对提供商敏感的尾部池,默认 10。重型通道上限默认为 `OPENCLAW_DOCKER_ALL_LIVE_LIMIT=9`、`OPENCLAW_DOCKER_ALL_NPM_LIMIT=10` 和 `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT=7`;提供商上限默认通过 `OPENCLAW_DOCKER_ALL_LIVE_CLAUDE_LIMIT=4`、`OPENCLAW_DOCKER_ALL_LIVE_CODEX_LIMIT=4` 和 `OPENCLAW_DOCKER_ALL_LIVE_GEMINI_LIMIT=4` 为每个提供商限制一个重型通道。更大的主机可使用 `OPENCLAW_DOCKER_ALL_WEIGHT_LIMIT` 或 `OPENCLAW_DOCKER_ALL_DOCKER_LIMIT`。如果在低并行度主机上某个通道超过有效权重或资源上限,它仍可从空池启动,并会独占运行直到释放容量。通道启动默认错开 2 秒,以避免本地 Docker daemon 创建风暴;可用 `OPENCLAW_DOCKER_ALL_START_STAGGER_MS=<ms>` 覆盖。runner 默认预检 Docker,清理陈旧的 OpenClaw E2E 容器,每 30 秒输出活动通道状态,在兼容通道之间共享提供商 CLI 工具缓存,默认对瞬时实时提供商失败重试一次(`OPENCLAW_DOCKER_ALL_LIVE_RETRIES=<n>`),并将通道计时存储在 `.artifacts/docker-tests/lane-timings.json`,供后续运行按最长优先排序。使用 `OPENCLAW_DOCKER_ALL_DRY_RUN=1` 可打印通道 manifest 而不运行 Docker,使用 `OPENCLAW_DOCKER_ALL_STATUS_INTERVAL_MS=<ms>` 可调整状态输出,或使用 `OPENCLAW_DOCKER_ALL_TIMINGS=0` 禁用计时复用。使用 `OPENCLAW_DOCKER_ALL_LIVE_MODE=skip` 仅运行确定性/本地通道,或使用 `OPENCLAW_DOCKER_ALL_LIVE_MODE=only` 仅运行实时提供商通道;package 别名为 `pnpm test:docker:local:all` 和 `pnpm test:docker:live:all`。Live-only 模式会把主实时通道和尾部实时通道合并到一个最长优先池中,使提供商桶能够把 Claude、Codex 和 Gemini 工作打包在一起。除非设置了 `OPENCLAW_DOCKER_ALL_FAIL_FAST=0`,runner 会在首次失败后停止调度新的池化通道;每个通道都有 120 分钟的回退超时,可用 `OPENCLAW_DOCKER_ALL_LANE_TIMEOUT_MS` 覆盖;选定的实时/尾部通道使用更严格的逐通道上限。CLI 后端 Docker 设置命令有自己的超时,通过 `OPENCLAW_LIVE_CLI_BACKEND_SETUP_TIMEOUT_SECONDS` 设置(默认 180)。逐通道日志、`summary.json`、`failures.json` 和阶段计时会写入 `.artifacts/docker-tests/<run-id>/` 下;使用 `pnpm test:docker:timings <summary.json>` 检查慢通道,使用 `pnpm test:docker:rerun <run-id|summary.json|failures.json>` 打印低成本定向重跑命令。
|
||||
- `pnpm test:docker:browser-cdp-snapshot`:构建由 Chromium 支撑的源码 E2E 容器,启动原始 CDP 和隔离的 Gateway 网关,运行 `browser doctor --deep`,并验证 CDP role 快照包含链接 URL、光标提升的可点击项、iframe ref 和 frame 元数据。
|
||||
- CLI 后端实时 Docker 探针可以作为聚焦通道运行,例如 `pnpm test:docker:live-cli-backend:codex`、`pnpm test:docker:live-cli-backend:codex:resume` 或 `pnpm test:docker:live-cli-backend:codex:mcp`。Claude 和 Gemini 有匹配的 `:resume` 和 `:mcp` 别名。
|
||||
- `pnpm test:docker:openwebui`:启动 Docker 化的 OpenClaw + Open WebUI,通过 Open WebUI 登录,检查 `/api/models`,然后通过 `/api/chat/completions` 运行一次真实的代理聊天。需要可用的实时模型 key(例如 `~/.profile` 中的 OpenAI),会拉取外部 Open WebUI 镜像,并且不预期像常规单元/e2e 套件一样具备 CI 稳定性。
|
||||
- `pnpm test:docker:mcp-channels`:启动一个已播种的 Gateway 网关容器和第二个会生成 `openclaw mcp serve` 的客户端容器,然后验证路由后的对话发现、transcript 读取、附件元数据、实时事件队列行为、出站发送路由,以及通过真实 stdio bridge 传递的 Claude 风格渠道 + 权限通知。Claude 通知断言会直接读取原始 stdio MCP frame,因此 smoke 反映 bridge 实际发出的内容。
|
||||
- `pnpm test:docker:upgrade-survivor`:将打包后的 OpenClaw tarball 安装到脏的旧用户 fixture 上,在没有实时提供商或渠道密钥的情况下运行包更新和非交互式 Doctor,然后启动一个环回 Gateway 网关,并检查智能体、渠道配置、插件允许列表、工作区/会话文件、过期旧版插件依赖状态、启动和 RPC 状态是否保留。
|
||||
- `pnpm test:docker:published-upgrade-survivor`:默认安装 `openclaw@latest`,在没有实时提供商或渠道密钥的情况下植入真实的现有用户文件,使用内置的 `openclaw config set` 命令配方配置该基线,将该已发布安装更新为打包后的 OpenClaw tarball,运行非交互式 Doctor,写入 `.artifacts/upgrade-survivor/summary.json`,然后启动一个环回 Gateway 网关,并检查已配置意图、工作区/会话文件、过期插件配置和旧版依赖状态、启动、`/healthz`、`/readyz` 以及 RPC 状态是否保留或顺利修复。用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 覆盖单个基线,用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 展开精确矩阵,或用 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS=reported-issues` 添加场景 fixture;Package Acceptance 会将这些公开为 `published_upgrade_survivor_baseline`、`published_upgrade_survivor_baselines` 和 `published_upgrade_survivor_scenarios`。
|
||||
- `pnpm test:e2e`:运行 Gateway 网关端到端 smoke 测试(多实例 WS/HTTP/node 配对)。默认使用 `threads` + `isolate: false`,并在 `vitest.e2e.config.ts` 中使用自适应 worker;用 `OPENCLAW_E2E_WORKERS=<n>` 调整,并设置 `OPENCLAW_E2E_VERBOSE=1` 获取详细日志。
|
||||
- `pnpm test:live`:运行提供商 live 测试(minimax/zai)。需要 API key 和 `LIVE=1`(或提供商特定的 `*_LIVE_TEST=1`)才能取消跳过。
|
||||
- `pnpm test:docker:all`:构建共享 live-test 镜像,将 OpenClaw 打包一次为 npm tarball,构建/复用一个裸 Node/Git runner 镜像以及一个会把该 tarball 安装到 `/app` 的功能镜像,然后通过加权调度器使用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行 Docker smoke 车道。裸镜像(`OPENCLAW_DOCKER_E2E_BARE_IMAGE`)用于安装器/更新/插件依赖车道;这些车道挂载预构建的 tarball,而不是使用复制的仓库源码。功能镜像(`OPENCLAW_DOCKER_E2E_FUNCTIONAL_IMAGE`)用于普通构建后应用功能车道。`scripts/package-openclaw-for-docker.mjs` 是唯一的本地/CI 包打包器,会在 Docker 消费前校验 tarball 和 `dist/postinstall-inventory.json`。Docker 车道定义位于 `scripts/lib/docker-e2e-scenarios.mjs`;规划器逻辑位于 `scripts/lib/docker-e2e-plan.mjs`;`scripts/test-docker-all.mjs` 执行选定计划。`node scripts/test-docker-all.mjs --plan-json` 会输出由调度器拥有的 CI 计划,其中包含选定车道、镜像类型、包/live-image 需求、状态场景和凭据检查,但不会构建或运行 Docker。`OPENCLAW_DOCKER_ALL_PARALLELISM=<n>` 控制进程槽位,默认值为 10;`OPENCLAW_DOCKER_ALL_TAIL_PARALLELISM=<n>` 控制提供商敏感的尾部池,默认值为 10。重型车道上限默认是 `OPENCLAW_DOCKER_ALL_LIVE_LIMIT=9`、`OPENCLAW_DOCKER_ALL_NPM_LIMIT=10` 和 `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT=7`;提供商上限默认通过 `OPENCLAW_DOCKER_ALL_LIVE_CLAUDE_LIMIT=4`、`OPENCLAW_DOCKER_ALL_LIVE_CODEX_LIMIT=4` 和 `OPENCLAW_DOCKER_ALL_LIVE_GEMINI_LIMIT=4` 设为每个提供商一个重型车道。更大的主机可使用 `OPENCLAW_DOCKER_ALL_WEIGHT_LIMIT` 或 `OPENCLAW_DOCKER_ALL_DOCKER_LIMIT`。如果在低并行主机上某个车道超过有效权重或资源上限,它仍可以从空池启动,并会独占运行直到释放容量。车道启动默认错开 2 秒,以避免本地 Docker daemon 创建风暴;可用 `OPENCLAW_DOCKER_ALL_START_STAGGER_MS=<ms>` 覆盖。runner 默认会预检 Docker、清理陈旧的 OpenClaw E2E 容器、每 30 秒输出活动车道状态、在兼容车道之间共享提供商 CLI 工具缓存、默认对瞬时 live-provider 失败重试一次(`OPENCLAW_DOCKER_ALL_LIVE_RETRIES=<n>`),并将车道计时存储在 `.artifacts/docker-tests/lane-timings.json` 中,用于后续运行的 longest-first 排序。使用 `OPENCLAW_DOCKER_ALL_DRY_RUN=1` 可打印车道清单而不运行 Docker,使用 `OPENCLAW_DOCKER_ALL_STATUS_INTERVAL_MS=<ms>` 可调整状态输出,或使用 `OPENCLAW_DOCKER_ALL_TIMINGS=0` 禁用计时复用。使用 `OPENCLAW_DOCKER_ALL_LIVE_MODE=skip` 仅运行确定性/本地车道,或使用 `OPENCLAW_DOCKER_ALL_LIVE_MODE=only` 仅运行 live-provider 车道;包别名是 `pnpm test:docker:local:all` 和 `pnpm test:docker:live:all`。Live-only 模式会把主 live 车道和尾部 live 车道合并为一个 longest-first 池,使提供商桶可以一起打包 Claude、Codex 和 Gemini 工作。除非设置 `OPENCLAW_DOCKER_ALL_FAIL_FAST=0`,runner 会在首次失败后停止调度新的池化车道,并且每个车道都有 120 分钟的回退超时,可用 `OPENCLAW_DOCKER_ALL_LANE_TIMEOUT_MS` 覆盖;选定的 live/tail 车道使用更严格的每车道上限。CLI 后端 Docker 设置命令通过 `OPENCLAW_LIVE_CLI_BACKEND_SETUP_TIMEOUT_SECONDS` 拥有自己的超时(默认 180)。每车道日志、`summary.json`、`failures.json` 和阶段计时会写入 `.artifacts/docker-tests/<run-id>/` 下;使用 `pnpm test:docker:timings <summary.json>` 检查慢车道,并使用 `pnpm test:docker:rerun <run-id|summary.json|failures.json>` 打印低成本的定向重跑命令。
|
||||
- `pnpm test:docker:browser-cdp-snapshot`:构建一个 Chromium 支持的源码 E2E 容器,启动原始 CDP 和隔离的 Gateway 网关,运行 `browser doctor --deep`,并验证 CDP role 快照包含链接 URL、光标提升的可点击项、iframe 引用和 frame 元数据。
|
||||
- CLI 后端 live Docker 探针可以作为聚焦车道运行,例如 `pnpm test:docker:live-cli-backend:codex`、`pnpm test:docker:live-cli-backend:codex:resume` 或 `pnpm test:docker:live-cli-backend:codex:mcp`。Claude 和 Gemini 有匹配的 `:resume` 与 `:mcp` 别名。
|
||||
- `pnpm test:docker:openwebui`:启动 Docker 化的 OpenClaw + Open WebUI,通过 Open WebUI 登录,检查 `/api/models`,然后通过 `/api/chat/completions` 运行真实的代理聊天。需要可用的 live 模型 key(例如 `~/.profile` 中的 OpenAI),会拉取外部 Open WebUI 镜像,并且不像普通 unit/e2e 套件那样预期具备 CI 稳定性。
|
||||
- `pnpm test:docker:mcp-channels`:启动一个已种子化的 Gateway 网关容器和第二个客户端容器,后者会生成 `openclaw mcp serve`,然后验证路由会话发现、transcript 读取、附件元数据、live event queue 行为、出站发送路由,以及通过真实 stdio bridge 传递的 Claude 风格渠道 + 权限通知。Claude 通知断言会直接读取原始 stdio MCP frame,因此 smoke 能反映该 bridge 实际发出的内容。
|
||||
- `pnpm test:docker:upgrade-survivor`:将打包的 OpenClaw tarball 安装到有脏数据的旧用户 fixture 上,在没有实时提供商或渠道密钥的情况下运行包更新和非交互式 Doctor,然后启动一个环回 Gateway 网关,并检查智能体、渠道配置、插件允许列表、工作区/会话文件、过时的旧版插件依赖状态、启动过程和 RPC 状态是否保留下来。
|
||||
- `pnpm test:docker:published-upgrade-survivor`:默认安装 `openclaw@latest`,在没有实时提供商或渠道密钥的情况下植入真实的现有用户文件,用内置的 `openclaw config set` 命令配方配置该基线,将该已发布安装更新到打包的 OpenClaw tarball,运行非交互式 Doctor,写入 `.artifacts/upgrade-survivor/summary.json`,然后启动一个环回 Gateway 网关,并检查已配置的 intent、工作区/会话文件、过时的插件配置和旧版依赖状态、启动过程、`/healthz`、`/readyz` 和 RPC 状态是否保留下来或被干净修复。使用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 覆盖单个基线,使用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 展开精确矩阵,或使用 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS=reported-issues` 添加场景 fixture;Package Acceptance 会将这些公开为 `published_upgrade_survivor_baseline`、`published_upgrade_survivor_baselines` 和 `published_upgrade_survivor_scenarios`。
|
||||
|
||||
## 本地 PR 门禁
|
||||
|
||||
对于本地 PR 合入/门禁检查,运行:
|
||||
对于本地 PR 合并/门禁检查,请运行:
|
||||
|
||||
- `pnpm check:changed`
|
||||
- `pnpm check`
|
||||
@ -63,7 +64,7 @@ x-i18n:
|
||||
- `pnpm test`
|
||||
- `pnpm check:docs`
|
||||
|
||||
如果 `pnpm test` 在负载较高的主机上偶发失败,先重跑一次,再将其视为回归,然后用 `pnpm test <path/to/test>` 隔离问题。对于内存受限的主机,使用:
|
||||
如果 `pnpm test` 在高负载主机上出现偶发失败,请先重跑一次,再将其视为回归,然后用 `pnpm test <path/to/test>` 隔离问题。对于内存受限的主机,请使用:
|
||||
|
||||
- `OPENCLAW_VITEST_MAX_WORKERS=1 pnpm test`
|
||||
- `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/tmp/openclaw-vitest-cache pnpm test:changed`
|
||||
@ -76,7 +77,7 @@ x-i18n:
|
||||
|
||||
- `source ~/.profile && pnpm tsx scripts/bench-model.ts --runs 10`
|
||||
- 可选环境变量:`MINIMAX_API_KEY`、`MINIMAX_BASE_URL`、`MINIMAX_MODEL`、`ANTHROPIC_API_KEY`
|
||||
- 默认提示词:“只回复一个词:ok。不要标点或额外文本。”
|
||||
- 默认提示词:“只用一个单词回复:ok。不要标点或额外文本。”
|
||||
|
||||
上次运行(2025-12-31,20 次运行):
|
||||
|
||||
@ -111,15 +112,15 @@ x-i18n:
|
||||
- `real`:`health`、`status`、`status --json`、`sessions`、`sessions --json`、`tasks --json`、`tasks list --json`、`tasks audit --json`、`agents list --json`、`gateway status`、`gateway status --json`、`gateway health --json`、`config get gateway.port`
|
||||
- `all`:两个预设
|
||||
|
||||
输出包含每个命令的 `sampleCount`、平均值、p50、p95、最小/最大值、退出码/信号分布,以及最大 RSS 摘要。可选的 `--cpu-prof-dir` / `--heap-prof-dir` 会为每次运行写入 V8 profile,使计时和 profile 捕获使用同一个 harness。
|
||||
输出会包含每个命令的 `sampleCount`、平均值、p50、p95、最小/最大值、退出码/信号分布,以及最大 RSS 摘要。可选的 `--cpu-prof-dir` / `--heap-prof-dir` 会为每次运行写入 V8 profile,因此计时和 profile 捕获会使用同一个 harness。
|
||||
|
||||
已保存输出约定:
|
||||
|
||||
- `pnpm test:startup:bench:smoke` 将定向冒烟测试产物写入 `.artifacts/cli-startup-bench-smoke.json`
|
||||
- `pnpm test:startup:bench:save` 使用 `runs=5` 和 `warmup=1` 将完整套件产物写入 `.artifacts/cli-startup-bench-all.json`
|
||||
- `pnpm test:startup:bench:update` 使用 `runs=5` 和 `warmup=1` 刷新已检入的基线 fixture:`test/fixtures/cli-startup-bench.json`
|
||||
- `pnpm test:startup:bench:smoke` 会将目标冒烟构件写入 `.artifacts/cli-startup-bench-smoke.json`
|
||||
- `pnpm test:startup:bench:save` 会使用 `runs=5` 和 `warmup=1` 将全套构件写入 `.artifacts/cli-startup-bench-all.json`
|
||||
- `pnpm test:startup:bench:update` 会使用 `runs=5` 和 `warmup=1` 刷新检入的基线 fixture:`test/fixtures/cli-startup-bench.json`
|
||||
|
||||
已检入的 fixture:
|
||||
检入的 fixture:
|
||||
|
||||
- `test/fixtures/cli-startup-bench.json`
|
||||
- 使用 `pnpm test:startup:bench:update` 刷新
|
||||
@ -129,7 +130,7 @@ x-i18n:
|
||||
|
||||
Docker 是可选的;仅容器化新手引导冒烟测试需要它。
|
||||
|
||||
在干净的 Linux 容器中执行完整冷启动流程:
|
||||
在干净 Linux 容器中的完整冷启动流程:
|
||||
|
||||
```bash
|
||||
scripts/e2e/onboard-docker.sh
|
||||
@ -139,7 +140,7 @@ scripts/e2e/onboard-docker.sh
|
||||
|
||||
## QR 导入冒烟测试(Docker)
|
||||
|
||||
确保维护中的 QR 运行时辅助工具能在受支持的 Docker Node 运行时下加载(默认 Node 24,兼容 Node 22):
|
||||
确保维护中的 QR 运行时辅助程序可在受支持的 Docker Node 运行时下加载(Node 24 默认,Node 22 兼容):
|
||||
|
||||
```bash
|
||||
pnpm test:docker:qr
|
||||
@ -149,3 +150,4 @@ pnpm test:docker:qr
|
||||
|
||||
- [测试](/zh-CN/help/testing)
|
||||
- [实时测试](/zh-CN/help/testing-live)
|
||||
- [更新和插件测试](/zh-CN/help/testing-updates-plugins)
|
||||
|
||||
Loading…
Reference in New Issue
Block a user