chore(i18n): refresh zh-CN translations
This commit is contained in:
parent
3adc36720d
commit
4abe2d6cb7
348
docs/zh-CN/ci.md
348
docs/zh-CN/ci.md
@ -1,94 +1,94 @@
|
||||
---
|
||||
read_when:
|
||||
- 你需要了解某个 CI 作业为什么运行或未运行
|
||||
- 你需要了解为什么 CI 作业运行了或没有运行
|
||||
- 你正在调试一个失败的 GitHub Actions 检查
|
||||
- 你正在协调一次发布验证运行或重新运行
|
||||
- 你正在更改 ClawSweeper 调度或 GitHub 活动转发
|
||||
summary: CI 作业图、范围门禁、发布总括流程和本地等效命令
|
||||
summary: CI 作业图、范围门禁、发布总括流程和本地命令等价项
|
||||
title: CI 流水线
|
||||
x-i18n:
|
||||
generated_at: "2026-05-02T15:57:46Z"
|
||||
generated_at: "2026-05-02T16:50:22Z"
|
||||
model: gpt-5.5
|
||||
provider: openai
|
||||
source_hash: 9687e386ce6beb96df10b57b43616af5366f231bd603e575ec20df386671564f
|
||||
source_hash: a43af330938cc44b642678e2e76c9cbffbf507fe3ef7db1f95ce5ca2a08f08da
|
||||
source_path: ci.md
|
||||
workflow: 16
|
||||
---
|
||||
|
||||
OpenClaw CI 会在每次推送到 `main` 以及每个拉取请求上运行。`preflight` 作业会对差异进行分类,并在只有无关区域发生变化时关闭开销较高的任务线。手动 `workflow_dispatch` 运行会有意绕过智能范围限定,并为候选发布和广泛验证展开完整图。Android 任务线通过 `include_android` 保持选择性启用。仅发布使用的插件覆盖位于单独的 [`Plugin Prerelease`](#plugin-prerelease) 工作流中,并且只会从 [`Full Release Validation`](#full-release-validation) 或显式手动分发运行。
|
||||
OpenClaw 持续集成会在每次推送到 `main` 和每个拉取请求时运行。`preflight` 作业会对差异进行分类,并在只有无关区域发生变更时关闭昂贵的通道。手动 `workflow_dispatch` 运行会有意绕过智能范围限定,并为候选发布版本和广泛验证展开完整图。Android 通道通过 `include_android` 保持为选择启用。仅发布用的插件覆盖范围位于单独的 [`Plugin Prerelease`](#plugin-prerelease) 工作流中,并且只会从 [`Full Release Validation`](#full-release-validation) 或显式手动调度运行。
|
||||
|
||||
## 流水线概览
|
||||
|
||||
| 作业 | 用途 | 运行时机 |
|
||||
| -------------------------------- | --------------------------------------------------------------------------------------------------------- | ---------------------------------- |
|
||||
| `preflight` | 检测仅文档变更、变更范围、变更扩展,并构建 CI 清单 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `preflight` | 检测仅文档变更、已变更范围、已变更扩展,并构建持续集成清单 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `security-scm-fast` | 通过 `zizmor` 进行私钥检测和工作流审计 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `security-dependency-audit` | 针对 npm advisories 进行无依赖的生产 lockfile 审计 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `security-dependency-audit` | 针对 npm 公告进行无依赖的生产 lockfile 审计 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `security-fast` | 快速安全作业所需的聚合项 | 始终在非草稿推送和 PR 上运行 |
|
||||
| `check-dependencies` | 仅生产 Knip 依赖检查,以及未使用文件 allowlist 守卫 | Node 相关变更 |
|
||||
| `check-dependencies` | 生产 Knip 仅依赖检查,以及未使用文件 allowlist 守卫 | Node 相关变更 |
|
||||
| `build-artifacts` | 构建 `dist/`、Control UI、构建产物检查,以及可复用的下游产物 | Node 相关变更 |
|
||||
| `checks-fast-core` | 快速 Linux 正确性任务线,例如内置/插件契约/协议检查 | Node 相关变更 |
|
||||
| `checks-fast-contracts-channels` | 分片的渠道契约检查,并提供稳定的聚合检查结果 | Node 相关变更 |
|
||||
| `checks-node-core-test` | 核心 Node 测试分片,不包括渠道、内置、契约和扩展任务线 | Node 相关变更 |
|
||||
| `check` | 分片的主要本地门禁等价项:生产类型、lint、守卫、测试类型和严格冒烟测试 | Node 相关变更 |
|
||||
| `checks-fast-core` | 快速 Linux 正确性通道,例如内置/插件契约/协议检查 | Node 相关变更 |
|
||||
| `checks-fast-contracts-channels` | 分片的渠道契约检查,并带有稳定的聚合检查结果 | Node 相关变更 |
|
||||
| `checks-node-core-test` | 核心 Node 测试分片,不包括渠道、内置、契约和扩展通道 | Node 相关变更 |
|
||||
| `check` | 分片的主本地门禁等价项:生产类型、lint、守卫、测试类型和严格 smoke | Node 相关变更 |
|
||||
| `check-additional` | 架构、边界、扩展表面守卫、包边界和 gateway-watch 分片 | Node 相关变更 |
|
||||
| `build-smoke` | 已构建 CLI 冒烟测试和启动内存冒烟测试 | Node 相关变更 |
|
||||
| `checks` | 已构建产物渠道测试的验证器 | Node 相关变更 |
|
||||
| `checks-node-compat-node22` | Node 22 兼容性构建和冒烟任务线 | 面向发布的手动 CI 分发 |
|
||||
| `check-docs` | 文档格式化、lint 和断链检查 | 文档已变更 |
|
||||
| `skills-python` | 面向 Python 支持的 Skills 的 Ruff + pytest | Python Skill 相关变更 |
|
||||
| `checks-windows` | Windows 特定的进程/路径测试,以及共享运行时 import specifier 回归测试 | Windows 相关变更 |
|
||||
| `macos-node` | 使用共享构建产物的 macOS TypeScript 测试任务线 | macOS 相关变更 |
|
||||
| `build-smoke` | 已构建 CLI 的 smoke 测试和启动内存 smoke | Node 相关变更 |
|
||||
| `checks` | 构建产物渠道测试的验证器 | Node 相关变更 |
|
||||
| `checks-node-compat-node22` | Node 22 兼容性构建和 smoke 通道 | 发布用的手动持续集成调度 |
|
||||
| `check-docs` | 文档格式、lint 和断链检查 | 文档变更 |
|
||||
| `skills-python` | 面向 Python 支撑的 Skills 的 Ruff + pytest | Python skill 相关变更 |
|
||||
| `checks-windows` | Windows 特定的进程/路径测试,以及共享运行时导入说明符回归 | Windows 相关变更 |
|
||||
| `macos-node` | 使用共享构建产物的 macOS TypeScript 测试通道 | macOS 相关变更 |
|
||||
| `macos-swift` | macOS 应用的 Swift lint、构建和测试 | macOS 相关变更 |
|
||||
| `android` | 两种 flavor 的 Android 单元测试,以及一次 debug APK 构建 | Android 相关变更 |
|
||||
| `test-performance-agent` | 受信任活动之后的每日 Codex 慢测试优化 | Main CI 成功或手动分发 |
|
||||
| `openclaw-performance` | 每日/按需 Kova 运行时性能报告,包含 mock-provider、deep-profile 和 GPT 5.4 实时任务线 | 定时和手动分发 |
|
||||
| `android` | 两个 flavor 的 Android 单元测试,以及一个 debug APK 构建 | Android 相关变更 |
|
||||
| `test-performance-agent` | 受信活动后的每日 Codex 慢测试优化 | 主持续集成成功或手动调度 |
|
||||
| `openclaw-performance` | 带有模拟提供商、深度 profile 和 GPT 5.4 实时通道的每日/按需 Kova 运行时性能报告 | 定时调度和手动调度 |
|
||||
|
||||
## 快速失败顺序
|
||||
|
||||
1. `preflight` 决定哪些任务线实际存在。`docs-scope` 和 `changed-scope` 逻辑是此作业内的步骤,而不是独立作业。
|
||||
2. `security-scm-fast`、`security-dependency-audit`、`security-fast`、`check`、`check-additional`、`check-docs` 和 `skills-python` 会快速失败,无需等待更重的产物和平台矩阵作业。
|
||||
3. `build-artifacts` 会与快速 Linux 任务线重叠运行,使下游消费者可在共享构建就绪后立即开始。
|
||||
4. 更重的平台和运行时任务线随后展开:`checks-fast-core`、`checks-fast-contracts-channels`、`checks-node-core-test`、`checks`、`checks-windows`、`macos-node`、`macos-swift` 和 `android`。
|
||||
1. `preflight` 决定哪些通道根本存在。`docs-scope` 和 `changed-scope` 逻辑是此作业内的步骤,不是独立作业。
|
||||
2. `security-scm-fast`、`security-dependency-audit`、`security-fast`、`check`、`check-additional`、`check-docs` 和 `skills-python` 会快速失败,不等待更重的产物和平台矩阵作业。
|
||||
3. `build-artifacts` 与快速 Linux 通道重叠运行,因此下游消费者可以在共享构建就绪后立即开始。
|
||||
4. 更重的平台和运行时通道随后展开:`checks-fast-core`、`checks-fast-contracts-channels`、`checks-node-core-test`、`checks`、`checks-windows`、`macos-node`、`macos-swift` 和 `android`。
|
||||
|
||||
当同一 PR 或 `main` ref 上有较新的推送落地时,GitHub 可能会将被取代的作业标记为 `cancelled`。除非同一 ref 的最新运行也失败,否则应将其视为 CI 噪声。聚合分片检查使用 `!cancelled() && always()`,因此它们仍会报告正常的分片失败,但不会在整个工作流已经被取代后继续排队。自动 CI 并发键带有版本号(`CI-v7-*`),因此 GitHub 侧旧队列组中的僵尸任务无法无限期阻塞较新的 main 运行。手动全套件运行使用 `CI-manual-v1-*`,并且不会取消正在进行的运行。
|
||||
当同一 PR 或 `main` 引用上有更新的推送落地时,GitHub 可能会将被取代的作业标记为 `cancelled`。除非同一引用的最新运行也在失败,否则应将其视为持续集成噪声。聚合分片检查使用 `!cancelled() && always()`,因此它们仍会报告正常的分片失败,但不会在整个工作流已经被取代后继续排队。自动持续集成并发键带有版本号(`CI-v7-*`),因此 GitHub 侧旧队列组中的僵尸任务无法无限期阻塞较新的 main 运行。手动完整套件运行使用 `CI-manual-v1-*`,且不会取消正在进行的运行。
|
||||
|
||||
## 范围和路由
|
||||
## 范围与路由
|
||||
|
||||
范围逻辑位于 `scripts/ci-changed-scope.mjs`,并由 `src/scripts/ci-changed-scope.test.ts` 中的单元测试覆盖。手动分发会跳过变更范围检测,并让 preflight 清单表现得像每个限定范围区域都已变更。
|
||||
范围逻辑位于 `scripts/ci-changed-scope.mjs`,并由 `src/scripts/ci-changed-scope.test.ts` 中的单元测试覆盖。手动调度会跳过变更范围检测,并让 preflight 清单表现得像每个有范围的区域都发生了变更。
|
||||
|
||||
- **CI 工作流编辑** 会验证 Node CI 图和工作流 lint,但不会单独强制运行 Windows、Android 或 macOS 原生构建;这些平台任务线仍限定为平台源代码变更。
|
||||
- **仅 CI 路由编辑、选定的低成本核心测试 fixture 编辑,以及窄范围插件契约 helper/测试路由编辑** 使用快速的仅 Node 清单路径:`preflight`、安全检查,以及单个 `checks-fast-core` 任务。当变更仅限于该快速任务直接覆盖的路由或 helper 表面时,此路径会跳过构建产物、Node 22 兼容性、渠道契约、完整核心分片、内置插件分片和额外守卫矩阵。
|
||||
- **Windows Node 检查** 限定于 Windows 特定的进程/路径 wrapper、npm/pnpm/UI runner helper、包管理器配置,以及执行该任务线的 CI 工作流表面;无关源码、插件、install-smoke 和仅测试变更仍留在 Linux Node 任务线上。
|
||||
- **持续集成工作流编辑**会验证 Node 持续集成图和工作流 lint,但本身不会强制运行 Windows、Android 或 macOS 原生构建;这些平台通道仍限定于平台源代码变更。
|
||||
- **仅持续集成路由编辑、选定的低成本核心测试 fixture 编辑,以及窄范围插件契约 helper/测试路由编辑**会使用快速的仅 Node 清单路径:`preflight`、安全检查和一个 `checks-fast-core` 任务。当变更仅限于该快速任务直接覆盖的路由或 helper 表面时,此路径会跳过构建产物、Node 22 兼容性、渠道契约、完整核心分片、内置插件分片和附加守卫矩阵。
|
||||
- **Windows Node 检查**限定于 Windows 特定的进程/路径包装器、npm/pnpm/UI runner helper、包管理器配置,以及执行该通道的持续集成工作流表面;无关源代码、插件、安装 smoke 和仅测试变更会留在 Linux Node 通道上。
|
||||
|
||||
最慢的 Node 测试族会被拆分或均衡,使每个作业保持较小规模且不会过度预留 runner:渠道契约作为三个加权分片运行,小型核心单元任务线会成对运行,auto-reply 作为四个均衡 worker 运行(reply 子树拆分为 agent-runner、dispatch 和 commands/state-routing 分片),agentic gateway/插件配置会分布在现有仅源码的 agentic Node 作业中,而不是等待构建产物。广泛的浏览器、QA、媒体和杂项插件测试使用它们专用的 Vitest 配置,而不是共享的插件 catch-all。include-pattern 分片使用 CI 分片名称记录计时条目,因此 `.artifacts/vitest-shard-timings.json` 可以区分完整配置和过滤后的分片。`check-additional` 将包边界编译/canary 工作保持在一起,并将运行时拓扑架构与 gateway watch 覆盖分开;边界守卫分片会在一个作业内并发运行其小型独立守卫。Gateway watch、渠道测试和核心支持边界分片会在 `dist/` 和 `dist-runtime/` 已构建后,在 `build-artifacts` 内并发运行。
|
||||
最慢的 Node 测试族会被拆分或均衡,使每个作业保持较小规模且不会过度预留 runner:渠道契约作为三个加权分片运行,小型核心单元通道成对组合,auto-reply 作为四个均衡 worker 运行(reply 子树拆分为 agent-runner、dispatch 和 commands/state-routing 分片),而 agentic gateway/插件配置会分布在现有的仅源代码 agentic Node 作业中,而不是等待构建产物。广泛的浏览器、QA、媒体和杂项插件测试使用各自专用的 Vitest 配置,而不是共享插件 catch-all。包含模式分片使用持续集成分片名称记录计时条目,因此 `.artifacts/vitest-shard-timings.json` 可以区分整个配置和过滤后的分片。`check-additional` 将包边界编译/canary 工作放在一起,并将运行时拓扑架构与 gateway watch 覆盖范围分开;边界守卫分片在一个作业内并发运行其小型独立守卫。Gateway watch、渠道测试和核心支持边界分片会在 `dist/` 与 `dist-runtime/` 已经构建完成后,在 `build-artifacts` 内并发运行。
|
||||
|
||||
Android CI 会同时运行 `testPlayDebugUnitTest` 和 `testThirdPartyDebugUnitTest`,然后构建 Play debug APK。third-party flavor 没有单独的源集或 manifest;它的单元测试任务线仍会使用 SMS/call-log BuildConfig 标志编译该 flavor,同时避免在每个 Android 相关推送上重复运行 debug APK 打包作业。
|
||||
Android 持续集成会同时运行 `testPlayDebugUnitTest` 和 `testThirdPartyDebugUnitTest`,然后构建 Play debug APK。第三方 flavor 没有单独的 source set 或 manifest;其单元测试通道仍会使用 SMS/通话记录 BuildConfig 标志编译该 flavor,同时避免在每次 Android 相关推送上重复执行 debug APK 打包作业。
|
||||
|
||||
`check-dependencies` 分片会运行 `pnpm deadcode:dependencies`(仅生产 Knip 依赖检查,固定到最新 Knip 版本,并为 `dlx` 安装禁用 pnpm 的最小发布年龄)和 `pnpm deadcode:unused-files`,后者会将 Knip 的生产未使用文件发现结果与 `scripts/deadcode-unused-files.allowlist.mjs` 进行比较。当 PR 新增未经审核的未使用文件或留下过期 allowlist 条目时,未使用文件守卫会失败,同时保留 Knip 无法静态解析的有意动态插件、生成文件、构建、实时测试和包桥接表面。
|
||||
`check-dependencies` 分片会运行 `pnpm deadcode:dependencies`(固定到最新 Knip 版本的生产 Knip 仅依赖检查,并在 `dlx` 安装时禁用 pnpm 的最小发布年龄)和 `pnpm deadcode:unused-files`,后者会将 Knip 的生产未使用文件发现结果与 `scripts/deadcode-unused-files.allowlist.mjs` 进行比较。当 PR 添加新的未经审查未使用文件,或留下过期 allowlist 条目时,未使用文件守卫会失败,同时保留 Knip 无法静态解析的有意动态插件、生成产物、构建、实时测试和包桥接表面。
|
||||
|
||||
## ClawSweeper 活动转发
|
||||
|
||||
`.github/workflows/clawsweeper-dispatch.yml` 是从 OpenClaw 仓库活动到 ClawSweeper 的目标侧桥接。它不会 checkout 或执行不受信任的拉取请求代码。该工作流会从 `CLAWSWEEPER_APP_PRIVATE_KEY` 创建 GitHub App token,然后向 `openclaw/clawsweeper` 分发紧凑的 `repository_dispatch` payload。
|
||||
`.github/workflows/clawsweeper-dispatch.yml` 是从 OpenClaw 仓库活动到 ClawSweeper 的目标侧桥接。它不会 checkout 或执行不受信任的拉取请求代码。该工作流会从 `CLAWSWEEPER_APP_PRIVATE_KEY` 创建 GitHub App token,然后将紧凑的 `repository_dispatch` 负载调度到 `openclaw/clawsweeper`。
|
||||
|
||||
该工作流有四条任务线:
|
||||
该工作流有四个通道:
|
||||
|
||||
- `clawsweeper_item` 用于精确的 issue 和拉取请求审查请求;
|
||||
- `clawsweeper_item` 用于精确的 issue 和拉取请求 review 请求;
|
||||
- `clawsweeper_comment` 用于 issue 评论中的显式 ClawSweeper 命令;
|
||||
- `clawsweeper_commit_review` 用于 `main` 推送上的提交级审查请求;
|
||||
- `clawsweeper_commit_review` 用于 `main` 推送上的提交级 review 请求;
|
||||
- `github_activity` 用于 ClawSweeper 智能体可能检查的一般 GitHub 活动。
|
||||
|
||||
`github_activity` 任务线只转发规范化元数据:事件类型、动作、actor、仓库、条目编号、URL、标题、状态,以及存在评论或审查时的短摘录。它有意避免转发完整 webhook body。`openclaw/clawsweeper` 中的接收工作流是 `.github/workflows/github-activity.yml`,它会将规范化事件发布到面向 ClawSweeper 智能体的 OpenClaw Gateway 网关钩子。
|
||||
`github_activity` 通道只转发规范化元数据:事件类型、操作、actor、仓库、条目编号、URL、标题、状态,以及存在时的评论或 review 短摘录。它会有意避免转发完整 webhook body。`openclaw/clawsweeper` 中接收端工作流是 `.github/workflows/github-activity.yml`,它会将规范化事件发布到面向 ClawSweeper 智能体的 OpenClaw Gateway 网关 hook。
|
||||
|
||||
一般活动是观察,而不是默认投递。ClawSweeper 智能体会在其提示中收到 Discord 目标,并且只应在事件令人意外、可操作、有风险或对运营有用时发布到 `#clawsweeper`。常规打开、编辑、bot 噪声、重复 webhook 噪声和正常审查流量应产生 `NO_REPLY`。
|
||||
一般活动是观察,而不是默认投递。ClawSweeper 智能体会在其 prompt 中收到 Discord 目标,并且只有当事件令人意外、可操作、有风险或对运维有用时,才应发布到 `#clawsweeper`。常规打开、编辑、机器人噪声、重复 webhook 噪声和普通 review 流量应产生 `NO_REPLY`。
|
||||
|
||||
在整个路径中,将 GitHub 标题、评论、正文、审查文本、分支名称和提交消息视为不受信任的数据。它们是用于摘要和分诊的输入,而不是工作流或智能体运行时的指令。
|
||||
在整个路径中,将 GitHub 标题、评论、正文、review 文本、分支名称和提交消息视为不受信任的数据。它们是用于总结和分诊的输入,而不是工作流或智能体运行时的指令。
|
||||
|
||||
## 手动分发
|
||||
## 手动调度
|
||||
|
||||
手动 CI 分发运行与普通 CI 相同的作业图,但会强制启用每个非 Android 作用域检查通道:Linux Node 分片、内置插件分片、渠道契约、Node 22 兼容性、`check`、`check-additional`、构建冒烟、文档检查、Python skills、Windows、macOS,以及 Control UI i18n。独立的手动 CI 分发仅在 `include_android=true` 时运行 Android;完整发布伞形流程会通过传入 `include_android=true` 启用 Android。插件预发布静态检查、仅发布使用的 `agentic-plugins` 分片、完整 extension 批量扫描,以及插件预发布 Docker 检查通道不包含在 CI 中。Docker 预发布套件仅在 `Full Release Validation` 分发单独的 `Plugin Prerelease` workflow 并启用发布验证门禁时运行。
|
||||
手动 CI 调度运行与普通 CI 相同的作业图,但会强制启用每个非 Android 作用域执行线:Linux Node 分片、内置插件分片、渠道契约、Node 22 兼容性、`check`、`check-additional`、构建冒烟测试、文档检查、Python Skills、Windows、macOS 和 Control UI i18n。独立的手动 CI 调度仅在 `include_android=true` 时运行 Android;完整发布总控工作流通过传入 `include_android=true` 启用 Android。插件预发布静态检查、仅发布使用的 `agentic-plugins` 分片、完整插件批量扫描以及插件预发布 Docker 执行线都排除在 CI 之外。Docker 预发布套件仅在 `Full Release Validation` 以启用发布验证门控的方式调度单独的 `Plugin Prerelease` 工作流时运行。
|
||||
|
||||
手动运行使用唯一的并发组,因此发布候选完整套件不会被同一 ref 上的另一次 push 或 PR 运行取消。可选的 `target_ref` 输入让受信任的调用方可以在使用所选分发 ref 的 workflow 文件时,针对分支、标签或完整提交 SHA 运行该作业图。
|
||||
手动运行使用唯一的并发组,因此同一 ref 上的其他 push 或 PR 运行不会取消发布候选的完整套件。可选的 `target_ref` 输入允许受信任的调用方在使用所选调度 ref 中的工作流文件的同时,针对分支、标签或完整提交 SHA 运行该作业图。
|
||||
|
||||
```bash
|
||||
gh workflow run ci.yml --ref release/YYYY.M.D
|
||||
@ -100,15 +100,15 @@ gh workflow run full-release-validation.yml --ref main -f ref=<branch-or-sha>
|
||||
|
||||
| 运行器 | 作业 |
|
||||
| -------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| `ubuntu-24.04` | `preflight`、快速安全作业与聚合(`security-scm-fast`、`security-dependency-audit`、`security-fast`)、快速协议/契约/内置检查、分片渠道契约检查、除 lint 外的 `check` 分片、`check-additional` 分片与聚合、Node 测试聚合验证器、文档检查、Python skills、workflow-sanity、labeler、auto-response;install-smoke preflight 也使用 GitHub 托管的 Ubuntu,以便 Blacksmith 矩阵可以更早排队 |
|
||||
| `blacksmith-4vcpu-ubuntu-2404` | `CodeQL Critical Quality`、较低权重的 extension 分片、`checks-fast-core`、`checks-node-compat-node22`、`check-prod-types` 和 `check-test-types` |
|
||||
| `ubuntu-24.04` | `preflight`、快速安全作业和聚合(`security-scm-fast`、`security-dependency-audit`、`security-fast`)、快速协议/契约/内置检查、分片渠道契约检查、除 lint 外的 `check` 分片、`check-additional` 分片和聚合、Node 测试聚合验证器、文档检查、Python Skills、workflow-sanity、labeler、auto-response;install-smoke preflight 也使用 GitHub 托管的 Ubuntu,以便 Blacksmith 矩阵可以更早排队 |
|
||||
| `blacksmith-4vcpu-ubuntu-2404` | `CodeQL Critical Quality`、较低权重的插件分片、`checks-fast-core`、`checks-node-compat-node22`、`check-prod-types` 和 `check-test-types` |
|
||||
| `blacksmith-8vcpu-ubuntu-2404` | `build-artifacts`、build-smoke、Linux Node 测试分片、内置插件测试分片、`android` |
|
||||
| `blacksmith-16vcpu-ubuntu-2404` | `check-lint`(对 CPU 足够敏感,8 vCPU 节省的成本反而低于额外成本);install-smoke Docker 构建(32-vCPU 排队时间成本高于节省的时间) |
|
||||
| `blacksmith-16vcpu-ubuntu-2404` | `check-lint`(对 CPU 足够敏感,8 vCPU 的成本高于节省的成本);install-smoke Docker 构建(32-vCPU 排队时间的成本高于节省的成本) |
|
||||
| `blacksmith-16vcpu-windows-2025` | `checks-windows` |
|
||||
| `blacksmith-6vcpu-macos-latest` | `openclaw/openclaw` 上的 `macos-node`;fork 回退到 `macos-latest` |
|
||||
| `blacksmith-12vcpu-macos-latest` | `openclaw/openclaw` 上的 `macos-swift`;fork 回退到 `macos-latest` |
|
||||
|
||||
## 本地等价命令
|
||||
## 本地等效命令
|
||||
|
||||
```bash
|
||||
pnpm changed:lanes # inspect the local changed-lane classifier for origin/main...HEAD
|
||||
@ -137,28 +137,30 @@ pnpm perf:kova:summary --report .artifacts/kova/reports/mock-provider/report.jso
|
||||
|
||||
## OpenClaw 性能
|
||||
|
||||
`OpenClaw Performance` 是产品/运行时性能 workflow。它每天在 `main` 上运行,也可以手动分发:
|
||||
`OpenClaw Performance` 是产品/运行时性能工作流。它每天在 `main` 上运行,也可以手动调度:
|
||||
|
||||
```bash
|
||||
gh workflow run openclaw-performance.yml --ref main -f profile=diagnostic -f repeat=3
|
||||
gh workflow run openclaw-performance.yml --ref main -f profile=smoke -f repeat=1 -f deep_profile=true -f live_gpt54=true
|
||||
```
|
||||
|
||||
该 workflow 从固定版本安装 OCM,并从固定的 `kova_ref` 输入安装 Kova,然后运行三个检查通道:
|
||||
该工作流从固定的发布版本安装 OCM,并从固定的 `kova_ref` 输入安装 Kova,然后运行三条执行线:
|
||||
|
||||
- `mock-provider`:针对本地构建运行时的 Kova 诊断场景,使用确定性的假 OpenAI 兼容认证。
|
||||
- `mock-deep-profile`:针对启动、Gateway 网关 和 agent turn 热点的 CPU/堆/跟踪分析。
|
||||
- `live-gpt54`:真实的 OpenAI `openai/gpt-5.4` agent turn,当 `OPENAI_API_KEY` 不可用时跳过。
|
||||
- `mock-provider`:针对本地构建运行时运行 Kova 诊断场景,并使用确定性的伪 OpenAI 兼容凭证。
|
||||
- `mock-deep-profile`:针对启动、Gateway 网关和 agent 回合热点进行 CPU/堆/跟踪分析。
|
||||
- `live-gpt54`:真实的 OpenAI `openai/gpt-5.4` agent 回合,在 `OPENAI_API_KEY` 不可用时跳过。
|
||||
|
||||
每个检查通道都会上传 GitHub 构件。配置 `CLAWGRIT_REPORTS_TOKEN` 后,该 workflow 还会将 `report.json`、`report.md`、bundle 和 `index.md` 提交到 `openclaw/clawgrit-reports` 的 `openclaw-performance/<ref>/<run-id>-<attempt>/<lane>/` 下。当前分支指针会写入 `openclaw-performance/<ref>/latest-<lane>.json`。
|
||||
mock-provider 执行线还会在 Kova 通过后运行 OpenClaw 原生源码探针:默认、钩子和 50 个插件启动场景下的 Gateway 网关启动时长和内存;重复的 mock-OpenAI `channel-chat-baseline` hello 循环;以及针对已启动 Gateway 网关的 CLI 启动命令。源码探针 Markdown 摘要位于报告包中的 `source/index.md`,原始 JSON 位于旁边。
|
||||
|
||||
每条执行线都会上传 GitHub 构件。配置 `CLAWGRIT_REPORTS_TOKEN` 后,该工作流还会将 `report.json`、`report.md`、包、`index.md` 和源码探针构件提交到 `openclaw/clawgrit-reports` 的 `openclaw-performance/<ref>/<run-id>-<attempt>/<lane>/` 下。当前分支指针会写入 `openclaw-performance/<ref>/latest-<lane>.json`。
|
||||
|
||||
## 完整发布验证
|
||||
|
||||
`Full Release Validation` 是“发布前运行所有内容”的手动伞形 workflow。它接受分支、标签或完整提交 SHA,分发以该目标为对象的手动 `CI` workflow,分发 `Plugin Prerelease` 以提供仅发布使用的插件/包/静态/Docker 证明,并分发 `OpenClaw Release Checks` 以运行安装冒烟、包验收、Docker 发布路径套件、live/E2E、OpenWebUI、QA Lab parity、Matrix 和 Telegram 检查通道。使用 `rerun_group=all` 和 `release_profile=full` 时,它还会针对来自发布检查的 `release-package-under-test` 构件运行 `NPM Telegram Beta E2E`。发布后,传入 `npm_telegram_package_spec` 可针对已发布的 npm 包重新运行同一个 Telegram 包检查通道。
|
||||
`Full Release Validation` 是“发布前运行所有内容”的手动总控工作流。它接受分支、标签或完整提交 SHA,使用该目标调度手动 `CI` 工作流,调度 `Plugin Prerelease` 以提供仅发布使用的插件/包/静态/Docker 证明,并调度 `OpenClaw Release Checks` 以运行安装冒烟测试、包验收、Docker 发布路径套件、live/E2E、OpenWebUI、QA Lab parity、Matrix 和 Telegram 执行线。使用 `rerun_group=all` 和 `release_profile=full` 时,它还会针对来自发布检查的 `release-package-under-test` 构件运行 `NPM Telegram Beta E2E`。发布后,传入 `npm_telegram_package_spec` 可针对已发布的 npm 包重新运行相同的 Telegram 包执行线。
|
||||
|
||||
参见 [完整发布验证](/zh-CN/reference/full-release-validation),了解阶段矩阵、精确的 workflow 作业名称、配置差异、构件和定向重跑句柄。
|
||||
请参阅[完整发布验证](/zh-CN/reference/full-release-validation),了解阶段矩阵、精确的工作流作业名称、配置差异、构件和定向重跑句柄。
|
||||
|
||||
`OpenClaw Release Publish` 是会产生变更的手动发布 workflow。发布标签存在且 OpenClaw npm preflight 成功后,从 `release/YYYY.M.D` 或 `main` 分发它。它会验证 `pnpm plugins:sync:check`,为所有可发布插件包分发 `Plugin NPM Release`,为同一发布 SHA 分发 `Plugin ClawHub Release`,然后才使用保存的 `preflight_run_id` 分发 `OpenClaw NPM Release`。
|
||||
`OpenClaw Release Publish` 是会执行变更的手动发布工作流。在发布标签已存在且 OpenClaw npm preflight 已成功后,从 `release/YYYY.M.D` 或 `main` 调度它。它会验证 `pnpm plugins:sync:check`,为所有可发布插件包调度 `Plugin NPM Release`,为同一发布 SHA 调度 `Plugin ClawHub Release`,然后才使用保存的 `preflight_run_id` 调度 `OpenClaw NPM Release`。
|
||||
|
||||
```bash
|
||||
gh workflow run openclaw-release-publish.yml \
|
||||
@ -174,29 +176,29 @@ gh workflow run openclaw-release-publish.yml \
|
||||
pnpm ci:full-release --sha <full-sha>
|
||||
```
|
||||
|
||||
GitHub workflow 分发 ref 必须是分支或标签,不能是原始提交 SHA。该辅助命令会在目标 SHA 处推送一个临时 `release-ci/<sha>-...` 分支,从该固定 ref 分发 `Full Release Validation`,验证每个子 workflow 的 `headSha` 都与目标匹配,并在运行完成后删除临时分支。如果任何子 workflow 在不同的 SHA 上运行,伞形验证器也会失败。
|
||||
GitHub 工作流调度 ref 必须是分支或标签,不能是原始提交 SHA。该辅助命令会在目标 SHA 上推送临时 `release-ci/<sha>-...` 分支,从该固定 ref 调度 `Full Release Validation`,验证每个子工作流的 `headSha` 都与目标匹配,并在运行完成后删除临时分支。如果任何子工作流运行在不同的 SHA 上,总控验证器也会失败。
|
||||
|
||||
`release_profile` 控制传入发布检查的 live/provider 覆盖范围。手动发布 workflow 默认使用 `stable`;只有在你明确需要宽泛的 advisory provider/media 矩阵时才使用 `full`。
|
||||
`release_profile` 控制传递给发布检查的 live/提供商覆盖范围。手动发布工作流默认使用 `stable`;仅当你有意需要宽泛的建议性提供商/媒体矩阵时,才使用 `full`。
|
||||
|
||||
- `minimum` 保留最快的 OpenAI/核心发布关键检查通道。
|
||||
- `minimum` 保留最快的 OpenAI/核心发布关键执行线。
|
||||
- `stable` 添加稳定的提供商/后端集合。
|
||||
- `full` 运行宽泛的 advisory provider/media 矩阵。
|
||||
- `full` 运行宽泛的建议性提供商/媒体矩阵。
|
||||
|
||||
伞形流程会记录已分发的子运行 ID,最终的 `Verify full validation` 作业会重新检查当前子运行结论,并为每个子运行追加最慢作业表。如果某个子 workflow 被重跑并变绿,只需重跑父级验证器作业即可刷新伞形结果和耗时摘要。
|
||||
总控工作流会记录已调度的子运行 ID,最终的 `Verify full validation` 作业会重新检查当前子运行结论,并为每个子运行追加最慢作业表。如果子工作流被重新运行并转为绿色,只需重新运行父验证器作业即可刷新总控结果和时序摘要。
|
||||
|
||||
恢复时,`Full Release Validation` 和 `OpenClaw Release Checks` 都接受 `rerun_group`。对发布候选使用 `all`,仅对普通完整 CI 子项使用 `ci`,仅对插件预发布子项使用 `plugin-prerelease`,对每个发布子项使用 `release-checks`,或者在总控项上使用更窄的分组:`install-smoke`、`cross-os`、`live-e2e`、`package`、`qa`、`qa-parity`、`qa-live` 或 `npm-telegram`。这样可以在完成针对性修复后,将失败发布运行的重跑范围限制住。
|
||||
为便于恢复,`Full Release Validation` 和 `OpenClaw Release Checks` 都接受 `rerun_group`。发布候选版本使用 `all`,仅普通完整 CI 子流程使用 `ci`,仅插件预发布子流程使用 `plugin-prerelease`,每个发布子流程使用 `release-checks`,或者在总控流程上使用更窄的组:`install-smoke`、`cross-os`、`live-e2e`、`package`、`qa`、`qa-parity`、`qa-live` 或 `npm-telegram`。这样,在完成针对性修复后,可以把失败发布检查盒的重跑范围限制住。
|
||||
|
||||
`OpenClaw Release Checks` 使用受信任的工作流引用将所选引用解析一次为 `release-package-under-test` tarball,然后把该产物传递给 live/E2E 发布路径 Docker 工作流和包验收分片。这样可让各发布运行中的包字节保持一致,并避免在多个子任务中重复打包同一个候选。
|
||||
`OpenClaw Release Checks` 使用受信任的工作流 ref 将所选 ref 解析一次为 `release-package-under-test` tarball,然后把该工件传给 live/E2E 发布路径 Docker 工作流和包验收分片。这样可以让发布检查盒之间的软件包字节保持一致,并避免在多个子作业中重复打包同一个候选版本。
|
||||
|
||||
对于 `ref=main` 和 `rerun_group=all` 的重复 `Full Release Validation` 运行会取代较旧的总控项。父监控器会在父项被取消时取消它已经调度的任何子工作流,因此新的 main 验证不会卡在过期的两小时 release-check 运行后面。发布分支/标签验证和针对性重跑分组保留 `cancel-in-progress: false`。
|
||||
`ref=main` 和 `rerun_group=all` 的重复 `Full Release Validation` 运行会取代较旧的总控流程。父级监视器会在父级被取消时,取消它已调度的任何子工作流,因此较新的 main 验证不会排在过期的两小时 release-check 运行之后。发布分支/标签验证和针对性重跑组会保留 `cancel-in-progress: false`。
|
||||
|
||||
## Live 和 E2E 分片
|
||||
|
||||
发布 live/E2E 子项保留广泛的原生 `pnpm test:live` 覆盖,但它通过 `scripts/test-live-shard.mjs` 作为命名分片运行,而不是作为一个串行任务运行:
|
||||
发布 live/E2E 子流程保留了广泛的原生 `pnpm test:live` 覆盖范围,但它通过 `scripts/test-live-shard.mjs` 以命名分片运行,而不是用一个串行作业:
|
||||
|
||||
- `native-live-src-agents`
|
||||
- `native-live-src-gateway-core`
|
||||
- 按提供商过滤的 `native-live-src-gateway-profiles` 任务
|
||||
- provider 过滤的 `native-live-src-gateway-profiles` 作业
|
||||
- `native-live-src-gateway-backends`
|
||||
- `native-live-test`
|
||||
- `native-live-extensions-a-k`
|
||||
@ -204,59 +206,59 @@ GitHub workflow 分发 ref 必须是分支或标签,不能是原始提交 SHA
|
||||
- `native-live-extensions-openai`
|
||||
- `native-live-extensions-o-z-other`
|
||||
- `native-live-extensions-xai`
|
||||
- 拆分的媒体音频/视频分片和按提供商过滤的音乐分片
|
||||
- 拆分后的媒体音频/视频分片,以及 provider 过滤的音乐分片
|
||||
|
||||
这样既保持相同的文件覆盖范围,又让较慢的 live 提供商失败更容易重跑和诊断。聚合的 `native-live-extensions-o-z`、`native-live-extensions-media` 和 `native-live-extensions-media-music` 分片名称仍可用于手动一次性重跑。
|
||||
这样可以保持相同的文件覆盖范围,同时让较慢的 live provider 失败更容易重跑和诊断。聚合的 `native-live-extensions-o-z`、`native-live-extensions-media` 和 `native-live-extensions-media-music` 分片名称仍可用于手动一次性重跑。
|
||||
|
||||
原生 live 媒体分片在 `ghcr.io/openclaw/openclaw-live-media-runner:ubuntu-24.04` 中运行,该镜像由 `Live Media Runner Image` 工作流构建。该镜像预装了 `ffmpeg` 和 `ffprobe`;媒体任务只会在设置前验证这些二进制文件。将 Docker 支撑的 live 套件保留在普通 Blacksmith runner 上运行,容器任务不适合启动嵌套 Docker 测试。
|
||||
原生 live 媒体分片在 `ghcr.io/openclaw/openclaw-live-media-runner:ubuntu-24.04` 中运行,该镜像由 `Live Media Runner Image` 工作流构建。该镜像预装 `ffmpeg` 和 `ffprobe`;媒体作业只在设置前验证这些二进制文件。把 Docker 支持的 live 测试套件保留在普通 Blacksmith runner 上,容器作业不适合启动嵌套 Docker 测试。
|
||||
|
||||
Docker 支撑的 live 模型/后端分片为每个所选提交使用单独的共享 `ghcr.io/openclaw/openclaw-live-test:<sha>` 镜像。live 发布工作流会构建并推送该镜像一次,然后 Docker live 模型、按提供商分片的 Gateway 网关、CLI 后端、ACP 绑定和 Codex harness 分片会以 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行。Gateway 网关 Docker 分片带有明确的脚本级 `timeout` 上限,低于工作流任务超时,因此卡住的容器或清理路径会快速失败,而不是消耗完整的 release-check 预算。如果这些分片独立重建完整源 Docker 目标,则说明发布运行配置错误,并会在重复镜像构建上浪费实际时间。
|
||||
Docker 支持的 live 模型/backend 分片会为每个选定提交使用单独的共享 `ghcr.io/openclaw/openclaw-live-test:<sha>` 镜像。live 发布工作流会构建并推送该镜像一次,然后 Docker live 模型、provider 分片的 Gateway 网关、CLI backend、ACP bind 和 Codex harness 分片会以 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行。Gateway 网关 Docker 分片带有显式脚本级 `timeout` 上限,低于工作流作业超时,因此卡住的容器或清理路径会快速失败,而不是耗尽整个 release-check 预算。如果这些分片独立重新构建完整源 Docker 目标,说明发布运行配置有误,并会在重复镜像构建上浪费墙钟时间。
|
||||
|
||||
## 包验收
|
||||
|
||||
当问题是“这个可安装的 OpenClaw 包是否作为产品正常工作?”时,使用 `Package Acceptance`。它不同于普通 CI:普通 CI 验证源码树,而包验收会通过用户在安装或更新后实际使用的同一个 Docker E2E harness 验证单个 tarball。
|
||||
当问题是“这个可安装的 OpenClaw 包是否能作为产品工作?”时,使用 `Package Acceptance`。它不同于普通 CI:普通 CI 验证源代码树,而包验收会通过用户在安装或更新后使用的同一个 Docker E2E harness 来验证单个 tarball。
|
||||
|
||||
### 任务
|
||||
### 作业
|
||||
|
||||
1. `resolve_package` 检出 `workflow_ref`,解析一个包候选,写入 `.artifacts/docker-e2e-package/openclaw-current.tgz`,写入 `.artifacts/docker-e2e-package/package-candidate.json`,将两者作为 `package-under-test` 产物上传,并在 GitHub 步骤摘要中打印来源、工作流引用、包引用、版本、SHA-256 和配置文件。
|
||||
2. `docker_acceptance` 使用 `ref=workflow_ref` 和 `package_artifact_name=package-under-test` 调用 `openclaw-live-and-e2e-checks-reusable.yml`。可复用工作流会下载该产物,验证 tarball 清单,在需要时准备包摘要 Docker 镜像,并针对该包运行所选 Docker lane,而不是打包工作流检出内容。当某个配置文件选择多个定向 `docker_lanes` 时,可复用工作流会准备包和共享镜像一次,然后将这些 lane 扇出为并行的定向 Docker 任务,并使用唯一产物。
|
||||
3. `package_telegram` 可选调用 `NPM Telegram Beta E2E`。当 `telegram_mode` 不是 `none` 时它会运行,并在包验收解析出包时安装同一个 `package-under-test` 产物;独立 Telegram 调度仍可安装已发布的 npm 规格。
|
||||
4. `summary` 会在包解析、Docker 验收或可选 Telegram lane 失败时让工作流失败。
|
||||
1. `resolve_package` 检出 `workflow_ref`,解析一个软件包候选,写入 `.artifacts/docker-e2e-package/openclaw-current.tgz`,写入 `.artifacts/docker-e2e-package/package-candidate.json`,将两者作为 `package-under-test` 工件上传,并在 GitHub 步骤摘要中打印来源、工作流 ref、软件包 ref、版本、SHA-256 和 profile。
|
||||
2. `docker_acceptance` 使用 `ref=workflow_ref` 和 `package_artifact_name=package-under-test` 调用 `openclaw-live-and-e2e-checks-reusable.yml`。可复用工作流会下载该工件,验证 tarball 清单,在需要时准备 package-digest Docker 镜像,并针对该软件包运行所选 Docker lane,而不是打包工作流检出内容。当一个 profile 选择多个目标 `docker_lanes` 时,可复用工作流会准备一次软件包和共享镜像,然后将这些 lane 扇出为并行的目标 Docker 作业,并生成唯一工件。
|
||||
3. `package_telegram` 可选地调用 `NPM Telegram Beta E2E`。当 `telegram_mode` 不是 `none` 时运行;如果包验收解析出了一个包,它会安装同一个 `package-under-test` 工件;独立 Telegram 调度仍然可以安装已发布的 npm spec。
|
||||
4. `summary` 会在软件包解析、Docker 验收或可选 Telegram lane 失败时让工作流失败。
|
||||
|
||||
### 候选来源
|
||||
|
||||
- `source=npm` 只接受 `openclaw@beta`、`openclaw@latest`,或精确的 OpenClaw 发布版本,例如 `openclaw@2026.4.27-beta.2`。将它用于已发布 beta/稳定版验收。
|
||||
- `source=ref` 会打包受信任的 `package_ref` 分支、标签或完整提交 SHA。解析器会获取 OpenClaw 分支/标签,验证所选提交可从仓库分支历史或发布标签到达,在分离 worktree 中安装依赖,并使用 `scripts/package-openclaw-for-docker.mjs` 打包。
|
||||
- `source=npm` 只接受 `openclaw@beta`、`openclaw@latest`,或类似 `openclaw@2026.4.27-beta.2` 的精确 OpenClaw 发布版本。将它用于已发布 beta/稳定版验收。
|
||||
- `source=ref` 会打包受信任的 `package_ref` 分支、标签或完整提交 SHA。解析器会获取 OpenClaw 分支/标签,验证所选提交可从仓库分支历史或发布标签到达,在 detached worktree 中安装依赖,并使用 `scripts/package-openclaw-for-docker.mjs` 打包。
|
||||
- `source=url` 下载 HTTPS `.tgz`;必须提供 `package_sha256`。
|
||||
- `source=artifact` 从 `artifact_run_id` 和 `artifact_name` 下载一个 `.tgz`;`package_sha256` 可选,但对于外部共享的产物应提供。
|
||||
- `source=artifact` 从 `artifact_run_id` 和 `artifact_name` 下载一个 `.tgz`;`package_sha256` 可选,但对外部共享工件应提供。
|
||||
|
||||
保持 `workflow_ref` 和 `package_ref` 分离。`workflow_ref` 是运行测试的受信任工作流/harness 代码。`package_ref` 是 `source=ref` 时要打包的源提交。这样当前测试 harness 可以验证较旧的受信任源提交,而不运行旧工作流逻辑。
|
||||
保持 `workflow_ref` 和 `package_ref` 分离。`workflow_ref` 是运行测试的受信任工作流/harness 代码。`package_ref` 是 `source=ref` 时被打包的源提交。这样当前测试 harness 就可以验证较旧的受信任源提交,而不运行旧的工作流逻辑。
|
||||
|
||||
### 套件配置文件
|
||||
### 套件 profile
|
||||
|
||||
- `smoke` — `npm-onboard-channel-agent`、`gateway-network`、`config-reload`
|
||||
- `package` — `npm-onboard-channel-agent`、`doctor-switch`、`update-channel-switch`、`upgrade-survivor`、`published-upgrade-survivor`、`plugins-offline`、`plugin-update`
|
||||
- `product` — `package` 加上 `mcp-channels`、`cron-mcp-cleanup`、`openai-web-search-minimal`、`openwebui`
|
||||
- `full` — 带 OpenWebUI 的完整 Docker 发布路径分块
|
||||
- `custom` — 精确的 `docker_lanes`;当 `suite_profile=custom` 时必填
|
||||
- `custom` — 精确的 `docker_lanes`;当 `suite_profile=custom` 时必需
|
||||
|
||||
`package` 配置文件使用离线插件覆盖,因此已发布包验证不会受 live ClawHub 可用性限制。可选 Telegram lane 会在 `NPM Telegram Beta E2E` 中复用 `package-under-test` 产物,同时保留已发布 npm 规格路径用于独立调度。
|
||||
`package` profile 使用离线插件覆盖范围,因此已发布软件包验证不会受 live ClawHub 可用性限制。可选 Telegram lane 会在 `NPM Telegram Beta E2E` 中复用 `package-under-test` 工件,同时为独立调度保留已发布 npm spec 路径。
|
||||
|
||||
有关专用的更新和插件测试策略,包括本地命令、Docker lane、包验收输入、发布默认值和失败分诊,请参阅[更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
有关专用更新和插件测试策略,包括本地命令、Docker lane、包验收输入、发布默认值和失败分诊,请参阅 [更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
|
||||
发布检查会使用 `source=artifact`、准备好的发布包产物、`suite_profile=custom`、`docker_lanes='doctor-switch update-channel-switch upgrade-survivor published-upgrade-survivor plugins-offline plugin-update'`、`published_upgrade_survivor_baselines=release-history`、`published_upgrade_survivor_scenarios=reported-issues` 和 `telegram_mode=mock-openai` 调用包验收。这样可让包迁移、更新、过期插件依赖清理、已配置插件安装修复、离线插件、插件更新和 Telegram 证明都基于同一个已解析包 tarball。跨 OS 发布检查仍覆盖 OS 特定的新手引导、安装器和平台行为;包/更新产品验证应从包验收开始。`published-upgrade-survivor` Docker lane 每次运行验证一个已发布包基线。在包验收中,解析出的 `package-under-test` tarball 始终是候选,而 `published_upgrade_survivor_baseline` 选择回退的已发布基线,默认值为 `openclaw@latest`;失败 lane 重跑命令会保留该基线。设置 `published_upgrade_survivor_baselines=release-history` 可将该 lane 扩展到一个去重历史矩阵:最新六个稳定版本、`2026.4.23`,以及 `2026-03-15` 之前的最新稳定版本。设置 `published_upgrade_survivor_scenarios=reported-issues` 可将相同基线扩展到按问题形态构造的 fixture,覆盖 Feishu 配置、保留的 bootstrap/persona 文件、已配置的 OpenClaw 插件安装、波浪号日志路径和过期旧版插件依赖根。单独的 `Update Migration` 工作流在问题是穷尽式已发布更新清理,而非普通完整发布 CI 广度时,会使用带 `all-since-2026.4.23` 和 `plugin-deps-cleanup` 的 `update-migration` Docker lane。本地聚合运行可以通过 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 传入精确包规格,通过 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 保持单个 lane,例如 `openclaw@2026.4.15`,或设置 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS` 用于场景矩阵。已发布 lane 会使用内置的 `openclaw config set` 命令配方配置基线,在 `summary.json` 中记录配方步骤,并在 Gateway 网关启动后探测 `/healthz`、`/readyz` 以及 RPC Status。Windows 打包和安装器全新 lane 还会验证已安装包能从原始绝对 Windows 路径导入 browser-control override。OpenAI 跨 OS agent-turn 冒烟测试在设置时默认使用 `OPENCLAW_CROSS_OS_OPENAI_MODEL`,否则使用 `openai/gpt-5.4`,因此安装和 Gateway 网关证明会保持在 GPT-5 测试模型上,同时避免 GPT-4.x 默认值。
|
||||
发布检查会用 `source=artifact`、准备好的发布包工件、`suite_profile=custom`、`docker_lanes='doctor-switch update-channel-switch upgrade-survivor published-upgrade-survivor plugins-offline plugin-update'`、`published_upgrade_survivor_baselines=release-history`、`published_upgrade_survivor_scenarios=reported-issues` 和 `telegram_mode=mock-openai` 调用包验收。这样可以让软件包迁移、更新、过期插件依赖清理、已配置插件安装修复、离线插件、插件更新和 Telegram 证明都基于同一个已解析软件包 tarball。Cross-OS 发布检查仍覆盖特定 OS 的新手引导、安装器和平台行为;软件包/更新产品验证应从包验收开始。`published-upgrade-survivor` Docker lane 每次运行验证一个已发布软件包基线。在包验收中,已解析的 `package-under-test` tarball 始终是候选包,`published_upgrade_survivor_baseline` 选择回退的已发布基线,默认值为 `openclaw@latest`;失败 lane 的重跑命令会保留该基线。设置 `published_upgrade_survivor_baselines=release-history` 可将该 lane 扩展到去重后的历史矩阵:最新六个稳定版本、`2026.4.23`,以及 `2026-03-15` 之前的最新稳定版本。设置 `published_upgrade_survivor_scenarios=reported-issues` 可将相同基线扩展到面向 issue 的 fixture,覆盖 Feishu 配置、保留的 bootstrap/persona 文件、已配置的 OpenClaw 插件安装、波浪线日志路径,以及过期旧版插件依赖根目录。单独的 `Update Migration` 工作流会在问题是穷尽式已发布更新清理,而不是普通 Full Release CI 广度时,使用带 `all-since-2026.4.23` 和 `plugin-deps-cleanup` 的 `update-migration` Docker lane。本地聚合运行可以通过 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 传入精确软件包 spec,通过 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 保留单个 lane,例如 `openclaw@2026.4.15`,或为场景矩阵设置 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS`。已发布 lane 会通过内置的 `openclaw config set` 命令配方配置基线,在 `summary.json` 中记录配方步骤,并在 Gateway 网关启动后探测 `/healthz`、`/readyz` 和 RPC Status。Windows 打包版和安装器全新安装 lane 也会验证已安装包能从原始绝对 Windows 路径导入 browser-control override。OpenAI cross-OS agent-turn smoke 在设置 `OPENCLAW_CROSS_OS_OPENAI_MODEL` 时默认使用它,否则使用 `openai/gpt-5.4`,因此安装和 Gateway 网关证明会保留在 GPT-5 测试模型上,同时避免 GPT-4.x 默认值。
|
||||
|
||||
### 旧版兼容窗口
|
||||
|
||||
包验收为已经发布的包提供有界的旧版兼容窗口。直到 `2026.4.25` 的包,包括 `2026.4.25-beta.*`,可以使用兼容路径:
|
||||
包验收为已发布软件包提供有界的旧版兼容窗口。到 `2026.4.25` 为止的软件包,包括 `2026.4.25-beta.*`,可以使用兼容路径:
|
||||
|
||||
- `dist/postinstall-inventory.json` 中已知的私有 QA 条目可以指向 tarball 省略的文件;
|
||||
- 当包未暴露 `gateway install --wrapper` 标志时,`doctor-switch` 可以跳过 `gateway install --wrapper` 持久化子用例;
|
||||
- `update-channel-switch` 可以从 tarball 派生的假 git fixture 中移除缺失的 `pnpm.patchedDependencies`,并且可以记录缺失的持久化 `update.channel`;
|
||||
- 插件冒烟测试可以读取旧版安装记录位置,或接受缺失的 marketplace 安装记录持久化;
|
||||
- `plugin-update` 可以允许配置元数据迁移,同时仍要求安装记录和无重装行为保持不变。
|
||||
- 当软件包未暴露 `gateway install --wrapper` 标志时,`doctor-switch` 可以跳过其持久化子用例;
|
||||
- `update-channel-switch` 可以从 tarball 派生的伪 git fixture 中剪除缺失的 `pnpm.patchedDependencies`,并可以记录缺失的持久化 `update.channel`;
|
||||
- 插件 smoke 可以读取旧版安装记录位置,或接受缺失的 marketplace 安装记录持久化;
|
||||
- `plugin-update` 可以允许配置元数据迁移,同时仍要求安装记录和不重装行为保持不变。
|
||||
|
||||
已发布的 `2026.4.26` 包也可以对已经发布的本地构建元数据戳文件发出警告。后续包必须满足现代契约;相同条件会失败,而不是警告或跳过。
|
||||
已发布的 `2026.4.26` 软件包也可以对已交付的本地构建元数据戳文件发出警告。更晚的软件包必须满足现代契约;相同条件会失败,而不是警告或跳过。
|
||||
|
||||
### 示例
|
||||
|
||||
@ -299,111 +301,111 @@ gh workflow run package-acceptance.yml \
|
||||
-f docker_lanes='install-e2e plugin-update'
|
||||
```
|
||||
|
||||
调试失败的包验收运行时,先查看 `resolve_package` 摘要,确认包来源、版本和 SHA-256。然后检查 `docker_acceptance` 子运行及其 Docker 工件:`.artifacts/docker-tests/**/summary.json`、`failures.json`、lane 日志、阶段耗时和重新运行命令。优先重新运行失败的包配置文件或精确 Docker lane,而不是重新运行完整发布验证。
|
||||
调试失败的包验收运行时,先从 `resolve_package` 摘要开始,确认包来源、版本和 SHA-256。然后检查 `docker_acceptance` 子运行及其 Docker 工件:`.artifacts/docker-tests/**/summary.json`、`failures.json`、lane 日志、阶段计时和重新运行命令。优先重新运行失败的包 profile 或精确的 Docker lanes,而不是重新运行完整发布验证。
|
||||
|
||||
## 安装冒烟测试
|
||||
|
||||
独立的 `Install Smoke` 工作流通过自己的 `preflight` 作业复用同一个范围脚本。它将冒烟覆盖拆分为 `run_fast_install_smoke` 和 `run_full_install_smoke`。
|
||||
独立的 `Install Smoke` 工作流通过自己的 `preflight` job 复用同一个范围脚本。它将冒烟覆盖拆分为 `run_fast_install_smoke` 和 `run_full_install_smoke`。
|
||||
|
||||
- **快速路径**会在拉取请求触及 Docker/包表面、内置插件包/清单变更,或 Docker 冒烟作业会覆盖的核心插件/渠道/Gateway 网关/插件 SDK 表面时运行。仅源代码的内置插件变更、仅测试编辑和仅文档编辑不会预留 Docker worker。快速路径会构建一次根 Dockerfile 镜像,检查 CLI,运行 agents 删除共享工作区 CLI 冒烟测试,运行容器 gateway-network e2e,验证一个内置扩展构建参数,并在 240 秒聚合命令超时内运行有界的内置插件 Docker 配置文件(每个场景的 Docker 运行单独设上限)。
|
||||
- **完整路径**为 nightly 定时运行、手动调度、workflow-call 发布检查,以及真正触及安装器/包/Docker 表面的拉取请求保留 QR 包安装和安装器 Docker/更新覆盖。在完整模式下,install-smoke 会准备或复用一个目标 SHA 的 GHCR 根 Dockerfile 冒烟镜像,然后将 QR 包安装、根 Dockerfile/Gateway 网关冒烟测试、安装器/更新冒烟测试,以及快速内置插件 Docker E2E 作为独立作业运行,这样安装器工作就不会排在根镜像冒烟测试后面等待。
|
||||
- **快速路径**会在拉取请求触及 Docker/包表面、内置插件包/manifest 变更,或 Docker 冒烟 job 会覆盖的核心插件/渠道/Gateway 网关/插件 SDK 表面时运行。仅源码的内置插件变更、仅测试编辑和仅文档编辑不会预留 Docker worker。快速路径会构建一次根 Dockerfile 镜像,检查 CLI,运行 agents 删除共享工作区的 CLI 冒烟测试,运行容器 gateway-network e2e,验证一个内置插件 build arg,并在 240 秒聚合命令超时内运行有界的内置插件 Docker profile(每个场景的 Docker 运行单独设限)。
|
||||
- **完整路径**保留 QR 包安装以及安装器 Docker/更新覆盖,用于夜间定时运行、手动派发、workflow-call 发布检查,以及真正触及安装器/包/Docker 表面的拉取请求。在完整模式下,install-smoke 会准备或复用一个目标 SHA 的 GHCR 根 Dockerfile 冒烟镜像,然后将 QR 包安装、根 Dockerfile/Gateway 网关冒烟测试、安装器/更新冒烟测试,以及快速内置插件 Docker E2E 作为独立 job 运行,这样安装器工作就不必排在根镜像冒烟测试之后等待。
|
||||
|
||||
`main` 推送(包括合并提交)不会强制使用完整路径;当变更范围逻辑会在推送上请求完整覆盖时,工作流保留快速 Docker 冒烟测试,并将完整安装冒烟测试留给 nightly 或发布验证。
|
||||
`main` 推送(包括合并提交)不会强制走完整路径;当变更范围逻辑会在推送上请求完整覆盖时,工作流会保留快速 Docker 冒烟测试,并把完整安装冒烟测试留给夜间运行或发布验证。
|
||||
|
||||
较慢的 Bun 全局安装 image-provider 冒烟测试由 `run_bun_global_install_smoke` 单独控制。它会在 nightly 定时任务和发布检查工作流中运行,手动 `Install Smoke` 调度也可以选择加入它,但拉取请求和 `main` 推送不会运行它。QR 和安装器 Docker 测试保留它们各自面向安装的 Dockerfile。
|
||||
较慢的 Bun 全局安装 image-provider 冒烟测试由 `run_bun_global_install_smoke` 单独控制。它会在夜间计划任务和发布检查工作流中运行,手动 `Install Smoke` 派发也可以选择启用它,但拉取请求和 `main` 推送不会运行它。QR 和安装器 Docker 测试保留各自面向安装的 Dockerfile。
|
||||
|
||||
## 本地 Docker E2E
|
||||
|
||||
`pnpm test:docker:all` 会预构建一个共享 live-test 镜像,将 OpenClaw 打包一次为 npm tarball,并构建两个共享的 `scripts/e2e/Dockerfile` 镜像:
|
||||
|
||||
- 一个用于安装器/更新/插件依赖 lane 的裸 Node/Git runner;
|
||||
- 一个将同一个 tarball 安装到 `/app` 中、用于普通功能 lane 的功能镜像。
|
||||
- 一个用于安装器/更新/插件依赖 lanes 的裸 Node/Git runner;
|
||||
- 一个功能镜像,会将同一个 tarball 安装到 `/app`,用于常规功能 lanes。
|
||||
|
||||
Docker lane 定义位于 `scripts/lib/docker-e2e-scenarios.mjs`,规划器逻辑位于 `scripts/lib/docker-e2e-plan.mjs`,runner 只执行所选计划。调度器通过 `OPENCLAW_DOCKER_E2E_BARE_IMAGE` 和 `OPENCLAW_DOCKER_E2E_FUNCTIONAL_IMAGE` 为每个 lane 选择镜像,然后以 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行 lane。
|
||||
Docker lane 定义位于 `scripts/lib/docker-e2e-scenarios.mjs`,planner 逻辑位于 `scripts/lib/docker-e2e-plan.mjs`,runner 只执行选中的计划。调度器使用 `OPENCLAW_DOCKER_E2E_BARE_IMAGE` 和 `OPENCLAW_DOCKER_E2E_FUNCTIONAL_IMAGE` 为每个 lane 选择镜像,然后以 `OPENCLAW_SKIP_DOCKER_BUILD=1` 运行 lanes。
|
||||
|
||||
### 可调参数
|
||||
|
||||
| 变量 | 默认值 | 用途 |
|
||||
| -------------------------------------- | ------- | --------------------------------------------------------------------------------------------- |
|
||||
| `OPENCLAW_DOCKER_ALL_PARALLELISM` | 10 | 普通 lane 的主池 slot 数量。 |
|
||||
| `OPENCLAW_DOCKER_ALL_TAIL_PARALLELISM` | 10 | 对提供商敏感的尾部池 slot 数量。 |
|
||||
| `OPENCLAW_DOCKER_ALL_PARALLELISM` | 10 | 常规 lanes 的主池 slot 数。 |
|
||||
| `OPENCLAW_DOCKER_ALL_TAIL_PARALLELISM` | 10 | 对提供商敏感的尾池 slot 数。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LIVE_LIMIT` | 9 | 并发 live lane 上限,避免提供商限流。 |
|
||||
| `OPENCLAW_DOCKER_ALL_NPM_LIMIT` | 10 | 并发 npm install lane 上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT` | 7 | 并发多服务 lane 上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_START_STAGGER_MS` | 2000 | lane 启动之间的错峰时间,用于避免 Docker daemon 创建风暴;设为 `0` 表示不做错峰。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LANE_TIMEOUT_MS` | 7200000 | 每个 lane 的兜底超时(120 分钟);所选 live/tail lane 使用更严格的上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_DRY_RUN` | 未设置 | `1` 会打印调度器计划而不运行 lane。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LANES` | 未设置 | 逗号分隔的精确 lane 列表;跳过清理冒烟测试,以便智能体复现一个失败的 lane。 |
|
||||
| `OPENCLAW_DOCKER_ALL_START_STAGGER_MS` | 2000 | lane 启动之间的错峰时间,用于避免 Docker daemon create 风暴;设为 `0` 表示不做错峰。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LANE_TIMEOUT_MS` | 7200000 | 每个 lane 的兜底超时(120 分钟);选定的 live/tail lanes 使用更严格的上限。 |
|
||||
| `OPENCLAW_DOCKER_ALL_DRY_RUN` | 未设置 | `1` 会打印调度器计划,而不运行 lanes。 |
|
||||
| `OPENCLAW_DOCKER_ALL_LANES` | 未设置 | 逗号分隔的精确 lane 列表;跳过清理冒烟测试,便于智能体复现单个失败 lane。 |
|
||||
|
||||
比有效上限更重的 lane 仍可从空池启动,然后独占运行,直到释放容量。本地聚合会预检 Docker,移除陈旧的 OpenClaw E2E 容器,输出活动 lane 状态,持久化 lane 耗时以支持 longest-first 排序,并默认在首次失败后停止调度新的池化 lane。
|
||||
比有效上限更重的 lane 仍然可以从空池启动,然后独占运行,直到释放容量。本地聚合会预检 Docker,移除过期的 OpenClaw E2E 容器,输出活跃 lane Status,持久化 lane 计时以便按最长优先排序,并且默认在首次失败后停止调度新的池化 lanes。
|
||||
|
||||
### 可复用 live/E2E 工作流
|
||||
### 可复用的 live/E2E 工作流
|
||||
|
||||
可复用 live/E2E 工作流会询问 `scripts/test-docker-all.mjs --plan-json` 需要哪些包、镜像类型、live 镜像、lane 和凭证覆盖。随后 `scripts/docker-e2e.mjs` 将该计划转换为 GitHub 输出和摘要。它会通过 `scripts/package-openclaw-for-docker.mjs` 打包 OpenClaw,下载当前运行的包工件,或从 `package_artifact_run_id` 下载包工件;验证 tarball 清单;当计划需要已安装包的 lane 时,通过 Blacksmith 的 Docker 层缓存构建并推送带包摘要标签的裸/功能 GHCR Docker E2E 镜像;并在提供了 `docker_e2e_bare_image`/`docker_e2e_functional_image` 输入或已有包摘要镜像时复用它们,而不是重新构建。Docker 镜像拉取会以有界的每次 180 秒超时重试,因此卡住的 registry/cache 流会快速重试,而不会消耗 CI 关键路径的大部分时间。
|
||||
可复用的 live/E2E 工作流会询问 `scripts/test-docker-all.mjs --plan-json` 需要哪种包、镜像类型、live 镜像、lane 和凭证覆盖。随后 `scripts/docker-e2e.mjs` 会将该计划转换为 GitHub 输出和摘要。它会通过 `scripts/package-openclaw-for-docker.mjs` 打包 OpenClaw,下载当前运行的包工件,或从 `package_artifact_run_id` 下载包工件;验证 tarball inventory;当计划需要已安装包的 lanes 时,通过 Blacksmith 的 Docker layer cache 构建并推送带包摘要 tag 的裸/功能 GHCR Docker E2E 镜像;并且会复用提供的 `docker_e2e_bare_image`/`docker_e2e_functional_image` 输入或已有的包摘要镜像,而不是重新构建。Docker 镜像拉取会以每次尝试 180 秒的有界超时重试,这样卡住的 registry/cache 流会快速重试,而不是消耗 CI 关键路径的大部分时间。
|
||||
|
||||
### 发布路径分块
|
||||
|
||||
发布 Docker 覆盖使用较小的分块作业,并设置 `OPENCLAW_SKIP_DOCKER_BUILD=1`,因此每个分块只拉取它所需的镜像类型,并通过同一个加权调度器执行多个 lane:
|
||||
发布 Docker 覆盖会运行更小的分块 job,并使用 `OPENCLAW_SKIP_DOCKER_BUILD=1`,这样每个分块只拉取它需要的镜像类型,并通过同一个加权调度器执行多个 lanes:
|
||||
|
||||
- `OPENCLAW_DOCKER_ALL_PROFILE=release-path`
|
||||
- `OPENCLAW_DOCKER_ALL_CHUNK=core | package-update-openai | package-update-anthropic | package-update-core | plugins-runtime-plugins | plugins-runtime-services | plugins-runtime-install-a..h`
|
||||
|
||||
当前发布 Docker 分块包括 `core`、`package-update-openai`、`package-update-anthropic`、`package-update-core`、`plugins-runtime-plugins`、`plugins-runtime-services`,以及 `plugins-runtime-install-a` 到 `plugins-runtime-install-h`。`plugins-runtime-core`、`plugins-runtime` 和 `plugins-integrations` 仍作为聚合插件/运行时别名保留。`install-e2e` lane 别名仍是两个提供商安装器 lane 的聚合手动重新运行别名。
|
||||
当前发布 Docker 分块包括 `core`、`package-update-openai`、`package-update-anthropic`、`package-update-core`、`plugins-runtime-plugins`、`plugins-runtime-services`,以及从 `plugins-runtime-install-a` 到 `plugins-runtime-install-h`。`plugins-runtime-core`、`plugins-runtime` 和 `plugins-integrations` 仍然是聚合插件/运行时别名。`install-e2e` lane 别名仍然是两个提供商安装器 lanes 的聚合手动重新运行别名。
|
||||
|
||||
当完整 release-path 覆盖请求 OpenWebUI 时,OpenWebUI 会并入 `plugins-runtime-services`,并且仅为 OpenWebUI-only 调度保留独立的 `openwebui` 分块。内置渠道更新 lane 会对瞬时 npm 网络失败重试一次。
|
||||
当完整 release-path 覆盖请求 OpenWebUI 时,OpenWebUI 会并入 `plugins-runtime-services`,只有在仅 OpenWebUI 的派发中才保留独立的 `openwebui` 分块。内置渠道更新 lanes 会针对瞬时 npm 网络故障重试一次。
|
||||
|
||||
每个分块都会上传 `.artifacts/docker-tests/`,其中包含 lane 日志、耗时、`summary.json`、`failures.json`、阶段耗时、调度器计划 JSON、慢 lane 表和每个 lane 的重新运行命令。工作流 `docker_lanes` 输入会针对已准备的镜像运行所选 lane,而不是运行分块作业,这会将失败 lane 调试限制在一个有目标的 Docker 作业内,并为该运行准备、下载或复用包工件;如果所选 lane 是 live Docker lane,目标作业会在本地为该重新运行构建 live-test 镜像。生成的每个 lane GitHub 重新运行命令会在这些值存在时包含 `package_artifact_run_id`、`package_artifact_name` 和已准备镜像输入,因此失败的 lane 可以复用失败运行中的精确包和镜像。
|
||||
每个分块都会上传 `.artifacts/docker-tests/`,其中包含 lane 日志、计时、`summary.json`、`failures.json`、阶段计时、调度器计划 JSON、慢 lane 表,以及每个 lane 的重新运行命令。工作流的 `docker_lanes` 输入会针对准备好的镜像运行选定 lanes,而不是运行分块 jobs,这会将失败 lane 调试限制在一个定向 Docker job 内,并为该运行准备、下载或复用包工件;如果选定 lane 是 live Docker lane,定向 job 会为该次重新运行在本地构建 live-test 镜像。生成的每 lane GitHub 重新运行命令会在这些值存在时包含 `package_artifact_run_id`、`package_artifact_name` 和准备好的镜像输入,因此失败 lane 可以复用失败运行中的精确包和镜像。
|
||||
|
||||
```bash
|
||||
pnpm test:docker:rerun <run-id> # 下载 Docker 工件并打印组合的/按 lane 的目标重新运行命令
|
||||
pnpm test:docker:rerun <run-id> # 下载 Docker 工件并打印组合/每 lane 定向重新运行命令
|
||||
pnpm test:docker:timings <summary> # 慢 lane 和阶段关键路径摘要
|
||||
```
|
||||
|
||||
定时 live/E2E 工作流每天运行完整 release-path Docker 套件。
|
||||
定时 live/E2E 工作流每天运行完整的 release-path Docker 套件。
|
||||
|
||||
## 插件预发布
|
||||
|
||||
`Plugin Prerelease` 是成本更高的产品/包覆盖,因此它是由 `Full Release Validation` 或显式操作员调度的独立工作流。普通拉取请求、`main` 推送和独立的手动 CI 调度会关闭该套件。它会在八个扩展 worker 之间平衡内置插件测试;这些扩展分片作业每次最多运行两个插件配置组,每个组使用一个 Vitest worker 和更大的 Node heap,因此导入较重的插件批次不会创建额外 CI 作业。仅发布的 Docker 预发布路径会以小组批处理目标 Docker lane,避免为一到三分钟的作业预留几十个 runner。
|
||||
`Plugin Prerelease` 是成本更高的产品/包覆盖,因此它是一个单独的工作流,由 `Full Release Validation` 或显式操作员派发。常规拉取请求、`main` 推送和独立的手动 CI 派发不会启用该套件。它会在八个插件 worker 之间平衡内置插件测试;这些插件 shard jobs 每次最多运行两个插件配置组,每组使用一个 Vitest worker 和更大的 Node heap,这样导入量大的插件批次不会产生额外 CI jobs。仅发布的 Docker 预发布路径会以小组批处理定向 Docker lanes,避免为一到三分钟的 jobs 预留数十个 runners。
|
||||
|
||||
## QA Lab
|
||||
|
||||
QA Lab 在主智能范围工作流之外有专用 CI lane。
|
||||
QA Lab 在主智能范围工作流之外有专用 CI lanes。
|
||||
|
||||
- `Parity gate` 工作流会在匹配的 PR 变更和手动调度时运行;它会构建私有 QA 运行时,并比较 mock GPT-5.5 和 Opus 4.6 agentic pack。
|
||||
- `QA-Lab - All Lanes` 工作流会在 `main` 上 nightly 运行,并在手动调度时运行;它会将 mock parity gate、live Matrix lane,以及 live Telegram 和 Discord lane 作为并行作业扇出。live 作业使用 `qa-live-shared` 环境,Telegram/Discord 使用 Convex lease。
|
||||
- `Parity gate` 工作流会在匹配的 PR 变更和手动派发时运行;它会构建私有 QA 运行时,并比较 mock GPT-5.5 和 Opus 4.6 agentic packs。
|
||||
- `QA-Lab - All Lanes` 工作流每晚在 `main` 上运行,也支持手动派发;它会将 mock parity gate、live Matrix lane,以及 live Telegram 和 Discord lanes 扩展为并行 jobs。Live jobs 使用 `qa-live-shared` 环境,Telegram/Discord 使用 Convex leases。
|
||||
|
||||
发布检查会使用确定性 mock 提供商和 mock-qualified 模型(`mock-openai/gpt-5.5` 和 `mock-openai/gpt-5.5-alt`)运行 Matrix 和 Telegram live 传输 lane,因此渠道契约与 live 模型延迟和普通提供商插件启动隔离。live 传输 Gateway 网关会禁用内存搜索,因为 QA parity 会单独覆盖内存行为;提供商连接性由独立的 live 模型、原生提供商和 Docker 提供商套件覆盖。
|
||||
发布检查会使用确定性的 mock 提供商和 mock-qualified 模型(`mock-openai/gpt-5.5` 和 `mock-openai/gpt-5.5-alt`)运行 Matrix 和 Telegram live transport lanes,这样渠道契约就能与 live 模型延迟和常规 provider-plugin 启动隔离开。Live transport Gateway 网关会禁用记忆搜索,因为 QA parity 会单独覆盖记忆行为;提供商连接性由独立的 live 模型、原生提供商和 Docker 提供商套件覆盖。
|
||||
|
||||
Matrix 在定时和发布 gate 中使用 `--profile fast`,并且仅在检出的 CLI 支持时追加 `--fail-fast`。CLI 默认值和手动工作流输入仍为 `all`;手动 `matrix_profile=all` 调度始终会将完整 Matrix 覆盖分片为 `transport`、`media`、`e2ee-smoke`、`e2ee-deep` 和 `e2ee-cli` 作业。
|
||||
Matrix 在定时和发布 gates 中使用 `--profile fast`,并且只在签出的 CLI 支持时添加 `--fail-fast`。CLI 默认值和手动工作流输入仍然是 `all`;手动 `matrix_profile=all` 派发始终会将完整 Matrix 覆盖切分为 `transport`、`media`、`e2ee-smoke`、`e2ee-deep` 和 `e2ee-cli` jobs。
|
||||
|
||||
`OpenClaw Release Checks` 也会在发布批准前运行发布关键 QA Lab lane;它的 QA parity gate 会将候选 pack 和基线 pack 作为并行 lane 作业运行,然后将两个工件下载到一个小型报告作业中,用于最终 parity 比较。
|
||||
`OpenClaw Release Checks` 也会在发布批准前运行发布关键的 QA Lab lanes;它的 QA parity gate 会将候选和基线 packs 作为并行 lane jobs 运行,然后把两个工件下载到一个小型报告 job 中,用于最终 parity 比较。
|
||||
|
||||
不要把 PR 落地路径置于 `Parity gate` 之后,除非变更确实触及 QA 运行时、模型 pack parity,或 parity 工作流拥有的表面。对于普通渠道、配置、文档或单元测试修复,应将它视为可选信号,并遵循有范围的 CI/检查证据。
|
||||
除非变更确实触及 QA 运行时、model-pack parity,或 parity 工作流拥有的表面,否则不要把 PR 合并路径放在 `Parity gate` 后面。对于常规渠道、配置、文档或单元测试修复,请把它视为可选信号,并遵循有范围的 CI/check 证据。
|
||||
|
||||
## CodeQL
|
||||
|
||||
`CodeQL` 工作流有意作为窄范围的第一遍安全扫描器,而不是完整仓库扫描。每日、手动和非草稿拉取请求防护运行会扫描 Actions 工作流代码,以及风险最高的 JavaScript/TypeScript 表面,并使用筛选到高/严重 `security-severity` 的高置信度安全查询。
|
||||
`CodeQL` 工作流有意作为窄范围的第一轮安全扫描器,而不是完整仓库扫描。每日、手动和非草稿拉取请求 guard 运行会扫描 Actions 工作流代码,以及风险最高的 JavaScript/TypeScript 表面,并使用高置信度安全查询,过滤到高/严重 `security-severity`。
|
||||
|
||||
拉取请求防护保持轻量:它只会在 `.github/actions`、`.github/codeql`、`.github/workflows`、`packages` 或 `src` 下有变更时启动,并运行与定时工作流相同的高置信度安全矩阵。Android 和 macOS CodeQL 不在 PR 默认项中。
|
||||
拉取请求 guard 保持轻量:它只会在 `.github/actions`、`.github/codeql`、`.github/workflows`、`packages` 或 `src` 下的变更时启动,并运行与定时工作流相同的高置信度安全矩阵。Android 和 macOS CodeQL 不包含在 PR 默认项中。
|
||||
|
||||
### 安全类别
|
||||
|
||||
| 类别 | 覆盖面 |
|
||||
| 类别 | 表面 |
|
||||
| ------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| `/codeql-security-high/core-auth-secrets` | 认证、机密、沙箱、cron 和 Gateway 网关基线 |
|
||||
| `/codeql-security-high/channel-runtime-boundary` | 核心渠道实现契约,以及渠道插件运行时、Gateway 网关、插件 SDK、机密、审计触点 |
|
||||
| `/codeql-security-high/network-ssrf-boundary` | 核心 SSRF、IP 解析、网络防护、web-fetch 和插件 SDK SSRF 策略覆盖面 |
|
||||
| `/codeql-security-high/mcp-process-tool-boundary` | MCP 服务器、进程执行辅助函数、出站投递,以及智能体工具执行门禁 |
|
||||
| `/codeql-security-high/plugin-trust-boundary` | 插件安装、加载器、manifest、注册表、包管理器安装、源加载,以及插件 SDK 包契约信任覆盖面 |
|
||||
| `/codeql-security-high/core-auth-secrets` | 身份验证、密钥、沙箱、cron 和 Gateway 网关基线 |
|
||||
| `/codeql-security-high/channel-runtime-boundary` | 核心渠道实现契约,加上渠道插件运行时、Gateway 网关、插件 SDK、密钥、审计触点 |
|
||||
| `/codeql-security-high/network-ssrf-boundary` | 核心 SSRF、IP 解析、网络防护、web-fetch 和插件 SDK SSRF 策略表面 |
|
||||
| `/codeql-security-high/mcp-process-tool-boundary` | MCP 服务器、进程执行辅助工具、出站投递和智能体工具执行门禁 |
|
||||
| `/codeql-security-high/plugin-trust-boundary` | 插件安装、加载器、manifest、注册表、包管理器安装、源加载和插件 SDK 包契约信任表面 |
|
||||
|
||||
### 平台特定安全分片
|
||||
|
||||
- `CodeQL Android Critical Security` — 定时 Android 安全分片。在工作流完整性检查接受的最小 Blacksmith Linux 运行器上,为 CodeQL 手动构建 Android 应用。上传到 `/codeql-critical-security/android` 下。
|
||||
- `CodeQL macOS Critical Security` — 每周/手动 macOS 安全分片。在 Blacksmith macOS 上为 CodeQL 手动构建 macOS 应用,从上传的 SARIF 中过滤掉依赖构建结果,并上传到 `/codeql-critical-security/macos` 下。它不包含在每日默认项中,因为即使干净,macOS 构建也会主导运行时间。
|
||||
- `CodeQL Android Critical Security` — 定时 Android 安全分片。在工作流完整性检查接受的最小 Blacksmith Linux runner 上,为 CodeQL 手动构建 Android 应用。上传到 `/codeql-critical-security/android` 下。
|
||||
- `CodeQL macOS Critical Security` — 每周/手动 macOS 安全分片。在 Blacksmith macOS 上为 CodeQL 手动构建 macOS 应用,从上传的 SARIF 中过滤掉依赖构建结果,并上传到 `/codeql-critical-security/macos` 下。它保留在每日默认项之外,因为即使干净时,macOS 构建也会主导运行时间。
|
||||
|
||||
### 关键质量类别
|
||||
### Critical Quality 类别
|
||||
|
||||
`CodeQL Critical Quality` 是对应的非安全分片。它只在较小的 Blacksmith Linux 运行器上,对狭窄的高价值覆盖面运行错误严重级别、非安全的 JavaScript/TypeScript 质量查询。它的拉取请求门禁刻意小于定时配置:非草稿 PR 只会针对智能体命令/模型/工具执行和回复分发代码、配置 schema/迁移/IO 代码、认证/机密/沙箱/安全代码、核心渠道和内置渠道插件运行时、Gateway 网关协议/服务器方法、记忆运行时/SDK 胶水、MCP/进程/出站投递、提供商运行时/模型目录、会话诊断/投递队列、插件加载器、插件 SDK/包契约或插件 SDK 回复运行时变更,运行匹配的 `agent-runtime-boundary`、`config-boundary`、`core-auth-secrets`、`channel-runtime-boundary`、`gateway-runtime-boundary`、`memory-runtime-boundary`、`mcp-process-runtime-boundary`、`provider-runtime-boundary`、`session-diagnostics-boundary`、`plugin-boundary`、`plugin-sdk-package-contract` 和 `plugin-sdk-reply-runtime` 分片。CodeQL 配置和质量工作流变更会运行全部十二个 PR 质量分片。
|
||||
`CodeQL Critical Quality` 是对应的非安全分片。它只在较小的 Blacksmith Linux runner 上,对狭窄的高价值表面运行错误严重性、非安全的 JavaScript/TypeScript 质量查询。它的拉取请求门禁刻意小于定时配置文件:非草稿 PR 只运行匹配的 `agent-runtime-boundary`、`config-boundary`、`core-auth-secrets`、`channel-runtime-boundary`、`gateway-runtime-boundary`、`memory-runtime-boundary`、`mcp-process-runtime-boundary`、`provider-runtime-boundary`、`session-diagnostics-boundary`、`plugin-boundary`、`plugin-sdk-package-contract` 和 `plugin-sdk-reply-runtime` 分片,用于智能体命令/模型/工具执行和回复调度代码、配置 schema/迁移/IO 代码、身份验证/密钥/沙箱/安全代码、核心渠道和内置渠道插件运行时、Gateway 网关协议/服务器方法、记忆运行时/SDK 胶水代码、MCP/进程/出站投递、提供商运行时/模型目录、会话诊断/投递队列、插件加载器、插件 SDK/包契约,或插件 SDK 回复运行时变更。CodeQL 配置和质量工作流变更会运行全部十二个 PR 质量分片。
|
||||
|
||||
手动调度接受:
|
||||
|
||||
@ -411,40 +413,40 @@ Matrix 在定时和发布 gate 中使用 `--profile fast`,并且仅在检出
|
||||
profile=all|agent-runtime-boundary|config-boundary|core-auth-secrets|channel-runtime-boundary|gateway-runtime-boundary|memory-runtime-boundary|mcp-process-runtime-boundary|plugin-boundary|plugin-sdk-package-contract|plugin-sdk-reply-runtime|provider-runtime-boundary|session-diagnostics-boundary
|
||||
```
|
||||
|
||||
窄配置是用于隔离运行单个质量分片的教学/迭代钩子。
|
||||
狭窄配置文件是用于单独运行一个质量分片的教学/迭代钩子。
|
||||
|
||||
| 类别 | 覆盖面 |
|
||||
| ------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| `/codeql-critical-quality/core-auth-secrets` | 认证、机密、沙箱、cron 和 Gateway 网关安全边界代码 |
|
||||
| `/codeql-critical-quality/config-boundary` | 配置 schema、迁移、规范化和 IO 契约 |
|
||||
| `/codeql-critical-quality/gateway-runtime-boundary` | Gateway 网关协议 schema 和服务器方法契约 |
|
||||
| `/codeql-critical-quality/channel-runtime-boundary` | 核心渠道和内置渠道插件实现契约 |
|
||||
| `/codeql-critical-quality/agent-runtime-boundary` | 命令执行、模型/提供商分发、自动回复分发和队列,以及 ACP 控制平面运行时契约 |
|
||||
| `/codeql-critical-quality/mcp-process-runtime-boundary` | MCP 服务器和工具桥接、进程监督辅助函数,以及出站投递契约 |
|
||||
| `/codeql-critical-quality/memory-runtime-boundary` | 记忆宿主 SDK、记忆运行时门面、记忆插件 SDK 别名、记忆运行时激活胶水,以及记忆 Doctor 命令 |
|
||||
| `/codeql-critical-quality/session-diagnostics-boundary` | 回复队列内部机制、会话投递队列、出站会话绑定/投递辅助函数、诊断事件/日志包覆盖面,以及会话 Doctor CLI 契约 |
|
||||
| `/codeql-critical-quality/plugin-sdk-reply-runtime` | 插件 SDK 入站回复分发、回复载荷/分块/运行时辅助函数、渠道回复选项、投递队列,以及会话/线程绑定辅助函数 |
|
||||
| `/codeql-critical-quality/provider-runtime-boundary` | 模型目录规范化、提供商认证和设备发现、提供商运行时注册、提供商默认值/目录,以及 web/search/fetch/embedding 注册表 |
|
||||
| `/codeql-critical-quality/ui-control-plane` | 控制 UI 引导、本地持久化、Gateway 网关控制流,以及任务控制平面运行时契约 |
|
||||
| `/codeql-critical-quality/web-media-runtime-boundary` | 核心 web 获取/搜索、媒体 IO、媒体理解、图像生成和媒体生成运行时契约 |
|
||||
| `/codeql-critical-quality/plugin-boundary` | 加载器、注册表、公开覆盖面和插件 SDK 入口点契约 |
|
||||
| `/codeql-critical-quality/plugin-sdk-package-contract` | 已发布包侧插件 SDK 源码和插件包契约辅助函数 |
|
||||
| 类别 | 表面 |
|
||||
| ------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| `/codeql-critical-quality/core-auth-secrets` | 身份验证、密钥、沙箱、cron 和 Gateway 网关安全边界代码 |
|
||||
| `/codeql-critical-quality/config-boundary` | 配置 schema、迁移、规范化和 IO 契约 |
|
||||
| `/codeql-critical-quality/gateway-runtime-boundary` | Gateway 网关协议 schema 和服务器方法契约 |
|
||||
| `/codeql-critical-quality/channel-runtime-boundary` | 核心渠道和内置渠道插件实现契约 |
|
||||
| `/codeql-critical-quality/agent-runtime-boundary` | 命令执行、模型/提供商调度、自动回复调度和队列,以及 ACP 控制平面运行时契约 |
|
||||
| `/codeql-critical-quality/mcp-process-runtime-boundary` | MCP 服务器和工具桥接、进程监督辅助工具,以及出站投递契约 |
|
||||
| `/codeql-critical-quality/memory-runtime-boundary` | 记忆主机 SDK、记忆运行时门面、记忆插件 SDK 别名、记忆运行时激活胶水代码,以及记忆 Doctor 命令 |
|
||||
| `/codeql-critical-quality/session-diagnostics-boundary` | 回复队列内部机制、会话投递队列、出站会话绑定/投递辅助工具、诊断事件/日志包表面,以及会话 Doctor CLI 契约 |
|
||||
| `/codeql-critical-quality/plugin-sdk-reply-runtime` | 插件 SDK 入站回复调度、回复载荷/分块/运行时辅助工具、渠道回复选项、投递队列,以及会话/thread 绑定辅助工具 |
|
||||
| `/codeql-critical-quality/provider-runtime-boundary` | 模型目录规范化、提供商身份验证和设备发现、提供商运行时注册、提供商默认值/目录,以及 Web/搜索/抓取/embedding 注册表 |
|
||||
| `/codeql-critical-quality/ui-control-plane` | 控制 UI 启动、本地持久化、Gateway 网关控制流,以及任务控制平面运行时契约 |
|
||||
| `/codeql-critical-quality/web-media-runtime-boundary` | 核心 Web 抓取/搜索、媒体 IO、媒体理解、图像生成和媒体生成运行时契约 |
|
||||
| `/codeql-critical-quality/plugin-boundary` | 加载器、注册表、公共表面和插件 SDK 入口点契约 |
|
||||
| `/codeql-critical-quality/plugin-sdk-package-contract` | 已发布包侧插件 SDK 源码和插件包契约辅助工具 |
|
||||
|
||||
质量与安全保持分离,这样质量发现就可以被调度、度量、禁用或扩展,而不会掩盖安全信号。Swift、Python 和内置插件 CodeQL 扩展应只在窄配置具备稳定运行时间和信号后,作为有范围或分片的后续工作加回。
|
||||
质量与安全保持分离,这样质量发现就可以在不遮蔽安全信号的情况下进行定时、度量、禁用或扩展。只有在狭窄配置文件具备稳定运行时间和信号之后,才应将 Swift、Python 和内置插件 CodeQL 扩展作为有作用域或分片的后续工作重新加入。
|
||||
|
||||
## 维护工作流
|
||||
|
||||
### Docs Agent
|
||||
|
||||
`Docs Agent` 工作流是事件驱动的 Codex 维护通道,用于让现有文档与最近落地的变更保持一致。它没有纯定时计划:`main` 上成功的非机器人 push CI 运行可以触发它,手动调度也可以直接运行它。当 `main` 已经前进,或最近一小时内已创建另一个未跳过的 Docs Agent 运行时,工作流运行触发会跳过。运行时,它会审查从上一个未跳过的 Docs Agent 源 SHA 到当前 `main` 的提交范围,因此一次每小时运行可以覆盖自上次文档处理以来累积的所有 main 变更。
|
||||
`Docs Agent` 工作流是一个事件驱动的 Codex 维护通道,用于保持现有文档与最近落地的变更一致。它没有纯定时计划:`main` 上成功的非机器人 push CI 运行可以触发它,也可以通过手动调度直接运行。工作流运行调用会在 `main` 已经前进,或过去一小时内已经创建了另一个未跳过的 Docs Agent 运行时跳过。运行时,它会审查从上一个未跳过的 Docs Agent 源 SHA 到当前 `main` 的提交范围,因此一次每小时运行可以覆盖自上次文档处理以来累积的所有 main 变更。
|
||||
|
||||
### Test Performance Agent
|
||||
|
||||
`Test Performance Agent` 工作流是事件驱动的 Codex 维护通道,用于处理慢测试。它没有纯定时计划:`main` 上成功的非机器人 push CI 运行可以触发它,但如果当天 UTC 已经有另一个工作流运行触发执行过或正在执行,它会跳过。手动调度会绕过该每日活动门禁。该通道构建全套分组 Vitest 性能报告,让 Codex 只进行小型且保持覆盖率的测试性能修复,而不是大范围重构,然后重新运行全套报告,并拒绝会降低通过基线测试数量的变更。如果基线存在失败测试,Codex 只能修复明显失败,并且在提交任何内容前,智能体之后的全套报告必须通过。当 `main` 在机器人 push 落地前前进时,该通道会 rebase 已验证的补丁,重新运行 `pnpm check:changed`,并重试 push;冲突的过期补丁会被跳过。它使用 GitHub 托管的 Ubuntu,因此 Codex action 可以保持与文档智能体相同的 drop-sudo 安全姿态。
|
||||
`Test Performance Agent` 工作流是一个事件驱动的 Codex 维护通道,用于慢测试。它没有纯定时计划:`main` 上成功的非机器人 push CI 运行可以触发它,但如果同一个 UTC 日已经有另一个 workflow-run 调用运行过或正在运行,它会跳过。手动调度会绕过这个每日活动门禁。该通道会构建全套分组 Vitest 性能报告,让 Codex 只做小型且保持覆盖率的测试性能修复,而不是大范围重构,然后重新运行全套报告,并拒绝会降低通过基线测试数量的变更。如果基线存在失败测试,Codex 只能修复明显失败项,并且智能体之后的全套报告必须通过,才会提交任何内容。当 `main` 在机器人 push 落地前前进时,该通道会 rebase 已验证的补丁,重新运行 `pnpm check:changed`,并重试 push;冲突的过期补丁会被跳过。它使用 GitHub 托管的 Ubuntu,因此 Codex action 可以保持与文档智能体相同的 drop-sudo 安全姿态。
|
||||
|
||||
### 合并后的重复 PR
|
||||
|
||||
`Duplicate PRs After Merge` 工作流是手动维护者工作流,用于落地后的重复项清理。它默认是 dry-run,只有在 `apply=true` 时才关闭明确列出的 PR。在修改 GitHub 前,它会验证已落地的 PR 已合并,并验证每个重复项要么共享引用的问题,要么存在重叠的变更 hunks。
|
||||
`Duplicate PRs After Merge` 工作流是一个手动维护者工作流,用于落地后的重复项清理。它默认 dry-run,并且只有在 `apply=true` 时才会关闭明确列出的 PR。在变更 GitHub 之前,它会验证已落地 PR 已合并,并且每个重复项都有共享的引用 issue 或重叠的变更 hunk。
|
||||
|
||||
```bash
|
||||
gh workflow run duplicate-after-merge.yml \
|
||||
@ -455,27 +457,27 @@ gh workflow run duplicate-after-merge.yml \
|
||||
|
||||
## 本地检查门禁和变更路由
|
||||
|
||||
本地变更通道逻辑位于 `scripts/changed-lanes.mjs`,并由 `scripts/check-changed.mjs` 执行。该本地检查门禁在架构边界上比宽泛的 CI 平台范围更严格:
|
||||
本地变更通道路由逻辑位于 `scripts/changed-lanes.mjs`,并由 `scripts/check-changed.mjs` 执行。该本地检查门禁在架构边界方面比宽泛的 CI 平台范围更严格:
|
||||
|
||||
- 核心生产变更会运行核心生产和核心测试类型检查,以及核心 lint/guards;
|
||||
- 仅核心测试变更只会运行核心测试类型检查,以及核心 lint;
|
||||
- 插件生产变更会运行插件生产和插件测试类型检查,以及插件 lint;
|
||||
- 仅插件测试变更会运行插件测试类型检查,以及插件 lint;
|
||||
- 公共插件 SDK 或插件契约变更会扩展到插件类型检查,因为插件依赖这些核心契约(Vitest 插件扫测仍是显式测试工作);
|
||||
- 仅发布元数据版本 bump 会运行有针对性的版本/配置/根依赖检查;
|
||||
- 未知根目录/配置变更会故障安全地进入所有检查通道。
|
||||
- 核心生产变更会运行核心生产和核心测试类型检查,加上核心 lint/guard;
|
||||
- 仅核心测试变更只运行核心测试类型检查,加上核心 lint;
|
||||
- 插件生产变更会运行插件生产和插件测试类型检查,加上插件 lint;
|
||||
- 仅插件测试变更会运行插件测试类型检查,加上插件 lint;
|
||||
- 公共插件 SDK 或插件契约变更会扩展到插件类型检查,因为插件依赖这些核心契约(Vitest 插件扫描仍然是显式测试工作);
|
||||
- 仅发布元数据的版本 bump 会运行有针对性的版本/配置/根依赖检查;
|
||||
- 未知的根目录/配置变更会故障安全地进入所有检查通道。
|
||||
|
||||
本地变更测试路由位于 `scripts/test-projects.test-support.mjs`,并且有意比 `check:changed` 更便宜:直接测试编辑会运行自身,源码编辑优先使用显式映射,然后是同级测试和导入图依赖项。共享 group-room 投递配置是显式映射之一:对群组可见回复配置、源回复投递模式或 message-tool 系统提示词的变更,会经过核心回复测试以及 Discord 和 Slack 投递回归测试,这样共享默认值变更会在第一次 PR push 前失败。只有当变更范围足够覆盖整个 harness,使便宜的映射集合无法作为可信代理时,才使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
本地变更测试路由位于 `scripts/test-projects.test-support.mjs`,并且有意比 `check:changed` 更便宜:直接测试编辑会运行自身,源代码编辑优先使用显式映射,然后是同级测试和导入图依赖项。共享 group-room 投递配置是显式映射之一:对群组可见回复配置、源回复投递模式或消息工具系统提示词的变更,会通过核心回复测试以及 Discord 和 Slack 投递回归,这样共享默认值变更会在第一次 PR push 之前失败。只有当变更足够覆盖整个 harness,便宜的映射集合不再是可信代理时,才使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
|
||||
## Testbox 验证
|
||||
|
||||
从仓库根目录运行 Testbox,并且对于宽泛证明,优先使用新的已预热 box。在一个被复用、已过期,或刚刚报告异常大同步的 box 上花费慢门禁时间前,先在 box 内运行 `pnpm testbox:sanity`。
|
||||
从仓库根目录运行 Testbox,并优先为宽泛证明使用新预热的盒子。在把慢门禁花在一个被复用、已过期,或刚刚报告异常大同步的盒子之前,先在盒子内运行 `pnpm testbox:sanity`。
|
||||
|
||||
当 `pnpm-lock.yaml` 等必需根文件消失,或 `git status --short` 显示至少 200 个已跟踪删除时,完整性检查会快速失败。这通常意味着远程同步状态不是 PR 的可信副本;停止该 box 并预热一个新的 box,而不是调试产品测试失败。对于有意的大量删除 PR,请为该完整性检查运行设置 `OPENCLAW_TESTBOX_ALLOW_MASS_DELETIONS=1`。
|
||||
当 `pnpm-lock.yaml` 等必需根文件消失,或 `git status --short` 显示至少 200 个已跟踪删除时,完整性检查会快速失败。这通常意味着远程同步状态不是 PR 的可信副本;请停止该盒子并预热一个新的,而不是调试产品测试失败。对于有意的大量删除 PR,请为该完整性检查运行设置 `OPENCLAW_TESTBOX_ALLOW_MASS_DELETIONS=1`。
|
||||
|
||||
`pnpm testbox:run` 还会终止停留在同步阶段超过五分钟且没有同步后输出的本地 Blacksmith CLI 调用。设置 `OPENCLAW_TESTBOX_SYNC_TIMEOUT_MS=0` 可禁用该保护,或为异常大的本地 diff 使用更大的毫秒值。
|
||||
`pnpm testbox:run` 还会终止本地 Blacksmith CLI 调用:如果它停留在同步阶段超过五分钟且没有同步后输出。设置 `OPENCLAW_TESTBOX_SYNC_TIMEOUT_MS=0` 可禁用该保护,或为异常大的本地 diff 使用更大的毫秒值。
|
||||
|
||||
Crabbox 是仓库自有的第二条远程机器路径,用于在 Blacksmith 不可用或更适合使用自有云容量时提供 Linux 验证。先预热一台机器,通过项目工作流初始化它,然后通过 Crabbox CLI 运行命令:
|
||||
当 Blacksmith 不可用,或更适合使用自有云容量时,Crabbox 是仓库自有的第二条 Linux 远程 box 验证路径。预热一个 box,通过项目 workflow 对其进行 hydrate,然后通过 Crabbox CLI 运行命令:
|
||||
|
||||
```bash
|
||||
pnpm crabbox:warmup -- --idle-timeout 90m
|
||||
@ -484,9 +486,9 @@ pnpm crabbox:run -- --id <cbx_id> --shell "OPENCLAW_TESTBOX=1 pnpm check:changed
|
||||
pnpm crabbox:stop -- <cbx_id>
|
||||
```
|
||||
|
||||
`.crabbox.yaml` 负责提供商、同步和 GitHub Actions 初始化默认值。它会排除本地 `.git`,这样已初始化的 Actions 检出会保留自己的远程 Git 元数据,而不是同步维护者本地的远程仓库和对象存储;它还会排除绝不应传输的本地运行时/构建产物。`.github/workflows/crabbox-hydrate.yml` 负责检出、Node/pnpm 设置、`origin/main` 拉取,以及非机密环境的交接,后续 `crabbox run --id <cbx_id>` 命令会读取这些环境。
|
||||
`.crabbox.yaml` 负责提供商、同步和 GitHub Actions hydrate 默认值。它会排除本地 `.git`,因此 hydrate 后的 Actions checkout 会保留自己的远程 Git 元数据,而不是同步维护者本地的 remotes 和 object stores;它还会排除不应传输的本地运行时/构建产物。`.github/workflows/crabbox-hydrate.yml` 负责 checkout、Node/pnpm 设置、`origin/main` fetch,以及非机密环境交接,后续的 `crabbox run --id <cbx_id>` 命令会 source 这些环境。
|
||||
|
||||
## 相关
|
||||
## 相关内容
|
||||
|
||||
- [安装概览](/zh-CN/install)
|
||||
- [开发渠道](/zh-CN/install/development-channels)
|
||||
|
||||
@ -1,147 +1,156 @@
|
||||
---
|
||||
read_when:
|
||||
- 在本地或 CI 中运行测试
|
||||
- 为模型/提供商缺陷添加回归测试
|
||||
- 为模型/提供商 bug 添加回归测试
|
||||
- 调试 Gateway 网关 + 智能体行为
|
||||
summary: 测试工具包:unit/e2e/live 套件、Docker 运行器,以及每项测试涵盖的内容
|
||||
summary: 测试工具包:unit/e2e/live 套件、Docker 运行器,以及每项测试覆盖的内容
|
||||
title: 测试
|
||||
x-i18n:
|
||||
generated_at: "2026-05-02T15:57:34Z"
|
||||
generated_at: "2026-05-02T16:50:25Z"
|
||||
model: gpt-5.5
|
||||
provider: openai
|
||||
source_hash: 217ee866c7e5043c20c09c677e8717e3c8fb836d9016ae3391ecf9058393b2d9
|
||||
source_hash: 99e7db2ab0069aaa129bed303419b76bb9276f3f53a4ac6bb292120c3a327b7b
|
||||
source_path: help/testing.md
|
||||
workflow: 16
|
||||
---
|
||||
|
||||
OpenClaw 有三个 Vitest 测试套件(单元/集成、e2e、live)和一小组 Docker 运行器。本文档是一份“我们如何测试”指南:
|
||||
OpenClaw 有三个 Vitest 套件(单元/集成、e2e、live)以及少量 Docker 运行器。本文档是“我们如何测试”的指南:
|
||||
|
||||
- 每个测试套件覆盖什么(以及有意 _不_ 覆盖什么)。
|
||||
- 每个套件覆盖什么(以及有意 _不_ 覆盖什么)。
|
||||
- 常见工作流(本地、推送前、调试)应运行哪些命令。
|
||||
- live 测试如何发现凭证并选择模型/提供商。
|
||||
- 如何为真实世界的模型/提供商问题添加回归测试。
|
||||
- live 测试如何发现凭据并选择模型/提供商。
|
||||
- 如何为真实世界中的模型/提供商问题添加回归测试。
|
||||
|
||||
<Note>
|
||||
**QA 栈(qa-lab、qa-channel、live 传输通道)**单独文档说明:
|
||||
**QA 栈(qa-lab、qa-channel、live 传输通道)**单独记录在以下文档中:
|
||||
|
||||
- [QA overview](/zh-CN/concepts/qa-e2e-automation) — 架构、命令界面、场景编写。
|
||||
- [Matrix QA](/zh-CN/concepts/qa-matrix) — `pnpm openclaw qa matrix` 的参考。
|
||||
- [QA channel](/zh-CN/channels/qa-channel) — 仓库支持场景使用的合成传输插件。
|
||||
- [QA channel](/zh-CN/channels/qa-channel) — repo 支撑场景使用的合成传输插件。
|
||||
|
||||
本页面介绍如何运行常规测试套件以及 Docker/Parallels 运行器。下面的 QA 专用运行器部分([QA 专用运行器](#qa-specific-runners))列出具体的 `qa` 调用,并指回上面的参考资料。
|
||||
本页面介绍如何运行常规测试套件和 Docker/Parallels 运行器。下面的 QA 专用运行器部分([QA 专用运行器](#qa-specific-runners))列出了具体的 `qa` 调用,并指回上面的参考文档。
|
||||
</Note>
|
||||
|
||||
## 快速开始
|
||||
|
||||
多数时候:
|
||||
多数日常情况下:
|
||||
|
||||
- 完整门禁(推送前预期运行):`pnpm build && pnpm check && pnpm check:test-types && pnpm test`
|
||||
- 在资源充足的机器上更快运行本地完整测试套件:`pnpm test:max`
|
||||
- 直接 Vitest 监听循环:`pnpm test:watch`
|
||||
- 直接文件目标现在也会路由扩展/渠道路径:`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts`
|
||||
- 当你在迭代单个失败时,优先运行有针对性的测试。
|
||||
- Docker 支持的 QA 站点:`pnpm qa:lab:up`
|
||||
- Linux VM 支持的 QA 通道:`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline`
|
||||
- 在空间充足的机器上更快运行本地完整套件:`pnpm test:max`
|
||||
- 直接的 Vitest 监听循环:`pnpm test:watch`
|
||||
- 直接指定文件现在也会路由扩展/渠道路径:`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts`
|
||||
- 当你正在迭代单个失败时,优先运行有针对性的测试。
|
||||
- Docker 支撑的 QA 站点:`pnpm qa:lab:up`
|
||||
- Linux VM 支撑的 QA 通道:`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline`
|
||||
|
||||
当你修改测试或想要额外信心时:
|
||||
当你改动测试或想获得额外信心时:
|
||||
|
||||
- 覆盖率门禁:`pnpm test:coverage`
|
||||
- E2E 测试套件:`pnpm test:e2e`
|
||||
- E2E 套件:`pnpm test:e2e`
|
||||
|
||||
调试真实提供商/模型时(需要真实凭证):
|
||||
调试真实提供商/模型时(需要真实凭据):
|
||||
|
||||
- Live 测试套件(模型 + Gateway 网关工具/图像探针):`pnpm test:live`
|
||||
- live 套件(模型 + Gateway 网关工具/图片探测):`pnpm test:live`
|
||||
- 静默定位一个 live 文件:`pnpm test:live -- src/agents/models.profiles.live.test.ts`
|
||||
- 运行时性能报告:分发 `OpenClaw Performance`,使用
|
||||
`live_gpt54=true` 运行一次真实 `openai/gpt-5.4` 智能体回合,或使用
|
||||
`deep_profile=true` 生成 Kova CPU/堆/跟踪工件。配置 `CLAWGRIT_REPORTS_TOKEN` 后,每日计划运行会将 mock-provider、deep-profile 和 GPT 5.4 通道工件发布到
|
||||
`openclaw/clawgrit-reports`。
|
||||
- 运行时性能报告:派发 `OpenClaw Performance`,使用
|
||||
`live_gpt54=true` 进行一次真实的 `openai/gpt-5.4` 智能体回合,或使用
|
||||
`deep_profile=true` 生成 Kova CPU/堆/跟踪工件。配置 `CLAWGRIT_REPORTS_TOKEN` 后,每日定时运行会将 mock-provider、deep-profile 和 GPT 5.4 通道工件发布到
|
||||
`openclaw/clawgrit-reports`。mock-provider 报告还包含源码级 Gateway 网关启动、内存、
|
||||
插件压力、重复 fake-model hello-loop 以及 CLI 启动数据。
|
||||
- Docker live 模型扫描:`pnpm test:docker:live-models`
|
||||
- 每个选中的模型现在会运行一个文本回合和一个小型文件读取式探针。
|
||||
元数据声明支持 `image` 输入的模型还会运行一个小型图像回合。
|
||||
- 每个选中的模型现在都会运行一次文本回合以及一个小型的文件读取式探测。
|
||||
元数据声明支持 `image` 输入的模型还会运行一次微型图片回合。
|
||||
在隔离提供商失败时,可用 `OPENCLAW_LIVE_MODEL_FILE_PROBE=0` 或
|
||||
`OPENCLAW_LIVE_MODEL_IMAGE_PROBE=0` 禁用额外探针。
|
||||
- CI 覆盖:每日 `OpenClaw Scheduled Live And E2E Checks` 和手动
|
||||
`OpenClaw Release Checks` 都会以 `include_live_suites: true` 调用可复用 live/E2E 工作流,其中包含按提供商分片的独立 Docker live 模型矩阵作业。
|
||||
- 对于聚焦的 CI 重跑,分发 `OpenClaw Live And E2E Checks (Reusable)`,
|
||||
`OPENCLAW_LIVE_MODEL_IMAGE_PROBE=0` 禁用额外探测。
|
||||
- CI 覆盖范围:每日 `OpenClaw Scheduled Live And E2E Checks` 和手动
|
||||
`OpenClaw Release Checks` 都会调用可复用 live/E2E 工作流,并设置
|
||||
`include_live_suites: true`,其中包含按提供商分片的独立 Docker live 模型矩阵作业。
|
||||
- 对于聚焦的 CI 重跑,派发 `OpenClaw Live And E2E Checks (Reusable)`,
|
||||
并设置 `include_live_suites: true` 和 `live_models_only: true`。
|
||||
- 将新的高信号提供商 secret 添加到 `scripts/ci-hydrate-live-auth.sh`,
|
||||
以及 `.github/workflows/openclaw-live-and-e2e-checks-reusable.yml` 和其
|
||||
- 将新的高信号提供商密钥添加到 `scripts/ci-hydrate-live-auth.sh`,
|
||||
以及 `.github/workflows/openclaw-live-and-e2e-checks-reusable.yml` 和它的
|
||||
scheduled/release 调用方。
|
||||
- 原生 Codex 绑定聊天冒烟测试:`pnpm test:docker:live-codex-bind`
|
||||
- 针对 Codex app-server 路径运行 Docker live 通道,绑定一个带 `/codex bind` 的合成
|
||||
- 针对 Codex app-server 路径运行 Docker live 通道,使用 `/codex bind` 绑定一个合成
|
||||
Slack 私信,执行 `/codex fast` 和
|
||||
`/codex permissions`,然后验证普通回复和图像附件通过原生插件绑定路由,而不是 ACP。
|
||||
`/codex permissions`,然后验证普通回复和图片附件通过原生插件绑定而不是 ACP 路由。
|
||||
- Codex app-server harness 冒烟测试:`pnpm test:docker:live-codex-harness`
|
||||
- 通过插件拥有的 Codex app-server harness 运行 Gateway 网关智能体回合,
|
||||
验证 `/codex status` 和 `/codex models`,并默认执行图像、cron MCP、子智能体和 Guardian 探针。在隔离其他 Codex app-server 失败时,使用
|
||||
`OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_PROBE=0` 禁用子智能体探针。若要进行聚焦的子智能体检查,请禁用其他探针:
|
||||
验证 `/codex status` 和 `/codex models`,并默认执行图片、
|
||||
cron MCP、子智能体和 Guardian 探测。在隔离其他 Codex
|
||||
app-server 失败时,可用
|
||||
`OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_PROBE=0` 禁用子智能体探测。要进行聚焦的子智能体检查,请禁用其他探测:
|
||||
`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0 OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0 OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0 OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_PROBE=1 pnpm test:docker:live-codex-harness`。
|
||||
除非设置 `OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_ONLY=0`,否则它会在子智能体探针之后退出。
|
||||
除非设置了 `OPENCLAW_LIVE_CODEX_HARNESS_SUBAGENT_ONLY=0`,否则它会在子智能体探测后退出。
|
||||
- Crestodian 救援命令冒烟测试:`pnpm test:live:crestodian-rescue-channel`
|
||||
- 对消息渠道救援命令界面的可选双保险检查。
|
||||
它会执行 `/crestodian status`,排队一个持久模型变更,回复 `/crestodian yes`,并验证审计/配置写入路径。
|
||||
- Crestodian planner Docker 冒烟测试:`pnpm test:docker:crestodian-planner`
|
||||
- 在一个无配置容器中运行 Crestodian,`PATH` 上有假的 Claude CLI,并验证模糊 planner fallback 会转换为已审计的类型化配置写入。
|
||||
它会执行 `/crestodian status`,排队一个持久模型变更,回复 `/crestodian yes`,
|
||||
并验证审计/配置写入路径。
|
||||
- Crestodian 规划器 Docker 冒烟测试:`pnpm test:docker:crestodian-planner`
|
||||
- 在无配置容器中运行 Crestodian,并在 `PATH` 上放置一个假的 Claude CLI,
|
||||
验证模糊规划器回退会转换为带审计的类型化配置写入。
|
||||
- Crestodian 首次运行 Docker 冒烟测试:`pnpm test:docker:crestodian-first-run`
|
||||
- 从空的 OpenClaw 状态目录开始,将裸 `openclaw` 路由到
|
||||
Crestodian,应用设置/模型/智能体/Discord 插件 + SecretRef 写入,
|
||||
验证配置并验证审计条目。同一 Ring 0 设置路径也由 QA Lab 中的
|
||||
验证配置,并验证审计条目。同一个 Ring 0 设置路径也在 QA Lab 中由
|
||||
`pnpm openclaw qa suite --scenario crestodian-ring-zero-setup` 覆盖。
|
||||
- Moonshot/Kimi 成本冒烟测试:设置 `MOONSHOT_API_KEY` 后,运行
|
||||
`openclaw models list --provider moonshot --json`,然后运行一个隔离的
|
||||
`openclaw agent --local --session-id live-kimi-cost --message 'Reply exactly: KIMI_LIVE_OK' --thinking off --json`
|
||||
目标为 `moonshot/kimi-k2.6`。验证 JSON 报告 Moonshot/K2.6,并且 assistant transcript 存储了规范化的 `usage.cost`。
|
||||
针对 `moonshot/kimi-k2.6`。验证 JSON 报告 Moonshot/K2.6,且助手转录记录存储规范化后的 `usage.cost`。
|
||||
|
||||
<Tip>
|
||||
当你只需要一个失败用例时,优先通过下文所述的 allowlist 环境变量缩小 live 测试范围。
|
||||
当你只需要一个失败用例时,优先通过下面介绍的 allowlist 环境变量收窄 live 测试。
|
||||
</Tip>
|
||||
|
||||
## QA 专用运行器
|
||||
|
||||
当你需要 QA-lab 的真实感时,这些命令与主测试套件并列使用:
|
||||
当你需要 QA-lab 真实感时,这些命令位于主测试套件旁边:
|
||||
|
||||
CI 会在专用工作流中运行 QA Lab。`Parity gate` 会在匹配的 PR 上运行,也会通过手动分发配合 mock 提供商运行。`QA-Lab - All Lanes` 每晚在
|
||||
`main` 上运行,也可通过手动分发运行,并将 mock parity gate、live Matrix 通道、Convex 管理的 live Telegram 通道和 Convex 管理的 live Discord 通道作为并行作业运行。计划 QA 和发布检查会显式传递 Matrix `--profile fast`,而 Matrix CLI 和手动工作流输入的默认值仍为
|
||||
`all`;手动分发可以将 `all` 分片为 `transport`、`media`、`e2ee-smoke`、
|
||||
`e2ee-deep` 和 `e2ee-cli` 作业。`OpenClaw Release Checks` 会在发布批准前运行 parity,以及 fast Matrix 和 Telegram 通道,发布传输检查使用
|
||||
`mock-openai/gpt-5.5`,以保持确定性并避开常规提供商插件启动。这些 live 传输 Gateway 网关会禁用记忆搜索;记忆行为仍由 QA parity 测试套件覆盖。
|
||||
CI 会在专用工作流中运行 QA Lab。`Parity gate` 会在匹配的 PR 上运行,也会通过手动派发并使用 mock 提供商运行。`QA-Lab - All Lanes` 每晚在
|
||||
`main` 上运行,也会通过手动派发运行,将 mock parity gate、live Matrix 通道、
|
||||
Convex 管理的 live Telegram 通道和 Convex 管理的 live Discord 通道作为并行作业。定时 QA 和发布检查会显式传入 Matrix `--profile fast`,
|
||||
而 Matrix CLI 和手动工作流输入的默认值仍为
|
||||
`all`;手动派发可以将 `all` 分片为 `transport`、`media`、`e2ee-smoke`、
|
||||
`e2ee-deep` 和 `e2ee-cli` 作业。`OpenClaw Release Checks` 会在发布批准前运行 parity 以及快速 Matrix 和 Telegram 通道,并为发布传输检查使用
|
||||
`mock-openai/gpt-5.5`,这样它们保持确定性,并避开常规提供商插件启动。这些 live 传输 Gateway 网关会禁用记忆搜索;记忆行为仍由 QA parity 套件覆盖。
|
||||
|
||||
完整发布 live 媒体分片使用
|
||||
完整发布的 live 媒体分片使用
|
||||
`ghcr.io/openclaw/openclaw-live-media-runner:ubuntu-24.04`,其中已经包含
|
||||
`ffmpeg` 和 `ffprobe`。Docker live 模型/后端分片使用共享的
|
||||
`ghcr.io/openclaw/openclaw-live-test:<sha>` 镜像,该镜像会为每个选中的提交构建一次,然后用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 拉取,而不是在每个分片内部重新构建。
|
||||
`ghcr.io/openclaw/openclaw-live-test:<sha>` 镜像,该镜像会针对选中的
|
||||
commit 构建一次,然后用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 拉取它,而不是在每个分片内重新构建。
|
||||
|
||||
- `pnpm openclaw qa suite`
|
||||
- 直接在主机上运行由仓库支持的 QA 场景。
|
||||
- 默认使用隔离的 Gateway 网关 worker 并行运行多个选定场景。`qa-channel` 默认并发数为 4(受选定场景数量限制)。使用 `--concurrency <count>` 调整 worker 数量,或使用 `--concurrency 1` 进入旧版串行通道。
|
||||
- 任一场景失败时以非零状态退出。当你想获取构件但不想要失败退出代码时,使用 `--allow-failures`。
|
||||
- 支持提供商模式 `live-frontier`、`mock-openai` 和 `aimock`。`aimock` 会启动一个本地 AIMock 支持的提供商服务器,用于实验性 fixture 和协议模拟覆盖,同时不会替代具备场景感知能力的 `mock-openai` 通道。
|
||||
- 默认使用隔离的 Gateway 网关工作进程并行运行多个选定场景。`qa-channel` 默认并发数为 4(受选定场景数量限制)。使用 `--concurrency <count>` 调整工作进程数量,或使用 `--concurrency 1` 进入旧版串行通道。
|
||||
- 当任一场景失败时以非零状态退出。当你想要产物但不想要失败退出码时,使用 `--allow-failures`。
|
||||
- 支持提供商模式 `live-frontier`、`mock-openai` 和 `aimock`。`aimock` 会启动一个本地 AIMock 支持的提供商服务器,用于实验性夹具和协议模拟覆盖,而不会替换具备场景感知能力的 `mock-openai` 通道。
|
||||
- `pnpm test:gateway:cpu-scenarios`
|
||||
- 运行 Gateway 网关启动基准测试,以及一组小型模拟 QA Lab 场景包(`channel-chat-baseline`、`memory-failure-fallback`、`gateway-restart-inflight-run`),并在 `.artifacts/gateway-cpu-scenarios/` 下写入合并后的 CPU 观测摘要。
|
||||
- 默认仅标记持续的高 CPU 观测(`--cpu-core-warn` 加 `--hot-wall-warn-ms`),因此短暂的启动突增会被记录为指标,而不会看起来像持续数分钟的 Gateway 网关占满回归问题。
|
||||
- 使用已构建的 `dist` 构件;当检出内容尚无新鲜运行时输出时,请先运行构建。
|
||||
- 运行 Gateway 网关启动基准测试以及一个小型模拟 QA Lab 场景包(`channel-chat-baseline`、`memory-failure-fallback`、`gateway-restart-inflight-run`),并将合并后的 CPU 观测摘要写入 `.artifacts/gateway-cpu-scenarios/`。
|
||||
- 默认只标记持续的高 CPU 观测(`--cpu-core-warn` 加 `--hot-wall-warn-ms`),因此短暂的启动突增会被记录为指标,而不会看起来像持续数分钟的 Gateway 网关占满回归。
|
||||
- 使用已构建的 `dist` 产物;当检出目录尚无新的运行时输出时,先运行构建。
|
||||
- `pnpm openclaw qa suite --runner multipass`
|
||||
- 在一次性 Multipass Linux VM 内运行相同的 QA 套件。
|
||||
- 在一次性 Multipass Linux VM 中运行相同的 QA 套件。
|
||||
- 保持与主机上 `qa suite` 相同的场景选择行为。
|
||||
- 复用与 `qa suite` 相同的提供商/模型选择标志。
|
||||
- Live 运行会转发对 guest 实用的受支持 QA 凭证输入:基于环境变量的提供商密钥、QA live 提供商配置路径,以及存在时的 `CODEX_HOME`。
|
||||
- 输出目录必须保留在仓库根目录下,以便 guest 通过挂载的工作区写回。
|
||||
- 在 `.artifacts/qa-e2e/...` 下写入常规 QA 报告和摘要以及 Multipass 日志。
|
||||
- 实时运行会转发对访客实用的受支持 QA 凭证输入:基于环境变量的提供商密钥、QA 实时提供商配置路径,以及存在时的 `CODEX_HOME`。
|
||||
- 输出目录必须保留在仓库根目录下,以便访客可通过挂载的工作区写回。
|
||||
- 将常规 QA 报告和摘要以及 Multipass 日志写入 `.artifacts/qa-e2e/...`。
|
||||
- `pnpm qa:lab:up`
|
||||
- 启动由 Docker 支持的 QA 站点,用于操作员风格的 QA 工作。
|
||||
- 启动由 Docker 支持的 QA 站点,用于操作员式 QA 工作。
|
||||
- `pnpm test:docker:npm-onboard-channel-agent`
|
||||
- 从当前检出内容构建 npm tarball,在 Docker 中全局安装它,运行非交互式 OpenAI API key 新手引导,默认配置 Telegram,验证打包后的插件运行时可在没有启动依赖修复的情况下加载,运行 Doctor,并针对模拟的 OpenAI 端点运行一次本地智能体回合。
|
||||
- 使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 可使用 Discord 运行相同的打包安装通道。
|
||||
- 从当前检出构建 npm tarball,在 Docker 中全局安装,运行非交互式 OpenAI API 密钥新手引导,默认配置 Telegram,验证打包的插件运行时无需启动依赖修复即可加载,运行 Doctor,并针对模拟的 OpenAI 端点运行一次本地智能体回合。
|
||||
- 使用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 以 Discord 运行相同的打包安装通道。
|
||||
- `pnpm test:docker:session-runtime-context`
|
||||
- 为嵌入式运行时上下文 transcript 运行确定性的已构建应用 Docker smoke。它会验证隐藏的 OpenClaw 运行时上下文作为非显示自定义消息被持久化,而不是泄漏到可见的用户回合中,然后注入一个受影响的损坏会话 JSONL,并验证 `openclaw doctor --fix` 会用备份将其重写到活动分支。
|
||||
- 为嵌入式运行时上下文转录运行确定性的已构建应用 Docker 冒烟测试。它验证隐藏的 OpenClaw 运行时上下文会作为非显示自定义消息持久化,而不是泄露到可见用户回合中,然后播种一个受影响的损坏会话 JSONL,并验证 `openclaw doctor --fix` 会将其重写到当前分支并创建备份。
|
||||
- `pnpm test:docker:npm-telegram-live`
|
||||
- 在 Docker 中安装一个 OpenClaw 包候选版本,运行已安装包的新手引导,通过已安装的 CLI 配置 Telegram,然后复用 live Telegram QA 通道,并将该已安装包作为 SUT Gateway 网关。
|
||||
- 默认值为 `OPENCLAW_NPM_TELEGRAM_PACKAGE_SPEC=openclaw@beta`;设置 `OPENCLAW_NPM_TELEGRAM_PACKAGE_TGZ=/path/to/openclaw-current.tgz` 或 `OPENCLAW_CURRENT_PACKAGE_TGZ`,即可测试已解析的本地 tarball,而不是从注册表安装。
|
||||
- 使用与 `pnpm openclaw qa telegram` 相同的 Telegram 环境变量凭据或 Convex 凭据来源。对于 CI/发布自动化,请设置 `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_SOURCE=convex`,以及 `OPENCLAW_QA_CONVEX_SITE_URL` 和角色密钥。如果 `OPENCLAW_QA_CONVEX_SITE_URL` 和一个 Convex 角色密钥存在于 CI 中,Docker 包装器会自动选择 Convex。
|
||||
- `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_ROLE=ci|maintainer` 仅为此通道覆盖共享的 `OPENCLAW_QA_CREDENTIAL_ROLE`。
|
||||
- GitHub Actions 将此通道公开为手动维护者 workflow `NPM Telegram Beta E2E`。它不会在合并时运行。该 workflow 使用 `qa-live-shared` 环境和 Convex CI 凭据租约。
|
||||
- GitHub Actions 还公开了 `Package Acceptance`,用于针对一个候选包进行旁路产品证明。它接受受信任的 ref、已发布的 npm spec、HTTPS tarball URL 加 SHA-256,或来自另一运行的 tarball artifact,上传规范化的 `openclaw-current.tgz` 作为 `package-under-test`,然后使用 smoke、package、product、full 或 custom 通道 profile 运行现有 Docker E2E 调度器。设置 `telegram_mode=mock-openai` 或 `live-frontier`,可针对同一个 `package-under-test` 构件运行 Telegram QA workflow。
|
||||
- 在 Docker 中安装 OpenClaw 包候选版本,运行已安装包的新手引导,通过已安装的 CLI 配置 Telegram,然后复用实时 Telegram QA 通道,并将该已安装包作为被测系统 Gateway 网关。
|
||||
- 默认值为 `OPENCLAW_NPM_TELEGRAM_PACKAGE_SPEC=openclaw@beta`;设置 `OPENCLAW_NPM_TELEGRAM_PACKAGE_TGZ=/path/to/openclaw-current.tgz` 或 `OPENCLAW_CURRENT_PACKAGE_TGZ`,以测试已解析的本地 tarball,而不是从注册表安装。
|
||||
- 使用与 `pnpm openclaw qa telegram` 相同的 Telegram 环境变量凭证或 Convex 凭证来源。对于 CI/发布自动化,设置 `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_SOURCE=convex`,以及 `OPENCLAW_QA_CONVEX_SITE_URL` 和角色密钥。如果 CI 中存在 `OPENCLAW_QA_CONVEX_SITE_URL` 和 Convex 角色密钥,Docker 包装器会自动选择 Convex。
|
||||
- `OPENCLAW_NPM_TELEGRAM_CREDENTIAL_ROLE=ci|maintainer` 仅对该通道覆盖共享的 `OPENCLAW_QA_CREDENTIAL_ROLE`。
|
||||
- GitHub Actions 将该通道公开为手动维护者工作流 `NPM Telegram Beta E2E`。它不会在合并时运行。该工作流使用 `qa-live-shared` 环境和 Convex CI 凭证租约。
|
||||
- GitHub Actions 还公开了 `Package Acceptance`,用于针对一个候选包进行旁路运行的产品证明。它接受受信任的 ref、已发布的 npm spec、HTTPS tarball URL 加 SHA-256,或来自另一次运行的 tarball 产物,将规范化的 `openclaw-current.tgz` 上传为 `package-under-test`,然后使用 smoke、package、product、full 或 custom 通道配置运行现有 Docker E2E 调度器。设置 `telegram_mode=mock-openai` 或 `live-frontier`,即可针对同一个 `package-under-test` 产物运行 Telegram QA 工作流。
|
||||
- 最新 beta 产品证明:
|
||||
|
||||
```bash
|
||||
@ -162,7 +171,7 @@ gh workflow run package-acceptance.yml --ref main \
|
||||
-f suite_profile=package
|
||||
```
|
||||
|
||||
- 构件证明会从另一个 Actions 运行下载 tarball artifact:
|
||||
- 产物证明会从另一次 Actions 运行下载 tarball 产物:
|
||||
|
||||
```bash
|
||||
gh workflow run package-acceptance.yml --ref main \
|
||||
@ -173,44 +182,44 @@ gh workflow run package-acceptance.yml --ref main \
|
||||
```
|
||||
|
||||
- `pnpm test:docker:plugins`
|
||||
- 在 Docker 中打包并安装当前 OpenClaw 构建,启动配置了 OpenAI 的 Gateway 网关,然后通过配置编辑启用内置渠道/插件。
|
||||
- 验证设置发现会让未配置的可下载插件保持缺席,第一次配置后的 Doctor 修复会显式安装每个缺失的可下载插件,并且第二次重启不会运行隐藏依赖修复。
|
||||
- 还会安装一个已知较旧的 npm 基线,在运行 `openclaw update --tag <candidate>` 前启用 Telegram,并验证候选版本的更新后 Doctor 会清理旧版插件依赖残留,而无需 harness 侧 postinstall 修复。
|
||||
- 在 Docker 中打包并安装当前 OpenClaw 构建,启动已配置 OpenAI 的 Gateway 网关,然后通过配置编辑启用内置渠道/插件。
|
||||
- 验证设置发现会让未配置的可下载插件保持缺失,首次配置后的 Doctor 修复会显式安装每个缺失的可下载插件,并且第二次重启不会运行隐藏依赖修复。
|
||||
- 还会安装一个已知的旧版 npm 基线,在运行 `openclaw update --tag <candidate>` 之前启用 Telegram,并验证候选版本的更新后 Doctor 会清理旧版插件依赖残留,而无需 harness 侧 postinstall 修复。
|
||||
- `pnpm test:parallels:npm-update`
|
||||
- 跨 Parallels guest 运行原生打包安装更新 smoke。每个选定平台会先安装请求的基线包,然后在同一个 guest 中运行已安装的 `openclaw update` 命令,并验证已安装版本、更新状态、Gateway 网关就绪性,以及一次本地智能体回合。
|
||||
- 在迭代单个 guest 时使用 `--platform macos`、`--platform windows` 或 `--platform linux`。使用 `--json` 获取摘要构件路径和每个通道的状态。
|
||||
- OpenAI 通道默认使用 `openai/gpt-5.5` 进行 live 智能体回合证明。若要有意验证另一个 OpenAI 模型,请传入 `--model <provider/model>` 或设置 `OPENCLAW_PARALLELS_OPENAI_MODEL`。
|
||||
- 用主机超时包装长时间本地运行,避免 Parallels 传输停滞耗尽剩余测试窗口:
|
||||
- 跨 Parallels 访客运行原生打包安装更新冒烟测试。每个选定平台会先安装请求的基线包,然后在同一个访客中运行已安装的 `openclaw update` 命令,并验证已安装版本、更新状态、Gateway 网关就绪状态,以及一次本地智能体回合。
|
||||
- 在迭代单个访客时使用 `--platform macos`、`--platform windows` 或 `--platform linux`。使用 `--json` 获取摘要产物路径和每个通道的状态。
|
||||
- OpenAI 通道默认使用 `openai/gpt-5.5` 进行实时智能体回合证明。当有意验证另一个 OpenAI 模型时,传入 `--model <provider/model>` 或设置 `OPENCLAW_PARALLELS_OPENAI_MODEL`。
|
||||
- 用主机超时包装长时间本地运行,防止 Parallels 传输停滞耗尽剩余测试窗口:
|
||||
|
||||
```bash
|
||||
timeout --foreground 150m pnpm test:parallels:npm-update -- --json
|
||||
timeout --foreground 90m pnpm test:parallels:npm-update -- --platform windows --json
|
||||
```
|
||||
|
||||
- 该脚本会在 `/tmp/openclaw-parallels-npm-update.*` 下写入嵌套通道日志。在假定外层包装器挂起之前,请检查 `windows-update.log`、`macos-update.log` 或 `linux-update.log`。
|
||||
- 在冷 guest 上,Windows 更新可能在更新后 Doctor 和包更新工作中花费 10 到 15 分钟;只要嵌套的 npm debug 日志仍在推进,这仍然是健康状态。
|
||||
- 不要将此聚合包装器与单独的 Parallels macOS、Windows 或 Linux smoke 通道并行运行。它们共享 VM 状态,可能在快照恢复、包服务或 guest Gateway 网关状态上发生冲突。
|
||||
- 更新后证明会运行常规内置插件表面,因为 speech、图像生成和媒体理解等能力 facade 会通过内置运行时 API 加载,即使智能体回合本身只检查简单文本响应。
|
||||
- 该脚本会将嵌套通道日志写入 `/tmp/openclaw-parallels-npm-update.*`。在假定外层包装器挂起之前,先检查 `windows-update.log`、`macos-update.log` 或 `linux-update.log`。
|
||||
- 在冷访客上,Windows 更新可能会在更新后 Doctor 和包更新工作中花费 10 到 15 分钟;只要嵌套 npm 调试日志仍在推进,这仍然是正常的。
|
||||
- 不要将这个聚合包装器与单独的 Parallels macOS、Windows 或 Linux 冒烟通道并行运行。它们共享 VM 状态,可能在快照恢复、包服务或访客 Gateway 网关状态上发生冲突。
|
||||
- 更新后证明会运行常规内置插件表面,因为语音、图像生成和媒体理解等能力门面会通过内置运行时 API 加载,即使智能体回合本身只检查简单文本响应。
|
||||
|
||||
- `pnpm openclaw qa aimock`
|
||||
- 仅启动本地 AIMock 提供商服务器,用于直接协议 smoke 测试。
|
||||
- 仅启动本地 AIMock 提供商服务器,用于直接协议冒烟测试。
|
||||
- `pnpm openclaw qa matrix`
|
||||
- 针对一次性 Docker 支持的 Tuwunel homeserver 运行 Matrix live QA 通道。仅限源代码检出,打包安装不会随附 `qa-lab`。
|
||||
- 完整 CLI、profile/场景目录、环境变量和构件布局:[Matrix QA](/zh-CN/concepts/qa-matrix)。
|
||||
- 针对一次性 Docker 支持的 Tuwunel homeserver 运行 Matrix 实时 QA 通道。仅限源检出,打包安装不随附 `qa-lab`。
|
||||
- 完整 CLI、配置文件/场景目录、环境变量和产物布局:[Matrix QA](/zh-CN/concepts/qa-matrix)。
|
||||
- `pnpm openclaw qa telegram`
|
||||
- 使用来自环境变量的 driver 和 SUT bot token,针对真实私有群组运行 Telegram live QA 通道。
|
||||
- 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 id 必须是数字 Telegram chat id。
|
||||
- 支持 `--credential-source convex` 以使用共享池化凭据。默认使用环境变量模式,或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 选择加入池化租约。
|
||||
- 任一场景失败时以非零状态退出。当你想获取构件但不想要失败退出代码时,使用 `--allow-failures`。
|
||||
- 需要同一私有群组中的两个不同 bot,且 SUT bot 需要暴露 Telegram username。
|
||||
- 为获得稳定的 bot 间观测,请在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode,并确保 driver bot 可以观测群组 bot 流量。
|
||||
- 在 `.artifacts/qa-e2e/...` 下写入 Telegram QA 报告、摘要和 observed-messages 构件。回复场景包含从 driver 发送请求到观测到 SUT 回复的 RTT。
|
||||
- 使用来自环境变量的驱动器和被测系统机器人令牌,针对真实私有群组运行 Telegram 实时 QA 通道。
|
||||
- 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 ID 必须是数字 Telegram chat id。
|
||||
- 支持 `--credential-source convex` 以使用共享池化凭证。默认使用环境变量模式,或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 选择加入池化租约。
|
||||
- 当任一场景失败时以非零状态退出。当你想要产物但不想要失败退出码时,使用 `--allow-failures`。
|
||||
- 需要同一个私有群组中的两个不同机器人,且被测系统机器人需要公开 Telegram username。
|
||||
- 为了稳定进行机器人对机器人观测,请在 `@BotFather` 中为两个机器人启用 Bot-to-Bot Communication Mode,并确保驱动器机器人可以观测群组机器人流量。
|
||||
- 将 Telegram QA 报告、摘要和 observed-messages 产物写入 `.artifacts/qa-e2e/...`。回复场景包含从驱动器发送请求到观测到被测系统回复的 RTT。
|
||||
|
||||
Live 传输通道共享一个标准契约,因此新传输不会漂移;每个通道的覆盖矩阵位于 [QA overview → Live transport coverage](/zh-CN/concepts/qa-e2e-automation#live-transport-coverage)。`qa-channel` 是广泛的合成套件,不属于该矩阵。
|
||||
实时传输通道共享一个标准契约,因此新的传输不会漂移;各通道覆盖矩阵位于 [QA overview → 实时传输覆盖](/zh-CN/concepts/qa-e2e-automation#live-transport-coverage)。`qa-channel` 是广泛的合成套件,不属于该矩阵。
|
||||
|
||||
### 通过 Convex 共享 Telegram 凭据(v1)
|
||||
### 通过 Convex 共享 Telegram 凭证(v1)
|
||||
|
||||
当为 `openclaw qa telegram` 启用 `--credential-source convex`(或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`)时,QA lab 会从 Convex 支持的池中获取独占租约,在通道运行期间为该租约发送 Heartbeat,并在关闭时释放租约。
|
||||
当为 `openclaw qa telegram` 启用 `--credential-source convex`(或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`)时,QA lab 会从 Convex 支持的池中获取独占租约,在通道运行期间对该租约发送 Heartbeat,并在关闭时释放租约。
|
||||
|
||||
参考 Convex 项目脚手架:
|
||||
|
||||
@ -222,9 +231,9 @@ Live 传输通道共享一个标准契约,因此新传输不会漂移;每个
|
||||
- 所选角色的一个密钥:
|
||||
- `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER` 用于 `maintainer`
|
||||
- `OPENCLAW_QA_CONVEX_SECRET_CI` 用于 `ci`
|
||||
- 凭据角色选择:
|
||||
- 凭证角色选择:
|
||||
- CLI:`--credential-role maintainer|ci`
|
||||
- 环境变量默认值:`OPENCLAW_QA_CREDENTIAL_ROLE`(在 CI 中默认为 `ci`,否则默认为 `maintainer`)
|
||||
- 环境变量默认值:`OPENCLAW_QA_CREDENTIAL_ROLE`(在 CI 中默认为 `ci`,否则为 `maintainer`)
|
||||
|
||||
可选环境变量:
|
||||
|
||||
@ -233,14 +242,14 @@ Live 传输通道共享一个标准契约,因此新传输不会漂移;每个
|
||||
- `OPENCLAW_QA_CREDENTIAL_ACQUIRE_TIMEOUT_MS`(默认 `90000`)
|
||||
- `OPENCLAW_QA_CREDENTIAL_HTTP_TIMEOUT_MS`(默认 `15000`)
|
||||
- `OPENCLAW_QA_CONVEX_ENDPOINT_PREFIX`(默认 `/qa-credentials/v1`)
|
||||
- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`(可选 trace id)
|
||||
- `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许仅用于本地开发的 loopback `http://` Convex URL。
|
||||
- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`(可选跟踪 ID)
|
||||
- `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许仅本地开发使用的 loopback `http://` Convex URL。
|
||||
|
||||
`OPENCLAW_QA_CONVEX_SITE_URL` 在常规操作中应使用 `https://`。
|
||||
`OPENCLAW_QA_CONVEX_SITE_URL` 在正常运行中应使用 `https://`。
|
||||
|
||||
维护者管理员命令(池 add/remove/list)明确需要 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。
|
||||
维护者管理命令(池添加/移除/列出)明确要求 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。
|
||||
|
||||
维护者 CLI helper:
|
||||
维护者 CLI 辅助命令:
|
||||
|
||||
```bash
|
||||
pnpm openclaw qa credentials doctor
|
||||
@ -249,7 +258,7 @@ pnpm openclaw qa credentials list --kind telegram
|
||||
pnpm openclaw qa credentials remove --credential-id <credential-id>
|
||||
```
|
||||
|
||||
在 live 运行前使用 `doctor` 检查 Convex site URL、broker 密钥、端点前缀、HTTP 超时和 admin/list 可达性,且不会打印密钥值。在脚本和 CI 工具中使用 `--json` 获取机器可读输出。
|
||||
在实时运行之前使用 `doctor` 检查 Convex 站点 URL、broker 密钥、端点前缀、HTTP 超时和 admin/list 可达性,而不会打印密钥值。在脚本和 CI 工具中使用 `--json` 获取机器可读输出。
|
||||
|
||||
默认端点契约(`OPENCLAW_QA_CONVEX_SITE_URL` + `/qa-credentials/v1`):
|
||||
|
||||
@ -269,133 +278,135 @@ pnpm openclaw qa credentials remove --credential-id <credential-id>
|
||||
- `POST /admin/remove`(仅限维护者密钥)
|
||||
- 请求:`{ credentialId, actorId }`
|
||||
- 成功:`{ status: "ok", changed, credential }`
|
||||
- 活动租约保护:`{ status: "error", code: "LEASE_ACTIVE", ... }`
|
||||
- 活跃租约保护:`{ status: "error", code: "LEASE_ACTIVE", ... }`
|
||||
- `POST /admin/list`(仅限维护者密钥)
|
||||
- 请求:`{ kind?, status?, includePayload?, limit? }`
|
||||
- 成功:`{ status: "ok", credentials, count }`
|
||||
|
||||
Telegram 类型的载荷形状:
|
||||
Telegram kind 的 payload 形状:
|
||||
|
||||
- `{ groupId: string, driverToken: string, sutToken: string }`
|
||||
- `groupId` 必须是数字形式的 Telegram chat id 字符串。
|
||||
- `admin/add` 会针对 `kind: "telegram"` 验证此形状,并拒绝格式错误的载荷。
|
||||
- `groupId` 必须是数字形式的 Telegram 聊天 ID 字符串。
|
||||
- `admin/add` 会针对 `kind: "telegram"` 验证此形状,并拒绝格式错误的 payload。
|
||||
|
||||
### 向 QA 添加渠道
|
||||
|
||||
新渠道适配器的架构和场景辅助程序名称位于 [QA overview → 添加渠道](/zh-CN/concepts/qa-e2e-automation#adding-a-channel)。最低要求:在共享 `qa-lab` 主机接缝上实现传输运行器,在插件清单中声明 `qaRunners`,挂载为 `openclaw qa <runner>`,并在 `qa/scenarios/` 下编写场景。
|
||||
新渠道适配器的架构和场景辅助程序名称见 [QA overview → 添加渠道](/zh-CN/concepts/qa-e2e-automation#adding-a-channel)。最低要求:在共享的 `qa-lab` 主机 seam 上实现传输运行器,在插件清单中声明 `qaRunners`,挂载为 `openclaw qa <runner>`,并在 `qa/scenarios/` 下编写场景。
|
||||
|
||||
## 测试套件(在哪里运行什么)
|
||||
|
||||
可以把这些套件看作“现实程度递增”(同时不稳定性/成本也递增):
|
||||
可以把这些套件理解为“真实度递增”(同时不稳定性/成本也递增):
|
||||
|
||||
### 单元 / 集成(默认)
|
||||
|
||||
- 命令:`pnpm test`
|
||||
- 配置:无目标运行使用 `vitest.full-*.config.ts` 分片集,并可能将多项目分片展开为按项目的配置,以便并行调度
|
||||
- 配置:非定向运行使用 `vitest.full-*.config.ts` 分片集,并可能把多项目分片展开为按项目划分的配置,以便并行调度
|
||||
- 文件:`src/**/*.test.ts`、`packages/**/*.test.ts` 和 `test/**/*.test.ts` 下的核心/单元清单;UI 单元测试在专用的 `unit-ui` 分片中运行
|
||||
- 范围:
|
||||
- 纯单元测试
|
||||
- 进程内集成测试(Gateway 网关认证、路由、工具、解析、配置)
|
||||
- 针对已知 bug 的确定性回归测试
|
||||
- 已知错误的确定性回归测试
|
||||
- 预期:
|
||||
- 在 CI 中运行
|
||||
- 不需要真实密钥
|
||||
- 应当快速且稳定
|
||||
- 解析器和公开表面加载器测试必须使用生成的微型插件夹具来证明宽泛的 `api.js` 和
|
||||
- 应该快速且稳定
|
||||
- 解析器和公共 surface 加载器测试必须使用生成的微型插件 fixture 证明宽泛 `api.js` 和
|
||||
`runtime-api.js` 回退行为,而不是使用真实内置插件源 API。真实插件 API 加载应放在
|
||||
插件自有的契约/集成套件中。
|
||||
|
||||
<AccordionGroup>
|
||||
<Accordion title="项目、分片和作用域化通道">
|
||||
<Accordion title="项目、分片和限定范围的 lane">
|
||||
|
||||
- 无目标 `pnpm test` 会运行十二个较小的分片配置(`core-unit-fast`、`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`),而不是一个巨大的原生根项目进程。这会降低负载机器上的峰值 RSS,并避免 auto-reply/插件工作拖慢无关套件。
|
||||
- `pnpm test --watch` 仍使用原生根 `vitest.config.ts` 项目图,因为多分片 watch 循环并不实际。
|
||||
- `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会先通过作用域化通道路由显式文件/目录目标,因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 可以避免支付完整根项目启动成本。
|
||||
- `pnpm test:changed` 默认会把变更的 git 路径展开为低成本的作用域化通道:直接测试编辑、同级 `*.test.ts` 文件、显式源映射,以及本地导入图依赖项。配置/设置/包编辑不会广泛运行测试,除非你显式使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
- `pnpm check:changed` 是窄范围工作的常规智能本地检查门禁。它会将 diff 分类为核心、核心测试、插件、插件测试、应用、文档、发布元数据、实时 Docker 工具和工具链,然后运行匹配的类型检查、lint 和保护命令。它不运行 Vitest 测试;需要测试证明时调用 `pnpm test:changed` 或显式 `pnpm test <target>`。仅发布元数据的版本提升会运行定向版本/配置/根依赖检查,并带有保护,拒绝顶层版本字段之外的包变更。
|
||||
- 实时 Docker ACP harness 编辑会运行聚焦检查:实时 Docker 认证脚本的 shell 语法,以及实时 Docker 调度器空运行。只有当 diff 限于 `scripts["test:docker:live-*"]` 时才包含 `package.json` 变更;依赖、导出、版本和其他包表面编辑仍使用更宽泛的保护。
|
||||
- 来自 agents、commands、plugins、auto-reply helpers、`plugin-sdk` 以及类似纯工具区域的轻导入单元测试会路由到 `unit-fast` 通道,该通道会跳过 `test/setup-openclaw-runtime.ts`;有状态/运行时较重的文件仍保留在现有通道上。
|
||||
- 选定的 `plugin-sdk` 和 `commands` 辅助源文件也会把变更模式运行映射到这些轻量通道中的显式同级测试,因此辅助程序编辑可以避免为该目录重新运行完整的重型套件。
|
||||
- `auto-reply` 为顶层核心辅助程序、顶层 `reply.*` 集成测试和 `src/auto-reply/reply/**` 子树设置了专用桶。CI 还会将 reply 子树进一步拆分为 agent-runner、dispatch 和 commands/state-routing 分片,避免某个导入繁重的桶独占完整的 Node 尾部时间。
|
||||
- 常规 PR/main CI 有意跳过插件批量扫描和仅发布使用的 `agentic-plugins` 分片。完整发布验证会为发布候选上的这些插件/插件繁重套件调度单独的 `Plugin Prerelease` 子工作流。
|
||||
- 非定向 `pnpm test` 会运行十二个较小的分片配置(`core-unit-fast`、`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`),而不是一个巨大的原生根项目进程。这会降低高负载机器上的峰值 RSS,并避免 auto-reply/extension 工作让无关套件饥饿。
|
||||
- `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图,因为多分片 watch loop 并不实用。
|
||||
- `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会先通过限定范围的 lane 路由显式文件/目录目标,因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 可以避免支付完整根项目启动成本。
|
||||
- `pnpm test:changed` 默认会把已变更的 git 路径展开为低成本的限定范围 lane:直接测试编辑、相邻 `*.test.ts` 文件、显式源映射,以及本地 import-graph 依赖项。配置/设置/package 编辑不会广泛运行测试,除非你显式使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
- `pnpm check:changed` 是窄范围工作的常规智能本地检查 gate。它会把 diff 分类为核心、核心测试、extensions、extension 测试、应用、文档、发布元数据、实时 Docker 工具和工具链,然后运行匹配的类型检查、lint 和 guard 命令。它不会运行 Vitest 测试;如需测试证明,请调用 `pnpm test:changed` 或显式 `pnpm test <target>`。仅发布元数据的版本 bump 会运行定向版本/配置/根依赖检查,并带有一个 guard,用于拒绝顶层版本字段之外的 package 变更。
|
||||
- 实时 Docker ACP harness 编辑会运行聚焦检查:实时 Docker 认证脚本的 shell 语法检查,以及实时 Docker 调度器 dry-run。只有当 diff 限定在 `scripts["test:docker:live-*"]` 时,才会包含 `package.json` 变更;依赖、export、版本和其他 package surface 编辑仍使用更宽泛的 guard。
|
||||
- 来自 agents、commands、plugins、auto-reply helpers、`plugin-sdk` 和类似纯工具区域的轻 import 单元测试会通过 `unit-fast` lane 路由,该 lane 会跳过 `test/setup-openclaw-runtime.ts`;有状态/Runtime 较重的文件仍留在现有 lane 上。
|
||||
- 选定的 `plugin-sdk` 和 `commands` 辅助源文件还会把变更模式运行映射到这些轻量 lane 中的显式相邻测试,因此辅助程序编辑可以避免为该目录重新运行完整重型套件。
|
||||
- `auto-reply` 为顶层核心辅助程序、顶层 `reply.*` 集成测试,以及 `src/auto-reply/reply/**` 子树设置了专用 bucket。CI 进一步把 reply 子树拆分为 agent-runner、dispatch 和 commands/state-routing 分片,避免一个 import 较重的 bucket 独占完整 Node 尾段。
|
||||
- 普通 PR/main CI 会有意跳过 extension 批量 sweep 和仅发布使用的 `agentic-plugins` 分片。完整发布验证会为发布候选版本分发单独的 `Plugin Prerelease` 子 workflow,用于这些插件/extension 较重的套件。
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="嵌入式运行器覆盖">
|
||||
<Accordion title="嵌入式运行器覆盖率">
|
||||
|
||||
- 当你更改消息工具发现输入或压缩运行时
|
||||
上下文时,请保留两个层级的覆盖。
|
||||
- 为纯路由和规范化边界添加聚焦辅助回归测试。
|
||||
- 当你更改消息工具发现输入或压缩 Runtime
|
||||
上下文时,请保留两个层级的覆盖率。
|
||||
- 为纯路由和规范化
|
||||
边界添加聚焦辅助回归测试。
|
||||
- 保持嵌入式运行器集成套件健康:
|
||||
`src/agents/pi-embedded-runner/compact.hooks.test.ts`、
|
||||
`src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和
|
||||
`src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。
|
||||
- 这些套件会验证作用域化 id 和压缩行为仍会流经真实的
|
||||
`run.ts` / `compact.ts` 路径;仅辅助程序测试不足以替代这些集成路径。
|
||||
- 这些套件会验证限定范围的 ID 和压缩行为仍然流经
|
||||
真实的 `run.ts` / `compact.ts` 路径;仅辅助程序测试
|
||||
不能充分替代这些集成路径。
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="Vitest 池和隔离默认值">
|
||||
|
||||
- 基础 Vitest 配置默认使用 `threads`。
|
||||
- 共享 Vitest 配置固定 `isolate: false`,并在根项目、e2e 和实时配置中使用
|
||||
- 共享 Vitest 配置固定 `isolate: false`,并在根项目、e2e 和 live 配置中使用
|
||||
非隔离运行器。
|
||||
- 根 UI 通道保留其 `jsdom` 设置和优化器,但同样运行在
|
||||
- 根 UI lane 保留其 `jsdom` 设置和优化器,但也运行在
|
||||
共享的非隔离运行器上。
|
||||
- 每个 `pnpm test` 分片都从共享 Vitest 配置继承相同的 `threads` + `isolate: false`
|
||||
默认值。
|
||||
- `scripts/run-vitest.mjs` 默认会为 Vitest 子 Node
|
||||
- `scripts/run-vitest.mjs` 默认为 Vitest 子 Node
|
||||
进程添加 `--no-maglev`,以减少大型本地运行期间的 V8 编译抖动。
|
||||
设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1` 可与原版 V8
|
||||
设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1` 可与标准 V8
|
||||
行为进行比较。
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="快速本地迭代">
|
||||
|
||||
- `pnpm changed:lanes` 会显示 diff 触发哪些架构通道。
|
||||
- pre-commit 钩子仅执行格式化。它会重新暂存已格式化文件,并且
|
||||
不运行 lint、类型检查或测试。
|
||||
- 当你需要智能本地检查门禁时,在交接或推送前显式运行 `pnpm check:changed`。
|
||||
- `pnpm test:changed` 默认通过低成本作用域化通道路由。只有当智能体
|
||||
判定 harness、配置、包或契约编辑确实需要更广泛的
|
||||
Vitest 覆盖时,才使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
- `pnpm test:max` 和 `pnpm test:changed:max` 保持相同路由
|
||||
- `pnpm changed:lanes` 会显示一个 diff 触发了哪些架构 lane。
|
||||
- pre-commit hook 仅负责格式化。它会重新 stage 格式化后的文件,
|
||||
不会运行 lint、类型检查或测试。
|
||||
- 当你需要智能本地检查 gate 时,请在交接或 push 前显式运行 `pnpm check:changed`。
|
||||
- `pnpm test:changed` 默认通过低成本的限定范围 lane 路由。仅当智能体
|
||||
判定 harness、配置、package 或契约编辑确实需要更宽泛的
|
||||
Vitest 覆盖率时,才使用 `OPENCLAW_TEST_CHANGED_BROAD=1 pnpm test:changed`。
|
||||
- `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由
|
||||
行为,只是使用更高的 worker 上限。
|
||||
- 本地 worker 自动缩放有意保持保守,并在主机负载平均值已经很高时回退,
|
||||
因此多个并发
|
||||
Vitest 运行默认造成的影响更小。
|
||||
- 基础 Vitest 配置会将项目/配置文件标记为
|
||||
`forceRerunTriggers`,这样当测试
|
||||
接线发生变化时,变更模式重跑仍保持正确。
|
||||
- 配置会在受支持主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`;
|
||||
如果你想为直接性能分析使用一个显式缓存位置,请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。
|
||||
- 本地 worker 自动缩放有意保持保守,并会在主机负载平均值已经很高时
|
||||
退让,因此多个并发
|
||||
Vitest 运行默认会造成更少影响。
|
||||
- 基础 Vitest 配置会把项目/配置文件标记为
|
||||
`forceRerunTriggers`,因此当测试
|
||||
wiring 变化时,变更模式重跑仍然正确。
|
||||
- 配置会在受支持的
|
||||
主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`;如果你希望
|
||||
为直接性能分析使用一个显式缓存位置,请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="性能调试">
|
||||
|
||||
- `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及
|
||||
导入拆解输出。
|
||||
- `pnpm test:perf:imports:changed` 会将相同的性能分析视图限定到
|
||||
- `pnpm test:perf:imports` 会启用 Vitest import 时长报告,以及
|
||||
import-breakdown 输出。
|
||||
- `pnpm test:perf:imports:changed` 会把同一个性能分析视图限定到
|
||||
自 `origin/main` 以来变更的文件。
|
||||
- 分片计时数据会写入 `.artifacts/vitest-shard-timings.json`。
|
||||
全配置运行使用配置路径作为键;include-pattern CI
|
||||
整个配置运行使用配置路径作为键;include-pattern CI
|
||||
分片会追加分片名称,以便单独跟踪过滤后的分片。
|
||||
- 当某个热点测试仍把大部分时间花在启动导入上时,
|
||||
将重型依赖放在窄范围本地 `*.runtime.ts` 接缝之后,并
|
||||
直接 mock 该接缝,而不是深度导入运行时辅助程序
|
||||
只是为了把它们传给 `vi.mock(...)`。
|
||||
- `pnpm test:perf:changed:bench -- --ref <git-ref>` 会比较已提交
|
||||
diff 的路由后 `test:changed` 与原生根项目路径,并打印
|
||||
墙钟时间以及 macOS 最大 RSS。
|
||||
- `pnpm test:perf:changed:bench -- --worktree` 会通过将变更文件列表路由到
|
||||
`scripts/test-projects.mjs` 和根 Vitest 配置来基准测试当前
|
||||
脏工作树。
|
||||
- 当某个热点测试仍然把大部分时间花在启动 import 上时,
|
||||
请把重型依赖放在狭窄的本地 `*.runtime.ts` seam 后面,并
|
||||
直接 mock 该 seam,而不是为了把 Runtime 辅助程序传给 `vi.mock(...)`
|
||||
而进行深层 import。
|
||||
- `pnpm test:perf:changed:bench -- --ref <git-ref>` 会比较路由后的
|
||||
`test:changed` 与该已提交 diff 的原生根项目路径,并打印 wall time 和 macOS 最大 RSS。
|
||||
- `pnpm test:perf:changed:bench -- --worktree` 会通过把变更文件列表路由到
|
||||
`scripts/test-projects.mjs` 和根 Vitest 配置来对当前
|
||||
脏工作树做基准测试。
|
||||
- `pnpm test:perf:profile:main` 会为
|
||||
Vitest/Vite 启动和转换开销写入主线程 CPU 配置文件。
|
||||
- `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下,为
|
||||
单元套件写入 runner CPU+heap 配置文件。
|
||||
Vitest/Vite 启动和 transform 开销写入主线程 CPU profile。
|
||||
- `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下为
|
||||
单元套件写入运行器 CPU+heap profile。
|
||||
|
||||
</Accordion>
|
||||
</AccordionGroup>
|
||||
@ -405,140 +416,135 @@ Telegram 类型的载荷形状:
|
||||
- 命令:`pnpm test:stability:gateway`
|
||||
- 配置:`vitest.gateway.config.ts`,强制使用一个 worker
|
||||
- 范围:
|
||||
- 启动一个真实的 loopback Gateway 网关,并默认启用诊断
|
||||
- 通过诊断事件路径驱动合成 Gateway 网关消息、记忆和大载荷流转
|
||||
- 启动一个真实的 loopback Gateway 网关,默认启用诊断
|
||||
- 通过诊断事件路径驱动合成 Gateway 网关消息、记忆和大 payload 抖动
|
||||
- 通过 Gateway 网关 WS RPC 查询 `diagnostics.stability`
|
||||
- 覆盖诊断稳定性包持久化辅助程序
|
||||
- 断言记录器保持有界、合成 RSS 样本保持低于压力预算,并且每个会话的队列深度回落为零
|
||||
- 覆盖诊断稳定性 bundle 持久化辅助程序
|
||||
- 断言记录器保持有界,合成 RSS 样本保持在压力预算以下,并且每个会话的队列深度会重新降为零
|
||||
- 预期:
|
||||
- CI 安全且无需密钥
|
||||
- 用于稳定性回归跟进的窄通道,不是完整 Gateway 网关套件的替代品
|
||||
- CI 安全且不需要密钥
|
||||
- 用于稳定性回归跟进的窄 lane,不能替代完整 Gateway 网关套件
|
||||
|
||||
### E2E(Gateway 网关冒烟)
|
||||
### E2E(Gateway 网关 smoke)
|
||||
|
||||
- 命令:`pnpm test:e2e`
|
||||
- 配置:`vitest.e2e.config.ts`
|
||||
- 文件:`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts`,以及 `extensions/` 下的内置插件 E2E 测试
|
||||
- 运行时默认值:
|
||||
- 使用 Vitest `threads` 且 `isolate: false`,与仓库其余部分一致。
|
||||
- Runtime 默认值:
|
||||
- 使用 Vitest `threads` 和 `isolate: false`,与仓库其余部分一致。
|
||||
- 使用自适应 worker(CI:最多 2 个,本地:默认 1 个)。
|
||||
- 默认以静默模式运行,以减少控制台 I/O 开销。
|
||||
- 有用的覆盖项:
|
||||
- `OPENCLAW_E2E_WORKERS=<n>` 用于强制 worker 数量(上限为 16)。
|
||||
- `OPENCLAW_E2E_VERBOSE=1` 用于重新启用详细控制台输出。
|
||||
- `OPENCLAW_E2E_WORKERS=<n>` 强制指定 worker 数量(上限为 16)。
|
||||
- `OPENCLAW_E2E_VERBOSE=1` 重新启用详细控制台输出。
|
||||
- 范围:
|
||||
- 多实例 Gateway 网关端到端行为
|
||||
- WebSocket/HTTP 表面、节点配对和更重的网络功能
|
||||
- WebSocket/HTTP surface、节点配对,以及更重的网络
|
||||
- 预期:
|
||||
- 在 CI 中运行(当流水线启用时)
|
||||
- 不需要真实密钥
|
||||
- 比单元测试有更多移动部件(可能更慢)
|
||||
- 比单元测试包含更多移动部件(可能更慢)
|
||||
|
||||
### E2E:OpenShell 后端冒烟
|
||||
### E2E:OpenShell 后端 smoke
|
||||
|
||||
- 命令:`pnpm test:e2e:openshell`
|
||||
- 文件:`extensions/openshell/src/backend.e2e.test.ts`
|
||||
- 范围:
|
||||
- 通过 Docker 在主机上启动一个隔离的 OpenShell Gateway 网关
|
||||
- 通过 Docker 在主机上启动一个隔离的 OpenShell 网关
|
||||
- 从临时本地 Dockerfile 创建一个沙箱
|
||||
- 通过真实的 `sandbox ssh-config` + SSH exec 演练 OpenClaw 的 OpenShell 后端
|
||||
- 通过沙箱 fs bridge 验证远程规范化文件系统行为
|
||||
- 通过真实的 `sandbox ssh-config` + SSH exec 测试 OpenClaw 的 OpenShell 后端
|
||||
- 通过沙箱 fs bridge 验证远程规范文件系统行为
|
||||
- 预期:
|
||||
- 仅限选择加入;不是默认 `pnpm test:e2e` 运行的一部分
|
||||
- 需要本地 `openshell` CLI 以及可工作的 Docker daemon
|
||||
- 使用隔离的 `HOME` / `XDG_CONFIG_HOME`,然后销毁测试 Gateway 网关和沙箱
|
||||
- 有用的覆盖项:
|
||||
- `OPENCLAW_E2E_OPENSHELL=1`,在手动运行更广泛的 e2e 套件时启用该测试
|
||||
- `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`,指向非默认的 CLI 二进制文件或包装脚本
|
||||
- 仅按需启用;不属于默认 `pnpm test:e2e` 运行
|
||||
- 需要本地 `openshell` CLI 和可工作的 Docker 守护进程
|
||||
- 使用隔离的 `HOME` / `XDG_CONFIG_HOME`,然后销毁测试网关和沙箱
|
||||
- 实用覆盖项:
|
||||
- `OPENCLAW_E2E_OPENSHELL=1` 用于在手动运行更广泛的 e2e 套件时启用该测试
|
||||
- `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 用于指向非默认的 CLI 二进制文件或包装脚本
|
||||
|
||||
### Live(真实提供商 + 真实模型)
|
||||
### 实时(真实提供商 + 真实模型)
|
||||
|
||||
- 命令:`pnpm test:live`
|
||||
- 配置:`vitest.live.config.ts`
|
||||
- 文件:`src/**/*.live.test.ts`、`test/**/*.live.test.ts`,以及 `extensions/` 下的内置插件 live 测试
|
||||
- 默认值:通过 `pnpm test:live` **启用**(设置 `OPENCLAW_LIVE_TEST=1`)
|
||||
- 文件:`src/**/*.live.test.ts`、`test/**/*.live.test.ts`,以及 `extensions/` 下的内置插件实时测试
|
||||
- 默认值:由 `pnpm test:live` **启用**(设置 `OPENCLAW_LIVE_TEST=1`)
|
||||
- 范围:
|
||||
- “这个提供商/模型在 _今天_ 使用真实凭证时是否实际可用?”
|
||||
- 捕获提供商格式变更、工具调用差异、认证问题和速率限制行为
|
||||
- “这个提供商/模型在 _今天_ 用真实凭证真的能工作吗?”
|
||||
- 捕获提供商格式变更、工具调用差异、鉴权问题和速率限制行为
|
||||
- 预期:
|
||||
- 按设计不保证 CI 稳定(真实网络、真实提供商策略、配额、故障)
|
||||
- 会产生费用 / 使用速率限制额度
|
||||
- 优先运行缩小范围的子集,而不是“全部”
|
||||
- Live 运行会 source `~/.profile`,以获取缺失的 API key。
|
||||
- 默认情况下,live 运行仍会隔离 `HOME`,并将配置/认证材料复制到临时测试主目录,这样单元测试 fixture 就无法修改你的真实 `~/.openclaw`。
|
||||
- 只有在你有意需要 live 测试使用真实主目录时,才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。
|
||||
- `pnpm test:live` 现在默认使用更安静的模式:它保留 `[live] ...` 进度输出,但抑制额外的 `~/.profile` 提示,并静音 Gateway 网关 bootstrap 日志/Bonjour 噪声。如果你想恢复完整启动日志,请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。
|
||||
- API key 轮换(特定于提供商):使用逗号/分号格式设置 `*_API_KEYS`,或设置 `*_API_KEY_1`、`*_API_KEY_2`(例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`),也可以通过 `OPENCLAW_LIVE_*_KEY` 按 live 运行覆盖;测试会在收到速率限制响应时重试。
|
||||
- 按设计并非 CI 稳定(真实网络、真实提供商策略、配额、中断)
|
||||
- 会产生成本 / 使用速率限制
|
||||
- 优先运行缩小后的子集,而不是“一切”
|
||||
- 实时运行会读取 `~/.profile`,以获取缺失的 API key。
|
||||
- 默认情况下,实时运行仍会隔离 `HOME`,并把配置/鉴权材料复制到临时测试 home 中,这样单元测试夹具就不能修改你真实的 `~/.openclaw`。
|
||||
- 只有在你有意让实时测试使用真实 home 目录时,才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。
|
||||
- `pnpm test:live` 现在默认使用更安静的模式:它保留 `[live] ...` 进度输出,但会抑制额外的 `~/.profile` 提示,并静音 Gateway 网关启动日志/Bonjour 杂音。如果你想恢复完整启动日志,请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。
|
||||
- API key 轮换(特定于提供商):用逗号/分号格式设置 `*_API_KEYS`,或设置 `*_API_KEY_1`、`*_API_KEY_2`(例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`),也可通过 `OPENCLAW_LIVE_*_KEY` 设置每个实时运行的覆盖项;测试会在速率限制响应时重试。
|
||||
- 进度/Heartbeat 输出:
|
||||
- Live 套件现在会向 stderr 发出进度行,因此即使 Vitest 控制台捕获较安静,长时间的提供商调用也会显示为活跃状态。
|
||||
- `vitest.live.config.ts` 会禁用 Vitest 控制台拦截,因此提供商/Gateway 网关进度行会在 live 运行期间立即流式输出。
|
||||
- 实时套件现在会向 stderr 发出进度行,因此即使 Vitest 控制台捕获很安静,长时间的提供商调用也会显示为仍在活动。
|
||||
- `vitest.live.config.ts` 会禁用 Vitest 控制台拦截,因此提供商/Gateway 网关进度行会在实时运行期间立即流式输出。
|
||||
- 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型 Heartbeat。
|
||||
- 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关/探测 Heartbeat。
|
||||
|
||||
## 我应该运行哪个套件?
|
||||
|
||||
使用此决策表:
|
||||
使用这个决策表:
|
||||
|
||||
- 编辑逻辑/测试:运行 `pnpm test`(如果你改动很多,也运行 `pnpm test:coverage`)
|
||||
- 触及 Gateway 网关网络 / WS 协议 / 配对:添加 `pnpm test:e2e`
|
||||
- 调试“我的 bot 挂了” / 特定提供商失败 / 工具调用:运行缩小范围的 `pnpm test:live`
|
||||
- 触及 Gateway 网关网络 / WS 协议 / 配对:加上 `pnpm test:e2e`
|
||||
- 调试“我的机器人宕了” / 特定提供商失败 / 工具调用:运行缩小后的 `pnpm test:live`
|
||||
|
||||
## Live(触网)测试
|
||||
## 实时(触及网络)测试
|
||||
|
||||
关于 live 模型矩阵、CLI 后端 smoke、ACP smoke、Codex app-server
|
||||
harness,以及所有媒体提供商 live 测试(Deepgram、BytePlus、ComfyUI、image、
|
||||
music、video、media harness)——再加上 live 运行的凭证处理——请参阅
|
||||
[Testing live suites](/zh-CN/help/testing-live)。关于专用的更新和
|
||||
插件验证清单,请参阅
|
||||
[更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
关于实时模型矩阵、CLI 后端冒烟、ACP 冒烟、Codex app-server harness,以及所有媒体提供商实时测试(Deepgram、BytePlus、ComfyUI、图片、音乐、视频、media harness),再加上实时运行的凭证处理,请参阅[测试实时套件](/zh-CN/help/testing-live)。关于专用的更新和插件验证检查清单,请参阅[更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
|
||||
## Docker 运行器(可选的“在 Linux 中可用”检查)
|
||||
## Docker 运行器(可选的“在 Linux 中可工作”检查)
|
||||
|
||||
这些 Docker 运行器分为两类:
|
||||
|
||||
- Live 模型运行器:`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像内运行各自匹配的 profile-key live 文件(`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`),挂载你的本地配置目录和工作区(如果已挂载,也会 source `~/.profile`)。匹配的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。
|
||||
- Docker live 运行器默认使用较小的 smoke 上限,使完整 Docker sweep 保持可行:
|
||||
`test:docker:live-models` 默认设置为 `OPENCLAW_LIVE_MAX_MODELS=12`,并且
|
||||
`test:docker:live-gateway` 默认设置为 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、
|
||||
- 实时模型运行器:`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像内运行它们匹配 profile-key 的实时文件(`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`),并挂载你的本地配置目录和工作区(如果已挂载,也会读取 `~/.profile`)。匹配的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。
|
||||
- Docker 实时运行器默认使用较小的冒烟上限,以便完整 Docker 扫描保持实用:
|
||||
`test:docker:live-models` 默认使用 `OPENCLAW_LIVE_MAX_MODELS=12`,并且
|
||||
`test:docker:live-gateway` 默认使用 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、
|
||||
`OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、
|
||||
`OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 和
|
||||
`OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。只有在你明确想要更大的详尽扫描时,才覆盖这些环境变量。
|
||||
- `test:docker:all` 通过 `test:docker:live-build` 构建一次 live Docker 镜像,通过 `scripts/package-openclaw-for-docker.mjs` 将 OpenClaw 打包一次为 npm tarball,然后构建/复用两个 `scripts/e2e/Dockerfile` 镜像。裸镜像只是用于安装/更新/插件依赖 lane 的 Node/Git 运行器;这些 lane 会挂载预构建的 tarball。功能镜像会将同一个 tarball 安装到 `/app`,用于构建后应用功能 lane。Docker lane 定义位于 `scripts/lib/docker-e2e-scenarios.mjs`;规划器逻辑位于 `scripts/lib/docker-e2e-plan.mjs`;`scripts/test-docker-all.mjs` 执行选定的计划。聚合运行使用加权本地调度器:`OPENCLAW_DOCKER_ALL_PARALLELISM` 控制进程 slot,而资源上限会避免重型 live、npm 安装和多服务 lane 同时全部启动。如果单个 lane 比活动上限更重,调度器仍可在池为空时启动它,然后让它单独运行,直到容量再次可用。默认值是 10 个 slot、`OPENCLAW_DOCKER_ALL_LIVE_LIMIT=9`、`OPENCLAW_DOCKER_ALL_NPM_LIMIT=10` 和 `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT=7`;只有当 Docker 主机有更多余量时,才调整 `OPENCLAW_DOCKER_ALL_WEIGHT_LIMIT` 或 `OPENCLAW_DOCKER_ALL_DOCKER_LIMIT`。运行器默认执行 Docker preflight,移除过期的 OpenClaw E2E 容器,每 30 秒打印一次 Status,将成功 lane 的耗时存储在 `.artifacts/docker-tests/lane-timings.json`,并在后续运行中使用这些耗时优先启动更长的 lane。使用 `OPENCLAW_DOCKER_ALL_DRY_RUN=1` 打印加权 lane 清单而不构建或运行 Docker,或使用 `node scripts/test-docker-all.mjs --plan-json` 打印所选 lane、package/image 需求和凭证的 CI 计划。
|
||||
- `Package Acceptance` 是 GitHub 原生的 package gate,用于验证“这个可安装 tarball 是否能作为产品工作?”它会从 `source=npm`、`source=ref`、`source=url` 或 `source=artifact` 解析一个候选 package,将其上传为 `package-under-test`,然后针对该精确 tarball 运行可复用的 Docker E2E lane,而不是重新打包所选 ref。Profile 按广度排序:`smoke`、`package`、`product` 和 `full`。关于 package/update/plugin contract、已发布升级 survivor 矩阵、发布默认值和失败分诊,请参阅[更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
- 构建和发布检查会在 tsdown 之后运行 `scripts/check-cli-bootstrap-imports.mjs`。该 guard 会从 `dist/entry.js` 和 `dist/cli/run-main.js` 遍历静态构建图,并在命令分发前的启动阶段导入 Commander、prompt UI、undici 或日志等 package 依赖时失败;它还会让内置 Gateway 网关 run chunk 保持在预算内,并拒绝静态导入已知的冷 Gateway 网关路径。打包后的 CLI smoke 还覆盖 root help、onboard help、doctor help、Status、配置 schema 和一个模型列表命令。
|
||||
- Package Acceptance 旧版兼容性封顶于 `2026.4.25`(包括 `2026.4.25-beta.*`)。在该截止点之前,harness 只容忍已发布 package 的元数据缺口:省略的私有 QA inventory 条目、缺失的 `gateway install --wrapper`、tarball 派生 git fixture 中缺失的 patch 文件、缺失的持久化 `update.channel`、旧版插件 install-record 位置、缺失的 marketplace install-record 持久化,以及 `plugins update` 期间的配置元数据迁移。对于 `2026.4.25` 之后的 package,这些路径都是严格失败。
|
||||
- 容器 smoke 运行器:`test:docker:openwebui`、`test:docker:onboard`、`test:docker:npm-onboard-channel-agent`、`test:docker:update-channel-switch`、`test:docker:upgrade-survivor`、`test:docker:published-upgrade-survivor`、`test:docker:session-runtime-context`、`test:docker:agents-delete-shared-workspace`、`test:docker:gateway-network`、`test:docker:browser-cdp-snapshot`、`test:docker:mcp-channels`、`test:docker:pi-bundle-mcp-tools`、`test:docker:cron-mcp-cleanup`、`test:docker:plugins`、`test:docker:plugin-update` 和 `test:docker:config-reload` 会启动一个或多个真实容器,并验证更高层的集成路径。
|
||||
`OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你明确想要更大的穷尽扫描时,覆盖这些环境变量。
|
||||
- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像,再通过 `scripts/package-openclaw-for-docker.mjs` 将 OpenClaw 打包一次为 npm tarball,然后构建/复用两个 `scripts/e2e/Dockerfile` 镜像。裸镜像只是用于安装/更新/插件依赖 lane 的 Node/Git 运行器;这些 lane 会挂载预构建的 tarball。功能镜像会把同一个 tarball 安装到 `/app`,用于已构建应用功能 lane。Docker lane 定义位于 `scripts/lib/docker-e2e-scenarios.mjs`;规划器逻辑位于 `scripts/lib/docker-e2e-plan.mjs`;`scripts/test-docker-all.mjs` 执行选定计划。聚合运行使用加权本地调度器:`OPENCLAW_DOCKER_ALL_PARALLELISM` 控制进程槽位,而资源上限会避免繁重的实时、npm-install 和多服务 lane 同时全部启动。如果单个 lane 比活动上限更重,调度器仍可在池为空时启动它,然后让它单独运行,直到容量再次可用。默认值为 10 个槽位、`OPENCLAW_DOCKER_ALL_LIVE_LIMIT=9`、`OPENCLAW_DOCKER_ALL_NPM_LIMIT=10` 和 `OPENCLAW_DOCKER_ALL_SERVICE_LIMIT=7`;只有当 Docker 主机有更多余量时,才调整 `OPENCLAW_DOCKER_ALL_WEIGHT_LIMIT` 或 `OPENCLAW_DOCKER_ALL_DOCKER_LIMIT`。运行器默认执行 Docker 预检,移除陈旧的 OpenClaw E2E 容器,每 30 秒打印状态,把成功 lane 的耗时存储到 `.artifacts/docker-tests/lane-timings.json`,并在后续运行中用这些耗时优先启动更长的 lane。使用 `OPENCLAW_DOCKER_ALL_DRY_RUN=1` 打印加权 lane 清单而不构建或运行 Docker,或使用 `node scripts/test-docker-all.mjs --plan-json` 打印所选 lane、package/镜像需求和凭证的 CI 计划。
|
||||
- `Package Acceptance` 是 GitHub 原生的软件包门禁,用于检查“这个可安装的 tarball 作为产品能工作吗?”它会从 `source=npm`、`source=ref`、`source=url` 或 `source=artifact` 中解析一个候选 package,将其上传为 `package-under-test`,然后针对该精确 tarball 运行可复用 Docker E2E lane,而不是重新打包所选 ref。配置文件按广度排序:`smoke`、`package`、`product` 和 `full`。关于 package/更新/插件契约、已发布升级幸存者矩阵、发布默认值和失败分诊,请参阅[更新和插件测试](/zh-CN/help/testing-updates-plugins)。
|
||||
- 构建和发布检查会在 tsdown 之后运行 `scripts/check-cli-bootstrap-imports.mjs`。该守卫会从 `dist/entry.js` 和 `dist/cli/run-main.js` 遍历静态构建图,并在命令分派前的启动导入中出现 Commander、prompt UI、undici 或日志等 package 依赖时失败;它还会确保内置 Gateway 网关运行 chunk 低于预算,并拒绝已知冷 Gateway 网关路径的静态导入。打包后的 CLI 冒烟还覆盖根帮助、新手引导帮助、Doctor 帮助、Status、配置 schema 和模型列表命令。
|
||||
- Package Acceptance 旧版兼容性上限为 `2026.4.25`(包括 `2026.4.25-beta.*`)。在该截止点之前,harness 只容忍已发布 package 的元数据缺口:省略的私有 QA inventory 条目、缺失的 `gateway install --wrapper`、tarball 派生 git 夹具中缺失的 patch 文件、缺失的持久化 `update.channel`、旧版插件安装记录位置、缺失的 marketplace 安装记录持久化,以及 `plugins update` 期间的配置元数据迁移。对于 `2026.4.25` 之后的 package,这些路径会严格失败。
|
||||
- 容器冒烟运行器:`test:docker:openwebui`、`test:docker:onboard`、`test:docker:npm-onboard-channel-agent`、`test:docker:update-channel-switch`、`test:docker:upgrade-survivor`、`test:docker:published-upgrade-survivor`、`test:docker:session-runtime-context`、`test:docker:agents-delete-shared-workspace`、`test:docker:gateway-network`、`test:docker:browser-cdp-snapshot`、`test:docker:mcp-channels`、`test:docker:pi-bundle-mcp-tools`、`test:docker:cron-mcp-cleanup`、`test:docker:plugins`、`test:docker:plugin-update` 和 `test:docker:config-reload` 会启动一个或多个真实容器,并验证更高层的集成路径。
|
||||
|
||||
Live 模型 Docker 运行器还只会 bind-mount 所需的 CLI auth home(或者在运行未缩小时挂载所有受支持的 auth home),然后在运行前将它们复制到容器主目录中,这样外部 CLI OAuth 可以刷新 token,而不会修改主机 auth 存储:
|
||||
实时模型 Docker 运行器还只会绑定挂载所需的 CLI 鉴权 home(或在运行未缩小时挂载所有受支持的鉴权 home),然后在运行前把它们复制到容器 home 中,使外部 CLI OAuth 可以刷新令牌而不会修改主机鉴权存储:
|
||||
|
||||
- 直接模型:`pnpm test:docker:live-models`(脚本:`scripts/test-live-models-docker.sh`)
|
||||
- ACP 绑定冒烟测试:`pnpm test:docker:live-acp-bind`(脚本:`scripts/test-live-acp-bind-docker.sh`;默认覆盖 Claude、Codex 和 Gemini,并通过 `pnpm test:docker:live-acp-bind:droid` 和 `pnpm test:docker:live-acp-bind:opencode` 严格覆盖 Droid/OpenCode)
|
||||
- CLI 后端冒烟测试:`pnpm test:docker:live-cli-backend`(脚本:`scripts/test-live-cli-backend-docker.sh`)
|
||||
- Codex app-server harness 冒烟测试:`pnpm test:docker:live-codex-harness`(脚本:`scripts/test-live-codex-harness-docker.sh`)
|
||||
- Gateway 网关 + dev 智能体:`pnpm test:docker:live-gateway`(脚本:`scripts/test-live-gateway-models-docker.sh`)
|
||||
- 可观测性冒烟测试:`pnpm qa:otel:smoke` 是私有 QA 源码检出检查通道。它有意不属于包 Docker 发布通道,因为 npm tarball 会省略 QA Lab。
|
||||
- Codex 应用服务器 harness 冒烟测试:`pnpm test:docker:live-codex-harness`(脚本:`scripts/test-live-codex-harness-docker.sh`)
|
||||
- Gateway 网关 + 开发智能体:`pnpm test:docker:live-gateway`(脚本:`scripts/test-live-gateway-models-docker.sh`)
|
||||
- 可观测性冒烟测试:`pnpm qa:otel:smoke` 是一个私有 QA 源码检出通道。它有意不属于包 Docker 发布通道,因为 npm tarball 会省略 QA Lab。
|
||||
- Open WebUI 实时冒烟测试:`pnpm test:docker:openwebui`(脚本:`scripts/e2e/openwebui-docker.sh`)
|
||||
- 新手引导向导(TTY,完整脚手架):`pnpm test:docker:onboard`(脚本:`scripts/e2e/onboard-docker.sh`)
|
||||
- Npm tarball 新手引导/渠道/智能体冒烟测试:`pnpm test:docker:npm-onboard-channel-agent` 会在 Docker 中全局安装打包好的 OpenClaw tarball,通过 env-ref 新手引导配置 OpenAI,并默认配置 Telegram,运行 Doctor,然后运行一次模拟的 OpenAI 智能体轮次。使用 `OPENCLAW_CURRENT_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball,用 `OPENCLAW_NPM_ONBOARD_HOST_BUILD=0` 跳过主机重建,或用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 切换渠道。
|
||||
- 更新渠道切换冒烟测试:`pnpm test:docker:update-channel-switch` 会在 Docker 中全局安装打包好的 OpenClaw tarball,从包 `stable` 切换到 git `dev`,验证持久化的渠道和插件更新后工作正常,然后切回包 `stable` 并检查更新 Status。
|
||||
- 升级幸存者冒烟测试:`pnpm test:docker:upgrade-survivor` 会把打包好的 OpenClaw tarball 安装到带有智能体、渠道配置、插件 allowlist、过时插件依赖状态以及现有工作区/会话文件的脏旧用户夹具上。它会在没有实时提供商或渠道密钥的情况下运行包更新和非交互式 Doctor,然后启动回环 Gateway 网关,并检查配置/状态保留以及启动/Status 预算。
|
||||
- 已发布升级幸存者冒烟测试:`pnpm test:docker:published-upgrade-survivor` 默认安装 `openclaw@latest`,播种真实的现有用户文件,用内置命令配方配置该基线,验证生成的配置,把该已发布安装更新到候选 tarball,运行非交互式 Doctor,写入 `.artifacts/upgrade-survivor/summary.json`,然后启动回环 Gateway 网关,并检查已配置意图、状态保留、启动、`/healthz`、`/readyz` 和 RPC Status 预算。用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 覆盖一个基线,用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 让聚合调度器展开精确基线,并用 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS` 展开 issue 形状的夹具,例如 `reported-issues`;reported-issues 集包含 `configured-plugin-installs`,用于自动修复外部 OpenClaw 插件安装。Package Acceptance 将这些暴露为 `published_upgrade_survivor_baseline`、`published_upgrade_survivor_baselines` 和 `published_upgrade_survivor_scenarios`。
|
||||
- Npm tarball 新手引导/渠道/智能体冒烟测试:`pnpm test:docker:npm-onboard-channel-agent` 会在 Docker 中全局安装打包好的 OpenClaw tarball,通过 env-ref 新手引导配置 OpenAI,并默认配置 Telegram,运行 Doctor,并运行一次模拟的 OpenAI 智能体回合。可用 `OPENCLAW_CURRENT_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball,用 `OPENCLAW_NPM_ONBOARD_HOST_BUILD=0` 跳过主机重建,或用 `OPENCLAW_NPM_ONBOARD_CHANNEL=discord` 切换渠道。
|
||||
- 更新渠道切换冒烟测试:`pnpm test:docker:update-channel-switch` 会在 Docker 中全局安装打包好的 OpenClaw tarball,从包 `stable` 切换到 git `dev`,验证持久化的渠道和插件更新后的工作情况,然后切回包 `stable` 并检查更新状态。
|
||||
- 升级幸存者冒烟测试:`pnpm test:docker:upgrade-survivor` 会把打包好的 OpenClaw tarball 安装到一个脏的旧用户 fixture 上,该 fixture 包含智能体、渠道配置、插件 allowlist、陈旧的插件依赖状态,以及现有工作区/会话文件。它会在没有实时提供商或渠道密钥的情况下运行包更新和非交互式 Doctor,然后启动一个 local loopback Gateway 网关,并检查配置/状态保留情况以及启动/Status 预算。
|
||||
- 已发布升级幸存者冒烟测试:`pnpm test:docker:published-upgrade-survivor` 默认安装 `openclaw@latest`,播种真实的现有用户文件,用烘焙好的命令配方配置该基线,验证生成的配置,将该已发布安装更新到候选 tarball,运行非交互式 Doctor,写入 `.artifacts/upgrade-survivor/summary.json`,然后启动一个 local loopback Gateway 网关,并检查已配置意图、状态保留、启动、`/healthz`、`/readyz` 和 RPC Status 预算。可用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPEC` 覆盖单个基线,用 `OPENCLAW_UPGRADE_SURVIVOR_BASELINE_SPECS` 要求聚合调度器展开精确基线,并用 `OPENCLAW_UPGRADE_SURVIVOR_SCENARIOS` 展开 issue 形态的 fixture,例如 `reported-issues`;reported-issues 集合包含 `configured-plugin-installs`,用于自动修复外部 OpenClaw 插件安装。Package Acceptance 将这些暴露为 `published_upgrade_survivor_baseline`、`published_upgrade_survivor_baselines` 和 `published_upgrade_survivor_scenarios`。
|
||||
- 会话运行时上下文冒烟测试:`pnpm test:docker:session-runtime-context` 会验证隐藏运行时上下文 transcript 持久化,以及 Doctor 对受影响的重复 prompt-rewrite 分支的修复。
|
||||
- Bun 全局安装冒烟测试:`bash scripts/e2e/bun-global-install-smoke.sh` 会打包当前树,在隔离 home 中用 `bun install -g` 安装,并验证 `openclaw infer image providers --json` 返回内置图像提供商而不是挂起。用 `OPENCLAW_BUN_GLOBAL_SMOKE_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball,用 `OPENCLAW_BUN_GLOBAL_SMOKE_HOST_BUILD=0` 跳过主机构建,或用 `OPENCLAW_BUN_GLOBAL_SMOKE_DIST_IMAGE=openclaw-dockerfile-smoke:local` 从已构建 Docker 镜像复制 `dist/`。
|
||||
- 安装器 Docker 冒烟测试:`bash scripts/test-install-sh-docker.sh` 会在其 root、update 和 direct-npm 容器之间共享一个 npm 缓存。更新冒烟测试默认以 npm `latest` 作为稳定基线,然后升级到候选 tarball。本地可用 `OPENCLAW_INSTALL_SMOKE_UPDATE_BASELINE=2026.4.22` 覆盖,或在 GitHub 上用 Install Smoke workflow 的 `update_baseline_version` 输入覆盖。非 root 安装器检查会保留隔离的 npm 缓存,使 root 拥有的缓存条目不会掩盖用户本地安装行为。设置 `OPENCLAW_INSTALL_SMOKE_NPM_CACHE_DIR=/path/to/cache` 可在本地重复运行之间复用 root/update/direct-npm 缓存。
|
||||
- Install Smoke CI 用 `OPENCLAW_INSTALL_SMOKE_SKIP_NPM_GLOBAL=1` 跳过重复的 direct-npm 全局更新;需要直接 `npm install -g` 覆盖时,在本地运行脚本且不带该环境变量。
|
||||
- 智能体删除共享工作区 CLI 冒烟测试:`pnpm test:docker:agents-delete-shared-workspace`(脚本:`scripts/e2e/agents-delete-shared-workspace-docker.sh`)默认构建根 Dockerfile 镜像,在隔离容器 home 中播种两个拥有同一个工作区的智能体,运行 `agents delete --json`,并验证有效 JSON 以及工作区保留行为。用 `OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_IMAGE=openclaw-dockerfile-smoke:local OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_SKIP_BUILD=1` 复用 install-smoke 镜像。
|
||||
- Gateway 网关网络(两个容器,WS auth + health):`pnpm test:docker:gateway-network`(脚本:`scripts/e2e/gateway-network-docker.sh`)
|
||||
- 浏览器 CDP 快照冒烟测试:`pnpm test:docker:browser-cdp-snapshot`(脚本:`scripts/e2e/browser-cdp-snapshot-docker.sh`)构建源 E2E 镜像和 Chromium 层,使用原始 CDP 启动 Chromium,运行 `browser doctor --deep`,并验证 CDP role 快照覆盖链接 URL、光标提升的可点击元素、iframe refs 和 frame 元数据。
|
||||
- OpenAI Responses web_search minimal reasoning 回归:`pnpm test:docker:openai-web-search-minimal`(脚本:`scripts/e2e/openai-web-search-minimal-docker.sh`)通过 Gateway 网关运行模拟 OpenAI 服务器,验证 `web_search` 会把 `reasoning.effort` 从 `minimal` 提升到 `low`,然后强制提供商 schema 拒绝并检查原始详细信息出现在 Gateway 网关日志中。
|
||||
- MCP 渠道桥接(已播种 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟测试):`pnpm test:docker:mcp-channels`(脚本:`scripts/e2e/mcp-channels-docker.sh`)
|
||||
- Bun 全局安装冒烟测试:`bash scripts/e2e/bun-global-install-smoke.sh` 会打包当前树,在隔离的 home 中用 `bun install -g` 安装,并验证 `openclaw infer image providers --json` 返回内置图像提供商而不是挂起。可用 `OPENCLAW_BUN_GLOBAL_SMOKE_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 复用预构建 tarball,用 `OPENCLAW_BUN_GLOBAL_SMOKE_HOST_BUILD=0` 跳过主机构建,或用 `OPENCLAW_BUN_GLOBAL_SMOKE_DIST_IMAGE=openclaw-dockerfile-smoke:local` 从已构建 Docker 镜像复制 `dist/`。
|
||||
- 安装器 Docker 冒烟测试:`bash scripts/test-install-sh-docker.sh` 在其 root、update 和 direct-npm 容器之间共享一个 npm 缓存。更新冒烟测试默认使用 npm `latest` 作为升级到候选 tarball 之前的稳定基线。本地可用 `OPENCLAW_INSTALL_SMOKE_UPDATE_BASELINE=2026.4.22` 覆盖,或在 GitHub 上用 Install Smoke 工作流的 `update_baseline_version` 输入覆盖。非 root 安装器检查会保留一个隔离的 npm 缓存,这样 root 拥有的缓存条目不会掩盖用户本地安装行为。设置 `OPENCLAW_INSTALL_SMOKE_NPM_CACHE_DIR=/path/to/cache` 可在本地重跑之间复用 root/update/direct-npm 缓存。
|
||||
- Install Smoke CI 使用 `OPENCLAW_INSTALL_SMOKE_SKIP_NPM_GLOBAL=1` 跳过重复的 direct-npm 全局更新;需要覆盖直接 `npm install -g` 时,在本地运行该脚本且不要设置该环境变量。
|
||||
- 智能体删除共享工作区 CLI 冒烟测试:`pnpm test:docker:agents-delete-shared-workspace`(脚本:`scripts/e2e/agents-delete-shared-workspace-docker.sh`)默认构建根 Dockerfile 镜像,在隔离的容器 home 中播种两个智能体和一个工作区,运行 `agents delete --json`,并验证有效 JSON 以及保留工作区行为。可用 `OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_IMAGE=openclaw-dockerfile-smoke:local OPENCLAW_AGENTS_DELETE_SHARED_WORKSPACE_E2E_SKIP_BUILD=1` 复用 install-smoke 镜像。
|
||||
- Gateway 网关联网(两个容器,WS 认证 + 健康检查):`pnpm test:docker:gateway-network`(脚本:`scripts/e2e/gateway-network-docker.sh`)
|
||||
- 浏览器 CDP 快照冒烟测试:`pnpm test:docker:browser-cdp-snapshot`(脚本:`scripts/e2e/browser-cdp-snapshot-docker.sh`)会构建源码 E2E 镜像和一个 Chromium 层,使用原始 CDP 启动 Chromium,运行 `browser doctor --deep`,并验证 CDP 角色快照覆盖链接 URL、光标提升的可点击项、iframe 引用和 frame 元数据。
|
||||
- OpenAI Responses web_search 最小 reasoning 回归:`pnpm test:docker:openai-web-search-minimal`(脚本:`scripts/e2e/openai-web-search-minimal-docker.sh`)通过 Gateway 网关运行一个模拟的 OpenAI 服务器,验证 `web_search` 将 `reasoning.effort` 从 `minimal` 提升到 `low`,然后强制提供商 schema 拒绝,并检查原始详情出现在 Gateway 网关日志中。
|
||||
- MCP 渠道桥接(已播种 Gateway 网关 + stdio 桥接 + 原始 Claude notification-frame 冒烟测试):`pnpm test:docker:mcp-channels`(脚本:`scripts/e2e/mcp-channels-docker.sh`)
|
||||
- Pi bundle MCP 工具(真实 stdio MCP 服务器 + 嵌入式 Pi profile allow/deny 冒烟测试):`pnpm test:docker:pi-bundle-mcp-tools`(脚本:`scripts/e2e/pi-bundle-mcp-tools-docker.sh`)
|
||||
- Cron/subagent MCP 清理(真实 Gateway 网关 + 在隔离 cron 和一次性 subagent 运行后拆除 stdio MCP 子进程):`pnpm test:docker:cron-mcp-cleanup`(脚本:`scripts/e2e/cron-mcp-cleanup-docker.sh`)
|
||||
- 插件(覆盖本地路径、`file:`、带提升依赖的 npm registry、git moving refs、ClawHub kitchen-sink、marketplace 更新以及 Claude-bundle 启用/检查的安装/更新冒烟测试):`pnpm test:docker:plugins`(脚本:`scripts/e2e/plugins-docker.sh`)
|
||||
设置 `OPENCLAW_PLUGINS_E2E_CLAWHUB=0` 可跳过 ClawHub 区块,或用 `OPENCLAW_PLUGINS_E2E_CLAWHUB_SPEC` 和 `OPENCLAW_PLUGINS_E2E_CLAWHUB_ID` 覆盖默认 kitchen-sink package/runtime 对。没有 `OPENCLAW_CLAWHUB_URL`/`CLAWHUB_URL` 时,测试会使用封闭的本地 ClawHub 夹具服务器。
|
||||
- 插件未变化更新冒烟测试:`pnpm test:docker:plugin-update`(脚本:`scripts/e2e/plugin-update-unchanged-docker.sh`)
|
||||
- 插件(本地路径、`file:`、带 hoisted 依赖的 npm registry、git moving refs、ClawHub kitchen-sink、marketplace 更新,以及 Claude-bundle 启用/检查的安装/更新冒烟测试):`pnpm test:docker:plugins`(脚本:`scripts/e2e/plugins-docker.sh`)
|
||||
设置 `OPENCLAW_PLUGINS_E2E_CLAWHUB=0` 可跳过 ClawHub 块,或用 `OPENCLAW_PLUGINS_E2E_CLAWHUB_SPEC` 和 `OPENCLAW_PLUGINS_E2E_CLAWHUB_ID` 覆盖默认 kitchen-sink 包/运行时对。没有 `OPENCLAW_CLAWHUB_URL`/`CLAWHUB_URL` 时,该测试使用 hermetic 本地 ClawHub fixture 服务器。
|
||||
- 插件更新未变化冒烟测试:`pnpm test:docker:plugin-update`(脚本:`scripts/e2e/plugin-update-unchanged-docker.sh`)
|
||||
- 配置重载元数据冒烟测试:`pnpm test:docker:config-reload`(脚本:`scripts/e2e/config-reload-source-docker.sh`)
|
||||
- 插件:`pnpm test:docker:plugins` 覆盖本地路径、`file:`、带提升依赖的 npm registry、git moving refs、ClawHub 夹具、marketplace 更新以及 Claude-bundle 启用/检查的安装/更新冒烟测试。`pnpm test:docker:plugin-update` 覆盖已安装插件的未变化更新行为。
|
||||
- 插件:`pnpm test:docker:plugins` 覆盖本地路径、`file:`、带 hoisted 依赖的 npm registry、git moving refs、ClawHub fixtures、marketplace 更新,以及 Claude-bundle 启用/检查的安装/更新冒烟测试。`pnpm test:docker:plugin-update` 覆盖已安装插件的未变化更新行为。
|
||||
|
||||
要手动预构建并复用共享功能镜像:
|
||||
|
||||
@ -547,41 +553,72 @@ OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e-functional:local pnpm test:docker:
|
||||
OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e-functional:local OPENCLAW_SKIP_DOCKER_BUILD=1 pnpm test:docker:mcp-channels
|
||||
```
|
||||
|
||||
设置了 `OPENCLAW_GATEWAY_NETWORK_E2E_IMAGE` 等套件专用镜像覆盖项时,它们仍然优先。当 `OPENCLAW_SKIP_DOCKER_BUILD=1` 指向远程共享镜像时,如果本地尚不存在,脚本会拉取该镜像。QR 和安装器 Docker 测试保留自己的 Dockerfile,因为它们验证的是包/安装行为,而不是共享的已构建应用运行时。
|
||||
设置后,诸如 `OPENCLAW_GATEWAY_NETWORK_E2E_IMAGE` 之类的套件特定镜像覆盖仍然优先。当 `OPENCLAW_SKIP_DOCKER_BUILD=1` 指向远程共享镜像时,如果本地尚不存在,脚本会拉取它。QR 和安装器 Docker 测试保留自己的 Dockerfile,因为它们验证的是包/安装行为,而不是共享的已构建应用运行时。
|
||||
|
||||
实时模型 Docker runner 还会只读 bind-mount 当前检出,并在容器内把它暂存到临时 workdir。这样可以保持运行时镜像精简,同时仍然针对你的精确本地源码/配置运行 Vitest。暂存步骤会跳过大型本地专用缓存和应用构建输出,例如 `.pnpm-store`、`.worktrees`、`__openclaw_vitest__`,以及应用本地 `.build` 或 Gradle 输出目录,因此 Docker 实时运行不会花几分钟复制机器特定产物。
|
||||
它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`,这样 Gateway 网关实时探针就不会在容器内启动真实的 Telegram/Discord 等渠道 worker。
|
||||
`test:docker:live-models` 仍然运行 `pnpm test:live`,因此当你需要从该 Docker 通道缩小或排除 Gateway 网关实时覆盖时,也要传入 `OPENCLAW_LIVE_GATEWAY_*`。
|
||||
`test:docker:openwebui` 是更高层的兼容性冒烟测试:它启动一个启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器,启动一个固定版本的 Open WebUI 容器并连接到该 Gateway 网关,通过 Open WebUI 登录,验证 `/api/models` 暴露 `openclaw/default`,然后通过 Open WebUI 的 `/api/chat/completions` 代理发送真实聊天请求。
|
||||
第一次运行可能明显更慢,因为 Docker 可能需要拉取 Open WebUI 镜像,且 Open WebUI 可能需要完成自己的冷启动设置。
|
||||
此通道需要可用的实时模型密钥,而 `OPENCLAW_PROFILE_FILE`(默认 `~/.profile`)是在 Docker 化运行中提供它的主要方式。
|
||||
成功运行会打印一个小型 JSON 负载,例如 `{ "ok": true, "model": "openclaw/default", ... }`。
|
||||
`test:docker:mcp-channels` 有意保持确定性,不需要真实 Telegram、Discord 或 iMessage 账户。它启动一个已播种的 Gateway 网关容器,启动第二个容器来生成 `openclaw mcp serve`,然后通过真实 stdio MCP bridge 验证路由式对话发现、transcript 读取、附件元数据、实时事件队列行为、出站发送路由,以及 Claude 风格渠道 + 权限通知。通知检查会直接检查原始 stdio MCP frame,因此该冒烟测试验证的是 bridge 实际发出的内容,而不只是某个特定客户端 SDK 恰好暴露的内容。
|
||||
`test:docker:pi-bundle-mcp-tools` 是确定性的,不需要实时模型密钥。它构建仓库 Docker 镜像,在容器内启动一个真实 stdio MCP 探针服务器,通过嵌入式 Pi bundle MCP 运行时物化该服务器,执行工具,然后验证 `coding` 和 `messaging` 保留 `bundle-mcp` 工具,而 `minimal` 和 `tools.deny: ["bundle-mcp"]` 会过滤它们。
|
||||
`test:docker:cron-mcp-cleanup` 是确定性的,不需要实时模型密钥。它启动一个带真实 stdio MCP 探针服务器的已播种 Gateway 网关,运行一个隔离 cron 轮次和一个 `/subagents spawn` 一次性子轮次,然后验证 MCP 子进程在每次运行后退出。
|
||||
实时模型 Docker runner 还会以只读方式 bind-mount 当前 checkout,并
|
||||
将其暂存到容器内的临时 workdir。这会保持运行时
|
||||
镜像精简,同时仍针对你的精确本地源码/配置运行 Vitest。
|
||||
暂存步骤会跳过大型本地专用缓存和应用构建产物,例如
|
||||
`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`,以及应用本地 `.build` 或
|
||||
Gradle 输出目录,这样 Docker 实时运行不会花费数分钟复制
|
||||
机器特定产物。
|
||||
它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`,因此 Gateway 网关实时探测不会在容器内启动
|
||||
真实的 Telegram/Discord 等渠道 worker。
|
||||
`test:docker:live-models` 仍会运行 `pnpm test:live`,因此当你需要从该 Docker 通道收窄或排除 Gateway 网关
|
||||
实时覆盖时,也要透传
|
||||
`OPENCLAW_LIVE_GATEWAY_*`。
|
||||
`test:docker:openwebui` 是更高层级的兼容性冒烟测试:它启动一个
|
||||
启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器,
|
||||
再启动一个固定版本的 Open WebUI 容器连接到该 Gateway 网关,通过
|
||||
Open WebUI 登录,验证 `/api/models` 暴露 `openclaw/default`,然后通过
|
||||
Open WebUI 的 `/api/chat/completions` 代理发送一个
|
||||
真实聊天请求。
|
||||
首次运行可能明显更慢,因为 Docker 可能需要拉取
|
||||
Open WebUI 镜像,且 Open WebUI 可能需要完成自己的冷启动设置。
|
||||
该通道需要可用的实时模型密钥,`OPENCLAW_PROFILE_FILE`
|
||||
(默认 `~/.profile`)是在 Docker 化运行中提供它的主要方式。
|
||||
成功运行会打印一个小型 JSON payload,例如 `{ "ok": true, "model":
|
||||
"openclaw/default", ... }`。
|
||||
`test:docker:mcp-channels` 有意保持确定性,不需要
|
||||
真实 Telegram、Discord 或 iMessage 账号。它会启动一个已播种的 Gateway 网关
|
||||
容器,启动第二个容器来 spawn `openclaw mcp serve`,然后
|
||||
验证路由后的会话发现、transcript 读取、附件元数据、
|
||||
实时事件队列行为、出站发送路由,以及通过真实 stdio MCP 桥接发出的 Claude 风格渠道 +
|
||||
权限通知。通知检查会直接
|
||||
检查原始 stdio MCP frames,因此冒烟测试验证的是
|
||||
桥接实际发出的内容,而不只是某个特定客户端 SDK 恰好暴露的内容。
|
||||
`test:docker:pi-bundle-mcp-tools` 是确定性的,不需要实时
|
||||
模型密钥。它构建 repo Docker 镜像,在容器内启动一个真实 stdio MCP 探测服务器,
|
||||
通过嵌入式 Pi bundle
|
||||
MCP 运行时物化该服务器,执行工具,然后验证 `coding` 和 `messaging` 保留
|
||||
`bundle-mcp` 工具,而 `minimal` 和 `tools.deny: ["bundle-mcp"]` 会过滤它们。
|
||||
`test:docker:cron-mcp-cleanup` 是确定性的,不需要实时模型
|
||||
密钥。它启动一个带真实 stdio MCP 探测服务器的已播种 Gateway 网关,运行一个
|
||||
隔离的 cron 回合和一个 `/subagents spawn` 一次性子回合,然后验证
|
||||
每次运行后 MCP 子进程都会退出。
|
||||
|
||||
手动 ACP 自然语言线程冒烟测试(非 CI):
|
||||
|
||||
- `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel <discord-channel-id> ...`
|
||||
- 保留此脚本用于回归/调试工作流。ACP 线程路由验证将来可能还会需要它,因此不要删除它。
|
||||
- 保留此脚本用于回归/调试工作流。ACP 线程路由验证可能还会再次需要它,因此不要删除它。
|
||||
|
||||
有用的环境变量:
|
||||
|
||||
- `OPENCLAW_CONFIG_DIR=...`(默认:`~/.openclaw`)挂载到 `/home/node/.openclaw`
|
||||
- `OPENCLAW_WORKSPACE_DIR=...`(默认:`~/.openclaw/workspace`)挂载到 `/home/node/.openclaw/workspace`
|
||||
- `OPENCLAW_PROFILE_FILE=...`(默认:`~/.profile`)挂载到 `/home/node/.profile`,并在运行测试前加载
|
||||
- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 用于仅验证来自 `OPENCLAW_PROFILE_FILE` 的环境变量,使用临时配置/工作区目录,且不挂载外部 CLI 凭证
|
||||
- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`(默认:`~/.cache/openclaw/docker-cli-tools`)挂载到 `/home/node/.npm-global`,用于 Docker 内部缓存 CLI 安装
|
||||
- `OPENCLAW_CONFIG_DIR=...`(默认值:`~/.openclaw`)挂载到 `/home/node/.openclaw`
|
||||
- `OPENCLAW_WORKSPACE_DIR=...`(默认值:`~/.openclaw/workspace`)挂载到 `/home/node/.openclaw/workspace`
|
||||
- `OPENCLAW_PROFILE_FILE=...`(默认值:`~/.profile`)挂载到 `/home/node/.profile`,并在运行测试前加载
|
||||
- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 用于仅验证从 `OPENCLAW_PROFILE_FILE` 加载的环境变量,使用临时配置/工作区目录,且不挂载外部 CLI 凭证
|
||||
- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`(默认值:`~/.cache/openclaw/docker-cli-tools`)挂载到 `/home/node/.npm-global`,用于 Docker 内部缓存 CLI 安装
|
||||
- `$HOME` 下的外部 CLI 凭证目录/文件会以只读方式挂载到 `/host-auth...` 下,然后在测试开始前复制到 `/home/node/...`
|
||||
- 默认目录:`.minimax`
|
||||
- 默认文件:`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json`
|
||||
- 缩小范围的提供商运行仅挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录/文件
|
||||
- 缩小范围的提供商运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录/文件
|
||||
- 可用 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none` 或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表手动覆盖
|
||||
- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围
|
||||
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内筛选提供商
|
||||
- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于在无需重新构建的重复运行中复用现有 `openclaw:local-live` 镜像
|
||||
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭证来自配置文件存储区(而不是环境变量)
|
||||
- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 Gateway 网关为 Open WebUI 冒烟测试公开的模型
|
||||
- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于在不需要重新构建的重复运行中复用已有的 `openclaw:local-live` 镜像
|
||||
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭证来自 profile 存储(而不是环境变量)
|
||||
- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 Gateway 网关为 Open WebUI 冒烟测试暴露的模型
|
||||
- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词
|
||||
- `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签
|
||||
|
||||
@ -599,26 +636,26 @@ OPENCLAW_DOCKER_E2E_IMAGE=openclaw-docker-e2e-functional:local OPENCLAW_SKIP_DOC
|
||||
|
||||
## 智能体可靠性评估(Skills)
|
||||
|
||||
我们已经有一些 CI 安全测试,其行为类似“智能体可靠性评估”:
|
||||
我们已经有一些行为类似“智能体可靠性评估”的 CI 安全测试:
|
||||
|
||||
- 通过真实 Gateway 网关 + Agent loop 进行模拟工具调用(`src/gateway/gateway.test.ts`)。
|
||||
- 端到端向导流程,用于验证会话接线和配置效果(`src/gateway/gateway.test.ts`)。
|
||||
- 验证会话接线和配置效果的端到端向导流程(`src/gateway/gateway.test.ts`)。
|
||||
|
||||
Skills 仍然缺少的内容(见 [Skills](/zh-CN/tools/skills)):
|
||||
Skills 仍缺少的内容(见 [Skills](/zh-CN/tools/skills)):
|
||||
|
||||
- **决策:**当 Skills 在提示词中列出时,智能体是否会选择正确的 Skill(或避开无关的 Skill)?
|
||||
- **合规:**智能体是否会在使用前读取 `SKILL.md` 并遵循必需的步骤/参数?
|
||||
- **决策:**当提示词中列出 Skills 时,智能体是否选择正确的 Skill(或避开不相关的 Skill)?
|
||||
- **合规性:**智能体是否在使用前读取 `SKILL.md` 并遵循必需的步骤/参数?
|
||||
- **工作流契约:**断言工具顺序、会话历史延续和沙箱边界的多轮场景。
|
||||
|
||||
未来评估应优先保持确定性:
|
||||
未来评估应首先保持确定性:
|
||||
|
||||
- 使用模拟提供商的场景运行器,用于断言工具调用 + 顺序、Skill 文件读取和会话接线。
|
||||
- 一组面向 Skill 的小型场景(使用与避免、门控、提示注入)。
|
||||
- 可选的实时评估(选择加入,通过环境变量门控)仅在 CI 安全套件就位后再添加。
|
||||
- 一组小型、聚焦 Skills 的场景(使用与避开、门控、提示注入)。
|
||||
- 可选的实时评估(选择加入、由环境变量门控)仅在 CI 安全套件就位后添加。
|
||||
|
||||
## 契约测试(插件和渠道形状)
|
||||
|
||||
契约测试会验证每个已注册插件和渠道都符合其接口契约。它们会遍历所有发现的插件,并运行一组形状和行为断言。默认的 `pnpm test` 单元测试通道会有意跳过这些共享边界和冒烟文件;当你触及共享渠道或提供商表面时,请显式运行契约命令。
|
||||
契约测试验证每个已注册插件和渠道都符合其接口契约。它们会遍历所有发现的插件,并运行一组形状和行为断言。默认的 `pnpm test` 单元测试通道会有意跳过这些共享边界和冒烟文件;当你触及共享渠道或提供商表面时,请显式运行契约命令。
|
||||
|
||||
### 命令
|
||||
|
||||
@ -630,21 +667,21 @@ Skills 仍然缺少的内容(见 [Skills](/zh-CN/tools/skills)):
|
||||
|
||||
位于 `src/channels/plugins/contracts/*.contract.test.ts`:
|
||||
|
||||
- **plugin** - 基本插件形状(id、name、capabilities)
|
||||
- **plugin** - 基本插件形状(ID、名称、能力)
|
||||
- **setup** - 设置向导契约
|
||||
- **session-binding** - 会话绑定行为
|
||||
- **outbound-payload** - 消息载荷结构
|
||||
- **inbound** - 入站消息处理
|
||||
- **actions** - 渠道操作处理器
|
||||
- **threading** - 线程 ID 处理
|
||||
- **directory** - 目录/名册 API
|
||||
- **directory** - 目录/成员名册 API
|
||||
- **group-policy** - 群组策略强制执行
|
||||
|
||||
### 提供商状态契约
|
||||
### 提供商 Status 契约
|
||||
|
||||
位于 `src/plugins/contracts/*.contract.test.ts`。
|
||||
|
||||
- **status** - 渠道状态探测
|
||||
- **status** - 渠道 Status 探测
|
||||
- **registry** - 插件注册表形状
|
||||
|
||||
### 提供商契约
|
||||
@ -654,7 +691,7 @@ Skills 仍然缺少的内容(见 [Skills](/zh-CN/tools/skills)):
|
||||
- **auth** - 凭证流程契约
|
||||
- **auth-choice** - 凭证选择/选取
|
||||
- **catalog** - 模型目录 API
|
||||
- **discovery** - 插件发现
|
||||
- **discovery** - 插件设备发现
|
||||
- **loader** - 插件加载
|
||||
- **runtime** - 提供商运行时
|
||||
- **shape** - 插件形状/接口
|
||||
@ -662,24 +699,24 @@ Skills 仍然缺少的内容(见 [Skills](/zh-CN/tools/skills)):
|
||||
|
||||
### 何时运行
|
||||
|
||||
- 更改插件 SDK 导出或子路径之后
|
||||
- 更改 plugin-sdk 导出或子路径之后
|
||||
- 添加或修改渠道或提供商插件之后
|
||||
- 重构插件注册或发现之后
|
||||
- 重构插件注册或设备发现之后
|
||||
|
||||
契约测试在 CI 中运行,且不需要真实 API 密钥。
|
||||
契约测试在 CI 中运行,不需要真实 API key。
|
||||
|
||||
## 添加回归(指南)
|
||||
|
||||
当你修复实时环境中发现的提供商/模型问题时:
|
||||
当你修复在实时运行中发现的提供商/模型问题时:
|
||||
|
||||
- 尽可能添加 CI 安全回归(模拟/桩提供商,或捕获确切的请求形状转换)
|
||||
- 如果问题本质上只能实时测试(速率限制、凭证策略),请让实时测试保持窄范围,并通过环境变量选择加入
|
||||
- 优先定位能捕获该 bug 的最小层级:
|
||||
- 提供商请求转换/重放 bug → 直接模型测试
|
||||
- Gateway 网关会话/历史/工具流水线 bug → Gateway 网关实时冒烟或 CI 安全 Gateway 网关模拟测试
|
||||
- 尽可能添加 CI 安全回归(模拟/桩提供商,或捕获精确的请求形状转换)
|
||||
- 如果它本质上只能实时验证(速率限制、凭证策略),保持实时测试范围狭窄,并通过环境变量选择加入
|
||||
- 优先针对能捕获该错误的最小层级:
|
||||
- 提供商请求转换/重放错误 → 直接的模型测试
|
||||
- Gateway 网关会话/历史/工具流水线错误 → Gateway 网关实时冒烟测试或 CI 安全的 Gateway 网关模拟测试
|
||||
- SecretRef 遍历护栏:
|
||||
- `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据(`listSecretTargetRegistryEntries()`)为每个 SecretRef 类派生一个抽样目标,然后断言包含遍历段的执行 id 会被拒绝。
|
||||
- 如果你在 `src/secrets/target-registry-data.ts` 中添加新的 `includeInPlan` SecretRef 目标族,请更新该测试中的 `classifyTargetClass`。该测试会在未分类目标 id 上有意失败,这样新类就无法被静默跳过。
|
||||
- `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据(`listSecretTargetRegistryEntries()`)中为每个 SecretRef 类派生一个采样目标,然后断言包含遍历片段的 exec id 会被拒绝。
|
||||
- 如果你在 `src/secrets/target-registry-data.ts` 中添加新的 `includeInPlan` SecretRef 目标族,请更新该测试中的 `classifyTargetClass`。该测试会故意在未分类目标 id 上失败,确保新类别不能被静默跳过。
|
||||
|
||||
## 相关
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user