From dda9f71490cb2bef1e1ea87d71a28ab901c3955d Mon Sep 17 00:00:00 2001 From: "openclaw-docs-i18n[bot]" Date: Thu, 23 Apr 2026 02:30:19 +0000 Subject: [PATCH] chore(i18n): refresh zh-CN translations --- docs/zh-CN/ci.md | 98 ++--- docs/zh-CN/help/testing.md | 828 +++++++++++++++++++------------------ 2 files changed, 465 insertions(+), 461 deletions(-) diff --git a/docs/zh-CN/ci.md b/docs/zh-CN/ci.md index 3c0687844..3c3ad90d7 100644 --- a/docs/zh-CN/ci.md +++ b/docs/zh-CN/ci.md @@ -1,98 +1,98 @@ --- read_when: - - 你需要了解为什么某个 CI 作业运行了或没有运行 - - 你正在调试失败的 GitHub Actions 检查 -summary: CI 作业图、范围门控，以及本地命令等价项 + - 你需要了解某个 CI 作业为什么运行了，或者为什么没有运行。 + - 你正在调试失败的 GitHub Actions 检查。 +summary: CI 作业图、作用域门禁，以及本地等效命令 title: CI 流水线 x-i18n: - generated_at: "2026-04-23T02:17:50Z" + generated_at: "2026-04-23T02:26:35Z" model: gpt-5.4 provider: openai - source_hash: e5ba3c27be0b27e90ab490170be2570ab746f3c4805cf08726fe501300887e4d + source_hash: 57d0979f7b6667b023b1ee4887003a8408cd0028a856abc02eb3ad684e9a8235 source_path: ci.md workflow: 15 --- # CI 流水线 -CI 会在每次推送到 `main` 以及每个拉取请求上运行。它使用智能范围判定，在只改动了不相关区域时跳过高开销作业。 +CI 会在每次推送到 `main` 以及每个拉取请求上运行。它使用智能作用域控制，在只有不相关区域发生变更时跳过高开销作业。 ## 作业概览 | 作业 | 用途 | 运行时机 | | -------------------------------- | -------------------------------------------------------------------------------------------- | ------------------------------------ | -| `preflight` | 检测是否仅有文档改动、变更范围、发生变更的扩展，并构建 CI 清单 | 在所有非草稿推送和 PR 上始终运行 | -| `security-scm-fast` | 通过 `zizmor` 进行私钥检测和工作流审计 | 在所有非草稿推送和 PR 上始终运行 | -| `security-dependency-audit` | 针对 npm 安全公告执行无依赖的生产 lockfile 审计 | 在所有非草稿推送和 PR 上始终运行 | +| `preflight` | 检测是否仅有文档变更、变更的作用域、变更的扩展，并构建 CI 清单 | 在所有非草稿推送和 PR 上始终运行 | +| `security-scm-fast` | 通过 `zizmor` 执行私钥检测和工作流审计 | 在所有非草稿推送和 PR 上始终运行 | +| `security-dependency-audit` | 针对 npm 公告执行无依赖的生产 lockfile 审计 | 在所有非草稿推送和 PR 上始终运行 | | `security-fast` | 快速安全作业的必需聚合作业 | 在所有非草稿推送和 PR 上始终运行 | -| `build-artifacts` | 构建 `dist/`、Control UI、Gateway 网关 watch，以及可复用的下游产物 | 与 Node 相关的变更 | -| `checks-fast-core` | 快速 Linux 正确性分片，例如 bundled/plugin-contract/protocol 检查 | 与 Node 相关的变更 | +| `build-artifacts` | 构建 `dist/`、Control UI、内置产物检查，以及可复用的下游产物 | 与 Node 相关的变更 | +| `checks-fast-core` | 快速 Linux 正确性作业，例如内置 / 插件契约 / 协议检查 | 与 Node 相关的变更 | | `checks-fast-contracts-channels` | 分片的渠道契约检查，并提供稳定的聚合检查结果 | 与 Node 相关的变更 | -| `checks-node-extensions` | 覆盖整个扩展套件的完整内置插件测试分片 | 与 Node 相关的变更 | -| `checks-node-core-test` | Core Node 测试分片，不包括渠道、内置、契约和扩展分片 | 与 Node 相关的变更 | -| `extension-fast` | 仅针对发生变更的内置插件运行聚焦测试 | 带有扩展变更的拉取请求 | -| `check` | 分片后的主本地门控等价项：生产类型、lint、守卫、测试类型和严格 smoke | 与 Node 相关的变更 | -| `check-additional` | 架构、边界、扩展表面守卫、包边界，以及 gateway-watch 分片 | 与 Node 相关的变更 | -| `build-smoke` | 已构建 CLI 的 smoke 测试和启动内存 smoke | 与 Node 相关的变更 | -| `checks` | 剩余的 Linux Node 分片：渠道测试，以及仅在 push 上运行的 Node 22 兼容性 | 与 Node 相关的变更 | -| `check-docs` | 文档格式化、lint 和坏链检查 | 文档发生变更 | +| `checks-node-extensions` | 针对整个扩展套件运行完整的内置插件测试分片 | 与 Node 相关的变更 | +| `checks-node-core-test` | Core Node 测试分片，不包含渠道、内置、契约和扩展作业 | 与 Node 相关的变更 | +| `extension-fast` | 仅针对发生变更的内置插件执行聚焦测试 | 带有扩展变更的拉取请求 | +| `check` | 分片后的主要本地门禁等效项：生产类型、lint、守卫、测试类型和严格 smoke | 与 Node 相关的变更 | +| `check-additional` | 架构、边界、扩展表面守卫、包边界和 gateway-watch 分片 | 与 Node 相关的变更 | +| `build-smoke` | 内置 CLI smoke 测试和启动内存 smoke | 与 Node 相关的变更 | +| `checks` | 用于内置产物渠道测试的校验器，以及仅在 push 上运行的 Node 22 兼容性检查 | 与 Node 相关的变更 | +| `check-docs` | 文档格式、lint 和坏链检查 | 文档发生变更 | | `skills-python` | 针对 Python 支持的 Skills 运行 Ruff + pytest | 与 Python Skills 相关的变更 | -| `checks-windows` | Windows 专用测试分片 | 与 Windows 相关的变更 | -| `macos-node` | 使用共享构建产物的 macOS TypeScript 测试分片 | 与 macOS 相关的变更 | +| `checks-windows` | Windows 特定测试作业 | 与 Windows 相关的变更 | +| `macos-node` | 使用共享内置产物的 macOS TypeScript 测试作业 | 与 macOS 相关的变更 | | `macos-swift` | macOS 应用的 Swift lint、构建和测试 | 与 macOS 相关的变更 | -| `android` | 两个 flavor 的 Android 单元测试，以及一个 debug APK 构建 | 与 Android 相关的变更 | +| `android` | 两种 flavor 的 Android 单元测试，以及一次 debug APK 构建 | 与 Android 相关的变更 | ## 快速失败顺序 -作业按顺序排列，以便在高开销作业运行前先让低成本检查失败： +作业按顺序排列，这样廉价检查会先失败，避免高开销作业继续运行： -1. `preflight` 决定哪些分片实际存在。`docs-scope` 和 `changed-scope` 逻辑是该作业内部的步骤，不是独立作业。 +1. `preflight` 决定哪些作业实际存在。`docs-scope` 和 `changed-scope` 逻辑是该作业内的步骤，而不是独立作业。 2. `security-scm-fast`、`security-dependency-audit`、`security-fast`、`check`、`check-additional`、`check-docs` 和 `skills-python` 会快速失败，而无需等待更重的产物和平台矩阵作业。 -3. `build-artifacts` 会与快速 Linux 分片并行，这样下游消费者可以在共享构建完成后立刻开始。 -4. 更重的平台和运行时分片会在此之后展开：`checks-fast-core`、`checks-fast-contracts-channels`、`checks-node-extensions`、`checks-node-core-test`、仅 PR 的 `extension-fast`、`checks`、`checks-windows`、`macos-node`、`macos-swift` 和 `android`。 +3. `build-artifacts` 会与快速 Linux 作业并行，以便下游消费者在共享构建完成后立即开始。 +4. 之后会展开更重的平台和运行时作业：`checks-fast-core`、`checks-fast-contracts-channels`、`checks-node-extensions`、`checks-node-core-test`、仅 PR 运行的 `extension-fast`、`checks`、`checks-windows`、`macos-node`、`macos-swift` 和 `android`。 -范围逻辑位于 `scripts/ci-changed-scope.mjs`，并由 `src/scripts/ci-changed-scope.test.ts` 中的单元测试覆盖。 -CI 工作流编辑会验证 Node CI 作业图以及工作流 lint，但不会仅因这些编辑就强制运行 Windows、Android 或 macOS 原生构建；这些平台分片仍然只针对平台源代码变更。 -Windows Node 检查的范围限定在 Windows 专用的进程/路径包装器、npm/pnpm/UI 运行器辅助工具、包管理器配置，以及执行该分片的 CI 工作流表面；不相关的源代码、插件、install-smoke 和仅测试改动会继续留在 Linux Node 分片中，这样就不会为已由常规测试分片覆盖的内容占用一个 16 vCPU 的 Windows worker。 -独立的 `install-smoke` 工作流通过它自己的 `preflight` 作业复用同一个范围脚本。它根据更窄的 changed-smoke 信号计算 `run_install_smoke`，因此 Docker/install smoke 会针对安装、打包、容器相关变更、内置扩展生产代码变更，以及 Docker smoke 作业所覆盖的 core plugin/channel/gateway/插件 SDK 表面运行。仅测试和仅文档的编辑不会占用 Docker worker。它的 QR 包 smoke 会强制 Docker `pnpm install` 层重新运行，同时保留 BuildKit pnpm store 缓存，因此仍能覆盖安装流程，而不会在每次运行时都重新下载依赖。它的 gateway-network e2e 会复用该作业前面已构建的运行时镜像，因此在不增加额外 Docker 构建的情况下，增加了真实的容器到容器 WebSocket 覆盖。独立的 `docker-e2e-fast` 作业会在 120 秒命令超时限制下运行有界的内置插件 Docker 配置：setup-entry 依赖修复加上合成的 bundled-loader 故障隔离。完整的内置更新/渠道矩阵仍然保留为手动/完整套件，因为它会重复执行真实的 npm update 和 doctor 修复流程。 +作用域逻辑位于 `scripts/ci-changed-scope.mjs`，其单元测试位于 `src/scripts/ci-changed-scope.test.ts`。 +CI 工作流编辑会验证 Node CI 作业图和工作流 lint，但不会仅因这些改动就强制运行 Windows、Android 或 macOS 原生构建；这些平台作业仍然只根据平台源码变更来决定是否运行。 +Windows Node 检查的作用域限定在 Windows 特定的进程 / 路径包装器、npm/pnpm/UI 运行器辅助工具、包管理器配置，以及执行该作业的 CI 工作流表面；不相关的源码、插件、安装 smoke 和仅测试变更仍然留在 Linux Node 作业中，因此不会为了已由常规测试分片覆盖的内容占用一个 16 vCPU 的 Windows worker。 +独立的 `install-smoke` 工作流会通过它自己的 `preflight` 作业复用同一个作用域脚本。它会根据更窄的 changed-smoke 信号计算 `run_install_smoke`，因此 Docker / 安装 smoke 会在安装、打包、与容器相关的变更、内置扩展生产变更，以及 Docker smoke 作业所覆盖的 core 插件 / 渠道 / Gateway 网关 / 插件 SDK 表面变更时运行。仅测试和仅文档编辑不会占用 Docker worker。它的 QR 包 smoke 会强制 Docker `pnpm install` 层重新运行，同时保留 BuildKit pnpm store 缓存，因此仍能覆盖安装流程，而不必在每次运行时重新下载依赖。它的 gateway-network e2e 会复用该作业前面构建好的运行时镜像，因此在不新增另一次 Docker 构建的前提下，增加了真实的容器到容器 WebSocket 覆盖。独立的 `docker-e2e-fast` 作业会在 120 秒命令超时下运行有界的内置插件 Docker 配置：setup-entry 依赖修复以及合成的内置加载器失败隔离。完整的内置更新 / 渠道矩阵仍然保留为手动 / 全套件运行，因为它会重复执行真实的 npm update 和 doctor 修复过程。 -本地 changed-lane 逻辑位于 `scripts/changed-lanes.mjs`，由 `scripts/check-changed.mjs` 执行。这个本地门控在架构边界上比宽泛的 CI 平台范围更严格：core 生产代码变更会运行 core 生产类型检查加 core 测试，core 仅测试变更只运行 core 测试类型检查/测试，扩展生产代码变更会运行扩展生产类型检查加扩展测试，而扩展仅测试变更只运行扩展测试类型检查/测试。公共插件 SDK 或 plugin-contract 变更会扩展到扩展验证，因为扩展依赖这些 core 契约。仅发布元数据的版本号变更会运行定向的版本/配置/root 依赖检查。未知的根目录/配置变更会以安全优先的方式回退到所有分片。 +本地变更作业逻辑位于 `scripts/changed-lanes.mjs`，由 `scripts/check-changed.mjs` 执行。这个本地门禁在架构边界上的要求比宽泛的 CI 平台作用域更严格：core 生产变更会运行 core 生产 typecheck 加 core 测试，core 仅测试变更只会运行 core 测试 typecheck / 测试，扩展生产变更会运行扩展生产 typecheck 加扩展测试，扩展仅测试变更只会运行扩展测试 typecheck / 测试。公开的插件 SDK 或插件契约变更会扩展到扩展验证，因为扩展依赖这些 core 契约。仅发布元数据的版本号变更会运行有针对性的版本 / 配置 / 根依赖检查。未知的根目录 / 配置变更会以安全优先的方式回退到所有作业。 -在 push 上，`checks` 矩阵会添加仅 push 的 `compat-node22` 分片。在拉取请求上，该分片会被跳过，矩阵会保持聚焦于常规测试/渠道分片。 +在 push 上，`checks` 矩阵会加入仅在 push 上运行的 `compat-node22` 作业。在拉取请求上，该作业会被跳过，矩阵会继续聚焦于常规测试 / 渠道作业。 -最慢的 Node 测试族已被拆分或平衡，以便每个作业都保持较小：渠道契约将 registry 和 core 覆盖拆成总共六个带权分片，内置插件测试在六个扩展 worker 之间做平衡，自动回复以三个平衡 worker 运行，而不是六个很小的 worker，agentic gateway/plugin 配置则分布到现有的仅源代码 agentic Node 作业中，而不是等待构建产物。宽泛的浏览器、QA、媒体和杂项插件测试使用它们专用的 Vitest 配置，而不是共享的插件兜底配置。宽泛的 agents 分片使用共享的 Vitest 文件并行调度器，因为它主要受 import/调度影响，而不是由某个单独的慢测试文件主导。`runtime-config` 与 infra core-runtime 分片一起运行，以避免共享运行时分片独占尾部时间。`check-additional` 将包边界 compile/canary 工作放在一起，同时把运行时拓扑架构与 gateway watch 覆盖拆开；边界守卫分片会在一个作业内并发运行其小型独立守卫，而 gateway watch 回归则在 `build-artifacts` 中、于 `dist/` 和 `dist-runtime/` 已构建完成之后运行，这样它就能在不额外占用 runner 或重新构建运行时产物的前提下衡量 watch 稳定性。 -Android CI 会同时运行 `testPlayDebugUnitTest` 和 `testThirdPartyDebugUnitTest`，然后构建 Play debug APK。第三方 flavor 没有独立的 source set 或 manifest；它的单元测试分片仍会使用 SMS/通话记录 BuildConfig 标志来编译该 flavor，同时避免在每次与 Android 相关的 push 上重复执行 debug APK 打包作业。 -`extension-fast` 仅在 PR 上运行，因为 push 已经会执行完整的内置插件分片。这样可以为代码评审提供已变更插件的反馈，同时避免在 `main` 上为 `checks-node-extensions` 已覆盖的内容额外占用一个 Blacksmith worker。 +最慢的 Node 测试族会被拆分或平衡，以保持每个作业都足够小：渠道契约将 registry 和 core 覆盖拆分为总共六个带权重的分片，内置插件测试会在六个扩展 worker 之间做负载平衡，auto-reply 以三个平衡 worker 运行，而不是六个很小的 worker，agentic Gateway 网关 / 插件配置则会分布到现有的仅源码 agentic Node 作业中，而不是等待内置产物。广泛的浏览器、QA、媒体和杂项插件测试使用它们专用的 Vitest 配置，而不是共享的插件兜底配置。广泛的 agents 作业使用共享的 Vitest 文件级并行调度器，因为它主要受 import / 调度影响，而不是由某个单独的慢测试文件主导。`runtime-config` 与 infra core-runtime 分片一起运行，以避免共享运行时分片单独承担长尾。`check-additional` 会把包边界 compile / canary 工作保持在一起，并将运行时拓扑架构与 gateway watch 覆盖拆开；边界守卫分片会在一个作业内并发运行其较小且相互独立的守卫。Gateway 网关 watch、渠道测试以及 core support-boundary 分片会在 `build-artifacts` 中于 `dist/` 和 `dist-runtime/` 构建完成后并发运行，在保留其旧检查名作为轻量校验作业的同时，避免再占用两个额外的 Blacksmith worker 和第二条产物消费者队列。 +Android CI 会同时运行 `testPlayDebugUnitTest` 和 `testThirdPartyDebugUnitTest`，然后构建 Play debug APK。第三方 flavor 没有独立的源码集或 manifest；它的单元测试作业仍然会在启用 SMS / 通话记录 BuildConfig 标志的情况下编译该 flavor，同时避免在每次与 Android 相关的 push 上重复执行一个 debug APK 打包作业。 +`extension-fast` 仅在 PR 上运行，因为 push 已经会执行完整的内置插件分片。这样既能为代码评审提供已变更插件的反馈，又不会在 `main` 上为已经被 `checks-node-extensions` 覆盖的内容额外占用一个 Blacksmith worker。 -当同一个 PR 或 `main` 引用上有更新的 push 到来时，GitHub 可能会将被替代的作业标记为 `cancelled`。除非同一引用的最新运行也失败，否则应将其视为 CI 噪音。聚合分片检查使用 `!cancelled() && always()`，因此它们仍会报告正常的分片失败，但不会在整个工作流已经被替代后继续排队。 -CI 并发键是带版本的（`CI-v7-*`），因此 GitHub 侧旧队列组中的僵尸任务不会无限期阻塞较新的 main 运行。 +当同一 PR 或 `main` 引用上有新的 push 到达时，GitHub 可能会将被替代的作业标记为 `cancelled`。除非同一引用的最新一次运行也失败了，否则应将其视为 CI 噪音。聚合分片检查使用 `!cancelled() && always()`，因此它们仍会正常报告分片失败，但不会在整个工作流已经被替代后继续排队。 +CI 并发键带有版本号（`CI-v7-*`），这样 GitHub 侧旧队列组中的僵尸任务就不会无限期阻塞较新的 main 运行。 ## 运行器 | 运行器 | 作业 | | -------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -| `ubuntu-24.04` | `preflight`、快速安全作业及其聚合（`security-scm-fast`、`security-dependency-audit`、`security-fast`）、快速 protocol/contract/bundled 检查、分片的渠道契约检查、除 lint 之外的 `check` 分片、`check-additional` 分片及聚合、Node 测试聚合验证器、文档检查、Python Skills、workflow-sanity、labeler、auto-response；`install-smoke` 的 preflight 也使用 GitHub 托管的 Ubuntu，这样 Blacksmith 矩阵可以更早排队 | -| `blacksmith-8vcpu-ubuntu-2404` | `build-artifacts`、build-smoke、Linux Node 测试分片、内置插件测试分片、其余构建产物消费者、`android` | -| `blacksmith-16vcpu-ubuntu-2404` | `check-lint`，它仍然对 CPU 足够敏感，以至于 8 vCPU 的成本高于节省；`install-smoke` 的 Docker 构建，其中 32 vCPU 的排队时间成本高于节省 | +| `ubuntu-24.04` | `preflight`、快速安全作业及其聚合作业（`security-scm-fast`、`security-dependency-audit`、`security-fast`）、快速协议 / 契约 / 内置检查、分片的渠道契约检查、除 lint 外的 `check` 分片、`check-additional` 分片及其聚合作业、Node 测试聚合校验器、文档检查、Python Skills、workflow-sanity、labeler、auto-response；`install-smoke` 的 preflight 也使用 GitHub 托管的 Ubuntu，这样 Blacksmith 矩阵可以更早进入排队 | +| `blacksmith-8vcpu-ubuntu-2404` | `build-artifacts`、build-smoke、Linux Node 测试分片、内置插件测试分片、`android` | +| `blacksmith-16vcpu-ubuntu-2404` | `check-lint`，它对 CPU 的敏感度仍然足够高，以至于 8 vCPU 的成本高于它节省的收益；`install-smoke` Docker 构建，在这里 32 vCPU 的排队时间成本高于它节省的收益 | | `blacksmith-16vcpu-windows-2025` | `checks-windows` | | `blacksmith-6vcpu-macos-latest` | 在 `openclaw/openclaw` 上运行的 `macos-node`；fork 会回退到 `macos-latest` | | `blacksmith-12vcpu-macos-latest` | 在 `openclaw/openclaw` 上运行的 `macos-swift`；fork 会回退到 `macos-latest` | -## 本地等价项 +## 本地等效命令 ```bash -pnpm changed:lanes # 检查 origin/main...HEAD 的本地 changed-lane 分类器 -pnpm check:changed # 智能本地门控：按边界分片运行变更类型检查/lint/测试 -pnpm check # 快速本地门控：生产 tsgo + 分片 lint + 并行快速守卫 +pnpm changed:lanes # 查看 origin/main...HEAD 的本地变更作业分类器 +pnpm check:changed # 智能本地门禁：按边界作业运行变更的 typecheck/lint/测试 +pnpm check # 快速本地门禁：生产 tsgo + 分片 lint + 并行快速守卫 pnpm check:test-types -pnpm check:timed # 相同门控，但带有各阶段耗时 +pnpm check:timed # 相同门禁，但带有各阶段耗时 pnpm build:strict-smoke pnpm check:architecture pnpm test:gateway:watch-regression -pnpm test # vitest 测试 +pnpm test # Vitest 测试 pnpm test:channels pnpm test:contracts:channels -pnpm check:docs # 文档格式化 + lint + 坏链检查 -pnpm build # 当 CI 产物/build-smoke 分片相关时构建 dist -node scripts/ci-run-timings.mjs # 汇总总耗时、排队时间和最慢作业 +pnpm check:docs # 文档格式 + lint + 坏链检查 +pnpm build # 当 CI 的产物 / build-smoke 作业相关时，构建 dist +node scripts/ci-run-timings.mjs # 汇总总耗时、排队时间和最慢的作业 ``` diff --git a/docs/zh-CN/help/testing.md b/docs/zh-CN/help/testing.md index 423faeff4..9720b6328 100644 --- a/docs/zh-CN/help/testing.md +++ b/docs/zh-CN/help/testing.md @@ -3,20 +3,20 @@ read_when: - 在本地或 CI 中运行测试 - 为模型 / 提供商缺陷添加回归测试 - 调试 Gateway 网关 + 智能体行为 -summary: 测试工具包：单元 / e2e / 实时测试套件、Docker 运行器，以及每类测试覆盖的内容 +summary: 测试工具包：单元 / e2e / 实时测试套件、Docker 运行器，以及每项测试覆盖的内容 title: 测试 x-i18n: - generated_at: "2026-04-23T01:48:01Z" + generated_at: "2026-04-23T02:26:39Z" model: gpt-5.4 provider: openai - source_hash: 67b9751c5811f8cbc9f0826e42f2e4fc234b3c635c564ec2c31afeffb034ec4f + source_hash: 4dc44fe6d7d9766ae960b7e8bb9d4e58899d9623f494fc37d238a486bdf89235 source_path: help/testing.md workflow: 15 --- # 测试 -OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及一小组 Docker 运行器。 +OpenClaw 有三个 Vitest 测试套件（单元 / 集成、e2e、实时），以及一小组 Docker 运行器。 本文档是一份“我们如何测试”的指南： @@ -29,102 +29,100 @@ OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及 大多数时候： -- 完整门禁（预期应在推送前运行）：`pnpm build && pnpm check && pnpm check:test-types && pnpm test` -- 在配置较好的机器上更快地运行本地全套测试：`pnpm test:max` +- 完整门禁（推送前的预期要求）：`pnpm build && pnpm check && pnpm check:test-types && pnpm test` +- 在资源充足的机器上进行更快的本地全套件运行：`pnpm test:max` - 直接进入 Vitest 监听循环：`pnpm test:watch` -- 现在直接按文件定位也会路由到扩展 / 渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` -- 当你正在迭代单个失败用例时，优先先跑有针对性的测试。 -- Docker 支持的 QA 站点：`pnpm qa:lab:up` -- Linux VM 支持的 QA 通道：`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline` +- 现在直接按文件定位也支持 extension / channel 路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` +- 当你在迭代修复单个失败用例时，优先使用有针对性的运行。 +- 基于 Docker 的 QA 站点：`pnpm qa:lab:up` +- 基于 Linux VM 的 QA 通道：`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline` -当你修改了测试，或者想获得更多信心时： +当你改动测试或想获得额外信心时： - 覆盖率门禁：`pnpm test:coverage` - E2E 测试套件：`pnpm test:e2e` -当你调试真实提供商 / 模型时（需要真实凭证）： +当你调试真实的提供商 / 模型时（需要真实凭证）： - 实时测试套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live` -- 安静地只跑一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` -- Moonshot / Kimi 成本冒烟测试：设置好 `MOONSHOT_API_KEY` 后，运行 - `openclaw models list --provider moonshot --json`，然后针对 `moonshot/kimi-k2.6` 运行一个隔离的 +- 安静地只运行一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` +- Moonshot / Kimi 成本冒烟测试：设置 `MOONSHOT_API_KEY` 后，运行 + `openclaw models list --provider moonshot --json`，然后对 `moonshot/kimi-k2.6` 运行一个隔离的 `openclaw agent --local --session-id live-kimi-cost --message 'Reply exactly: KIMI_LIVE_OK' --thinking off --json` - 。验证 JSON 报告的是 Moonshot / K2.6，并且助手转录中存储了规范化后的 `usage.cost`。 + 。验证 JSON 报告的是 Moonshot / K2.6，并且助手转录中保存了标准化后的 `usage.cost`。 -提示：当你只需要一个失败用例时，优先使用下文描述的 allowlist 环境变量来缩小实时测试范围。 +提示：当你只需要一个失败用例时，优先通过下文描述的 allowlist 环境变量来缩小实时测试范围。 ## QA 专用运行器 -当你需要具有 `qa-lab` 真实感的 QA 环境时，这些命令与主测试套件配合使用： +当你需要接近 qa-lab 的真实 QA 体验时，这些命令与主测试套件并列使用： - `pnpm openclaw qa suite` - - 直接在主机上运行基于仓库的 QA 场景。 - - 默认并行运行多个选定场景，并使用隔离的 Gateway 网关工作进程。`qa-channel` 默认并发数为 4（受所选场景数量限制）。使用 `--concurrency ` 调整工作进程数，或使用 `--concurrency 1` 走旧的串行通道。 - - 任一场景失败时以非零状态退出。如果你想保留产物但不希望退出码失败，请使用 `--allow-failures`。 + - 直接在宿主机上运行基于仓库的 QA 场景。 + - 默认会使用隔离的 Gateway 网关 worker 并行运行多个选定场景。`qa-channel` 默认并发为 4（受所选场景数量限制）。使用 `--concurrency ` 调整 worker 数量，或使用 `--concurrency 1` 回到较早的串行通道。 + - 任一场景失败时以非零状态退出。若你想保留产物但不希望退出码失败，请使用 `--allow-failures`。 - 支持提供商模式 `live-frontier`、`mock-openai` 和 `aimock`。 - `aimock` 会启动一个本地的 AIMock 支持的提供商服务器，用于实验性的 fixture 和协议 mock 覆盖，而不是替代具备场景感知的 `mock-openai` 通道。 + `aimock` 会启动一个本地的 AIMock 驱动提供商服务器，用于实验性的夹具和协议模拟覆盖，但不会替代具备场景感知能力的 `mock-openai` 通道。 - `pnpm openclaw qa suite --runner multipass` - 在一次性的 Multipass Linux VM 中运行同一套 QA 测试。 - - 保持与主机上 `qa suite` 相同的场景选择行为。 + - 保持与宿主机 `qa suite` 相同的场景选择行为。 - 复用与 `qa suite` 相同的提供商 / 模型选择标志。 - - 实时运行会转发适合访客机使用的受支持 QA 认证输入： + - 实时运行会转发对 guest 实用的受支持 QA 认证输入： 基于环境变量的提供商密钥、QA 实时提供商配置路径，以及存在时的 `CODEX_HOME`。 - - 输出目录必须保持在仓库根目录下，以便访客机能够通过挂载的工作区写回内容。 - - 会将常规 QA 报告 + 摘要以及 Multipass 日志写入 - `.artifacts/qa-e2e/...`。 + - 输出目录必须保持在仓库根目录下，以便 guest 可以通过挂载的工作区回写内容。 + - 在 `.artifacts/qa-e2e/...` 下写入常规 QA 报告 + 摘要以及 Multipass 日志。 - `pnpm qa:lab:up` - - 启动 Docker 支持的 QA 站点，用于偏运维风格的 QA 工作。 + - 启动基于 Docker 的 QA 站点，用于偏操作式的 QA 工作。 - `pnpm test:docker:bundled-channel-deps` - - 在 Docker 中打包并安装当前的 OpenClaw 构建，配置好 OpenAI 后启动 Gateway 网关，然后通过配置编辑启用 Telegram 和 Discord。 - - 验证首次 Gateway 网关重启时会按需安装每个内置渠道插件的运行时依赖，并且第二次重启不会重新安装已激活的依赖。 - - 还会安装一个已知较旧的 npm 基线，在运行 `openclaw update --tag ` 之前启用 Telegram，并验证候选版本的更新后 doctor 会修复内置渠道运行时依赖，而无需测试框架侧执行 postinstall 修复。 + - 在 Docker 中打包并安装当前 OpenClaw 构建产物，使用已配置 OpenAI 启动 Gateway 网关，然后通过配置编辑启用内置渠道 / plugins。 + - 验证设置发现不会提前安装未配置 plugin 的运行时依赖；首次配置好的 Gateway 网关 或 Doctor 运行会按需安装每个内置 plugin 的运行时依赖；第二次重启不会重新安装已经激活的依赖。 + - 还会安装一个已知的较旧 npm 基线，在运行 `openclaw update --tag ` 之前启用 Telegram，并验证候选版本在更新后的 Doctor 中会修复内置渠道运行时依赖，而不需要测试框架侧的 postinstall 修复。 - `pnpm openclaw qa aimock` - - 仅启动本地 AIMock 提供商服务器，用于直接进行协议冒烟测试。 + - 仅启动本地 AIMock 提供商服务器，用于直接协议冒烟测试。 - `pnpm openclaw qa matrix` - - 针对一个一次性的 Docker 支持 Tuwunel homeserver 运行 Matrix 实时 QA 通道。 - - 该 QA 主机目前仅供仓库 / 开发使用。打包后的 OpenClaw 安装不包含 - `qa-lab`，因此不会暴露 `openclaw qa`。 - - 仓库检出会直接加载内置运行器；不需要单独的插件安装步骤。 - - 会配置三个临时 Matrix 用户（`driver`、`sut`、`observer`）以及一个私有房间，然后使用真实 Matrix 插件作为 SUT 传输层启动一个 QA Gateway 网关子进程。 - - 默认使用固定的稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。当你需要测试不同镜像时，可用 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 - - Matrix 不暴露共享凭证源标志，因为该通道会在本地配置一次性用户。 - - 会将 Matrix QA 报告、摘要、observed-events 产物以及合并的 stdout / stderr 输出日志写入 `.artifacts/qa-e2e/...`。 + - 针对一次性的、基于 Docker 的 Tuwunel homeserver 运行 Matrix 实时 QA 通道。 + - 这个 QA 宿主当前仅用于仓库 / 开发场景。打包后的 OpenClaw 安装不包含 `qa-lab`，因此也不会暴露 `openclaw qa`。 + - 仓库检出会直接加载内置运行器，无需单独安装 plugin。 + - 预配三个临时 Matrix 用户（`driver`、`sut`、`observer`）以及一个私有房间，然后启动一个 QA gateway 子进程，并将真实 Matrix plugin 作为 SUT 传输层。 + - 默认使用固定稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。如果你需要测试其他镜像，可通过 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 + - Matrix 不暴露共享凭证来源标志，因为该通道会在本地预配一次性用户。 + - 在 `.artifacts/qa-e2e/...` 下写入 Matrix QA 报告、摘要、观测事件产物，以及合并后的 stdout / stderr 输出日志。 - `pnpm openclaw qa telegram` - - 使用环境变量中的 driver 和 SUT 机器人令牌，针对真实私有群组运行 Telegram 实时 QA 通道。 - - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 id 必须是 Telegram chat 的数字 id。 - - 支持 `--credential-source convex` 以使用共享池化凭证。默认使用 env 模式，或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 - - 任一场景失败时以非零状态退出。如果你想保留产物但不希望退出码失败，请使用 `--allow-failures`。 - - 需要位于同一私有群组中的两个不同机器人，并且 SUT 机器人需要暴露 Telegram 用户名。 - - 为了稳定地观察机器人到机器人的通信，请在 `@BotFather` 中为两个机器人都启用 Bot-to-Bot Communication Mode，并确保 driver 机器人可以观察群组中的机器人流量。 - - 会将 Telegram QA 报告、摘要和 observed-messages 产物写入 `.artifacts/qa-e2e/...`。 + - 使用来自环境变量的 driver 和 SUT bot token，针对真实私有群组运行 Telegram 实时 QA 通道。 + - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 id 必须是 Telegram 聊天的数字 id。 + - 支持 `--credential-source convex` 用于共享池化凭证。默认使用 env 模式，或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 + - 任一场景失败时以非零状态退出。若你想保留产物但不希望退出码失败，请使用 `--allow-failures`。 + - 需要两个不同的 bot 处于同一个私有群组中，并且 SUT bot 需要暴露一个 Telegram 用户名。 + - 为了稳定观察 bot 与 bot 之间的交互，请在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode，并确保 driver bot 能够观察群组中的 bot 流量。 + - 在 `.artifacts/qa-e2e/...` 下写入 Telegram QA 报告、摘要和已观测消息产物。 -实时传输通道共享同一份标准契约，从而避免新传输方式发生漂移： +实时传输通道共享一个标准契约，这样新增传输层时不会发生偏移： -`qa-channel` 仍然是覆盖面较广的合成 QA 测试套件，不属于实时传输覆盖矩阵的一部分。 +`qa-channel` 仍然是广覆盖的合成 QA 测试套件，不属于实时传输覆盖矩阵的一部分。 -| 通道 | Canary | Mention gating | Allowlist block | 顶层回复 | 重启恢复 | 线程跟进 | 线程隔离 | 反应观察 | 帮助命令 | -| ---- | ------ | -------------- | --------------- | -------- | -------- | -------- | -------- | -------- | -------- | -| Matrix | x | x | x | x | x | x | x | x | | -| Telegram | x | | | | | | | | x | +| 通道 | Canary | 提及门控 | allowlist 阻止 | 顶层回复 | 重启恢复 | 线程跟进 | 线程隔离 | 表情反应观测 | 帮助命令 | +| ---- | ------ | -------- | -------------- | -------- | -------- | -------- | -------- | ------------ | -------- | +| Matrix | x | x | x | x | x | x | x | x | | +| Telegram | x | | | | | | | | x | ### 通过 Convex 共享 Telegram 凭证（v1） 当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时， -QA lab 会从基于 Convex 的池中获取一个独占租约，在通道运行期间为该租约发送心跳，并在关闭时释放租约。 +QA lab 会从 Convex 支持的凭证池中获取一个独占租约，在通道运行期间持续发送心跳，并在关闭时释放该租约。 参考 Convex 项目脚手架： - `qa/convex-credential-broker/` -必需环境变量： +必需的环境变量： - `OPENCLAW_QA_CONVEX_SITE_URL`（例如 `https://your-deployment.convex.site`） -- 针对所选角色的一个密钥： +- 为所选角色提供一个 secret： - `maintainer` 使用 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER` - `ci` 使用 `OPENCLAW_QA_CONVEX_SECRET_CI` - 凭证角色选择： - CLI：`--credential-role maintainer|ci` - - 环境默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（在 CI 中默认 `ci`，否则默认 `maintainer`） + - 环境变量默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（在 CI 中默认是 `ci`，否则默认是 `maintainer`） 可选环境变量： @@ -134,11 +132,11 @@ QA lab 会从基于 Convex 的池中获取一个独占租约，在通道运行 - `OPENCLAW_QA_CREDENTIAL_HTTP_TIMEOUT_MS`（默认 `15000`） - `OPENCLAW_QA_CONVEX_ENDPOINT_PREFIX`（默认 `/qa-credentials/v1`） - `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选追踪 id） -- `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许在仅限本地开发时使用 loopback `http://` Convex URL。 +- `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许仅用于本地开发的 loopback `http://` Convex URL。 -在正常运行中，`OPENCLAW_QA_CONVEX_SITE_URL` 应使用 `https://`。 +正常运行时，`OPENCLAW_QA_CONVEX_SITE_URL` 应使用 `https://`。 -维护者管理命令（池添加 / 删除 / 列表）明确要求使用 +维护者管理命令（池的添加 / 删除 / 列表）必须专门使用 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。 面向维护者的 CLI 辅助命令： @@ -149,87 +147,87 @@ pnpm openclaw qa credentials list --kind telegram pnpm openclaw qa credentials remove --credential-id ``` -在脚本和 CI 工具中，使用 `--json` 获取机器可读输出。 +在脚本和 CI 工具中使用 `--json` 可获得机器可读输出。 默认端点契约（`OPENCLAW_QA_CONVEX_SITE_URL` + `/qa-credentials/v1`）： - `POST /acquire` - 请求：`{ kind, ownerId, actorRole, leaseTtlMs, heartbeatIntervalMs }` - 成功：`{ status: "ok", credentialId, leaseToken, payload, leaseTtlMs?, heartbeatIntervalMs? }` - - 池耗尽 / 可重试：`{ status: "error", code: "POOL_EXHAUSTED" | "NO_CREDENTIAL_AVAILABLE", ... }` + - 耗尽 / 可重试：`{ status: "error", code: "POOL_EXHAUSTED" | "NO_CREDENTIAL_AVAILABLE", ... }` - `POST /heartbeat` - 请求：`{ kind, ownerId, actorRole, credentialId, leaseToken, leaseTtlMs }` - 成功：`{ status: "ok" }`（或空的 `2xx`） - `POST /release` - 请求：`{ kind, ownerId, actorRole, credentialId, leaseToken }` - 成功：`{ status: "ok" }`（或空的 `2xx`） -- `POST /admin/add`（仅维护者密钥） +- `POST /admin/add`（仅限 maintainer secret） - 请求：`{ kind, actorId, payload, note?, status? }` - 成功：`{ status: "ok", credential }` -- `POST /admin/remove`（仅维护者密钥） +- `POST /admin/remove`（仅限 maintainer secret） - 请求：`{ credentialId, actorId }` - 成功：`{ status: "ok", changed, credential }` - 活跃租约保护：`{ status: "error", code: "LEASE_ACTIVE", ... }` -- `POST /admin/list`（仅维护者密钥） +- `POST /admin/list`（仅限 maintainer secret） - 请求：`{ kind?, status?, includePayload?, limit? }` - 成功：`{ status: "ok", credentials, count }` -Telegram 类型的 payload 结构： +Telegram 类型的负载结构： - `{ groupId: string, driverToken: string, sutToken: string }` -- `groupId` 必须是 Telegram chat id 的数字字符串。 -- `admin/add` 会对 `kind: "telegram"` 校验该结构，并拒绝格式错误的 payload。 +- `groupId` 必须是 Telegram 聊天数字 id 的字符串。 +- 对于 `kind: "telegram"`，`admin/add` 会验证这一结构，并拒绝格式不正确的负载。 ### 向 QA 添加一个渠道 -向 markdown QA 系统添加一个渠道，严格来说只需要两样东西： +向 Markdown QA 系统中添加一个渠道，严格来说只需要两样东西： 1. 该渠道的传输适配器。 -2. 一组用于验证该渠道契约的场景包。 +2. 一个用于验证该渠道契约的场景包。 -如果共享的 `qa-lab` 主机可以承载整个流程，就不要新增新的顶层 QA 命令根。 +如果共享的 `qa-lab` 宿主已经可以承载这条流程，不要新增一个顶层 QA 命令根。 -`qa-lab` 负责共享主机机制： +`qa-lab` 负责共享宿主机制： - `openclaw qa` 命令根 -- 套件启动与关闭 -- 工作进程并发 +- 测试套件启动和清理 +- worker 并发 - 产物写入 - 报告生成 - 场景执行 -- 对旧 `qa-channel` 场景的兼容别名 +- 对旧版 `qa-channel` 场景的兼容别名 -运行器插件负责传输契约： +运行器 plugin 负责传输契约： -- 如何将 `openclaw qa ` 挂载到共享 `qa` 根命令下 -- 如何为该传输配置 Gateway 网关 +- `openclaw qa ` 如何挂载到共享 `qa` 根命令下 +- 如何为该传输层配置 gateway - 如何检查就绪状态 - 如何注入入站事件 -- 如何观察出站消息 -- 如何暴露转录和规范化后的传输状态 -- 如何执行由传输支持的操作 -- 如何处理传输特定的重置或清理 +- 如何观测出站消息 +- 如何暴露转录和标准化后的传输状态 +- 如何执行由传输层支持的操作 +- 如何处理传输层特有的重置或清理 新渠道的最低接入门槛是： 1. 保持由 `qa-lab` 负责共享的 `qa` 根命令。 -2. 在共享的 `qa-lab` 主机接缝上实现传输运行器。 -3. 将传输特定机制保留在运行器插件或渠道测试 harness 内部。 +2. 在共享的 `qa-lab` 宿主衔接层上实现传输运行器。 +3. 将传输层特有机制保留在运行器 plugin 或渠道测试框架内部。 4. 将运行器挂载为 `openclaw qa `，而不是注册一个相互竞争的根命令。 - 运行器插件应在 `openclaw.plugin.json` 中声明 `qaRunners`，并从 `runtime-api.ts` 导出匹配的 `qaRunnerCliRegistrations` 数组。 + 运行器 plugin 应在 `openclaw.plugin.json` 中声明 `qaRunners`，并在 `runtime-api.ts` 中导出匹配的 `qaRunnerCliRegistrations` 数组。 保持 `runtime-api.ts` 轻量；惰性 CLI 和运行器执行应放在单独的入口点之后。 -5. 在按主题组织的 `qa/scenarios/` 目录下编写或调整 markdown 场景。 -6. 为新场景使用通用场景辅助函数。 -7. 除非仓库正在进行有意的迁移，否则保持现有兼容性别名继续可用。 +5. 在主题化的 `qa/scenarios/` 目录下编写或调整 Markdown 场景。 +6. 为新场景使用通用场景辅助工具。 +7. 除非仓库正在进行有意的迁移，否则要保持现有兼容性别名继续可用。 决策规则是严格的： -- 如果某个行为可以在 `qa-lab` 中统一表达一次，就把它放在 `qa-lab` 中。 -- 如果某个行为依赖单一渠道传输，就把它保留在对应的运行器插件或插件 harness 中。 -- 如果某个场景需要一个可被多个渠道使用的新能力，就添加一个通用辅助函数，而不是在 `suite.ts` 中添加渠道特定分支。 -- 如果某个行为只对一种传输有意义，就保持该场景为传输特定，并在场景契约中明确说明。 +- 如果某个行为可以在 `qa-lab` 中统一表达一次，就放在 `qa-lab` 中。 +- 如果某个行为依赖于某一个渠道传输层，就保留在对应的运行器 plugin 或 plugin 测试框架中。 +- 如果某个场景需要一个不止一个渠道都能使用的新能力，请添加一个通用辅助工具，而不是在 `suite.ts` 中增加特定于渠道的分支。 +- 如果某个行为只对一种传输层有意义，就让该场景保持传输层特定，并在场景契约中明确说明。 -新场景优先使用的通用辅助函数名称为： +新场景推荐使用的通用辅助工具名称是： - `waitForTransportReady` - `waitForChannelReady` @@ -252,80 +250,80 @@ Telegram 类型的 payload 结构： - `formatConversationTranscript` - `resetBus` -新的渠道工作应使用通用辅助函数名称。 -兼容性别名的存在是为了避免“一刀切”的迁移日，而不是作为 -新场景编写的模板。 +新的渠道开发应使用通用辅助工具名称。 +兼容性别名的存在是为了避免一次性强制迁移，而不是作为 +新场景编写的范式。 -## 测试套件（各自运行的位置） +## 测试套件（各自在哪里运行） -可以把这些测试套件理解为“真实度逐步提高”（同时不稳定性 / 成本也逐步提高）： +可以将这些测试套件理解为“真实度逐步提高”（同时不稳定性 / 成本也逐步提高）： ### 单元 / 集成（默认） - 命令：`pnpm test` -- 配置：对现有按范围划分的 Vitest 项目执行十一个顺序分片运行（`vitest.full-*.config.ts`） +- 配置：对现有分域 Vitest projects 执行十一个顺序分片运行（`vitest.full-*.config.ts`） - 文件：`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的核心 / 单元测试清单，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试 - 范围： - 纯单元测试 - 进程内集成测试（Gateway 网关认证、路由、工具、解析、配置） - - 针对已知缺陷的确定性回归测试 + - 已知缺陷的确定性回归测试 - 预期： - 在 CI 中运行 - 不需要真实密钥 - 应该快速且稳定 -- 项目说明： - - 未指定目标的 `pnpm test` 现在会运行十一组更小的分片配置（`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是运行一个庞大的原生根项目进程。这样可以降低高负载机器上的峰值 RSS，并避免 auto-reply / 扩展工作拖累无关套件。 - - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片监听循环并不现实。 - - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会优先将显式的文件 / 目录目标路由到按范围划分的通道，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 可以避免承担完整根项目启动开销。 - - 当 diff 仅涉及可路由的源码 / 测试文件时，`pnpm test:changed` 会将变更的 git 路径扩展到相同的按范围划分通道；配置 / setup 编辑仍会回退到更宽泛的根项目重跑。 - - `pnpm check:changed` 是针对小范围工作时的常规智能本地门禁。它会将 diff 分类为 core、core tests、extensions、extension tests、apps、docs、release metadata 和 tooling，然后运行匹配的 typecheck / lint / test 通道。公共插件 SDK 和插件契约变更会包含扩展校验，因为扩展依赖这些核心契约。仅包含发布元数据的版本提升会运行定向的版本 / 配置 / 根依赖检查，而不是完整套件，并带有一个守卫来拒绝顶层 version 字段之外的 package 变更。 - - 来自 agents、commands、plugins、auto-reply helpers、`plugin-sdk` 以及类似纯工具区域的轻导入单元测试会路由到 `unit-fast` 通道，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件则保留在现有通道中。 - - 部分选定的 `plugin-sdk` 和 `commands` 辅助源码文件也会将 changed 模式运行映射到这些轻量通道中的显式同级测试，因此辅助函数编辑无需为该目录重跑整套重量级测试。 - - `auto-reply` 现在有三个专用桶：顶层核心辅助函数、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这样可以让最重的 reply harness 工作不影响廉价的 status / chunk / token 测试。 +- Projects 说明： + - 无定向的 `pnpm test` 现在会运行十一个更小的分片配置（`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生根 project 进程。这能降低高负载机器上的峰值 RSS，并避免 auto-reply / extension 工作拖慢无关套件。 + - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` project 图，因为多分片 watch 循环并不现实。 + - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 会优先将显式文件 / 目录目标路由到分域通道，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 不需要承担完整根 project 启动成本。 + - 当变更 diff 只涉及可路由的源码 / 测试文件时，`pnpm test:changed` 会将变更后的 git 路径扩展到相同的分域通道；配置 / setup 编辑仍会回退到更宽泛的根 project 重新运行。 + - `pnpm check:changed` 是窄范围工作的常规智能本地门禁。它会将 diff 分类到 core、core tests、extensions、extension tests、apps、docs、发布元数据和工具，然后运行匹配的 typecheck / lint / test 通道。公共插件 SDK 和 plugin 契约变更会包含 extension 验证，因为 extensions 依赖这些核心契约。仅包含发布元数据版本提升的改动会运行定向的版本 / 配置 / 根依赖检查，而不是完整套件，并带有一个守卫，拒绝顶层 version 字段之外的 package 变更。 + - 来自 agents、commands、plugins、auto-reply helpers、`plugin-sdk` 以及类似纯工具区域的轻导入单元测试，会通过 `unit-fast` 通道运行，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时负担较重的文件则保留在现有通道上。 + - 选定的 `plugin-sdk` 和 `commands` helper 源文件还会将 changed 模式运行映射到这些轻量通道中的显式同级测试，因此 helper 编辑不必为该目录重新运行整个重型套件。 + - `auto-reply` 现在有三个专用桶：顶层核心 helpers、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这样最重的 reply 测试框架工作就不会影响便宜的 status / chunk / token 测试。 - 嵌入式运行器说明： - 当你修改消息工具发现输入或压缩运行时上下文时， - 请同时保留两个层级的覆盖。 - - 为纯路由 / 规范化边界添加聚焦的辅助函数回归测试。 + 要同时保持两个层级的覆盖。 + - 为纯路由 / 标准化边界添加聚焦的 helper 回归测试。 - 同时也要保持嵌入式运行器集成测试套件健康： `src/agents/pi-embedded-runner/compact.hooks.test.ts`、 `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和 `src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。 - - 这些套件会验证带作用域的 id 和压缩行为仍然通过真实的 `run.ts` / `compact.ts` 路径流动；仅有辅助函数测试并不能充分替代这些集成路径。 + - 这些套件验证带作用域的 id 和压缩行为仍会流经真实的 `run.ts` / `compact.ts` 路径；仅有 helper 测试并不能充分替代这些集成路径。 - 池说明： - 基础 Vitest 配置现在默认使用 `threads`。 - - 共享 Vitest 配置也固定了 `isolate: false`，并在根项目、e2e 和实时配置中使用非隔离运行器。 - - 根 UI 通道保留其 `jsdom` setup 和优化器，但现在也运行在共享的非隔离运行器上。 - - 每个 `pnpm test` 分片都会从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 - - 共享的 `scripts/run-vitest.mjs` 启动器现在也会默认给 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行中的 V8 编译抖动。如果你需要与原生 V8 行为进行对比，请设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 + - 共享 Vitest 配置还固定了 `isolate: false`，并在根 projects、e2e 和实时配置中使用非隔离运行器。 + - 根 UI 通道仍保留其 `jsdom` setup 和优化器，但现在也运行在共享的非隔离运行器上。 + - 每个 `pnpm test` 分片都继承共享 Vitest 配置中的相同 `threads` + `isolate: false` 默认值。 + - 共享 `scripts/run-vitest.mjs` 启动器现在默认还会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与原生 V8 行为做对比，可设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 - 快速本地迭代说明： - - `pnpm changed:lanes` 会显示一个 diff 会触发哪些架构通道。 - - pre-commit hook 会在已暂存内容完成格式化 / lint 后运行 `pnpm check:changed --staged`，因此纯 core 提交不会承担扩展测试成本，除非它们触及了面向扩展的公共契约。仅包含发布元数据的提交会保留在定向版本 / 配置 / 根依赖通道中。 - - 当变更路径可以清晰映射到较小套件时，`pnpm test:changed` 会通过按范围划分通道进行路由。 - - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的 worker 上限。 - - 本地 worker 自动扩缩容现在刻意更保守，并且当主机负载平均值已经较高时也会回退，因此默认情况下多个并发 Vitest 运行造成的损害更小。 - - 基础 Vitest 配置会将项目 / 配置文件标记为 `forceRerunTriggers`，从而在测试接线变更时保持 changed 模式重跑的正确性。 - - 配置会在受支持主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你希望为直接性能分析指定一个明确缓存位置，请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 + - `pnpm changed:lanes` 会显示某个 diff 会触发哪些架构通道。 + - pre-commit hook 会在已暂存的格式化 / lint 之后运行 `pnpm check:changed --staged`，因此纯 core 提交不会承担 extension 测试成本，除非它们触及面向 extension 的公共契约。仅发布元数据的提交会保留在定向版本 / 配置 / 根依赖通道中。 + - `pnpm test:changed` 会在变更路径能明确映射到更小测试套件时，通过分域通道运行。 + - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是具有更高的 worker 上限。 + - 本地 worker 自动伸缩现在有意保持保守，并且当宿主平均负载已经较高时也会回退，因此默认情况下多个并发 Vitest 运行造成的影响更小。 + - 基础 Vitest 配置将 projects / 配置文件标记为 `forceRerunTriggers`，这样当测试接线发生变化时，changed 模式重新运行仍然正确。 + - 该配置会在受支持的宿主上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你希望为直接性能分析指定一个显式缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 - 性能调试说明： - - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入拆解输出。 - - `pnpm test:perf:imports:changed` 会将同样的性能分析视图限定到自 `origin/main` 以来变更的文件。 -- `pnpm test:perf:changed:bench -- --ref ` 会将路由后的 `test:changed` 与该提交 diff 的原生根项目路径进行比较，并打印总耗时以及 macOS 最大 RSS。 -- `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置将变更文件列表路由出去，从而对当前脏工作树进行基准测试。 - - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和 transform 开销写出主线程 CPU profile。 - - `pnpm test:perf:profile:runner` 会在禁用文件并行时，为单元测试套件写出运行器 CPU + 堆 profile。 + - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入明细输出。 + - `pnpm test:perf:imports:changed` 会将相同的性能分析视图限定到自 `origin/main` 以来发生变更的文件。 +- `pnpm test:perf:changed:bench -- --ref ` 会针对该提交的 diff，将路由后的 `test:changed` 与原生根 project 路径进行比较，并输出总耗时以及 macOS 最大 RSS。 +- `pnpm test:perf:changed:bench -- --worktree` 会将当前脏工作树中的变更文件列表通过 `scripts/test-projects.mjs` 和根 Vitest 配置进行路由，从而完成基准测试。 + - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和转换开销写出主线程 CPU profile。 + - `pnpm test:perf:profile:runner` 会在禁用文件并行时，为单元测试套件写出 runner 的 CPU + 堆 profile。 ### 稳定性（Gateway 网关） - 命令：`pnpm test:stability:gateway` -- 配置：`vitest.gateway.config.ts`，强制单 worker +- 配置：`vitest.gateway.config.ts`，强制只用一个 worker - 范围： - 启动一个默认启用诊断功能的真实 loopback Gateway 网关 - - 通过诊断事件路径驱动合成的 Gateway 网关消息、内存和大负载抖动 + - 通过诊断事件路径驱动合成的 gateway 消息、内存和大负载抖动 - 通过 Gateway 网关 WS RPC 查询 `diagnostics.stability` - - 覆盖诊断稳定性 bundle 持久化辅助函数 - - 断言记录器保持有界、合成 RSS 样本保持在压力预算内，并且每个会话的队列深度都会回落到零 + - 覆盖诊断稳定性 bundle 持久化 helpers + - 断言记录器保持有界、合成 RSS 样本低于压力预算，并且每个会话的队列深度最终都会回落到零 - 预期： - - 对 CI 安全且无需密钥 - - 是用于稳定性回归跟进的窄通道，而不是完整 Gateway 网关套件的替代品 + - 对 CI 安全且不需要密钥 + - 这是用于稳定性回归跟进的窄通道，不可替代完整的 Gateway 网关测试套件 ### E2E（Gateway 网关冒烟） @@ -333,153 +331,153 @@ Telegram 类型的 payload 结构： - 配置：`vitest.e2e.config.ts` - 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts` - 运行时默认值： - - 使用 Vitest `threads`，并设置 `isolate: false`，与仓库其余部分保持一致。 - - 使用自适应 worker（CI：最多 2，本地：默认 1）。 + - 使用 Vitest `threads` 和 `isolate: false`，与仓库其余部分保持一致。 + - 使用自适应 worker（CI：最多 2 个，本地：默认 1 个）。 - 默认以静默模式运行，以减少控制台 I/O 开销。 -- 有用的覆盖选项： - - `OPENCLAW_E2E_WORKERS=` 用于强制指定 worker 数量（上限为 16）。 - - `OPENCLAW_E2E_VERBOSE=1` 用于重新启用详细控制台输出。 +- 常用覆盖方式： + - `OPENCLAW_E2E_WORKERS=` 可强制指定 worker 数量（上限为 16）。 + - `OPENCLAW_E2E_VERBOSE=1` 可重新启用详细控制台输出。 - 范围： - - 多实例 Gateway 网关端到端行为 - - WebSocket / HTTP 表面、节点配对以及更重的网络行为 + - 多实例 gateway 端到端行为 + - WebSocket / HTTP 表面、节点配对以及更重的网络交互 - 预期： - 在 CI 中运行（当流水线启用时） - 不需要真实密钥 - - 比单元测试有更多活动部件（可能更慢） + - 比单元测试包含更多活动部件（可能更慢） ### E2E：OpenShell 后端冒烟 - 命令：`pnpm test:e2e:openshell` - 文件：`test/openshell-sandbox.e2e.test.ts` - 范围： - - 通过 Docker 在主机上启动一个隔离的 OpenShell Gateway 网关 - - 从一个临时本地 Dockerfile 创建沙箱 - - 通过真实 `sandbox ssh-config` + SSH exec 运行 OpenClaw 的 OpenShell 后端 - - 通过沙箱 fs bridge 验证远端规范文件系统行为 + - 通过 Docker 在宿主机上启动一个隔离的 OpenShell gateway + - 通过临时本地 Dockerfile 创建一个沙箱 + - 通过真实的 `sandbox ssh-config` + SSH exec 演练 OpenClaw 的 OpenShell 后端 + - 通过沙箱 fs bridge 验证远端规范化文件系统行为 - 预期： - 仅按需启用；不属于默认 `pnpm test:e2e` 运行的一部分 - 需要本地 `openshell` CLI 和可用的 Docker daemon - - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 Gateway 网关和沙箱 -- 有用的覆盖选项： - - `OPENCLAW_E2E_OPENSHELL=1`，用于在手动运行更广泛 e2e 套件时启用该测试 - - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`，用于指向非默认 CLI 二进制或包装脚本 + - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 gateway 和沙箱 +- 常用覆盖方式： + - `OPENCLAW_E2E_OPENSHELL=1` 可在手动运行更广泛 e2e 套件时启用该测试 + - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 可指定非默认的 CLI 二进制或包装脚本 ### 实时（真实提供商 + 真实模型） - 命令：`pnpm test:live` - 配置：`vitest.live.config.ts` - 文件：`src/**/*.live.test.ts` -- 默认：由 `pnpm test:live` **启用**（会设置 `OPENCLAW_LIVE_TEST=1`） +- 默认：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`） - 范围： - - “这个提供商 / 模型在 _今天_ 搭配真实凭证时到底能不能正常工作？” - - 捕获提供商格式变更、工具调用怪癖、认证问题以及速率限制行为 + - “这个提供商 / 模型今天在真实凭证下是否真的可用？” + - 捕获提供商格式变化、工具调用怪癖、认证问题以及速率限制行为 - 预期： - - 按设计不具备 CI 稳定性（真实网络、真实提供商策略、配额、故障） - - 会花钱 / 消耗速率限制额度 - - 优先运行缩小范围后的子集，而不是“全部都跑” -- 实时运行会读取 `~/.profile`，以获取缺失的 API 密钥。 -- 默认情况下，实时运行仍会隔离 `HOME`，并将配置 / 认证材料复制到一个临时测试 home 中，这样单元测试 fixture 就无法修改你真实的 `~/.openclaw`。 -- 仅当你明确需要让实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 -- `pnpm test:live` 现在默认采用更安静的模式：它会保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静音 Gateway 网关启动日志 / Bonjour 噪声。如果你想恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 -- API 密钥轮换（提供商特定）：设置 `*_API_KEYS`，使用逗号 / 分号格式，或设置 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），也可以通过 `OPENCLAW_LIVE_*_KEY` 为单次实时运行覆盖；测试在收到速率限制响应时会重试。 + - 从设计上就不保证在 CI 中稳定（真实网络、真实提供商策略、配额、故障） + - 会花钱 / 消耗速率限制 + - 优先运行缩小范围的子集，而不是“全部运行” +- 实时运行会读取 `~/.profile`，以获取缺失的 API key。 +- 默认情况下，实时运行仍会隔离 `HOME`，并将配置 / 认证材料复制到临时测试 home 中，这样单元测试夹具就无法修改你真实的 `~/.openclaw`。 +- 只有当你明确需要让实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 +- `pnpm test:live` 现在默认使用更安静的模式：它会保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静音 gateway 启动日志 / Bonjour 噪声。如果你想恢复完整启动日志，可设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 +- API key 轮换（按提供商）：设置逗号 / 分号格式的 `*_API_KEYS`，或设置 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），也可以通过 `OPENCLAW_LIVE_*_KEY` 为单次实时运行覆盖；测试会在收到速率限制响应时自动重试。 - 进度 / 心跳输出： - - 实时测试套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间的提供商调用也能明显显示为正在运行。 - - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，因此提供商 / Gateway 网关进度行会在实时运行期间立即流式输出。 - - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型的心跳。 - - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / 探测的心跳。 + - 实时测试套件现在会向 stderr 输出进度行，因此即使 Vitest 控制台捕获很安静，长时间的提供商调用也能明显显示仍在运行。 + - `vitest.live.config.ts` 禁用了 Vitest 控制台拦截，因此提供商 / gateway 进度行会在实时运行期间立即流式输出。 + - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型心跳。 + - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 gateway / 探测心跳。 -## 我应该运行哪套测试？ +## 我应该运行哪个测试套件？ -使用下面这个决策表： +使用这个决策表： -- 编辑逻辑 / 测试：运行 `pnpm test`（如果你改动很多，再加上 `pnpm test:coverage`） -- 触及 Gateway 网关网络 / WS 协议 / 配对：加跑 `pnpm test:e2e` -- 调试“我的机器人挂了” / 提供商特定故障 / 工具调用：运行一个缩小范围的 `pnpm test:live` +- 编辑逻辑 / 测试：运行 `pnpm test`（如果你改动很多，也运行 `pnpm test:coverage`） +- 触及 gateway 网络 / WS 协议 / 配对：额外运行 `pnpm test:e2e` +- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行缩小范围的 `pnpm test:live` ## 实时：Android 节点能力扫描 - 测试：`src/gateway/android-node.capabilities.live.test.ts` - 脚本：`pnpm android:test:integration` -- 目标：调用一个已连接 Android 节点当前公开的**所有命令**，并断言命令契约行为。 +- 目标：调用已连接 Android 节点当前**声明的每一项命令**，并断言命令契约行为。 - 范围： - - 带前置条件的 / 手动 setup（该套件不会安装 / 运行 / 配对应用）。 - - 针对所选 Android 节点逐命令校验 Gateway 网关 `node.invoke`。 -- 必需的预先 setup： - - Android 应用已连接并与 Gateway 网关完成配对。 + - 依赖预先完成 / 手动 setup（该套件不会安装 / 运行 / 配对应用）。 + - 针对所选 Android 节点，逐命令验证 gateway `node.invoke`。 +- 所需预先 setup： + - Android 应用已连接并与 gateway 配对。 - 应用保持在前台。 - - 对于你期望通过的能力，相关权限 / 捕获同意已授予。 + - 对你期望通过的能力，相关权限 / 捕获同意已授予。 - 可选目标覆盖： - `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。 - `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。 -- 完整 Android setup 详情：[Android App](/zh-CN/platforms/android) +- 完整 Android setup 详情： [Android App](/zh-CN/platforms/android) ## 实时：模型冒烟（profile keys） -实时测试分成两层，以便隔离故障： +实时测试被分成两层，以便我们隔离故障： -- “直接模型”告诉我们，提供商 / 模型是否至少能在给定密钥下响应。 -- “Gateway 网关冒烟”告诉我们，完整的 gateway + 智能体 流水线是否适用于该模型（会话、历史、工具、沙箱策略等）。 +- “直接模型”告诉我们：在给定 key 下，提供商 / 模型是否至少能回应。 +- “Gateway 网关冒烟”告诉我们：该模型的完整 gateway + 智能体流水线是否工作正常（会话、历史记录、工具、沙箱策略等）。 -### 第 1 层：直接模型补全（无 Gateway 网关） +### 第 1 层：直接模型补全（无 gateway） - 测试：`src/agents/models.profiles.live.test.ts` - 目标： - 枚举已发现的模型 - - 使用 `getApiKeyForModel` 选择你有凭证可用的模型 - - 对每个模型运行一个小型补全测试（并在需要时运行定向回归） -- 如何启用： - - `pnpm test:live`（或者如果你直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） -- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）后，此套件才会真正运行；否则会跳过，以便让 `pnpm test:live` 继续聚焦于 Gateway 网关冒烟 -- 如何选择模型： + - 使用 `getApiKeyForModel` 选择你有凭证的模型 + - 对每个模型运行一次小型补全（并在需要时运行定向回归） +- 启用方式： + - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） +- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）才会真正运行此套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 Gateway 网关冒烟 +- 选择模型的方法： - `OPENCLAW_LIVE_MODELS=modern` 运行 modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_MODELS=all` 是 modern allowlist 的别名 - - 或者 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`（逗号分隔的 allowlist） - - modern / all 扫描默认有一个精心挑选的高信号上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可进行完整 modern 扫描，或设置一个正数以使用更小上限。 -- 如何选择提供商： - - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔的 allowlist） -- 密钥来源： + - 或者 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`（逗号分隔 allowlist） + - modern / all 扫描默认会使用一个精心挑选的高信号上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可进行完整 modern 扫描，或设置为正数以使用更小的上限。 +- 选择提供商的方法： + - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔 allowlist） +- key 来源： - 默认：profile 存储和环境变量回退 - - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅**使用 profile 存储 -- 这样做的原因： - - 将“提供商 API 挂了 / 密钥无效”与“gateway 智能体流水线挂了”分离开来 - - 容纳小型、隔离的回归测试（示例：OpenAI Responses / Codex Responses 推理回放 + 工具调用流程） + - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅使用 profile 存储** +- 存在原因： + - 将“提供商 API 坏了 / key 无效”和“gateway 智能体流水线坏了”分离开来 + - 容纳小型、隔离的回归测试（示例：OpenAI Responses / Codex Responses 推理重放 + 工具调用流程） -### 第 2 层：Gateway 网关 + dev 智能体 冒烟（即 “@openclaw” 实际在做什么） +### 第 2 层：Gateway 网关 + 开发智能体冒烟（也就是 “@openclaw” 实际做的事） - 测试：`src/gateway/gateway-models.profiles.live.test.ts` - 目标： - - 在进程内启动一个 Gateway 网关 - - 创建 / 修补一个 `agent:dev:*` 会话（每次运行按模型覆盖） - - 迭代所有带密钥的模型，并断言： - - 有“有意义”的响应（无工具） - - 一次真实工具调用可以成功（read probe） - - 可选的额外工具探测可以成功（exec + read probe） - - OpenAI 回归路径（仅工具调用 → 后续跟进）继续可用 -- 探测细节（这样你就能快速解释失败原因）： - - `read` probe：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 该文件然后回显 nonce。 - - `exec+read` probe：测试会要求智能体通过 `exec` 将一个 nonce 写入临时文件，然后再 `read` 回来。 + - 启动一个进程内 gateway + - 创建 / patch 一个 `agent:dev:*` 会话（每次运行覆盖模型） + - 迭代所有有 key 的模型并断言： + - “有意义”的响应（无工具） + - 一个真实工具调用能成功工作（读取探测） + - 可选的额外工具探测（exec + read 探测） + - OpenAI 回归路径（仅工具调用 → 后续跟进）持续可用 +- 探测细节（这样你可以快速解释故障）： + - `read` 探测：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 它，然后把 nonce 回显回来。 + - `exec+read` 探测：测试会要求智能体通过 `exec` 将 nonce 写入一个临时文件，然后再 `read` 回来。 - 图像探测：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 - 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。 -- 如何启用： - - `pnpm test:live`（或者如果你直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） -- 如何选择模型： +- 启用方式： + - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） +- 选择模型的方法： - 默认：modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是 modern allowlist 的别名 - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来缩小范围 - - modern / all Gateway 网关扫描默认有一个精心挑选的高信号上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可进行完整 modern 扫描，或设置一个正数以使用更小上限。 -- 如何选择提供商（避免“OpenRouter 全家桶”）： - - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔的 allowlist） -- 工具 + 图像探测在这个实时测试中始终启用： - - `read` probe + `exec+read` probe（工具压力测试） + - modern / all gateway 扫描默认会使用一个精心挑选的高信号上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可进行完整 modern 扫描，或设置为正数以使用更小的上限。 +- 选择提供商的方法（避免“OpenRouter 全部都跑”）： + - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔 allowlist） +- 在这个实时测试中，工具和图像探测始终开启： + - `read` 探测 + `exec+read` 探测（工具压力测试） - 当模型声明支持图像输入时，会运行图像探测 - 流程（高层级）： - 测试生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） - 通过 `agent` `attachments: [{ mimeType: "image/png", content: "" }]` 发送 - - Gateway 网关将附件解析到 `images[]`（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） + - Gateway 网关将附件解析为 `images[]`（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） - 嵌入式智能体向模型转发一条多模态用户消息 - 断言：回复中包含 `cat` + 该代码（OCR 容错：允许轻微错误） -提示：如果你想查看自己机器上可以测试什么（以及确切的 `provider/model` id），请运行： +提示：若要查看你机器上可以测试什么（以及精确的 `provider/model` id），请运行： ```bash openclaw models list @@ -489,22 +487,22 @@ openclaw models list --json ## 实时：CLI 后端冒烟（Claude、Codex、Gemini 或其他本地 CLI） - 测试：`src/gateway/gateway-cli-backend.live.test.ts` -- 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体 流水线，而不触碰你的默认配置。 -- 后端特定的冒烟默认值定义在所属扩展的 `cli-backend.ts` 中。 +- 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线，而不触碰你的默认配置。 +- 后端特定的冒烟默认值位于对应 extension 的 `cli-backend.ts` 定义中。 - 启用： - - `pnpm test:live`（或者如果你直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） + - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） - `OPENCLAW_LIVE_CLI_BACKEND=1` - 默认值： - 默认提供商 / 模型：`claude-cli/claude-sonnet-4-6` - - 命令 / 参数 / 图像行为来自所属 CLI 后端插件元数据。 -- 覆盖项（可选）： + - 命令 / 参数 / 图像行为来自所属 CLI 后端 plugin 元数据。 +- 覆盖方式（可选）： - `OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.4"` - `OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"` - `OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'` - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图像附件（路径会注入到提示中）。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 通过 CLI 参数传递图像文件路径，而不是注入到提示中。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图像附件（路径会注入到提示词中）。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 将图像文件路径作为 CLI 参数传递，而不是通过提示词注入。 - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）控制在设置 `IMAGE_ARG` 时如何传递图像参数。 - - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮并验证恢复流程。 + - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮对话并验证恢复流程。 - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=0` 禁用默认的 Claude Sonnet -> Opus 同会话连续性探测（当所选模型支持切换目标时，设为 `1` 可强制启用）。 示例： @@ -533,37 +531,37 @@ pnpm test:docker:live-cli-backend:gemini 说明： - Docker 运行器位于 `scripts/test-live-cli-backend-docker.sh`。 -- 它会在仓库 Docker 镜像内，以非 root 的 `node` 用户运行实时 CLI 后端冒烟测试。 -- 它会从所属扩展解析 CLI 冒烟元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 指定的可写缓存前缀中（默认：`~/.cache/openclaw/docker-cli-tools`）。 -- `pnpm test:docker:live-cli-backend:claude-subscription` 需要可移植的 Claude Code 订阅 OAuth，来源可以是 `~/.claude/.credentials.json` 中带有 `claudeAiOauth.subscriptionType` 的配置，或者来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN`。它会先证明 Docker 中直接 `claude -p` 可用，然后在不保留 Anthropic API 密钥环境变量的情况下，运行两轮 Gateway 网关 CLI 后端测试。由于 Claude 当前会将第三方应用使用量路由到额外用量计费，而不是普通订阅套餐额度，因此该订阅通道默认禁用 Claude MCP / 工具和图像探测。 -- 实时 CLI 后端冒烟测试现在会对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图像分类轮次，然后通过 gateway CLI 验证 MCP `cron` 工具调用。 -- Claude 的默认冒烟测试还会将会话从 Sonnet 修补到 Opus，并验证恢复后的会话仍记得之前的备注。 +- 它会在仓库 Docker 镜像中以非 root 的 `node` 用户运行实时 CLI 后端冒烟测试。 +- 它会从所属 extension 解析 CLI 冒烟元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到位于 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 的可写缓存前缀中（默认：`~/.cache/openclaw/docker-cli-tools`）。 +- `pnpm test:docker:live-cli-backend:claude-subscription` 需要可移植的 Claude Code 订阅 OAuth，可通过带有 `claudeAiOauth.subscriptionType` 的 `~/.claude/.credentials.json`，或来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN` 提供。它会先证明 Docker 中直接 `claude -p` 可用，然后在不保留 Anthropic API key 环境变量的情况下运行两轮 Gateway 网关 CLI 后端对话。该订阅通道默认禁用 Claude MCP / 工具和图像探测，因为 Claude 当前会通过额外使用计费来处理第三方应用使用，而不是走普通订阅套餐限额。 +- 实时 CLI 后端冒烟测试现在会为 Claude、Codex 和 Gemini 演练相同的端到端流程：文本轮次、图像分类轮次，然后通过 gateway CLI 验证 MCP `cron` 工具调用。 +- Claude 的默认冒烟还会将会话从 Sonnet patch 到 Opus，并验证恢复后的会话仍然记得先前的一条备注。 ## 实时：ACP 绑定冒烟（`/acp spawn ... --bind here`） - 测试：`src/gateway/gateway-acp-bind.live.test.ts` -- 目标：使用一个实时 ACP 智能体验证真实 ACP 会话绑定流程： +- 目标：使用实时 ACP 智能体验证真实的 ACP 会话绑定流程： - 发送 `/acp spawn --bind here` - 就地绑定一个合成的消息渠道会话 - - 在同一会话中发送一条普通跟进消息 - - 验证该跟进消息落入已绑定 ACP 会话的转录中 + - 在同一会话上发送一次普通后续消息 + - 验证该后续消息落入已绑定的 ACP 会话转录中 - 启用： - `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts` - `OPENCLAW_LIVE_ACP_BIND=1` - 默认值： - Docker 中的 ACP 智能体：`claude,codex,gemini` - 直接 `pnpm test:live ...` 使用的 ACP 智能体：`claude` - - 合成渠道：Slack 私信风格会话上下文 + - 合成渠道：Slack 私信风格的会话上下文 - ACP 后端：`acpx` -- 覆盖项： +- 覆盖方式： - `OPENCLAW_LIVE_ACP_BIND_AGENT=claude` - `OPENCLAW_LIVE_ACP_BIND_AGENT=codex` - `OPENCLAW_LIVE_ACP_BIND_AGENT=gemini` - `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini` - `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@'` - 说明： - - 该通道使用 gateway `chat.send` 表面，并带有仅管理员可用的合成 originating-route 字段，因此测试可以附加消息渠道上下文，而不必伪装成外部投递。 - - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会使用嵌入式 `acpx` 插件的内置智能体注册表来选择所需 ACP harness 智能体。 + - 这个通道使用 gateway `chat.send` 接口，并配合仅限管理员使用的合成 originating-route 字段，因此测试可以附加消息渠道上下文，而无需假装对外发送。 + - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会对所选 ACP 测试框架智能体使用内置 `acpx` plugin 的内建智能体注册表。 示例： @@ -590,31 +588,32 @@ pnpm test:docker:live-acp-bind:gemini Docker 说明： - Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。 -- 默认情况下，它会依次针对所有受支持的实时 CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`、然后是 `gemini`。 -- 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 来缩小矩阵。 -- 它会读取 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，将 `acpx` 安装到可写 npm 前缀中，然后在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 -- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，从而让 `acpx` 保持从已读取 profile 获得的提供商环境变量可用于子 harness CLI。 +- 默认情况下，它会按顺序针对所有受支持的实时 CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后是 `gemini`。 +- 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 可缩小矩阵范围。 +- 它会读取 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，把 `acpx` 安装到可写 npm 前缀，然后在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 +- 在 Docker 内，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 `acpx` 就能让来自已读取 profile 的提供商环境变量继续对其子测试框架 CLI 可用。 -## 实时：Codex app-server harness 冒烟 +## 实时：Codex app-server 测试框架冒烟 -- 目标：通过常规 gateway - `agent` 方法验证由插件负责的 Codex harness： - - 加载内置 `codex` 插件 +- 目标：通过正常的 gateway + `agent` 方法验证由 plugin 拥有的 Codex 测试框架： + - 加载内置 `codex` plugin - 选择 `OPENCLAW_AGENT_RUNTIME=codex` - - 向 `codex/gpt-5.4` 发送第一轮 gateway 智能体 请求 + - 向 `codex/gpt-5.4` 发送第一轮 gateway 智能体请求 - 向同一个 OpenClaw 会话发送第二轮请求，并验证 app-server 线程可以恢复 - - 通过同一个 gateway 命令路径运行 `/codex status` 和 `/codex models` - - 可选运行两个经 Guardian 审核的提权 shell 探测：一个应被批准的无害 - 命令，以及一个应被拒绝的伪造密钥上传命令，从而让智能体回问 + - 通过同一个 gateway 命令 + 路径运行 `/codex status` 和 `/codex models` + - 可选运行两个经过 Guardian 审核的提权 shell 探测：一个应被批准的无害命令， + 以及一个应被拒绝从而让智能体回问的伪造 secret 上传命令 - 测试：`src/gateway/gateway-codex-harness.live.test.ts` - 启用：`OPENCLAW_LIVE_CODEX_HARNESS=1` - 默认模型：`codex/gpt-5.4` - 可选图像探测：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` - 可选 MCP / 工具探测：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` - 可选 Guardian 探测：`OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1` -- 该冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，因此损坏的 Codex - harness 不会通过静默回退到 PI 而“误通过”。 +- 该冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，这样损坏的 Codex + 测试框架就不能通过静默回退到 PI 而蒙混过关。 - 认证：来自 shell / profile 的 `OPENAI_API_KEY`，以及可选复制的 `~/.codex/auth.json` 和 `~/.codex/config.toml` @@ -641,21 +640,19 @@ Docker 说明： - Docker 运行器位于 `scripts/test-live-codex-harness-docker.sh`。 - 它会读取挂载的 `~/.profile`，传递 `OPENAI_API_KEY`，在存在时复制 Codex CLI - 认证文件，将 `@openai/codex` 安装到一个可写的挂载 npm - 前缀中，暂存源码树，然后只运行 Codex harness 实时测试。 -- Docker 默认启用图像、MCP / 工具和 Guardian 探测。若你需要范围更小的调试 - 运行，可设置 `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 + 认证文件，将 `@openai/codex` 安装到可写的已挂载 npm 前缀中，暂存源码树，然后只运行 Codex 测试框架实时测试。 +- Docker 默认启用图像、MCP / 工具和 Guardian 探测。需要更窄范围的调试运行时，可设置 + `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 `OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0` 或 `OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0`。 - Docker 还会导出 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，与实时 - 测试配置保持一致，因此 `openai-codex/*` 或 PI 回退无法掩盖 Codex harness - 回归。 + 测试配置保持一致，这样 `openai-codex/*` 或 PI 回退就无法掩盖 Codex 测试框架回归。 -### 推荐的实时配方 +### 推荐的实时测试配方 -范围窄、显式的 allowlist 最快，也最不容易不稳定： +范围窄、显式的 allowlist 最快，也最不容易出问题： -- 单模型，直接模式（无 Gateway 网关）： +- 单模型，直接调用（无 gateway）： - `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts` - 单模型，Gateway 网关冒烟： @@ -664,26 +661,26 @@ Docker 说明： - 跨多个提供商的工具调用： - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` -- Google 聚焦（Gemini API 密钥 + Antigravity）： - - Gemini（API 密钥）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` +- 聚焦 Google（Gemini API key + Antigravity）： + - Gemini（API key）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - Antigravity（OAuth）：`OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` 说明： -- `google/...` 使用 Gemini API（API 密钥）。 +- `google/...` 使用 Gemini API（API key）。 - `google-antigravity/...` 使用 Antigravity OAuth bridge（Cloud Code Assist 风格的智能体端点）。 -- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（单独的认证 + 工具怪癖）。 -- Gemini API 与 Gemini CLI 的区别： - - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API 密钥 / profile 认证）；这是大多数用户提到 “Gemini” 时的含义。 - - CLI：OpenClaw 会调用本地 `gemini` 二进制；它有自己的认证方式，而且行为可能不同（流式传输 / 工具支持 / 版本偏差）。 +- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（单独的认证 + 工具行为怪癖）。 +- Gemini API 与 Gemini CLI： + - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API key / profile 认证）；这通常是大多数用户所说的 “Gemini”。 + - CLI：OpenClaw 会调用本地 `gemini` 二进制；它有自己的认证方式，并且行为可能不同（流式传输 / 工具支持 / 版本偏差）。 ## 实时：模型矩阵（我们覆盖什么） -没有固定的“CI 模型列表”（实时测试是按需启用的），但以下是建议在有密钥的开发机器上定期覆盖的**推荐**模型。 +没有固定的“CI 模型列表”（实时测试是按需启用的），但以下是**推荐**在拥有密钥的开发机器上定期覆盖的模型。 -### 现代冒烟集（工具调用 + 图像） +### 现代冒烟集合（工具调用 + 图像） -这是我们期望持续保持可用的“常见模型”运行集： +这是我们预期应持续可用的“常见模型”运行集： - OpenAI（非 Codex）：`openai/gpt-5.4`（可选：`openai/gpt-5.4-mini`） - OpenAI Codex：`openai-codex/gpt-5.4` @@ -693,12 +690,12 @@ Docker 说明： - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` -使用工具 + 图像运行 Gateway 网关冒烟： +运行带工具 + 图像的 Gateway 网关冒烟： `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,openai-codex/gpt-5.4,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` ### 基线：工具调用（Read + 可选 Exec） -每个提供商系列至少选一个： +每个提供商家族至少选一个： - OpenAI：`openai/gpt-5.4`（或 `openai/gpt-5.4-mini`） - Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） @@ -706,44 +703,44 @@ Docker 说明： - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` -可选的额外覆盖（有更好）： +可选的额外覆盖（有更好，没有也行）： - xAI：`xai/grok-4`（或最新可用版本） -- Mistral：`mistral/`…（选一个你已启用、支持工具的模型） -- Cerebras：`cerebras/`…（如果你有访问权限） +- Mistral：`mistral/`…（选择一个你已启用、支持工具的模型） +- Cerebras：`cerebras/`…（如果你有权限） - LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式） -### 视觉：图像发送（附件 → 多模态消息） +### 视觉：发送图像（附件 → 多模态消息） -在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 支持视觉的变体等），以触发图像探测。 +在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 的视觉变体等），以执行图像探测。 ### 聚合器 / 替代 Gateway 网关 -如果你已启用相应密钥，我们也支持通过以下方式测试： +如果你启用了相应密钥，我们也支持通过以下方式进行测试： -- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 寻找支持工具 + 图像的候选项） +- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选项） - OpenCode：`opencode/...` 用于 Zen，`opencode-go/...` 用于 Go（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） -你还可以将以下更多提供商纳入实时矩阵（如果你有凭证 / 配置）： +你还可以将更多提供商纳入实时矩阵（如果你有凭证 / 配置）： - 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`google-gemini-cli`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot` - 通过 `models.providers`（自定义端点）：`minimax`（云 / API），以及任何兼容 OpenAI / Anthropic 的代理（LM Studio、vLLM、LiteLLM 等） -提示：不要试图在文档中硬编码“所有模型”。权威列表应以你的机器上 `discoverModels(...)` 返回的结果，以及当前可用的密钥为准。 +提示：不要试图在文档里硬编码“所有模型”。权威列表始终是你机器上的 `discoverModels(...)` 返回结果，加上当前可用的密钥。 -## 凭证（切勿提交） +## 凭证（绝不要提交） 实时测试发现凭证的方式与 CLI 相同。实际含义是： -- 如果 CLI 可用，实时测试应该能找到相同的密钥。 -- 如果某个实时测试提示“没有凭证”，就像调试 `openclaw models list` / 模型选择那样去调试。 +- 如果 CLI 可用，实时测试应能找到同样的密钥。 +- 如果实时测试提示“没有凭证”，就按你调试 `openclaw models list` / 模型选择问题的方式来调试。 -- 按智能体划分的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试中 “profile keys” 的含义） +- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试中 “profile keys” 的含义） - 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`） -- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时 home 中，但这不是主 profile-key 存储） -- 本地实时运行默认会将活动配置、按智能体划分的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到临时测试 home 中；暂存的实时 home 会跳过 `workspace/` 和 `sandboxes/`，并剥离 `agents.*.workspace` / `agentDir` 路径覆盖，以确保探测不会落到你真实主机工作区中。 +- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时 home 中，但它不是主 profile-key 存储） +- 本地实时运行默认会将活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到临时测试 home 中；暂存的实时 home 会跳过 `workspace/` 和 `sandboxes/`，并去除 `agents.*.workspace` / `agentDir` 路径覆盖，这样探测就不会落到你真实宿主的工作区。 -如果你想依赖环境变量密钥（例如导出在你的 `~/.profile` 中），请在本地测试前运行 `source ~/.profile`，或者使用下面的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 +如果你想依赖环境变量密钥（例如在 `~/.profile` 中导出的那些），请在执行 `source ~/.profile` 后再运行本地测试，或者使用下方的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 ## Deepgram 实时测试（音频转录） @@ -761,21 +758,21 @@ Docker 说明： - 测试：`extensions/comfy/comfy.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts` - 范围： - - 覆盖内置 comfy 图像、视频和 `music_generate` 路径 - - 如果未配置 `models.providers.comfy.`，则会跳过对应能力 - - 在修改 comfy 工作流提交、轮询、下载或插件注册后很有用 + - 演练内置 comfy 图像、视频和 `music_generate` 路径 + - 除非已配置 `models.providers.comfy.`，否则会跳过各项能力 + - 在修改 comfy 工作流提交、轮询、下载或 plugin 注册后特别有用 ## 图像生成实时测试 - 测试：`src/image-generation/runtime.live.test.ts` - 命令：`pnpm test:live src/image-generation/runtime.live.test.ts` -- Harness：`pnpm test:live:media image` +- 测试框架：`pnpm test:live:media image` - 范围： - - 枚举每一个已注册的图像生成提供商插件 + - 枚举每一个已注册的图像生成提供商 plugin - 在探测前从你的登录 shell（`~/.profile`）加载缺失的提供商环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖 shell 中真实的凭证 + - 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，这样 `auth-profiles.json` 中过期的测试 key 就不会掩盖真实的 shell 凭证 - 跳过没有可用认证 / profile / 模型的提供商 - - 通过共享运行时能力运行标准图像生成变体： + - 通过共享运行时能力运行内置的图像生成变体： - `google:flash-generate` - `google:pro-generate` - `google:pro-edit` @@ -789,75 +786,75 @@ Docker 说明： - `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-2,google/gemini-3.1-flash-image-preview,xai/grok-imagine-image"` - `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit,xai:default-generate,xai:default-edit"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile 存储认证并忽略仅环境变量的覆盖 ## 音乐生成实时测试 - 测试：`extensions/music-generation-providers.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts` -- Harness：`pnpm test:live:media music` +- 测试框架：`pnpm test:live:media music` - 范围： - - 覆盖共享的内置音乐生成提供商路径 + - 演练共享的内置音乐生成提供商路径 - 当前覆盖 Google 和 MiniMax - 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖 shell 中真实的凭证 + - 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，这样 `auth-profiles.json` 中过期的测试 key 就不会掩盖真实的 shell 凭证 - 跳过没有可用认证 / profile / 模型的提供商 - 在可用时运行两种已声明的运行时模式： - - 使用仅提示词输入的 `generate` + - 使用纯提示词输入的 `generate` - 当提供商声明 `capabilities.edit.enabled` 时运行 `edit` - 当前共享通道覆盖： - `google`：`generate`、`edit` - `minimax`：`generate` - - `comfy`：使用单独的 Comfy 实时测试文件，而不是这个共享扫描 + - `comfy`：单独的 Comfy 实时测试文件，不在这个共享扫描中 - 可选缩小范围： - `OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"` - `OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.5+"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile 存储认证并忽略仅环境变量的覆盖 ## 视频生成实时测试 - 测试：`extensions/video-generation-providers.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts` -- Harness：`pnpm test:live:media video` +- 测试框架：`pnpm test:live:media video` - 范围： - - 覆盖共享的内置视频生成提供商路径 - - 默认使用对发布安全的冒烟路径：非 FAL 提供商、每个提供商一个 text-to-video 请求、时长一秒的龙虾提示词，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每提供商操作上限（默认 `180000`） - - 默认跳过 FAL，因为提供商侧队列延迟可能主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行它 + - 演练共享的内置视频生成提供商路径 + - 默认使用对发布安全的冒烟路径：非 FAL 提供商、每个提供商一次文本转视频请求、一秒钟的龙虾提示词，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每提供商操作上限（默认 `180000`） + - 默认跳过 FAL，因为提供商侧队列延迟可能会主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行它 - 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖 shell 中真实的凭证 + - 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，这样 `auth-profiles.json` 中过期的测试 key 就不会掩盖真实的 shell 凭证 - 跳过没有可用认证 / profile / 模型的提供商 - 默认只运行 `generate` - - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 后，还会在可用时运行已声明的变换模式： - - 当提供商声明 `capabilities.imageToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地图像输入时，运行 `imageToVideo` - - 当提供商声明 `capabilities.videoToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地视频输入时，运行 `videoToVideo` + - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 可在可用时也运行已声明的转换模式： + - 当提供商声明 `capabilities.imageToVideo.enabled`，并且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地图像输入时，运行 `imageToVideo` + - 当提供商声明 `capabilities.videoToVideo.enabled`，并且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地视频输入时，运行 `videoToVideo` - 当前在共享扫描中已声明但被跳过的 `imageToVideo` 提供商： - - `vydra`，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图像 URL + - `vydra`，因为内置的 `veo3` 仅支持文本，而内置的 `kling` 需要远程图像 URL - 提供商特定的 Vydra 覆盖： - `OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts` - - 该文件会运行 `veo3` text-to-video，以及一个默认使用远程图像 URL fixture 的 `kling` 通道 + - 该文件会运行 `veo3` 文本转视频，以及一个默认使用远程图像 URL 夹具的 `kling` 通道 - 当前 `videoToVideo` 实时覆盖： - - 仅 `runway`，且所选模型为 `runway/gen4_aleph` 时 + - 仅 `runway`，且所选模型为 `runway/gen4_aleph` - 当前在共享扫描中已声明但被跳过的 `videoToVideo` 提供商： - `alibaba`、`qwen`、`xai`，因为这些路径当前需要远程 `http(s)` / MP4 参考 URL - `google`，因为当前共享 Gemini / Veo 通道使用本地基于 buffer 的输入，而该路径在共享扫描中不被接受 - - `openai`，因为当前共享通道缺少针对组织的 video inpaint / remix 访问保证 + - `openai`，因为当前共享通道无法保证提供商组织特定的视频修补 / remix 访问权限 - 可选缩小范围： - `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"` - `OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"` - - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 以在默认扫描中包含所有提供商，包括 FAL - - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 以降低每个提供商的操作上限，用于激进的冒烟测试 + - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 可在默认扫描中包含所有提供商，包括 FAL + - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 可为激进的冒烟运行缩短每个提供商的操作上限 - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile 存储认证并忽略仅环境变量的覆盖 -## 媒体实时 harness +## 媒体实时测试框架 - 命令：`pnpm test:live:media` - 目的： - 通过一个仓库原生入口点运行共享的图像、音乐和视频实时测试套件 - 自动从 `~/.profile` 加载缺失的提供商环境变量 - - 默认自动将每个套件缩小到当前具有可用认证的提供商 - - 复用 `scripts/test-live.mjs`，从而保持心跳和静默模式行为一致 + - 默认会自动将每个测试套件缩小到当前拥有可用认证的提供商 + - 复用 `scripts/test-live.mjs`，因此心跳和安静模式行为保持一致 - 示例： - `pnpm test:live:media` - `pnpm test:live:media image video --providers openai,google,minimax` @@ -868,129 +865,136 @@ Docker 说明： 这些 Docker 运行器分为两类： -- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 仅在仓库 Docker 镜像内运行其对应的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），并挂载你的本地配置目录和工作区（如果已挂载，还会读取 `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 -- Docker 实时运行器默认使用更小的冒烟上限，以便完整 Docker 扫描仍然可行： +- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 仅在仓库 Docker 镜像内运行其对应的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），同时挂载你的本地配置目录和工作区（如果挂载了 `~/.profile`，也会读取它）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 +- Docker 实时运行器默认使用较小的冒烟上限，这样完整 Docker 扫描仍然可行： `test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，而 `test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、 `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 和 `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你 - 明确想要更大的完整扫描时，可覆盖这些环境变量。 -- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后在两个 Docker 实时通道中复用它。 + 明确想执行更大的完整扫描时，可以覆盖这些环境变量。 +- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后在两个实时 Docker 通道中复用它。 - 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels`、`test:docker:pi-bundle-mcp-tools` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层级的集成路径。 -实时模型 Docker 运行器还只会 bind-mount 所需的 CLI 认证 home（如果运行未缩小范围，则挂载所有受支持的认证 home），然后在运行前将它们复制到容器 home 中，以便外部 CLI OAuth 可以刷新令牌，而不会修改主机认证存储： +实时模型 Docker 运行器还会只绑定挂载所需的 CLI 认证 home（若运行未缩小范围，则挂载所有受支持的认证 home），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 就可以刷新 token，而不会修改宿主机认证存储： - 直接模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） - ACP 绑定冒烟：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） - CLI 后端冒烟：`pnpm test:docker:live-cli-backend`（脚本：`scripts/test-live-cli-backend-docker.sh`） -- Codex app-server harness 冒烟：`pnpm test:docker:live-codex-harness`（脚本：`scripts/test-live-codex-harness-docker.sh`） -- Gateway 网关 + dev 智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） +- Codex app-server 测试框架冒烟：`pnpm test:docker:live-codex-harness`（脚本：`scripts/test-live-codex-harness-docker.sh`） +- Gateway 网关 + 开发智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） - Open WebUI 实时冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） - 新手引导向导（TTY，完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`） - Gateway 网关网络（两个容器，WS 认证 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） -- MCP 渠道桥接（带种子 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） -- Pi bundle MCP 工具（真实 stdio MCP 服务器 + 嵌入式 Pi profile allow / deny 冒烟）：`pnpm test:docker:pi-bundle-mcp-tools`（脚本：`scripts/e2e/pi-bundle-mcp-tools-docker.sh`） -- Cron / subagent MCP 清理（真实 Gateway 网关 + stdio MCP 子进程，在隔离的 cron 和一次性 subagent 运行后执行 teardown）：`pnpm test:docker:cron-mcp-cleanup`（脚本：`scripts/e2e/cron-mcp-cleanup-docker.sh`） -- 插件（安装冒烟 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） -- 内置插件运行时依赖：`pnpm test:docker:bundled-channel-deps` 默认会构建一个小型 Docker 运行器镜像，在主机上构建并打包一次 OpenClaw，然后将该 tarball 挂载到每个 Linux 安装场景中。使用 `OPENCLAW_SKIP_DOCKER_BUILD=1` 复用镜像；在完成一次全新的本地主机构建后，使用 `OPENCLAW_BUNDLED_CHANNEL_HOST_BUILD=0` 跳过主机重建；或者通过 `OPENCLAW_BUNDLED_CHANNEL_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 指向一个现有 tarball。 -- 在迭代时，可通过禁用无关场景来缩小内置插件运行时依赖测试范围，例如： +- MCP 渠道桥接（已初始化的 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） +- Pi 内置包 MCP 工具（真实 stdio MCP 服务器 + 内嵌 Pi profile 允许 / 拒绝冒烟）：`pnpm test:docker:pi-bundle-mcp-tools`（脚本：`scripts/e2e/pi-bundle-mcp-tools-docker.sh`） +- Cron / 子智能体 MCP 清理（真实 Gateway 网关 + stdio MCP 子进程在隔离的 cron 和一次性子智能体运行后完成销毁）：`pnpm test:docker:cron-mcp-cleanup`（脚本：`scripts/e2e/cron-mcp-cleanup-docker.sh`） +- Plugins（安装冒烟 + `/plugin` 别名 + Claude 内置包重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） +- 内置 plugin 运行时依赖：`pnpm test:docker:bundled-channel-deps` 默认会构建一个小型 Docker 运行器镜像，在宿主机上构建并打包一次 OpenClaw，然后将该 tarball 挂载到每个 Linux 安装场景中。可通过 `OPENCLAW_SKIP_DOCKER_BUILD=1` 复用镜像；在本地已完成全新构建后，可设置 `OPENCLAW_BUNDLED_CHANNEL_HOST_BUILD=0` 跳过宿主机重建；或通过 `OPENCLAW_BUNDLED_CHANNEL_PACKAGE_TGZ=/path/to/openclaw-*.tgz` 指向现有 tarball。 +- 在迭代时，可通过禁用无关场景来缩小内置 plugin 运行时依赖测试范围，例如： `OPENCLAW_BUNDLED_CHANNEL_SCENARIOS=0 OPENCLAW_BUNDLED_CHANNEL_UPDATE_SCENARIO=0 OPENCLAW_BUNDLED_CHANNEL_ROOT_OWNED_SCENARIO=0 OPENCLAW_BUNDLED_CHANNEL_SETUP_ENTRY_SCENARIO=0 pnpm test:docker:bundled-channel-deps` -实时模型 Docker 运行器还会以只读方式 bind-mount 当前检出内容，并将其暂存到容器内的临时 workdir 中。这样既能保持运行时镜像精简，又能让 Vitest 针对你当前本地的准确源码 / 配置运行。 -暂存步骤会跳过大型仅本地缓存和应用构建输出，例如 +实时模型 Docker 运行器还会以只读方式绑定挂载当前检出内容， +并将其暂存到容器内的临时工作目录中。这样既能保持运行时 +镜像精简，又仍然可以针对你本地精确的源码 / 配置运行 Vitest。 +暂存步骤会跳过大型、仅本地存在的缓存和应用构建输出，例如 `.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地的 `.build` 或 -Gradle 输出目录，因此 Docker 实时运行不会花几分钟复制机器特定产物。 -它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 gateway 实时探测就不会在容器内启动 -真实的 Telegram / Discord / 等渠道工作进程。 -`test:docker:live-models` 仍然会运行 `pnpm test:live`，因此当你需要缩小范围或排除该 Docker 通道中的 gateway 实时覆盖时，也要一并传入 +Gradle 输出目录，这样 Docker 实时运行就不会花几分钟去复制 +机器特定的产物。 +它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 gateway 实时探测就不会在 +容器内启动真实的 Telegram / Discord / 等渠道 worker。 +`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要缩小或排除该 Docker 通道中的 gateway +实时覆盖范围时，也要一并传入 `OPENCLAW_LIVE_GATEWAY_*`。 `test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个 -启用了 OpenAI 兼容 HTTP 端点的 OpenClaw gateway 容器，启动一个固定版本的 Open WebUI 容器并将其指向该 gateway，通过 -Open WebUI 登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过 -Open WebUI 的 `/api/chat/completions` 代理发送一条真实聊天请求。 -首次运行可能明显更慢，因为 Docker 可能需要拉取 -Open WebUI 镜像，而且 Open WebUI 可能还需要完成自身的冷启动 setup。 -该通道需要可用的实时模型密钥，而 `OPENCLAW_PROFILE_FILE` -（默认 `~/.profile`）是在 Docker 化运行中提供该密钥的主要方式。 -成功运行会打印一个小型 JSON payload，例如 `{ "ok": true, "model": +启用了 OpenAI 兼容 HTTP 端点的 OpenClaw gateway 容器， +针对该 gateway 启动一个固定版本的 Open WebUI 容器，通过 +Open WebUI 完成登录，验证 `/api/models` 暴露出 `openclaw/default`，然后通过 +Open WebUI 的 `/api/chat/completions` 代理发送一个真实的 +聊天请求。 +首次运行可能会明显更慢，因为 Docker 可能需要拉取 +Open WebUI 镜像，而 Open WebUI 也可能需要完成自身的冷启动 setup。 +这个通道需要一个可用的实时模型 key，而 `OPENCLAW_PROFILE_FILE` +（默认 `~/.profile`）是在 Docker 化运行中提供它的主要方式。 +成功运行会打印一个小型 JSON 负载，例如 `{ "ok": true, "model": "openclaw/default", ... }`。 -`test:docker:mcp-channels` 是刻意保持确定性的，不需要真实的 -Telegram、Discord 或 iMessage 账号。它会启动一个带种子数据的 Gateway -容器，再启动第二个容器来执行 `openclaw mcp serve`，然后 -通过真实 stdio MCP bridge 验证路由后的会话发现、转录读取、附件元数据、 -实时事件队列行为、出站发送路由，以及 Claude 风格的渠道 + -权限通知。通知检查会直接检查原始 stdio MCP frame，因此该冒烟测试验证的是 -bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴露出的内容。 +`test:docker:mcp-channels` 是刻意保持确定性的，不需要 +真实的 Telegram、Discord 或 iMessage 账号。它会启动一个已初始化的 Gateway 网关 +容器，再启动第二个容器来运行 `openclaw mcp serve`，然后 +验证路由后的会话发现、转录读取、附件元数据、 +实时事件队列行为、出站发送路由，以及通过真实 stdio MCP bridge 传递的 Claude 风格渠道 + +权限通知。通知检查会直接检查原始 stdio MCP frame，因此这个冒烟测试验证的是 bridge +实际发出了什么，而不仅仅是某个特定客户端 SDK 恰好暴露了什么。 `test:docker:pi-bundle-mcp-tools` 具有确定性，不需要实时 -模型密钥。它会构建仓库 Docker 镜像，在容器内启动一个真实 stdio MCP 探测服务器， -通过嵌入式 Pi bundle MCP 运行时将该服务器实例化，执行该工具，然后验证 `coding` 和 `messaging` 会保留 +模型 key。它会构建仓库 Docker 镜像，在容器内启动一个真实的 stdio MCP 探测服务器， +通过内嵌 Pi 内置包 MCP 运行时将该服务器实例化， +执行工具，然后验证 `coding` 和 `messaging` 会保留 `bundle-mcp` 工具，而 `minimal` 和 `tools.deny: ["bundle-mcp"]` 会将其过滤掉。 `test:docker:cron-mcp-cleanup` 具有确定性，不需要实时模型 -密钥。它会启动一个带种子数据的 Gateway 网关，并带上真实 stdio MCP 探测服务器，运行一个隔离的 cron 轮次和一个 `/subagents spawn` 一次性子智能体轮次，然后验证 +key。它会启动一个带有真实 stdio MCP 探测服务器的已初始化 Gateway 网关，运行一次隔离的 cron 回合和一次 `/subagents spawn` 单次子智能体回合，然后验证 MCP 子进程会在每次运行后退出。 -手动 ACP 自然语言线程冒烟测试（不在 CI 中）： +手动 ACP 纯自然语言线程冒烟测试（非 CI）： - `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel ...` -- 保留这个脚本用于回归 / 调试工作流。它未来仍可能再次用于 ACP 线程路由验证，因此不要删除它。 +- 保留这个脚本用于回归 / 调试工作流。后续可能还会再次需要它来验证 ACP 线程路由，因此不要删除它。 -有用的环境变量： +常用环境变量： -- `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`），挂载到 `/home/node/.openclaw` -- `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`），挂载到 `/home/node/.openclaw/workspace` -- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`），挂载到 `/home/node/.profile` 并在运行测试前读取 +- `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`）挂载到 `/home/node/.openclaw` +- `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`）挂载到 `/home/node/.openclaw/workspace` +- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile` 并在运行测试前读取 - `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 仅验证从 `OPENCLAW_PROFILE_FILE` 读取的环境变量，使用临时配置 / 工作区目录，并且不挂载外部 CLI 认证 -- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`），挂载到 `/home/node/.npm-global`，用于 Docker 内的 CLI 缓存安装 +- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于 Docker 内的缓存 CLI 安装 - `$HOME` 下的外部 CLI 认证目录 / 文件会以只读方式挂载到 `/host-auth...` 下，然后在测试开始前复制到 `/home/node/...` - 默认目录：`.minimax` - 默认文件：`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json` - - 缩小范围后的提供商运行只会挂载根据 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件 + - 缩小范围后的提供商运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件 - 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表手动覆盖 -- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围 -- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器中过滤提供商 -- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于复用已有的 `openclaw:local-live` 镜像，以便在无需重建时重跑 -- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 用于确保凭证来自 profile 存储（而不是环境变量） -- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择在 Open WebUI 冒烟测试中由 gateway 暴露的模型 -- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词 -- `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签 +- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 可缩小运行范围 +- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 可在容器内过滤提供商 +- `OPENCLAW_SKIP_DOCKER_BUILD=1` 可复用现有的 `openclaw:local-live` 镜像，用于不需要重新构建的重复运行 +- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可确保凭证来自 profile 存储（而不是环境变量） +- `OPENCLAW_OPENWEBUI_MODEL=...` 可选择 Gateway 网关为 Open WebUI 冒烟测试暴露的模型 +- `OPENCLAW_OPENWEBUI_PROMPT=...` 可覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词 +- `OPENWEBUI_IMAGE=...` 可覆盖固定的 Open WebUI 镜像标签 ## 文档完整性检查 -文档编辑后运行文档检查：`pnpm check:docs`。 -当你还需要检查页内标题锚点时，运行完整的 Mintlify 锚点校验：`pnpm docs:check-links:anchors`。 +修改文档后运行文档检查：`pnpm check:docs`。 +如果你还需要检查页内标题锚点，请运行完整的 Mintlify 锚点校验：`pnpm docs:check-links:anchors`。 -## 离线回归（对 CI 安全） +## 离线回归测试（对 CI 安全） -这些是在不依赖真实提供商的情况下进行的“真实流水线”回归测试： +这些是不依赖真实提供商的“真实流水线”回归测试： -- Gateway 网关工具调用（mock OpenAI，真实 gateway + 智能体 循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） -- Gateway 网关向导（WS `wizard.start` / `wizard.next`，会写入配置 + 强制认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） +- Gateway 网关工具调用（模拟 OpenAI，真实 gateway + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） +- Gateway 网关向导（WS `wizard.start` / `wizard.next`，并强制写入配置 + 认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） ## 智能体可靠性评估（Skills） -我们已经有一些对 CI 安全的测试，它们表现得像“智能体可靠性评估”： +我们已经有少量对 CI 安全的测试，它们的行为类似“智能体可靠性评估”： -- 通过真实 gateway + 智能体 循环进行 mock 工具调用（`src/gateway/gateway.test.ts`）。 +- 通过真实的 gateway + 智能体循环进行模拟工具调用（`src/gateway/gateway.test.ts`）。 - 验证会话接线和配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。 -对于 Skills（参见 [Skills](/zh-CN/tools/skills)），目前仍缺少的内容： +对于 Skills（见 [Skills](/zh-CN/tools/skills)），目前仍然缺少： -- **决策**：当提示中列出了 Skills 时，智能体是否会选择正确的 skill（或者避开无关 skill）？ -- **合规性**：智能体是否会在使用前读取 `SKILL.md`，并遵循要求的步骤 / 参数？ -- **工作流契约**：断言工具顺序、会话历史延续以及沙箱边界的多轮场景。 +- **决策能力：** 当提示词中列出了 Skills 时，智能体是否会选择正确的 Skill（或避开无关 Skill）？ +- **合规性：** 智能体在使用前是否会读取 `SKILL.md`，并遵循要求的步骤 / 参数？ +- **工作流契约：** 用多轮场景断言工具顺序、会话历史承接，以及沙箱边界。 -未来的评估应先保持确定性： +未来的评估应优先保持确定性： -- 一个使用 mock 提供商的场景运行器，用于断言工具调用 + 顺序、skill 文件读取以及会话接线。 -- 一小组聚焦 skill 的场景（使用 vs 避免、门控、提示注入）。 -- 仅在 CI 安全套件到位之后，再添加可选的实时评估（按需启用、受环境变量控制）。 +- 一个基于模拟提供商的场景运行器，用于断言工具调用 + 顺序、Skill 文件读取以及会话接线。 +- 一小组聚焦于 Skill 的场景（应使用 vs 应避免、门控、提示词注入）。 +- 只有在对 CI 安全的测试套件就位后，才添加可选的实时评估（按需启用、受环境变量门控）。 -## 契约测试（插件和渠道形状） +## 契约测试（plugin 和 channel 形状） -契约测试用于验证每一个已注册插件和渠道是否符合其 -接口契约。它们会遍历所有已发现的插件，并运行一套关于形状和行为的断言。默认的 `pnpm test` 单元通道会刻意 -跳过这些共享接缝和冒烟文件；当你修改共享渠道或提供商表面时，请显式运行契约命令。 +契约测试用于验证每个已注册的 plugin 和 channel 都符合其 +接口契约。它们会遍历所有已发现的 plugin，并运行一套形状与行为断言。默认的 `pnpm test` 单元通道会有意 +跳过这些共享衔接层和冒烟文件；当你修改共享 channel 或 provider 表面时，请显式运行契约命令。 ### 命令 @@ -1002,10 +1006,10 @@ MCP 子进程会在每次运行后退出。 位于 `src/channels/plugins/contracts/*.contract.test.ts`： -- **plugin** - 基本插件形状（id、name、capabilities） +- **plugin** - 基本 plugin 形状（id、name、capabilities） - **setup** - 设置向导契约 - **session-binding** - 会话绑定行为 -- **outbound-payload** - 消息 payload 结构 +- **outbound-payload** - 消息负载结构 - **inbound** - 入站消息处理 - **actions** - 渠道操作处理器 - **threading** - 线程 ID 处理 @@ -1017,38 +1021,38 @@ MCP 子进程会在每次运行后退出。 位于 `src/plugins/contracts/*.contract.test.ts`。 - **status** - 渠道状态探测 -- **registry** - 插件注册表形状 +- **registry** - Plugin 注册表形状 ### 提供商契约 位于 `src/plugins/contracts/*.contract.test.ts`： - **auth** - 认证流程契约 -- **auth-choice** - 认证选项 / 选择 +- **auth-choice** - 认证选择 / 选择逻辑 - **catalog** - 模型目录 API -- **discovery** - 插件发现 -- **loader** - 插件加载 +- **discovery** - Plugin 发现 +- **loader** - Plugin 加载 - **runtime** - 提供商运行时 -- **shape** - 插件形状 / 接口 +- **shape** - Plugin 形状 / 接口 - **wizard** - 设置向导 ### 何时运行 -- 修改插件 SDK 导出或子路径之后 -- 添加或修改渠道插件或提供商插件之后 -- 重构插件注册或发现逻辑之后 +- 修改 plugin-sdk 导出或子路径之后 +- 添加或修改 channel 或 provider plugin 之后 +- 重构 plugin 注册或发现逻辑之后 -契约测试会在 CI 中运行，并且不需要真实 API 密钥。 +契约测试会在 CI 中运行，不需要真实 API key。 ## 添加回归测试（指导） 当你修复了一个在实时测试中发现的提供商 / 模型问题时： -- 如果可能，添加一个对 CI 安全的回归测试（mock / stub 提供商，或者捕获精确的请求形状转换） -- 如果它天然只能做实时测试（速率限制、认证策略），就让该实时测试保持范围小且按需启用，并通过环境变量控制 -- 优先瞄准能捕获该缺陷的最小层级： - - 提供商请求转换 / 回放缺陷 → 直接模型测试 - - gateway 会话 / 历史 / 工具流水线缺陷 → gateway 实时冒烟测试或对 CI 安全的 gateway mock 测试 -- SecretRef 遍历防护： - - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类推导一个采样目标，然后断言会拒绝遍历段 exec id。 - - 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类目标 id 时故意失败，从而确保新类别不会被静默跳过。 +- 如果可能，添加一个对 CI 安全的回归测试（模拟 / 存根提供商，或捕获精确的请求形状转换） +- 如果问题本质上只能在实时环境中出现（速率限制、认证策略），就让实时测试保持窄范围，并通过环境变量按需启用 +- 优先锁定能捕获该缺陷的最小层级： + - 提供商请求转换 / 重放缺陷 → 直接模型测试 + - gateway 会话 / 历史 / 工具流水线缺陷 → gateway 实时冒烟测试或对 CI 安全的 gateway 模拟测试 +- SecretRef 遍历防护栏： + - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个示例目标，然后断言遍历段 exec id 会被拒绝。 + - 如果你在 `src/secrets/target-registry-data.ts` 中添加了一个新的 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会故意在遇到未分类目标 id 时失败，这样新的类别就无法被悄悄跳过。