chore(i18n): refresh zh-CN translations
This commit is contained in:
parent
555bf2e4e1
commit
0aba7b53bc
@ -1,28 +1,28 @@
|
||||
---
|
||||
read_when:
|
||||
- 在本地或 CI 中运行测试
|
||||
- 为模型/提供商 Bug 添加回归测试
|
||||
- 为模型/提供商缺陷添加回归测试
|
||||
- 调试 Gateway 网关 + 智能体行为
|
||||
summary: 测试工具包:unit/e2e/live 测试套件、Docker 运行器,以及各项测试覆盖的内容
|
||||
summary: 测试工具包:单元/e2e/实时测试套件、Docker 运行器,以及各项测试覆盖的内容
|
||||
title: 测试
|
||||
x-i18n:
|
||||
generated_at: "2026-04-05T18:14:58Z"
|
||||
generated_at: "2026-04-05T21:04:03Z"
|
||||
model: gpt-5.4
|
||||
provider: openai
|
||||
source_hash: 65305c0de33287f48f182bb9f276e4f3ba9cc49c65a54e115e1d77ec89f56ab7
|
||||
source_hash: f524700478e6f06f6afd3bdf4e88b482bb9615dcdf888cc22663cb3ef3cf8db9
|
||||
source_path: help/testing.md
|
||||
workflow: 15
|
||||
---
|
||||
|
||||
# 测试
|
||||
|
||||
OpenClaw 有三个 Vitest 测试套件(unit/integration、e2e、live)以及一小组 Docker 运行器。
|
||||
OpenClaw 有三个 Vitest 测试套件(单元/集成、e2e、实时)以及一小组 Docker 运行器。
|
||||
|
||||
本文档是一份“我们如何测试”的指南:
|
||||
|
||||
- 每个测试套件覆盖什么内容(以及它刻意 _不_ 覆盖什么)
|
||||
- 常见工作流应运行哪些命令(本地、推送前、调试)
|
||||
- live 测试如何发现凭证并选择模型/提供商
|
||||
- 实时测试如何发现凭证并选择模型/提供商
|
||||
- 如何为真实世界中的模型/提供商问题添加回归测试
|
||||
|
||||
## 快速开始
|
||||
@ -30,70 +30,69 @@ OpenClaw 有三个 Vitest 测试套件(unit/integration、e2e、live)以及
|
||||
大多数时候:
|
||||
|
||||
- 完整门禁(预期在推送前运行):`pnpm build && pnpm check && pnpm test`
|
||||
- 在配置充裕的机器上更快地运行本地完整测试套件:`pnpm test:max`
|
||||
- 直接使用 Vitest 监视循环(现代 projects 配置):`pnpm test:watch`
|
||||
- 直接按文件定位现在也会路由扩展/渠道路径:`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts`
|
||||
- 在资源充足的机器上更快地运行本地全套测试:`pnpm test:max`
|
||||
- 直接使用 Vitest 监视循环(现代项目配置):`pnpm test:watch`
|
||||
- 现在也支持直接按文件定位扩展/渠道路径:`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts`
|
||||
|
||||
当你改动了测试或想获得更高信心时:
|
||||
当你修改了测试或想要更高把握时:
|
||||
|
||||
- 覆盖率门禁:`pnpm test:coverage`
|
||||
- E2E 测试套件:`pnpm test:e2e`
|
||||
|
||||
当你在调试真实提供商/模型时(需要真实凭证):
|
||||
|
||||
- Live 测试套件(模型 + Gateway 网关工具/图像探测):`pnpm test:live`
|
||||
- 安静地只跑一个 live 文件:`pnpm test:live -- src/agents/models.profiles.live.test.ts`
|
||||
- 实时测试套件(模型 + Gateway 网关工具/图像探测):`pnpm test:live`
|
||||
- 安静地只跑一个实时测试文件:`pnpm test:live -- src/agents/models.profiles.live.test.ts`
|
||||
|
||||
提示:当你只需要一个失败用例时,优先使用下文描述的 allowlist 环境变量来缩小 live 测试范围。
|
||||
提示:当你只需要一个失败用例时,优先使用下文介绍的 allowlist 环境变量来缩小实时测试范围。
|
||||
|
||||
## 测试套件(各自在哪里运行)
|
||||
|
||||
可以把这些测试套件理解为“真实度逐步提升”(同时不稳定性/成本也逐步提升):
|
||||
可以把这些测试套件理解为“真实程度逐步增加”(同时不稳定性/成本也逐步增加):
|
||||
|
||||
### Unit / integration(默认)
|
||||
### 单元 / 集成(默认)
|
||||
|
||||
- 命令:`pnpm test`
|
||||
- 配置:通过 `vitest.config.ts` 使用原生 Vitest `projects`
|
||||
- 文件:`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的 core/unit 测试清单,以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` node 测试
|
||||
- 文件:`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的核心/单元测试清单,以及由 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试
|
||||
- 范围:
|
||||
- 纯单元测试
|
||||
- 进程内集成测试(Gateway 网关认证、路由、工具、解析、配置)
|
||||
- 已知 Bug 的确定性回归测试
|
||||
- 针对已知缺陷的确定性回归测试
|
||||
- 预期:
|
||||
- 在 CI 中运行
|
||||
- 不需要真实密钥
|
||||
- 应该快速且稳定
|
||||
- Projects 说明:
|
||||
- 项目说明:
|
||||
- `pnpm test`、`pnpm test:watch` 和 `pnpm test:changed` 现在都使用相同的原生 Vitest 根 `projects` 配置。
|
||||
- 直接文件过滤现在会原生通过根项目图进行路由,因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 无需自定义包装器即可运行。
|
||||
- Embedded runner 说明:
|
||||
- 直接文件过滤现在会通过根项目图原生路由,因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 无需自定义包装器即可运行。
|
||||
- 嵌入式运行器说明:
|
||||
- 当你修改消息工具发现输入或压缩运行时上下文时,
|
||||
需要同时保留两个层级的覆盖。
|
||||
- 为纯路由/规范化边界添加聚焦的辅助回归测试。
|
||||
- 同时也要保持 embedded runner 集成测试套件健康:
|
||||
- 为纯路由/归一化边界添加聚焦的辅助函数回归测试。
|
||||
- 同时也要保持嵌入式运行器集成测试套件健康:
|
||||
`src/agents/pi-embedded-runner/compact.hooks.test.ts`、
|
||||
`src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和
|
||||
`src/agents/pi-embedded-runner/run.overflow-compaction.test.ts`,以及
|
||||
`src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。
|
||||
- 这些测试套件会验证带作用域的 id 和压缩行为仍然会通过真实的
|
||||
`run.ts` / `compact.ts` 路径流转;仅有 helper 测试
|
||||
不足以替代这些集成路径。
|
||||
- Pool 说明:
|
||||
- 这些套件验证带作用域的 id 和压缩行为仍然会通过真实的 `run.ts` / `compact.ts` 路径流转;仅有辅助函数级别的测试
|
||||
不能充分替代这些集成路径。
|
||||
- 进程池说明:
|
||||
- 基础 Vitest 配置现在默认使用 `threads`。
|
||||
- 共享 Vitest 配置还固定了 `isolate: false`,并在根 projects、e2e 和 live 配置中使用非隔离运行器。
|
||||
- 根 UI 通道仍保留其 `jsdom` 设置和优化器,但现在也在共享的非隔离运行器上运行。
|
||||
- `pnpm test` 现在会从根 `vitest.config.ts` 的 projects 配置继承相同的 `threads` + `isolate: false` 默认值。
|
||||
- 共享的 `scripts/run-vitest.mjs` 启动器现在也会默认为 Vitest 子 Node 进程添加 `--no-maglev`,以减少大型本地运行期间的 V8 编译抖动。如果你需要与原始 V8 行为对比,可设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。
|
||||
- 本地快速迭代说明:
|
||||
- `pnpm test:changed` 会用 `--changed origin/main` 运行原生 projects 配置。
|
||||
- `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的原生 projects 配置,只是提高了 worker 上限。
|
||||
- 本地 worker 自动扩缩容现在有意更保守,并且当主机平均负载已经较高时也会回退,因此默认情况下多个并发 Vitest 运行造成的影响更小。
|
||||
- 基础 Vitest 配置会将 projects/config 文件标记为 `forceRerunTriggers`,以便在测试接线发生变化时,changed 模式下的重跑仍然正确。
|
||||
- 配置会在受支持主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`;如果你想为直接性能分析指定一个显式缓存位置,可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。
|
||||
- 共享 Vitest 配置还固定了 `isolate: false`,并在根项目、e2e 和实时配置中使用非隔离运行器。
|
||||
- 根 UI 通道仍保留其 `jsdom` 设置和优化器,但现在也运行在共享的非隔离运行器上。
|
||||
- `pnpm test` 会从根 `vitest.config.ts` 的项目配置继承相同的 `threads` + `isolate: false` 默认值。
|
||||
- 共享的 `scripts/run-vitest.mjs` 启动器现在还会默认为 Vitest 子 Node 进程添加 `--no-maglev`,以减少大型本地运行期间的 V8 编译抖动。如果你需要与原生 V8 行为进行比较,请设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。
|
||||
- 快速本地迭代说明:
|
||||
- `pnpm test:changed` 现在使用原生项目配置并带上 `--changed origin/main`。
|
||||
- `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的原生项目配置,只是提高了 worker 上限。
|
||||
- 本地 worker 自动缩放现在刻意更保守,并且当主机平均负载已经较高时也会回退,因此默认情况下多个并发 Vitest 运行对系统的影响会更小。
|
||||
- 基础 Vitest 配置会将项目/配置文件标记为 `forceRerunTriggers`,这样在测试接线变更时,changed 模式的重跑仍然是正确的。
|
||||
- 配置会在受支持的主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`;如果你想为直接性能分析指定一个显式缓存位置,请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。
|
||||
- 性能调试说明:
|
||||
- `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入明细输出。
|
||||
- `pnpm test:perf:imports:changed` 会将相同的分析视图限定到相对 `origin/main` 已变更的文件。
|
||||
- `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告和导入拆分输出。
|
||||
- `pnpm test:perf:imports:changed` 会将相同的分析视图限定到相对 `origin/main` 发生变化的文件。
|
||||
- `pnpm test:perf:profile:main` 会为 Vitest/Vite 启动和 transform 开销写出主线程 CPU profile。
|
||||
- `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下,为 unit 测试套件写出 runner CPU + heap profile。
|
||||
- `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下,为单元测试套件写出运行器 CPU + 堆 profile。
|
||||
|
||||
### E2E(Gateway 网关冒烟)
|
||||
|
||||
@ -101,179 +100,179 @@ OpenClaw 有三个 Vitest 测试套件(unit/integration、e2e、live)以及
|
||||
- 配置:`vitest.e2e.config.ts`
|
||||
- 文件:`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts`
|
||||
- 运行时默认值:
|
||||
- 使用 Vitest `threads` 且 `isolate: false`,与仓库其余部分保持一致。
|
||||
- 使用带 `isolate: false` 的 Vitest `threads`,与仓库其余部分保持一致。
|
||||
- 使用自适应 worker(CI:最多 2 个,本地:默认 1 个)。
|
||||
- 默认以静默模式运行,以减少控制台 I/O 开销。
|
||||
- 常用覆盖项:
|
||||
- `OPENCLAW_E2E_WORKERS=<n>` 强制指定 worker 数量(上限为 16)。
|
||||
- `OPENCLAW_E2E_VERBOSE=1` 重新启用详细控制台输出。
|
||||
- `OPENCLAW_E2E_WORKERS=<n>`:强制指定 worker 数量(上限为 16)。
|
||||
- `OPENCLAW_E2E_VERBOSE=1`:重新启用详细控制台输出。
|
||||
- 范围:
|
||||
- 多实例 Gateway 网关端到端行为
|
||||
- WebSocket/HTTP 接口、节点配对以及更重的网络交互
|
||||
- 预期:
|
||||
- 在 CI 中运行(当流水线启用时)
|
||||
- 不需要真实密钥
|
||||
- 比单元测试有更多活动部件(可能更慢)
|
||||
- 比单元测试包含更多活动部件(可能更慢)
|
||||
|
||||
### E2E:OpenShell 后端冒烟
|
||||
|
||||
- 命令:`pnpm test:e2e:openshell`
|
||||
- 文件:`test/openshell-sandbox.e2e.test.ts`
|
||||
- 范围:
|
||||
- 通过 Docker 在宿主机上启动一个隔离的 OpenShell Gateway 网关
|
||||
- 从一个临时本地 Dockerfile 创建沙箱
|
||||
- 通过 Docker 在主机上启动一个隔离的 OpenShell Gateway 网关
|
||||
- 从临时本地 Dockerfile 创建一个沙箱
|
||||
- 通过真实的 `sandbox ssh-config` + SSH exec 运行 OpenClaw 的 OpenShell 后端
|
||||
- 通过沙箱 fs bridge 验证远端规范文件系统行为
|
||||
- 通过沙箱 fs bridge 验证远程规范化文件系统行为
|
||||
- 预期:
|
||||
- 仅限选择性启用;不属于默认 `pnpm test:e2e` 运行的一部分
|
||||
- 需要本地 `openshell` CLI 和可用的 Docker daemon
|
||||
- 仅按需启用;不属于默认的 `pnpm test:e2e` 运行
|
||||
- 需要本地 `openshell` CLI 和可用的 Docker 守护进程
|
||||
- 使用隔离的 `HOME` / `XDG_CONFIG_HOME`,然后销毁测试 Gateway 网关和沙箱
|
||||
- 常用覆盖项:
|
||||
- `OPENCLAW_E2E_OPENSHELL=1`,在手动运行更广泛的 e2e 测试套件时启用该测试
|
||||
- `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`,指向非默认 CLI 二进制或包装脚本
|
||||
- `OPENCLAW_E2E_OPENSHELL=1`:在手动运行更广泛的 e2e 测试套件时启用此测试
|
||||
- `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`:指向非默认的 CLI 二进制或包装脚本
|
||||
|
||||
### Live(真实提供商 + 真实模型)
|
||||
### 实时(真实提供商 + 真实模型)
|
||||
|
||||
- 命令:`pnpm test:live`
|
||||
- 配置:`vitest.live.config.ts`
|
||||
- 文件:`src/**/*.live.test.ts`
|
||||
- 默认:由 `pnpm test:live` **启用**(设置 `OPENCLAW_LIVE_TEST=1`)
|
||||
- 范围:
|
||||
- “这个提供商/模型 _今天_ 在真实凭证下是否确实能工作?”
|
||||
- 捕获提供商格式变化、工具调用怪癖、认证问题和限流行为
|
||||
- “这个提供商/模型今天是否真的能用真实凭证正常工作?”
|
||||
- 捕获提供商格式变更、工具调用怪癖、认证问题和速率限制行为
|
||||
- 预期:
|
||||
- 按设计不保证 CI 稳定(真实网络、真实提供商策略、配额、故障)
|
||||
- 会花钱 / 消耗限流额度
|
||||
- 优先运行缩小范围的子集,而不是“全部”
|
||||
- Live 运行会读取 `~/.profile` 以获取缺失的 API 密钥。
|
||||
- 默认情况下,live 运行仍会隔离 `HOME`,并把配置/认证材料复制到临时测试 home 中,这样 unit fixture 就不能修改你真实的 `~/.openclaw`。
|
||||
- 只有当你明确需要 live 测试使用真实 home 目录时,才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。
|
||||
- `pnpm test:live` 现在默认更安静:它会保留 `[live] ...` 进度输出,但会抑制额外的 `~/.profile` 提示,并静音 Gateway 网关启动日志/Bonjour 噪声。如果你想恢复完整启动日志,请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。
|
||||
- API 密钥轮换(提供商特定):设置 `*_API_KEYS`(逗号/分号格式)或 `*_API_KEY_1`、`*_API_KEY_2`(例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`),或者通过 `OPENCLAW_LIVE_*_KEY` 做每个 live 运行的单独覆盖;测试会在收到限流响应时重试。
|
||||
- 按设计并不具备 CI 稳定性(真实网络、真实提供商策略、配额、故障)
|
||||
- 会花钱 / 消耗速率限制
|
||||
- 优先运行缩小后的子集,而不是“全部”
|
||||
- 实时运行会读取 `~/.profile` 以补齐缺失的 API 密钥。
|
||||
- 默认情况下,实时运行仍会隔离 `HOME`,并将配置/认证材料复制到临时测试 home 中,这样单元测试夹具就不会修改你真实的 `~/.openclaw`。
|
||||
- 只有当你明确需要实时测试使用真实 home 目录时,才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。
|
||||
- `pnpm test:live` 现在默认使用更安静的模式:会保留 `[live] ...` 进度输出,但会抑制额外的 `~/.profile` 提示,并静默 Gateway 网关引导日志/Bonjour 噪声。如果你想恢复完整启动日志,请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。
|
||||
- API 密钥轮换(提供商特定):设置 `*_API_KEYS`,使用逗号/分号格式,或设置 `*_API_KEY_1`、`*_API_KEY_2`(例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`),也可以通过 `OPENCLAW_LIVE_*_KEY` 为单次实时运行覆盖;测试在遇到速率限制响应时会重试。
|
||||
- 进度/心跳输出:
|
||||
- Live 测试套件现在会向 stderr 输出进度行,因此即使 Vitest 控制台捕获较安静,长时间的提供商调用也能明显看出仍在活动。
|
||||
- `vitest.live.config.ts` 会禁用 Vitest 控制台拦截,以便提供商/Gateway 网关进度行在 live 运行期间立即流式输出。
|
||||
- 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整 direct-model 心跳。
|
||||
- 实时测试套件现在会将进度行输出到 stderr,因此即使 Vitest 控制台捕获较安静,长时间的提供商调用也能明显显示仍在运行。
|
||||
- `vitest.live.config.ts` 会禁用 Vitest 控制台拦截,因此提供商/Gateway 网关进度行会在实时运行期间立即流式输出。
|
||||
- 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型心跳。
|
||||
- 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关/探测心跳。
|
||||
|
||||
## 我应该运行哪个测试套件?
|
||||
|
||||
使用这张决策表:
|
||||
使用这个决策表:
|
||||
|
||||
- 编辑逻辑/测试:运行 `pnpm test`(如果改动较多,也运行 `pnpm test:coverage`)
|
||||
- 触及 Gateway 网关网络 / WS 协议 / 配对:额外运行 `pnpm test:e2e`
|
||||
- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用:运行缩小范围的 `pnpm test:live`
|
||||
- 修改 Gateway 网关网络 / WS 协议 / 配对:再加上 `pnpm test:e2e`
|
||||
- 调试“我的 bot 挂了”/ 提供商特定故障 / 工具调用:运行缩小范围的 `pnpm test:live`
|
||||
|
||||
## Live:Android 节点能力扫查
|
||||
## 实时:Android 节点能力扫描
|
||||
|
||||
- 测试:`src/gateway/android-node.capabilities.live.test.ts`
|
||||
- 脚本:`pnpm android:test:integration`
|
||||
- 目标:调用已连接 Android 节点当前**公布的每一条命令**,并断言命令契约行为。
|
||||
- 目标:调用已连接 Android 节点当前宣告的**每一条命令**,并断言命令契约行为。
|
||||
- 范围:
|
||||
- 预置/手动设置(该测试套件不会安装/运行/配对 app)。
|
||||
- 针对所选 Android 节点逐条执行 Gateway 网关 `node.invoke` 验证。
|
||||
- 必需的预设置:
|
||||
- Android app 已连接并已与 Gateway 网关配对。
|
||||
- App 保持在前台。
|
||||
- 已授予你期望通过的能力所需的权限/采集同意。
|
||||
- 可选目标覆盖项:
|
||||
- 预先满足条件/手动设置(测试套件不会安装/运行/配对应用)。
|
||||
- 针对所选 Android 节点逐条验证 Gateway 网关 `node.invoke`。
|
||||
- 必需的预先设置:
|
||||
- Android 应用已连接并与 Gateway 网关配对。
|
||||
- 应用保持在前台。
|
||||
- 已授予你预期会通过的能力所需权限/采集同意。
|
||||
- 可选目标覆盖:
|
||||
- `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。
|
||||
- `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。
|
||||
- 完整 Android 设置详情:[Android App](/zh-CN/platforms/android)
|
||||
|
||||
## Live:模型冒烟(profile keys)
|
||||
## 实时:模型冒烟(profile keys)
|
||||
|
||||
Live 测试分成两层,以便我们隔离故障:
|
||||
实时测试被分成两层,以便我们隔离故障:
|
||||
|
||||
- “Direct model” 告诉我们,在给定密钥下,该提供商/模型是否至少能响应。
|
||||
- “Gateway smoke” 告诉我们,该模型的完整 Gateway 网关 + 智能体流水线是否工作(会话、历史、工具、沙箱策略等)。
|
||||
- “直接模型”告诉我们,提供商/模型使用给定密钥是否至少能回答。
|
||||
- “Gateway 网关冒烟”告诉我们,针对该模型,完整的 Gateway 网关 + 智能体流水线是否可工作(会话、历史、工具、沙箱策略等)。
|
||||
|
||||
### 第 1 层:Direct model completion(无 Gateway 网关)
|
||||
### 第 1 层:直接模型补全(无 Gateway 网关)
|
||||
|
||||
- 测试:`src/agents/models.profiles.live.test.ts`
|
||||
- 目标:
|
||||
- 枚举已发现的模型
|
||||
- 使用 `getApiKeyForModel` 选择你有凭证的模型
|
||||
- 为每个模型运行一个小型 completion(必要时附带定向回归)
|
||||
- 如何启用:
|
||||
- `pnpm test:live`(或者如果你直接调用 Vitest,则设置 `OPENCLAW_LIVE_TEST=1`)
|
||||
- 设置 `OPENCLAW_LIVE_MODELS=modern`(或 `all`,即 modern 的别名)才会实际运行该测试套件;否则会跳过,以便让 `pnpm test:live` 聚焦在 Gateway 网关冒烟
|
||||
- 对每个模型运行一个小型补全(以及需要时的定向回归)
|
||||
- 启用方式:
|
||||
- `pnpm test:live`(或者如果直接调用 Vitest,则设 `OPENCLAW_LIVE_TEST=1`)
|
||||
- 设置 `OPENCLAW_LIVE_MODELS=modern`(或 `all`,是 modern 的别名)才会实际运行此套件;否则它会跳过,以便让 `pnpm test:live` 保持聚焦于 Gateway 网关冒烟
|
||||
- 如何选择模型:
|
||||
- `OPENCLAW_LIVE_MODELS=modern` 运行现代 allowlist(Opus/Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4)
|
||||
- `OPENCLAW_LIVE_MODELS=modern` 以运行现代 allowlist(Opus/Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4)
|
||||
- `OPENCLAW_LIVE_MODELS=all` 是现代 allowlist 的别名
|
||||
- 或者 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`(逗号分隔的 allowlist)
|
||||
- 或 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`(逗号分隔 allowlist)
|
||||
- 如何选择提供商:
|
||||
- `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity"`(逗号分隔的 allowlist)
|
||||
- `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity"`(逗号分隔 allowlist)
|
||||
- 密钥来源:
|
||||
- 默认:profile 存储和环境变量回退
|
||||
- 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅**使用 profile 存储
|
||||
- 存在原因:
|
||||
- 将“提供商 API 坏了 / 密钥无效”和“Gateway 网关智能体流水线坏了”分开
|
||||
- 包含小型、隔离的回归测试(例如:OpenAI Responses/Codex Responses 推理重放 + 工具调用流)
|
||||
- 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制只使用 **profile 存储**
|
||||
- 设立此层的原因:
|
||||
- 将“提供商 API 坏了 / 密钥无效”和“Gateway 网关智能体流水线坏了”分离开
|
||||
- 容纳小型、隔离的回归测试(例如:OpenAI Responses/Codex Responses 推理回放 + 工具调用流程)
|
||||
|
||||
### 第 2 层:Gateway 网关 + dev 智能体冒烟(也就是 “@openclaw” 实际做的事)
|
||||
### 第 2 层:Gateway 网关 + dev 智能体冒烟(即 “@openclaw” 实际做的事)
|
||||
|
||||
- 测试:`src/gateway/gateway-models.profiles.live.test.ts`
|
||||
- 目标:
|
||||
- 启动一个进程内 Gateway 网关
|
||||
- 创建/修补一个 `agent:dev:*` 会话(每次运行按模型覆盖)
|
||||
- 遍历带密钥的模型并断言:
|
||||
- “有意义”的响应(无工具)
|
||||
- 真实工具调用可用(read 探测)
|
||||
- 可选的额外工具探测(exec+read 探测)
|
||||
- OpenAI 回归路径(仅工具调用 → 后续跟进)继续可用
|
||||
- 探测细节(这样你可以快速解释失败原因):
|
||||
- `read` 探测:测试会在工作区写入一个 nonce 文件,并要求智能体 `read` 该文件后回显 nonce。
|
||||
- `exec+read` 探测:测试会要求智能体通过 `exec` 将 nonce 写入一个临时文件,然后再 `read` 回来。
|
||||
- 图像探测:测试会附加一个生成的 PNG(cat + 随机代码),并期望模型返回 `cat <CODE>`。
|
||||
- 有“有意义”的响应(无工具)
|
||||
- 真实工具调用可工作(read 探测)
|
||||
- 可选额外工具探测(exec+read 探测)
|
||||
- OpenAI 回归路径(仅工具调用 → 后续跟进)持续可用
|
||||
- 探测细节(便于你快速解释失败原因):
|
||||
- `read` 探测:测试会在工作区写入一个 nonce 文件,并要求智能体 `read` 该文件并将 nonce 回显回来。
|
||||
- `exec+read` 探测:测试会要求智能体通过 `exec` 将 nonce 写入临时文件,然后再 `read` 读取回来。
|
||||
- 图像探测:测试会附加一个生成的 PNG(猫 + 随机代码),并期望模型返回 `cat <CODE>`。
|
||||
- 实现参考:`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。
|
||||
- 如何启用:
|
||||
- `pnpm test:live`(或者如果你直接调用 Vitest,则设置 `OPENCLAW_LIVE_TEST=1`)
|
||||
- 启用方式:
|
||||
- `pnpm test:live`(或者如果直接调用 Vitest,则设 `OPENCLAW_LIVE_TEST=1`)
|
||||
- 如何选择模型:
|
||||
- 默认:现代 allowlist(Opus/Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4)
|
||||
- `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是现代 allowlist 的别名
|
||||
- 或者设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`(或逗号列表)来缩小范围
|
||||
- 如何选择提供商(避免“OpenRouter 全家桶”):
|
||||
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,openai,anthropic,zai,minimax"`(逗号分隔的 allowlist)
|
||||
- 在这个 live 测试中,工具 + 图像探测始终启用:
|
||||
- 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`(或逗号列表)来缩小范围
|
||||
- 如何选择提供商(避免“OpenRouter 全部都测”):
|
||||
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,openai,anthropic,zai,minimax"`(逗号分隔 allowlist)
|
||||
- 工具 + 图像探测在这个实时测试中始终开启:
|
||||
- `read` 探测 + `exec+read` 探测(工具压力测试)
|
||||
- 当模型宣告支持图像输入时,会运行图像探测
|
||||
- 流程(高层):
|
||||
- 测试生成一个带有 “CAT” + 随机代码的小型 PNG(`src/gateway/live-image-probe.ts`)
|
||||
- 通过 `agent` `attachments: [{ mimeType: "image/png", content: "<base64>" }]` 发送
|
||||
- Gateway 网关将附件解析为 `images[]`(`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`)
|
||||
- Embedded agent 将多模态用户消息转发给模型
|
||||
- 断言:回复包含 `cat` + 该代码(OCR 容错:允许轻微错误)
|
||||
- 嵌入式智能体向模型转发一条多模态用户消息
|
||||
- 断言:回复包含 `cat` + 该代码(OCR 容忍:允许轻微错误)
|
||||
|
||||
提示:如果你想查看在自己的机器上可以测试什么(以及精确的 `provider/model` id),请运行:
|
||||
提示:若想查看你机器上可以测试什么(以及准确的 `provider/model` id),请运行:
|
||||
|
||||
```bash
|
||||
openclaw models list
|
||||
openclaw models list --json
|
||||
```
|
||||
|
||||
## Live:ACP 绑定冒烟(`/acp spawn ... --bind here`)
|
||||
## 实时:ACP 绑定冒烟(`/acp spawn ... --bind here`)
|
||||
|
||||
- 测试:`src/gateway/gateway-acp-bind.live.test.ts`
|
||||
- 目标:用一个 live ACP 智能体验证真实的 ACP 会话绑定流程:
|
||||
- 目标:使用实时 ACP 智能体验证真实 ACP 会话绑定流程:
|
||||
- 发送 `/acp spawn <agent> --bind here`
|
||||
- 原地绑定一个合成的 message-channel 会话
|
||||
- 在同一会话上发送一条普通的后续消息
|
||||
- 验证该后续消息会落入已绑定的 ACP 会话 transcript 中
|
||||
- 就地绑定一个合成的消息渠道会话
|
||||
- 在同一会话上发送一条普通后续消息
|
||||
- 验证后续消息落入已绑定的 ACP 会话转录中
|
||||
- 启用:
|
||||
- `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts`
|
||||
- `OPENCLAW_LIVE_ACP_BIND=1`
|
||||
- 默认值:
|
||||
- ACP 智能体:`claude`
|
||||
- 合成渠道:Slack 私信风格的会话上下文
|
||||
- 合成渠道:Slack 私信风格会话上下文
|
||||
- ACP 后端:`acpx`
|
||||
- 覆盖项:
|
||||
- `OPENCLAW_LIVE_ACP_BIND_AGENT=claude`
|
||||
- `OPENCLAW_LIVE_ACP_BIND_AGENT=codex`
|
||||
- `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@<version>'`
|
||||
- 说明:
|
||||
- 该通道使用 Gateway 网关 `chat.send` 接口,并附带仅限管理员使用的合成 originating-route 字段,因此测试可以附着消息渠道上下文,而无需假装真的对外投递。
|
||||
- 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时,测试会使用内置 `acpx` 插件的内建智能体注册表来选择 ACP harness 智能体。
|
||||
- 这一通道使用 Gateway 网关 `chat.send` 接口,并带有仅管理员可用的合成 originating-route 字段,这样测试就能附加消息渠道上下文,而无需假装对外发送。
|
||||
- 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时,测试会使用内置 `acpx` 插件的内建智能体注册表来选择 ACP 测试智能体。
|
||||
|
||||
示例:
|
||||
|
||||
@ -283,7 +282,7 @@ OPENCLAW_LIVE_ACP_BIND=1 \
|
||||
pnpm test:live src/gateway/gateway-acp-bind.live.test.ts
|
||||
```
|
||||
|
||||
Docker 配方:
|
||||
Docker 用法:
|
||||
|
||||
```bash
|
||||
pnpm test:docker:live-acp-bind
|
||||
@ -292,17 +291,17 @@ pnpm test:docker:live-acp-bind
|
||||
Docker 说明:
|
||||
|
||||
- Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。
|
||||
- 它会读取 `~/.profile`,将匹配的 CLI 认证材料暂存到容器中,把 `acpx` 安装到可写的 npm prefix 中,然后在缺失时安装所请求的 live CLI(`@anthropic-ai/claude-code` 或 `@openai/codex`)。
|
||||
- 在 Docker 内,运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`,从而使 acpx 保留来自已读取 profile 的提供商环境变量,并传递给子 harness CLI。
|
||||
- 它会读取 `~/.profile`,将匹配的 CLI 认证材料暂存到容器中,把 `acpx` 安装到可写的 npm 前缀中,然后在缺失时安装所请求的实时 CLI(`@anthropic-ai/claude-code` 或 `@openai/codex`)。
|
||||
- 在 Docker 内部,运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`,这样 `acpx` 就能保留来自已读取 profile 的提供商环境变量,并将其传递给子 harness CLI。
|
||||
|
||||
### 推荐的 live 配方
|
||||
### 推荐的实时测试配方
|
||||
|
||||
缩小范围、显式的 allowlist 最快也最不容易不稳定:
|
||||
缩小范围、显式的 allowlist 最快,也最不易出问题:
|
||||
|
||||
- 单模型,direct(无 Gateway 网关):
|
||||
- 单个模型,直接测试(无 Gateway 网关):
|
||||
- `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts`
|
||||
|
||||
- 单模型,Gateway 网关冒烟:
|
||||
- 单个模型,Gateway 网关冒烟:
|
||||
- `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts`
|
||||
|
||||
- 跨多个提供商的工具调用:
|
||||
@ -315,15 +314,15 @@ Docker 说明:
|
||||
说明:
|
||||
|
||||
- `google/...` 使用 Gemini API(API 密钥)。
|
||||
- `google-antigravity/...` 使用 Antigravity OAuth bridge(类似 Cloud Code Assist 风格的智能体端点)。
|
||||
- `google-antigravity/...` 使用 Antigravity OAuth bridge(Cloud Code Assist 风格智能体端点)。
|
||||
|
||||
## Live:模型矩阵(我们覆盖什么)
|
||||
## 实时:模型矩阵(我们的覆盖范围)
|
||||
|
||||
没有固定的“CI 模型列表”(live 是可选启用的),但以下这些是**推荐**在带密钥的开发机器上定期覆盖的模型。
|
||||
没有固定的“CI 模型列表”(实时测试是按需启用的),但以下是在有密钥的开发机器上建议定期覆盖的模型。
|
||||
|
||||
### 现代冒烟集(工具调用 + 图像)
|
||||
|
||||
这是我们期望持续可用的“常见模型”运行集:
|
||||
这是我们期望持续保持可用的“常见模型”运行集合:
|
||||
|
||||
- OpenAI(非 Codex):`openai/gpt-5.4`(可选:`openai/gpt-5.4-mini`)
|
||||
- OpenAI Codex:`openai-codex/gpt-5.4`
|
||||
@ -346,64 +345,64 @@ Docker 说明:
|
||||
- Z.AI(GLM):`zai/glm-4.7`
|
||||
- MiniMax:`minimax/MiniMax-M2.7`
|
||||
|
||||
可选的额外覆盖(有的话更好):
|
||||
可选的额外覆盖(有更好,没有也可以):
|
||||
|
||||
- xAI:`xai/grok-4`(或最新可用版本)
|
||||
- Mistral:`mistral/`…(选择一个你已启用、支持 “tools” 的模型)
|
||||
- Cerebras:`cerebras/`…(如果你有访问权限)
|
||||
- Mistral:`mistral/`…(选一个你已启用的支持 “tools” 的模型)
|
||||
- Cerebras:`cerebras/`…(如果你有权限)
|
||||
- LM Studio:`lmstudio/`…(本地;工具调用取决于 API 模式)
|
||||
|
||||
### Vision:发送图像(附件 → 多模态消息)
|
||||
### 视觉:图像发送(附件 → 多模态消息)
|
||||
|
||||
在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型(Claude/Gemini/OpenAI 的视觉变体等),以触发图像探测。
|
||||
|
||||
### 聚合器 / 替代 Gateway 网关
|
||||
|
||||
如果你启用了相应密钥,我们也支持通过以下方式测试:
|
||||
如果你已启用相应密钥,我们也支持通过以下方式测试:
|
||||
|
||||
- OpenRouter:`openrouter/...`(数百个模型;使用 `openclaw models scan` 找出支持 tool+image 的候选项)
|
||||
- OpenRouter:`openrouter/...`(数百个模型;使用 `openclaw models scan` 查找支持工具 + 图像的候选模型)
|
||||
- OpenCode:`opencode/...` 用于 Zen,`opencode-go/...` 用于 Go(通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证)
|
||||
|
||||
如果你有凭证/配置,还可以把更多提供商加入 live 矩阵:
|
||||
如果你有凭证/配置,还可以在实时矩阵中加入更多提供商:
|
||||
|
||||
- 内置:`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot`
|
||||
- 通过 `models.providers`(自定义端点):`minimax`(云/API),以及任何兼容 OpenAI/Anthropic 的代理(LM Studio、vLLM、LiteLLM 等)
|
||||
|
||||
提示:不要试图在文档里硬编码“所有模型”。权威列表始终是你机器上 `discoverModels(...)` 的返回结果 + 当前可用的密钥。
|
||||
提示:不要试图在文档中硬编码“所有模型”。权威列表应始终以你机器上的 `discoverModels(...)` 返回结果以及可用密钥为准。
|
||||
|
||||
## 凭证(绝不要提交)
|
||||
|
||||
Live 测试发现凭证的方式与 CLI 相同。实际含义如下:
|
||||
实时测试发现凭证的方式与 CLI 相同。实际含义如下:
|
||||
|
||||
- 如果 CLI 可用,live 测试应该能找到相同的密钥。
|
||||
- 如果 live 测试提示“无凭证”,请像调试 `openclaw models list` / 模型选择那样调试。
|
||||
- 如果 CLI 能正常工作,实时测试应能找到相同的密钥。
|
||||
- 如果实时测试提示“没有凭证”,就像排查 `openclaw models list` / 模型选择那样去调试。
|
||||
|
||||
- 每个智能体的认证 profile:`~/.openclaw/agents/<agentId>/agent/auth-profiles.json`(这就是 live 测试中 “profile keys” 的含义)
|
||||
- 每个智能体的认证 profile:`~/.openclaw/agents/<agentId>/agent/auth-profiles.json`(这就是实时测试中 “profile keys” 的含义)
|
||||
- 配置:`~/.openclaw/openclaw.json`(或 `OPENCLAW_CONFIG_PATH`)
|
||||
- 旧版状态目录:`~/.openclaw/credentials/`(若存在,会被复制到暂存的 live home 中,但这不是主 profile-key 存储)
|
||||
- 本地 live 运行默认会把当前配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到一个临时测试 home 中;在这个暂存配置里,`agents.*.workspace` / `agentDir` 路径覆盖会被移除,从而保证探测不会触及你真实宿主机工作区。
|
||||
- 旧版状态目录:`~/.openclaw/credentials/`(存在时会复制到暂存的实时 home 中,但它不是主要的 profile-key 存储)
|
||||
- 本地实时运行默认会将当前配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到临时测试 home 中;在该暂存配置里,会移除 `agents.*.workspace` / `agentDir` 路径覆盖项,以便探测不会落到你的真实主机工作区上。
|
||||
|
||||
如果你想依赖环境变量密钥(例如导出在你的 `~/.profile` 中),请在本地测试前运行 `source ~/.profile`,或者使用下面的 Docker 运行器(它们可以把 `~/.profile` 挂载进容器)。
|
||||
如果你想依赖环境变量密钥(例如导出在你的 `~/.profile` 中),请在 `source ~/.profile` 之后再运行本地测试,或者使用下文的 Docker 运行器(它们可以将 `~/.profile` 挂载到容器中)。
|
||||
|
||||
## Deepgram live(音频转写)
|
||||
## Deepgram 实时测试(音频转录)
|
||||
|
||||
- 测试:`src/media-understanding/providers/deepgram/audio.live.test.ts`
|
||||
- 启用:`DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live src/media-understanding/providers/deepgram/audio.live.test.ts`
|
||||
|
||||
## BytePlus 编码计划 live
|
||||
## BytePlus(国际版)编码计划实时测试
|
||||
|
||||
- 测试:`src/agents/byteplus.live.test.ts`
|
||||
- 启用:`BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live src/agents/byteplus.live.test.ts`
|
||||
- 可选模型覆盖:`BYTEPLUS_CODING_MODEL=ark-code-latest`
|
||||
|
||||
## 图像生成 live
|
||||
## 图像生成实时测试
|
||||
|
||||
- 测试:`src/image-generation/runtime.live.test.ts`
|
||||
- 命令:`pnpm test:live src/image-generation/runtime.live.test.ts`
|
||||
- 范围:
|
||||
- 枚举每个已注册的图像生成提供商插件
|
||||
- 在探测前从你的登录 shell(`~/.profile`)加载缺失的提供商环境变量
|
||||
- 默认优先使用 live/env API 密钥,而不是存储的 auth profile,因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实 shell 凭证
|
||||
- 默认优先使用实时/环境变量 API 密钥,而不是已存储的认证 profile,这样 `auth-profiles.json` 中过期的测试密钥就不会掩盖真实 shell 凭证
|
||||
- 跳过没有可用认证/profile/模型的提供商
|
||||
- 通过共享运行时能力运行标准图像生成变体:
|
||||
- `google:flash-generate`
|
||||
@ -418,156 +417,160 @@ Live 测试发现凭证的方式与 CLI 相同。实际含义如下:
|
||||
- `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-1,google/gemini-3.1-flash-image-preview"`
|
||||
- `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit"`
|
||||
- 可选认证行为:
|
||||
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证,并忽略仅环境变量的覆盖
|
||||
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile 存储认证并忽略仅环境变量的覆盖
|
||||
|
||||
## Docker 运行器(可选的“在 Linux 中可运行”检查)
|
||||
## Docker 运行器(可选的“在 Linux 上可用”检查)
|
||||
|
||||
这些 Docker 运行器分为两类:
|
||||
|
||||
- Live-model 运行器:`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行各自匹配的 profile-key live 文件(`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`),并挂载你的本地配置目录和工作区(如果已挂载,也会读取 `~/.profile`)。相应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。
|
||||
- Docker live 运行器默认有更小的冒烟上限,以便完整的 Docker 扫查仍然实用:
|
||||
`test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`,并且
|
||||
`test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、
|
||||
- 实时模型运行器:`test:docker:live-models` 和 `test:docker:live-gateway` 仅在仓库 Docker 镜像内运行各自匹配的 profile-key 实时测试文件(`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`),并挂载你的本地配置目录和工作区(如果挂载了 `~/.profile` 也会读取它)。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。
|
||||
- Docker 实时运行器默认带有更小的冒烟上限,以便完整的 Docker 扫描仍然可行:
|
||||
`test:docker:live-models` 默认使用 `OPENCLAW_LIVE_MAX_MODELS=12`,而
|
||||
`test:docker:live-gateway` 默认使用 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、
|
||||
`OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、
|
||||
`OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 和
|
||||
`OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000`,以及
|
||||
`OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你
|
||||
明确想进行更大范围的穷举扫描时,可覆盖这些环境变量。
|
||||
- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次 live Docker 镜像,然后在两个 live Docker 通道中复用它。
|
||||
明确想执行更大范围的穷尽扫描时,可以覆盖这些环境变量。
|
||||
- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像,然后在两个实时 Docker 通道中复用它。
|
||||
- 容器冒烟运行器:`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器,并验证更高层级的集成路径。
|
||||
|
||||
Live-model Docker 运行器还会只 bind-mount 所需的 CLI 认证 home(如果运行未缩小范围,则挂载所有受支持的),然后在运行前将它们复制到容器 home 中,这样外部 CLI OAuth 就可以刷新令牌,而不会修改宿主机认证存储:
|
||||
实时模型 Docker 运行器还会只绑定挂载所需的 CLI 认证 home(如果运行未缩小范围,则挂载所有受支持的认证 home),然后在运行前将它们复制到容器 home 中,这样外部 CLI OAuth 就可以刷新 token,而不会修改主机上的认证存储:
|
||||
|
||||
- Direct models:`pnpm test:docker:live-models`(脚本:`scripts/test-live-models-docker.sh`)
|
||||
- 直接模型:`pnpm test:docker:live-models`(脚本:`scripts/test-live-models-docker.sh`)
|
||||
- ACP 绑定冒烟:`pnpm test:docker:live-acp-bind`(脚本:`scripts/test-live-acp-bind-docker.sh`)
|
||||
- Gateway 网关 + dev 智能体:`pnpm test:docker:live-gateway`(脚本:`scripts/test-live-gateway-models-docker.sh`)
|
||||
- Open WebUI live 冒烟:`pnpm test:docker:openwebui`(脚本:`scripts/e2e/openwebui-docker.sh`)
|
||||
- Open WebUI 实时冒烟:`pnpm test:docker:openwebui`(脚本:`scripts/e2e/openwebui-docker.sh`)
|
||||
- 新手引导向导(TTY,完整脚手架):`pnpm test:docker:onboard`(脚本:`scripts/e2e/onboard-docker.sh`)
|
||||
- Gateway 网关网络(两个容器,WS 认证 + 健康检查):`pnpm test:docker:gateway-network`(脚本:`scripts/e2e/gateway-network-docker.sh`)
|
||||
- MCP 渠道桥接(带预置数据的 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟):`pnpm test:docker:mcp-channels`(脚本:`scripts/e2e/mcp-channels-docker.sh`)
|
||||
- MCP 渠道桥接(带种子数据的 Gateway 网关 + stdio bridge + 原始 Claude 通知帧冒烟):`pnpm test:docker:mcp-channels`(脚本:`scripts/e2e/mcp-channels-docker.sh`)
|
||||
- 插件(安装冒烟 + `/plugin` 别名 + Claude bundle 重启语义):`pnpm test:docker:plugins`(脚本:`scripts/e2e/plugins-docker.sh`)
|
||||
|
||||
Live-model Docker 运行器还会将当前 checkout 以只读方式 bind-mount,
|
||||
并将其暂存到容器内的一个临时工作目录中。这样既能保持运行时
|
||||
镜像精简,又仍然能针对你精确的本地源码/配置运行 Vitest。
|
||||
它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`,这样 Gateway 网关 live 探测就不会在容器内
|
||||
启动真实的 Telegram/Discord/等渠道 worker。
|
||||
`test:docker:live-models` 仍然会运行 `pnpm test:live`,因此当你需要缩小范围或排除该 Docker 通道中的
|
||||
Gateway 网关 live 覆盖时,也请同时传入
|
||||
实时模型 Docker 运行器还会将当前 checkout 以只读方式绑定挂载,
|
||||
并将其暂存到容器内的临时工作目录中。这样既能保持运行时
|
||||
镜像精简,又能让 Vitest 针对你本地精确的源码/配置运行。
|
||||
暂存步骤会跳过大型本地专用缓存和应用构建产物,例如
|
||||
`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`,以及应用本地 `.build` 或
|
||||
Gradle 输出目录,因此 Docker 实时运行不会花几分钟去复制
|
||||
机器特定工件。
|
||||
它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`,这样 Gateway 网关实时探测就不会在容器内
|
||||
启动真实的 Telegram/Discord 等渠道 worker。
|
||||
`test:docker:live-models` 仍然运行 `pnpm test:live`,因此当你需要缩小范围或排除 Gateway 网关
|
||||
实时覆盖时,也请同时透传
|
||||
`OPENCLAW_LIVE_GATEWAY_*`。
|
||||
`test:docker:openwebui` 是更高层级的兼容性冒烟:它会启动一个
|
||||
`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试:它会启动一个
|
||||
启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器,
|
||||
再针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器,通过
|
||||
Open WebUI 完成登录,验证 `/api/models` 会暴露 `openclaw/default`,然后通过
|
||||
Open WebUI 完成登录,验证 `/api/models` 暴露 `openclaw/default`,然后通过
|
||||
Open WebUI 的 `/api/chat/completions` 代理发送一条真实聊天请求。
|
||||
第一次运行可能会明显更慢,因为 Docker 可能需要拉取
|
||||
Open WebUI 镜像,而 Open WebUI 也可能需要完成自己的冷启动设置。
|
||||
这个通道需要可用的 live 模型密钥,而 `OPENCLAW_PROFILE_FILE`
|
||||
(默认是 `~/.profile`)是在 Docker 化运行中提供该密钥的主要方式。
|
||||
成功运行会打印一小段 JSON 负载,例如 `{ "ok": true, "model":
|
||||
首次运行可能明显更慢,因为 Docker 可能需要拉取
|
||||
Open WebUI 镜像,而且 Open WebUI 也可能需要完成自己的冷启动设置。
|
||||
这个通道需要一个可用的实时模型密钥,而 `OPENCLAW_PROFILE_FILE`
|
||||
(默认 `~/.profile`)是在 Docker 化运行中提供该密钥的主要方式。
|
||||
成功运行会打印一小段 JSON 载荷,例如 `{ "ok": true, "model":
|
||||
"openclaw/default", ... }`。
|
||||
`test:docker:mcp-channels` 是有意设计成确定性的,不需要
|
||||
真实的 Telegram、Discord 或 iMessage 账号。它会启动一个带预置数据的 Gateway 网关
|
||||
`test:docker:mcp-channels` 是刻意设计为确定性的,不需要
|
||||
真实的 Telegram、Discord 或 iMessage 账号。它会启动一个带种子数据的 Gateway 网关
|
||||
容器,再启动第二个容器来运行 `openclaw mcp serve`,然后
|
||||
验证路由后的会话发现、transcript 读取、附件元数据、
|
||||
验证路由后的会话发现、转录读取、附件元数据、
|
||||
实时事件队列行为、出站发送路由,以及 Claude 风格的渠道 +
|
||||
权限通知在真实 stdio MCP bridge 上的表现。通知检查
|
||||
会直接检查原始 stdio MCP frame,因此这个冒烟测试验证的是 bridge
|
||||
权限通知是否通过真实的 stdio MCP bridge 正常工作。通知检查会
|
||||
直接检查原始 stdio MCP 帧,因此该冒烟测试验证的是 bridge
|
||||
实际发出的内容,而不仅仅是某个特定客户端 SDK 恰好暴露出来的内容。
|
||||
|
||||
手动 ACP 自然语言线程冒烟(非 CI):
|
||||
|
||||
- `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel <discord-channel-id> ...`
|
||||
- 保留此脚本用于回归/调试工作流。它未来仍可能用于 ACP 线程路由验证,因此不要删除它。
|
||||
- 保留此脚本用于回归/调试工作流。它未来可能还会再次用于 ACP 线程路由验证,因此不要删除。
|
||||
|
||||
常用环境变量:
|
||||
有用的环境变量:
|
||||
|
||||
- `OPENCLAW_CONFIG_DIR=...`(默认:`~/.openclaw`)挂载到 `/home/node/.openclaw`
|
||||
- `OPENCLAW_WORKSPACE_DIR=...`(默认:`~/.openclaw/workspace`)挂载到 `/home/node/.openclaw/workspace`
|
||||
- `OPENCLAW_PROFILE_FILE=...`(默认:`~/.profile`)挂载到 `/home/node/.profile`,并在运行测试前读取
|
||||
- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`(默认:`~/.cache/openclaw/docker-cli-tools`)挂载到 `/home/node/.npm-global`,用于缓存 Docker 内部的 CLI 安装
|
||||
- `$HOME` 下的外部 CLI 认证目录/文件会以只读方式挂载到 `/host-auth...` 下,然后在测试开始前复制到 `/home/node/...`
|
||||
- 默认目录:`.codex`、`.minimax`
|
||||
- 默认文件:`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json`
|
||||
- 已缩小提供商范围的运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的必需目录/文件
|
||||
- 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none` 或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表手动覆盖
|
||||
- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`(默认:`~/.cache/openclaw/docker-cli-tools`)挂载到 `/home/node/.npm-global`,用于 Docker 内部缓存 CLI 安装
|
||||
- `$HOME` 下的外部 CLI 认证目录/文件会以只读方式挂载到 `/host-auth...`,然后在测试启动前复制到 `/home/node/...`
|
||||
- 默认目录:`.minimax`
|
||||
- 默认文件:`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json`
|
||||
- 缩小提供商范围的运行只会挂载根据 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的必需目录/文件
|
||||
- 手动覆盖方式:`OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`,或逗号列表如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex`
|
||||
- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围
|
||||
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内筛选提供商
|
||||
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 确保凭证来自 profile 存储(而不是环境变量)
|
||||
- `OPENCLAW_OPENWEBUI_MODEL=...` 选择 Gateway 网关为 Open WebUI 冒烟暴露的模型
|
||||
- `OPENCLAW_OPENWEBUI_PROMPT=...` 覆盖 Open WebUI 冒烟使用的 nonce 检查提示词
|
||||
- `OPENWEBUI_IMAGE=...` 覆盖固定的 Open WebUI 镜像标签
|
||||
- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器中筛选提供商
|
||||
- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 以确保凭证来自 profile 存储(而非环境变量)
|
||||
- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 Gateway 网关向 Open WebUI 冒烟测试暴露的模型
|
||||
- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词
|
||||
- `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签
|
||||
|
||||
## 文档完整性检查
|
||||
|
||||
编辑文档后运行文档检查:`pnpm check:docs`。
|
||||
当你还需要进行页内标题检查时,运行完整的 Mintlify anchor 验证:`pnpm docs:check-links:anchors`。
|
||||
如果你还需要检查页内标题锚点,请运行完整的 Mintlify 锚点验证:`pnpm docs:check-links:anchors`。
|
||||
|
||||
## 离线回归(CI 安全)
|
||||
|
||||
这些是在没有真实提供商的情况下进行的“真实流水线”回归测试:
|
||||
这些是在不使用真实提供商的情况下,针对“真实流水线”的回归测试:
|
||||
|
||||
- Gateway 网关工具调用(mock OpenAI,真实 Gateway 网关 + 智能体循环):`src/gateway/gateway.test.ts`(用例:“runs a mock OpenAI tool call end-to-end via gateway agent loop”)
|
||||
- Gateway 网关工具调用(模拟 OpenAI,真实 Gateway 网关 + 智能体循环):`src/gateway/gateway.test.ts`(用例:“runs a mock OpenAI tool call end-to-end via gateway agent loop”)
|
||||
- Gateway 网关向导(WS `wizard.start`/`wizard.next`,强制写入配置 + 认证):`src/gateway/gateway.test.ts`(用例:“runs wizard over ws and writes auth token config”)
|
||||
|
||||
## 智能体可靠性评估(Skills)
|
||||
|
||||
我们已经有一些 CI 安全的测试,行为上类似“智能体可靠性评估”:
|
||||
我们已经有一些 CI 安全的测试,它们的行为类似“智能体可靠性评估”:
|
||||
|
||||
- 通过真实的 Gateway 网关 + 智能体循环进行 mock 工具调用(`src/gateway/gateway.test.ts`)。
|
||||
- 验证会话接线与配置效果的端到端向导流程(`src/gateway/gateway.test.ts`)。
|
||||
- 通过真实 Gateway 网关 + 智能体循环进行模拟工具调用(`src/gateway/gateway.test.ts`)。
|
||||
- 验证会话接线和配置效果的端到端向导流程(`src/gateway/gateway.test.ts`)。
|
||||
|
||||
对于 Skills(见 [Skills](/zh-CN/tools/skills)),目前仍缺少:
|
||||
对于 Skills,我们仍然缺少的内容(参见 [Skills](/zh-CN/tools/skills)):
|
||||
|
||||
- **决策能力:** 当提示词中列出了 skill 时,智能体是否会选择正确的 skill(或避开无关的 skill)?
|
||||
- **合规性:** 智能体在使用前是否会读取 `SKILL.md`,并遵循要求的步骤/参数?
|
||||
- **工作流契约:** 断言工具顺序、会话历史延续以及沙箱边界的多轮场景。
|
||||
- **决策能力:** 当 Skills 列在提示中时,智能体是否会选择正确的 skill(或避免选择无关的 skill)?
|
||||
- **合规性:** 智能体是否会在使用前读取 `SKILL.md`,并遵循所需步骤/参数?
|
||||
- **工作流契约:** 断言工具顺序、会话历史延续和沙箱边界的多轮场景。
|
||||
|
||||
未来的评估应优先保持确定性:
|
||||
未来的评估应首先保持确定性:
|
||||
|
||||
- 一个使用 mock 提供商的场景运行器,用于断言工具调用 + 顺序、skill 文件读取以及会话接线。
|
||||
- 一小组聚焦 skill 的场景(应使用 vs 应避免、门控、提示注入)。
|
||||
- 可选的 live 评估(选择性启用、由环境变量控制)应在 CI 安全套件就位后再添加。
|
||||
- 一个使用模拟提供商的场景运行器,用于断言工具调用 + 顺序、skill 文件读取以及会话接线。
|
||||
- 一小套以 skill 为中心的场景(该用还是不该用、门控、提示注入)。
|
||||
- 仅在 CI 安全套件完善之后,再添加可选的实时评估(按需启用、受环境变量控制)。
|
||||
|
||||
## Contract 测试(插件和渠道形状)
|
||||
## 契约测试(插件和渠道形状)
|
||||
|
||||
Contract 测试用于验证每个已注册插件和渠道都符合其
|
||||
接口契约。它们会遍历所有已发现插件,并运行一组
|
||||
形状和行为断言。默认的 `pnpm test` unit 通道会有意
|
||||
跳过这些共享 seam 和 smoke 文件;当你修改共享渠道或提供商接口时,
|
||||
请显式运行这些 contract 命令。
|
||||
契约测试用于验证每个已注册的插件和渠道都符合其
|
||||
接口契约。它们会遍历所有已发现的插件,并运行一组
|
||||
针对形状和行为的断言。默认的 `pnpm test` 单元通道会刻意
|
||||
跳过这些共享接缝和冒烟文件;当你修改共享渠道或提供商表面时,
|
||||
请显式运行契约命令。
|
||||
|
||||
### 命令
|
||||
|
||||
- 所有 contract:`pnpm test:contracts`
|
||||
- 仅渠道 contract:`pnpm test:contracts:channels`
|
||||
- 仅提供商 contract:`pnpm test:contracts:plugins`
|
||||
- 所有契约:`pnpm test:contracts`
|
||||
- 仅渠道契约:`pnpm test:contracts:channels`
|
||||
- 仅提供商契约:`pnpm test:contracts:plugins`
|
||||
|
||||
### 渠道 contract
|
||||
### 渠道契约
|
||||
|
||||
位于 `src/channels/plugins/contracts/*.contract.test.ts`:
|
||||
|
||||
- **plugin** - 基本插件形状(id、name、capabilities)
|
||||
- **setup** - 设置向导契约
|
||||
- **session-binding** - 会话绑定行为
|
||||
- **outbound-payload** - 消息负载结构
|
||||
- **outbound-payload** - 消息载荷结构
|
||||
- **inbound** - 入站消息处理
|
||||
- **actions** - 渠道操作处理器
|
||||
- **actions** - 渠道动作处理器
|
||||
- **threading** - 线程 ID 处理
|
||||
- **directory** - 目录/成员列表 API
|
||||
- **group-policy** - 群组策略强制执行
|
||||
- **group-policy** - 群组策略执行
|
||||
|
||||
### 提供商状态 contract
|
||||
### 提供商状态契约
|
||||
|
||||
位于 `src/plugins/contracts/*.contract.test.ts`。
|
||||
|
||||
- **status** - 渠道状态探测
|
||||
- **registry** - 插件注册表形状
|
||||
|
||||
### 提供商 contract
|
||||
### 提供商契约
|
||||
|
||||
位于 `src/plugins/contracts/*.contract.test.ts`:
|
||||
|
||||
- **auth** - 认证流契约
|
||||
- **auth** - 认证流程契约
|
||||
- **auth-choice** - 认证选项/选择
|
||||
- **catalog** - 模型目录 API
|
||||
- **discovery** - 插件发现
|
||||
@ -578,21 +581,21 @@ Contract 测试用于验证每个已注册插件和渠道都符合其
|
||||
|
||||
### 何时运行
|
||||
|
||||
- 修改 plugin-sdk 导出或子路径之后
|
||||
- 添加或修改渠道或提供商插件之后
|
||||
- 重构插件注册或发现逻辑之后
|
||||
- 修改 plugin-sdk 导出或子路径后
|
||||
- 添加或修改渠道或提供商插件后
|
||||
- 重构插件注册或发现逻辑后
|
||||
|
||||
Contract 测试会在 CI 中运行,并且不需要真实 API 密钥。
|
||||
契约测试会在 CI 中运行,不需要真实 API 密钥。
|
||||
|
||||
## 添加回归测试(指导)
|
||||
## 添加回归测试(指南)
|
||||
|
||||
当你修复了一个在 live 中发现的提供商/模型问题时:
|
||||
当你修复一个在实时环境中发现的提供商/模型问题时:
|
||||
|
||||
- 如果可能,添加一个 CI 安全的回归测试(mock/stub 提供商,或者捕获精确的请求形状转换)
|
||||
- 如果它本质上只能在 live 中复现(限流、认证策略),请保持 live 测试足够窄,并通过环境变量选择性启用
|
||||
- 优先定位到能捕获该 Bug 的最小层:
|
||||
- 提供商请求转换/重放 Bug → direct models 测试
|
||||
- Gateway 网关会话/历史/工具流水线 Bug → Gateway 网关 live 冒烟或 CI 安全的 Gateway 网关 mock 测试
|
||||
- SecretRef 遍历防护:
|
||||
- 如果可能,添加一个 CI 安全的回归测试(模拟/存根提供商,或捕获准确的请求形状转换)
|
||||
- 如果它本质上只能在实时环境中复现(速率限制、认证策略),就保持该实时测试范围狭窄,并通过环境变量按需启用
|
||||
- 优先瞄准能捕获该缺陷的最小层级:
|
||||
- 提供商请求转换/回放缺陷 → 直接模型测试
|
||||
- Gateway 网关会话/历史/工具流水线缺陷 → Gateway 网关实时冒烟测试或 CI 安全的 Gateway 网关模拟测试
|
||||
- SecretRef 遍历护栏:
|
||||
- `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据(`listSecretTargetRegistryEntries()`)中为每个 SecretRef 类派生一个采样目标,然后断言遍历段 exec id 会被拒绝。
|
||||
- 如果你在 `src/secrets/target-registry-data.ts` 中新增了一个 `includeInPlan` SecretRef 目标族,请更新该测试中的 `classifyTargetClass`。该测试会在出现未分类的目标 id 时故意失败,以防新的类别被悄悄跳过。
|
||||
- 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标家族,请更新该测试中的 `classifyTargetClass`。该测试会刻意在未分类目标 id 上失败,这样新类别就不能被悄悄跳过。
|
||||
|
||||
Loading…
Reference in New Issue
Block a user