diff --git a/docs/zh-CN/help/testing.md b/docs/zh-CN/help/testing.md index 906bcce9d..ec95c4f13 100644 --- a/docs/zh-CN/help/testing.md +++ b/docs/zh-CN/help/testing.md @@ -1,28 +1,28 @@ --- read_when: - 在本地或 CI 中运行测试 - - 为模型/提供商 Bug 添加回归测试 + - 为模型/提供商缺陷添加回归测试 - 调试 Gateway 网关 + 智能体行为 -summary: 测试工具包：unit/e2e/live 测试套件、Docker 运行器，以及各项测试覆盖的内容 +summary: 测试工具包：单元/e2e/实时测试套件、Docker 运行器，以及各项测试覆盖的内容 title: 测试 x-i18n: - generated_at: "2026-04-05T18:14:58Z" + generated_at: "2026-04-05T21:04:03Z" model: gpt-5.4 provider: openai - source_hash: 65305c0de33287f48f182bb9f276e4f3ba9cc49c65a54e115e1d77ec89f56ab7 + source_hash: f524700478e6f06f6afd3bdf4e88b482bb9615dcdf888cc22663cb3ef3cf8db9 source_path: help/testing.md workflow: 15 --- # 测试 -OpenClaw 有三个 Vitest 测试套件（unit/integration、e2e、live）以及一小组 Docker 运行器。 +OpenClaw 有三个 Vitest 测试套件（单元/集成、e2e、实时）以及一小组 Docker 运行器。 本文档是一份“我们如何测试”的指南： - 每个测试套件覆盖什么内容（以及它刻意 _不_ 覆盖什么） - 常见工作流应运行哪些命令（本地、推送前、调试） -- live 测试如何发现凭证并选择模型/提供商 +- 实时测试如何发现凭证并选择模型/提供商 - 如何为真实世界中的模型/提供商问题添加回归测试 ## 快速开始 @@ -30,70 +30,69 @@ OpenClaw 有三个 Vitest 测试套件（unit/integration、e2e、live）以及 大多数时候： - 完整门禁（预期在推送前运行）：`pnpm build && pnpm check && pnpm test` -- 在配置充裕的机器上更快地运行本地完整测试套件：`pnpm test:max` -- 直接使用 Vitest 监视循环（现代 projects 配置）：`pnpm test:watch` -- 直接按文件定位现在也会路由扩展/渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` +- 在资源充足的机器上更快地运行本地全套测试：`pnpm test:max` +- 直接使用 Vitest 监视循环（现代项目配置）：`pnpm test:watch` +- 现在也支持直接按文件定位扩展/渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` -当你改动了测试或想获得更高信心时： +当你修改了测试或想要更高把握时： - 覆盖率门禁：`pnpm test:coverage` - E2E 测试套件：`pnpm test:e2e` 当你在调试真实提供商/模型时（需要真实凭证）： -- Live 测试套件（模型 + Gateway 网关工具/图像探测）：`pnpm test:live` -- 安静地只跑一个 live 文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` +- 实时测试套件（模型 + Gateway 网关工具/图像探测）：`pnpm test:live` +- 安静地只跑一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` -提示：当你只需要一个失败用例时，优先使用下文描述的 allowlist 环境变量来缩小 live 测试范围。 +提示：当你只需要一个失败用例时，优先使用下文介绍的 allowlist 环境变量来缩小实时测试范围。 ## 测试套件（各自在哪里运行） -可以把这些测试套件理解为“真实度逐步提升”（同时不稳定性/成本也逐步提升）： +可以把这些测试套件理解为“真实程度逐步增加”（同时不稳定性/成本也逐步增加）： -### Unit / integration（默认） +### 单元 / 集成（默认） - 命令：`pnpm test` - 配置：通过 `vitest.config.ts` 使用原生 Vitest `projects` -- 文件：`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的 core/unit 测试清单，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` node 测试 +- 文件：`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的核心/单元测试清单，以及由 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试 - 范围： - 纯单元测试 - 进程内集成测试（Gateway 网关认证、路由、工具、解析、配置） - - 已知 Bug 的确定性回归测试 + - 针对已知缺陷的确定性回归测试 - 预期： - 在 CI 中运行 - 不需要真实密钥 - 应该快速且稳定 -- Projects 说明： +- 项目说明： - `pnpm test`、`pnpm test:watch` 和 `pnpm test:changed` 现在都使用相同的原生 Vitest 根 `projects` 配置。 - - 直接文件过滤现在会原生通过根项目图进行路由，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 无需自定义包装器即可运行。 -- Embedded runner 说明： + - 直接文件过滤现在会通过根项目图原生路由，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 无需自定义包装器即可运行。 +- 嵌入式运行器说明： - 当你修改消息工具发现输入或压缩运行时上下文时， 需要同时保留两个层级的覆盖。 - - 为纯路由/规范化边界添加聚焦的辅助回归测试。 - - 同时也要保持 embedded runner 集成测试套件健康： + - 为纯路由/归一化边界添加聚焦的辅助函数回归测试。 + - 同时也要保持嵌入式运行器集成测试套件健康： `src/agents/pi-embedded-runner/compact.hooks.test.ts`、 - `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和 + `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts`，以及 `src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。 - - 这些测试套件会验证带作用域的 id 和压缩行为仍然会通过真实的 - `run.ts` / `compact.ts` 路径流转；仅有 helper 测试 - 不足以替代这些集成路径。 -- Pool 说明： + - 这些套件验证带作用域的 id 和压缩行为仍然会通过真实的 `run.ts` / `compact.ts` 路径流转；仅有辅助函数级别的测试 + 不能充分替代这些集成路径。 +- 进程池说明： - 基础 Vitest 配置现在默认使用 `threads`。 - - 共享 Vitest 配置还固定了 `isolate: false`，并在根 projects、e2e 和 live 配置中使用非隔离运行器。 - - 根 UI 通道仍保留其 `jsdom` 设置和优化器，但现在也在共享的非隔离运行器上运行。 - - `pnpm test` 现在会从根 `vitest.config.ts` 的 projects 配置继承相同的 `threads` + `isolate: false` 默认值。 - - 共享的 `scripts/run-vitest.mjs` 启动器现在也会默认为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与原始 V8 行为对比，可设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 -- 本地快速迭代说明： - - `pnpm test:changed` 会用 `--changed origin/main` 运行原生 projects 配置。 - - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的原生 projects 配置，只是提高了 worker 上限。 - - 本地 worker 自动扩缩容现在有意更保守，并且当主机平均负载已经较高时也会回退，因此默认情况下多个并发 Vitest 运行造成的影响更小。 - - 基础 Vitest 配置会将 projects/config 文件标记为 `forceRerunTriggers`，以便在测试接线发生变化时，changed 模式下的重跑仍然正确。 - - 配置会在受支持主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你想为直接性能分析指定一个显式缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 + - 共享 Vitest 配置还固定了 `isolate: false`，并在根项目、e2e 和实时配置中使用非隔离运行器。 + - 根 UI 通道仍保留其 `jsdom` 设置和优化器，但现在也运行在共享的非隔离运行器上。 + - `pnpm test` 会从根 `vitest.config.ts` 的项目配置继承相同的 `threads` + `isolate: false` 默认值。 + - 共享的 `scripts/run-vitest.mjs` 启动器现在还会默认为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与原生 V8 行为进行比较，请设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 +- 快速本地迭代说明： + - `pnpm test:changed` 现在使用原生项目配置并带上 `--changed origin/main`。 + - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的原生项目配置，只是提高了 worker 上限。 + - 本地 worker 自动缩放现在刻意更保守，并且当主机平均负载已经较高时也会回退，因此默认情况下多个并发 Vitest 运行对系统的影响会更小。 + - 基础 Vitest 配置会将项目/配置文件标记为 `forceRerunTriggers`，这样在测试接线变更时，changed 模式的重跑仍然是正确的。 + - 配置会在受支持的主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你想为直接性能分析指定一个显式缓存位置，请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 - 性能调试说明： - - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入明细输出。 - - `pnpm test:perf:imports:changed` 会将相同的分析视图限定到相对 `origin/main` 已变更的文件。 + - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告和导入拆分输出。 + - `pnpm test:perf:imports:changed` 会将相同的分析视图限定到相对 `origin/main` 发生变化的文件。 - `pnpm test:perf:profile:main` 会为 Vitest/Vite 启动和 transform 开销写出主线程 CPU profile。 - - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为 unit 测试套件写出 runner CPU + heap profile。 + - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为单元测试套件写出运行器 CPU + 堆 profile。 ### E2E（Gateway 网关冒烟） @@ -101,179 +100,179 @@ OpenClaw 有三个 Vitest 测试套件（unit/integration、e2e、live）以及 - 配置：`vitest.e2e.config.ts` - 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts` - 运行时默认值： - - 使用 Vitest `threads` 且 `isolate: false`，与仓库其余部分保持一致。 + - 使用带 `isolate: false` 的 Vitest `threads`，与仓库其余部分保持一致。 - 使用自适应 worker（CI：最多 2 个，本地：默认 1 个）。 - 默认以静默模式运行，以减少控制台 I/O 开销。 - 常用覆盖项： - - `OPENCLAW_E2E_WORKERS=` 强制指定 worker 数量（上限为 16）。 - - `OPENCLAW_E2E_VERBOSE=1` 重新启用详细控制台输出。 + - `OPENCLAW_E2E_WORKERS=`：强制指定 worker 数量（上限为 16）。 + - `OPENCLAW_E2E_VERBOSE=1`：重新启用详细控制台输出。 - 范围： - 多实例 Gateway 网关端到端行为 - WebSocket/HTTP 接口、节点配对以及更重的网络交互 - 预期： - 在 CI 中运行（当流水线启用时） - 不需要真实密钥 - - 比单元测试有更多活动部件（可能更慢） + - 比单元测试包含更多活动部件（可能更慢） ### E2E：OpenShell 后端冒烟 - 命令：`pnpm test:e2e:openshell` - 文件：`test/openshell-sandbox.e2e.test.ts` - 范围： - - 通过 Docker 在宿主机上启动一个隔离的 OpenShell Gateway 网关 - - 从一个临时本地 Dockerfile 创建沙箱 + - 通过 Docker 在主机上启动一个隔离的 OpenShell Gateway 网关 + - 从临时本地 Dockerfile 创建一个沙箱 - 通过真实的 `sandbox ssh-config` + SSH exec 运行 OpenClaw 的 OpenShell 后端 - - 通过沙箱 fs bridge 验证远端规范文件系统行为 + - 通过沙箱 fs bridge 验证远程规范化文件系统行为 - 预期： - - 仅限选择性启用；不属于默认 `pnpm test:e2e` 运行的一部分 - - 需要本地 `openshell` CLI 和可用的 Docker daemon + - 仅按需启用；不属于默认的 `pnpm test:e2e` 运行 + - 需要本地 `openshell` CLI 和可用的 Docker 守护进程 - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 Gateway 网关和沙箱 - 常用覆盖项： - - `OPENCLAW_E2E_OPENSHELL=1`，在手动运行更广泛的 e2e 测试套件时启用该测试 - - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`，指向非默认 CLI 二进制或包装脚本 + - `OPENCLAW_E2E_OPENSHELL=1`：在手动运行更广泛的 e2e 测试套件时启用此测试 + - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`：指向非默认的 CLI 二进制或包装脚本 -### Live（真实提供商 + 真实模型） +### 实时（真实提供商 + 真实模型） - 命令：`pnpm test:live` - 配置：`vitest.live.config.ts` - 文件：`src/**/*.live.test.ts` - 默认：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`） - 范围： - - “这个提供商/模型 _今天_ 在真实凭证下是否确实能工作？” - - 捕获提供商格式变化、工具调用怪癖、认证问题和限流行为 + - “这个提供商/模型今天是否真的能用真实凭证正常工作？” + - 捕获提供商格式变更、工具调用怪癖、认证问题和速率限制行为 - 预期： - - 按设计不保证 CI 稳定（真实网络、真实提供商策略、配额、故障） - - 会花钱 / 消耗限流额度 - - 优先运行缩小范围的子集，而不是“全部” -- Live 运行会读取 `~/.profile` 以获取缺失的 API 密钥。 -- 默认情况下，live 运行仍会隔离 `HOME`，并把配置/认证材料复制到临时测试 home 中，这样 unit fixture 就不能修改你真实的 `~/.openclaw`。 -- 只有当你明确需要 live 测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 -- `pnpm test:live` 现在默认更安静：它会保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静音 Gateway 网关启动日志/Bonjour 噪声。如果你想恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 -- API 密钥轮换（提供商特定）：设置 `*_API_KEYS`（逗号/分号格式）或 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），或者通过 `OPENCLAW_LIVE_*_KEY` 做每个 live 运行的单独覆盖；测试会在收到限流响应时重试。 + - 按设计并不具备 CI 稳定性（真实网络、真实提供商策略、配额、故障） + - 会花钱 / 消耗速率限制 + - 优先运行缩小后的子集，而不是“全部” +- 实时运行会读取 `~/.profile` 以补齐缺失的 API 密钥。 +- 默认情况下，实时运行仍会隔离 `HOME`，并将配置/认证材料复制到临时测试 home 中，这样单元测试夹具就不会修改你真实的 `~/.openclaw`。 +- 只有当你明确需要实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 +- `pnpm test:live` 现在默认使用更安静的模式：会保留 `[live] ...` 进度输出，但会抑制额外的 `~/.profile` 提示，并静默 Gateway 网关引导日志/Bonjour 噪声。如果你想恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 +- API 密钥轮换（提供商特定）：设置 `*_API_KEYS`，使用逗号/分号格式，或设置 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），也可以通过 `OPENCLAW_LIVE_*_KEY` 为单次实时运行覆盖；测试在遇到速率限制响应时会重试。 - 进度/心跳输出： - - Live 测试套件现在会向 stderr 输出进度行，因此即使 Vitest 控制台捕获较安静，长时间的提供商调用也能明显看出仍在活动。 - - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，以便提供商/Gateway 网关进度行在 live 运行期间立即流式输出。 - - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整 direct-model 心跳。 + - 实时测试套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间的提供商调用也能明显显示仍在运行。 + - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，因此提供商/Gateway 网关进度行会在实时运行期间立即流式输出。 + - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型心跳。 - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关/探测心跳。 ## 我应该运行哪个测试套件？ -使用这张决策表： +使用这个决策表： - 编辑逻辑/测试：运行 `pnpm test`（如果改动较多，也运行 `pnpm test:coverage`） -- 触及 Gateway 网关网络 / WS 协议 / 配对：额外运行 `pnpm test:e2e` -- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行缩小范围的 `pnpm test:live` +- 修改 Gateway 网关网络 / WS 协议 / 配对：再加上 `pnpm test:e2e` +- 调试“我的 bot 挂了”/ 提供商特定故障 / 工具调用：运行缩小范围的 `pnpm test:live` -## Live：Android 节点能力扫查 +## 实时：Android 节点能力扫描 - 测试：`src/gateway/android-node.capabilities.live.test.ts` - 脚本：`pnpm android:test:integration` -- 目标：调用已连接 Android 节点当前**公布的每一条命令**，并断言命令契约行为。 +- 目标：调用已连接 Android 节点当前宣告的**每一条命令**，并断言命令契约行为。 - 范围： - - 预置/手动设置（该测试套件不会安装/运行/配对 app）。 - - 针对所选 Android 节点逐条执行 Gateway 网关 `node.invoke` 验证。 -- 必需的预设置： - - Android app 已连接并已与 Gateway 网关配对。 - - App 保持在前台。 - - 已授予你期望通过的能力所需的权限/采集同意。 -- 可选目标覆盖项： + - 预先满足条件/手动设置（测试套件不会安装/运行/配对应用）。 + - 针对所选 Android 节点逐条验证 Gateway 网关 `node.invoke`。 +- 必需的预先设置： + - Android 应用已连接并与 Gateway 网关配对。 + - 应用保持在前台。 + - 已授予你预期会通过的能力所需权限/采集同意。 +- 可选目标覆盖： - `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。 - `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。 - 完整 Android 设置详情：[Android App](/zh-CN/platforms/android) -## Live：模型冒烟（profile keys） +## 实时：模型冒烟（profile keys） -Live 测试分成两层，以便我们隔离故障： +实时测试被分成两层，以便我们隔离故障： -- “Direct model” 告诉我们，在给定密钥下，该提供商/模型是否至少能响应。 -- “Gateway smoke” 告诉我们，该模型的完整 Gateway 网关 + 智能体流水线是否工作（会话、历史、工具、沙箱策略等）。 +- “直接模型”告诉我们，提供商/模型使用给定密钥是否至少能回答。 +- “Gateway 网关冒烟”告诉我们，针对该模型，完整的 Gateway 网关 + 智能体流水线是否可工作（会话、历史、工具、沙箱策略等）。 -### 第 1 层：Direct model completion（无 Gateway 网关） +### 第 1 层：直接模型补全（无 Gateway 网关） - 测试：`src/agents/models.profiles.live.test.ts` - 目标： - 枚举已发现的模型 - 使用 `getApiKeyForModel` 选择你有凭证的模型 - - 为每个模型运行一个小型 completion（必要时附带定向回归） -- 如何启用： - - `pnpm test:live`（或者如果你直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） -- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）才会实际运行该测试套件；否则会跳过，以便让 `pnpm test:live` 聚焦在 Gateway 网关冒烟 + - 对每个模型运行一个小型补全（以及需要时的定向回归） +- 启用方式： + - `pnpm test:live`（或者如果直接调用 Vitest，则设 `OPENCLAW_LIVE_TEST=1`） +- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，是 modern 的别名）才会实际运行此套件；否则它会跳过，以便让 `pnpm test:live` 保持聚焦于 Gateway 网关冒烟 - 如何选择模型： - - `OPENCLAW_LIVE_MODELS=modern` 运行现代 allowlist（Opus/Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） + - `OPENCLAW_LIVE_MODELS=modern` 以运行现代 allowlist（Opus/Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_MODELS=all` 是现代 allowlist 的别名 - - 或者 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`（逗号分隔的 allowlist） + - 或 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`（逗号分隔 allowlist） - 如何选择提供商： - - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity"`（逗号分隔的 allowlist） + - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity"`（逗号分隔 allowlist） - 密钥来源： - 默认：profile 存储和环境变量回退 - - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅**使用 profile 存储 -- 存在原因： - - 将“提供商 API 坏了 / 密钥无效”和“Gateway 网关智能体流水线坏了”分开 - - 包含小型、隔离的回归测试（例如：OpenAI Responses/Codex Responses 推理重放 + 工具调用流） + - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制只使用 **profile 存储** +- 设立此层的原因： + - 将“提供商 API 坏了 / 密钥无效”和“Gateway 网关智能体流水线坏了”分离开 + - 容纳小型、隔离的回归测试（例如：OpenAI Responses/Codex Responses 推理回放 + 工具调用流程） -### 第 2 层：Gateway 网关 + dev 智能体冒烟（也就是 “@openclaw” 实际做的事） +### 第 2 层：Gateway 网关 + dev 智能体冒烟（即 “@openclaw” 实际做的事） - 测试：`src/gateway/gateway-models.profiles.live.test.ts` - 目标： - 启动一个进程内 Gateway 网关 - 创建/修补一个 `agent:dev:*` 会话（每次运行按模型覆盖） - 遍历带密钥的模型并断言： - - “有意义”的响应（无工具） - - 真实工具调用可用（read 探测） - - 可选的额外工具探测（exec+read 探测） - - OpenAI 回归路径（仅工具调用 → 后续跟进）继续可用 -- 探测细节（这样你可以快速解释失败原因）： - - `read` 探测：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 该文件后回显 nonce。 - - `exec+read` 探测：测试会要求智能体通过 `exec` 将 nonce 写入一个临时文件，然后再 `read` 回来。 - - 图像探测：测试会附加一个生成的 PNG（cat + 随机代码），并期望模型返回 `cat `。 + - 有“有意义”的响应（无工具） + - 真实工具调用可工作（read 探测） + - 可选额外工具探测（exec+read 探测） + - OpenAI 回归路径（仅工具调用 → 后续跟进）持续可用 +- 探测细节（便于你快速解释失败原因）： + - `read` 探测：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 该文件并将 nonce 回显回来。 + - `exec+read` 探测：测试会要求智能体通过 `exec` 将 nonce 写入临时文件，然后再 `read` 读取回来。 + - 图像探测：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 - 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。 -- 如何启用： - - `pnpm test:live`（或者如果你直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） +- 启用方式： + - `pnpm test:live`（或者如果直接调用 Vitest，则设 `OPENCLAW_LIVE_TEST=1`） - 如何选择模型： - 默认：现代 allowlist（Opus/Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是现代 allowlist 的别名 - - 或者设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来缩小范围 -- 如何选择提供商（避免“OpenRouter 全家桶”）： - - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,openai,anthropic,zai,minimax"`（逗号分隔的 allowlist） -- 在这个 live 测试中，工具 + 图像探测始终启用： + - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来缩小范围 +- 如何选择提供商（避免“OpenRouter 全部都测”）： + - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,openai,anthropic,zai,minimax"`（逗号分隔 allowlist） +- 工具 + 图像探测在这个实时测试中始终开启： - `read` 探测 + `exec+read` 探测（工具压力测试） - 当模型宣告支持图像输入时，会运行图像探测 - 流程（高层）： - 测试生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） - 通过 `agent` `attachments: [{ mimeType: "image/png", content: "" }]` 发送 - Gateway 网关将附件解析为 `images[]`（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） - - Embedded agent 将多模态用户消息转发给模型 - - 断言：回复包含 `cat` + 该代码（OCR 容错：允许轻微错误） + - 嵌入式智能体向模型转发一条多模态用户消息 + - 断言：回复包含 `cat` + 该代码（OCR 容忍：允许轻微错误） -提示：如果你想查看在自己的机器上可以测试什么（以及精确的 `provider/model` id），请运行： +提示：若想查看你机器上可以测试什么（以及准确的 `provider/model` id），请运行： ```bash openclaw models list openclaw models list --json ``` -## Live：ACP 绑定冒烟（`/acp spawn ... --bind here`） +## 实时：ACP 绑定冒烟（`/acp spawn ... --bind here`） - 测试：`src/gateway/gateway-acp-bind.live.test.ts` -- 目标：用一个 live ACP 智能体验证真实的 ACP 会话绑定流程： +- 目标：使用实时 ACP 智能体验证真实 ACP 会话绑定流程： - 发送 `/acp spawn --bind here` - - 原地绑定一个合成的 message-channel 会话 - - 在同一会话上发送一条普通的后续消息 - - 验证该后续消息会落入已绑定的 ACP 会话 transcript 中 + - 就地绑定一个合成的消息渠道会话 + - 在同一会话上发送一条普通后续消息 + - 验证后续消息落入已绑定的 ACP 会话转录中 - 启用： - `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts` - `OPENCLAW_LIVE_ACP_BIND=1` - 默认值： - ACP 智能体：`claude` - - 合成渠道：Slack 私信风格的会话上下文 + - 合成渠道：Slack 私信风格会话上下文 - ACP 后端：`acpx` - 覆盖项： - `OPENCLAW_LIVE_ACP_BIND_AGENT=claude` - `OPENCLAW_LIVE_ACP_BIND_AGENT=codex` - `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@'` - 说明： - - 该通道使用 Gateway 网关 `chat.send` 接口，并附带仅限管理员使用的合成 originating-route 字段，因此测试可以附着消息渠道上下文，而无需假装真的对外投递。 - - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会使用内置 `acpx` 插件的内建智能体注册表来选择 ACP harness 智能体。 + - 这一通道使用 Gateway 网关 `chat.send` 接口，并带有仅管理员可用的合成 originating-route 字段，这样测试就能附加消息渠道上下文，而无需假装对外发送。 + - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会使用内置 `acpx` 插件的内建智能体注册表来选择 ACP 测试智能体。 示例： @@ -283,7 +282,7 @@ OPENCLAW_LIVE_ACP_BIND=1 \ pnpm test:live src/gateway/gateway-acp-bind.live.test.ts ``` -Docker 配方： +Docker 用法： ```bash pnpm test:docker:live-acp-bind @@ -292,17 +291,17 @@ pnpm test:docker:live-acp-bind Docker 说明： - Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。 -- 它会读取 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，把 `acpx` 安装到可写的 npm prefix 中，然后在缺失时安装所请求的 live CLI（`@anthropic-ai/claude-code` 或 `@openai/codex`）。 -- 在 Docker 内，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，从而使 acpx 保留来自已读取 profile 的提供商环境变量，并传递给子 harness CLI。 +- 它会读取 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，把 `acpx` 安装到可写的 npm 前缀中，然后在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code` 或 `@openai/codex`）。 +- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 `acpx` 就能保留来自已读取 profile 的提供商环境变量，并将其传递给子 harness CLI。 -### 推荐的 live 配方 +### 推荐的实时测试配方 -缩小范围、显式的 allowlist 最快也最不容易不稳定： +缩小范围、显式的 allowlist 最快，也最不易出问题： -- 单模型，direct（无 Gateway 网关）： +- 单个模型，直接测试（无 Gateway 网关）： - `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts` -- 单模型，Gateway 网关冒烟： +- 单个模型，Gateway 网关冒烟： - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - 跨多个提供商的工具调用： @@ -315,15 +314,15 @@ Docker 说明： 说明： - `google/...` 使用 Gemini API（API 密钥）。 -- `google-antigravity/...` 使用 Antigravity OAuth bridge（类似 Cloud Code Assist 风格的智能体端点）。 +- `google-antigravity/...` 使用 Antigravity OAuth bridge（Cloud Code Assist 风格智能体端点）。 -## Live：模型矩阵（我们覆盖什么） +## 实时：模型矩阵（我们的覆盖范围） -没有固定的“CI 模型列表”（live 是可选启用的），但以下这些是**推荐**在带密钥的开发机器上定期覆盖的模型。 +没有固定的“CI 模型列表”（实时测试是按需启用的），但以下是在有密钥的开发机器上建议定期覆盖的模型。 ### 现代冒烟集（工具调用 + 图像） -这是我们期望持续可用的“常见模型”运行集： +这是我们期望持续保持可用的“常见模型”运行集合： - OpenAI（非 Codex）：`openai/gpt-5.4`（可选：`openai/gpt-5.4-mini`） - OpenAI Codex：`openai-codex/gpt-5.4` @@ -346,64 +345,64 @@ Docker 说明： - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` -可选的额外覆盖（有的话更好）： +可选的额外覆盖（有更好，没有也可以）： - xAI：`xai/grok-4`（或最新可用版本） -- Mistral：`mistral/`…（选择一个你已启用、支持 “tools” 的模型） -- Cerebras：`cerebras/`…（如果你有访问权限） +- Mistral：`mistral/`…（选一个你已启用的支持 “tools” 的模型） +- Cerebras：`cerebras/`…（如果你有权限） - LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式） -### Vision：发送图像（附件 → 多模态消息） +### 视觉：图像发送（附件 → 多模态消息） 在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude/Gemini/OpenAI 的视觉变体等），以触发图像探测。 ### 聚合器 / 替代 Gateway 网关 -如果你启用了相应密钥，我们也支持通过以下方式测试： +如果你已启用相应密钥，我们也支持通过以下方式测试： -- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 找出支持 tool+image 的候选项） +- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选模型） - OpenCode：`opencode/...` 用于 Zen，`opencode-go/...` 用于 Go（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） -如果你有凭证/配置，还可以把更多提供商加入 live 矩阵： +如果你有凭证/配置，还可以在实时矩阵中加入更多提供商： - 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot` - 通过 `models.providers`（自定义端点）：`minimax`（云/API），以及任何兼容 OpenAI/Anthropic 的代理（LM Studio、vLLM、LiteLLM 等） -提示：不要试图在文档里硬编码“所有模型”。权威列表始终是你机器上 `discoverModels(...)` 的返回结果 + 当前可用的密钥。 +提示：不要试图在文档中硬编码“所有模型”。权威列表应始终以你机器上的 `discoverModels(...)` 返回结果以及可用密钥为准。 ## 凭证（绝不要提交） -Live 测试发现凭证的方式与 CLI 相同。实际含义如下： +实时测试发现凭证的方式与 CLI 相同。实际含义如下： -- 如果 CLI 可用，live 测试应该能找到相同的密钥。 -- 如果 live 测试提示“无凭证”，请像调试 `openclaw models list` / 模型选择那样调试。 +- 如果 CLI 能正常工作，实时测试应能找到相同的密钥。 +- 如果实时测试提示“没有凭证”，就像排查 `openclaw models list` / 模型选择那样去调试。 -- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是 live 测试中 “profile keys” 的含义） +- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试中 “profile keys” 的含义） - 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`） -- 旧版状态目录：`~/.openclaw/credentials/`（若存在，会被复制到暂存的 live home 中，但这不是主 profile-key 存储） -- 本地 live 运行默认会把当前配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到一个临时测试 home 中；在这个暂存配置里，`agents.*.workspace` / `agentDir` 路径覆盖会被移除，从而保证探测不会触及你真实宿主机工作区。 +- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时 home 中，但它不是主要的 profile-key 存储） +- 本地实时运行默认会将当前配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到临时测试 home 中；在该暂存配置里，会移除 `agents.*.workspace` / `agentDir` 路径覆盖项，以便探测不会落到你的真实主机工作区上。 -如果你想依赖环境变量密钥（例如导出在你的 `~/.profile` 中），请在本地测试前运行 `source ~/.profile`，或者使用下面的 Docker 运行器（它们可以把 `~/.profile` 挂载进容器）。 +如果你想依赖环境变量密钥（例如导出在你的 `~/.profile` 中），请在 `source ~/.profile` 之后再运行本地测试，或者使用下文的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 -## Deepgram live（音频转写） +## Deepgram 实时测试（音频转录） - 测试：`src/media-understanding/providers/deepgram/audio.live.test.ts` - 启用：`DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live src/media-understanding/providers/deepgram/audio.live.test.ts` -## BytePlus 编码计划 live +## BytePlus（国际版）编码计划实时测试 - 测试：`src/agents/byteplus.live.test.ts` - 启用：`BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live src/agents/byteplus.live.test.ts` - 可选模型覆盖：`BYTEPLUS_CODING_MODEL=ark-code-latest` -## 图像生成 live +## 图像生成实时测试 - 测试：`src/image-generation/runtime.live.test.ts` - 命令：`pnpm test:live src/image-generation/runtime.live.test.ts` - 范围： - 枚举每个已注册的图像生成提供商插件 - 在探测前从你的登录 shell（`~/.profile`）加载缺失的提供商环境变量 - - 默认优先使用 live/env API 密钥，而不是存储的 auth profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实 shell 凭证 + - 默认优先使用实时/环境变量 API 密钥，而不是已存储的认证 profile，这样 `auth-profiles.json` 中过期的测试密钥就不会掩盖真实 shell 凭证 - 跳过没有可用认证/profile/模型的提供商 - 通过共享运行时能力运行标准图像生成变体： - `google:flash-generate` @@ -418,156 +417,160 @@ Live 测试发现凭证的方式与 CLI 相同。实际含义如下： - `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-1,google/gemini-3.1-flash-image-preview"` - `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile 存储认证并忽略仅环境变量的覆盖 -## Docker 运行器（可选的“在 Linux 中可运行”检查） +## Docker 运行器（可选的“在 Linux 上可用”检查） 这些 Docker 运行器分为两类： -- Live-model 运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行各自匹配的 profile-key live 文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），并挂载你的本地配置目录和工作区（如果已挂载，也会读取 `~/.profile`）。相应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 -- Docker live 运行器默认有更小的冒烟上限，以便完整的 Docker 扫查仍然实用： - `test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，并且 - `test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 +- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 仅在仓库 Docker 镜像内运行各自匹配的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），并挂载你的本地配置目录和工作区（如果挂载了 `~/.profile` 也会读取它）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 +- Docker 实时运行器默认带有更小的冒烟上限，以便完整的 Docker 扫描仍然可行： + `test:docker:live-models` 默认使用 `OPENCLAW_LIVE_MAX_MODELS=12`，而 + `test:docker:live-gateway` 默认使用 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、 - `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 和 + `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000`，以及 `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你 - 明确想进行更大范围的穷举扫描时，可覆盖这些环境变量。 -- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次 live Docker 镜像，然后在两个 live Docker 通道中复用它。 + 明确想执行更大范围的穷尽扫描时，可以覆盖这些环境变量。 +- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后在两个实时 Docker 通道中复用它。 - 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层级的集成路径。 -Live-model Docker 运行器还会只 bind-mount 所需的 CLI 认证 home（如果运行未缩小范围，则挂载所有受支持的），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 就可以刷新令牌，而不会修改宿主机认证存储： +实时模型 Docker 运行器还会只绑定挂载所需的 CLI 认证 home（如果运行未缩小范围，则挂载所有受支持的认证 home），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 就可以刷新 token，而不会修改主机上的认证存储： -- Direct models：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） +- 直接模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） - ACP 绑定冒烟：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） - Gateway 网关 + dev 智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） -- Open WebUI live 冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） +- Open WebUI 实时冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） - 新手引导向导（TTY，完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`） - Gateway 网关网络（两个容器，WS 认证 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） -- MCP 渠道桥接（带预置数据的 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） +- MCP 渠道桥接（带种子数据的 Gateway 网关 + stdio bridge + 原始 Claude 通知帧冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） - 插件（安装冒烟 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） -Live-model Docker 运行器还会将当前 checkout 以只读方式 bind-mount， -并将其暂存到容器内的一个临时工作目录中。这样既能保持运行时 -镜像精简，又仍然能针对你精确的本地源码/配置运行 Vitest。 -它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关 live 探测就不会在容器内 -启动真实的 Telegram/Discord/等渠道 worker。 -`test:docker:live-models` 仍然会运行 `pnpm test:live`，因此当你需要缩小范围或排除该 Docker 通道中的 -Gateway 网关 live 覆盖时，也请同时传入 +实时模型 Docker 运行器还会将当前 checkout 以只读方式绑定挂载， +并将其暂存到容器内的临时工作目录中。这样既能保持运行时 +镜像精简，又能让 Vitest 针对你本地精确的源码/配置运行。 +暂存步骤会跳过大型本地专用缓存和应用构建产物，例如 +`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地 `.build` 或 +Gradle 输出目录，因此 Docker 实时运行不会花几分钟去复制 +机器特定工件。 +它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关实时探测就不会在容器内 +启动真实的 Telegram/Discord 等渠道 worker。 +`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要缩小范围或排除 Gateway 网关 +实时覆盖时，也请同时透传 `OPENCLAW_LIVE_GATEWAY_*`。 -`test:docker:openwebui` 是更高层级的兼容性冒烟：它会启动一个 +`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个 启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器， 再针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器，通过 -Open WebUI 完成登录，验证 `/api/models` 会暴露 `openclaw/default`，然后通过 +Open WebUI 完成登录，验证 `/api/models` 暴露 `openclaw/default`，然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一条真实聊天请求。 -第一次运行可能会明显更慢，因为 Docker 可能需要拉取 -Open WebUI 镜像，而 Open WebUI 也可能需要完成自己的冷启动设置。 -这个通道需要可用的 live 模型密钥，而 `OPENCLAW_PROFILE_FILE` -（默认是 `~/.profile`）是在 Docker 化运行中提供该密钥的主要方式。 -成功运行会打印一小段 JSON 负载，例如 `{ "ok": true, "model": +首次运行可能明显更慢，因为 Docker 可能需要拉取 +Open WebUI 镜像，而且 Open WebUI 也可能需要完成自己的冷启动设置。 +这个通道需要一个可用的实时模型密钥，而 `OPENCLAW_PROFILE_FILE` +（默认 `~/.profile`）是在 Docker 化运行中提供该密钥的主要方式。 +成功运行会打印一小段 JSON 载荷，例如 `{ "ok": true, "model": "openclaw/default", ... }`。 -`test:docker:mcp-channels` 是有意设计成确定性的，不需要 -真实的 Telegram、Discord 或 iMessage 账号。它会启动一个带预置数据的 Gateway 网关 +`test:docker:mcp-channels` 是刻意设计为确定性的，不需要 +真实的 Telegram、Discord 或 iMessage 账号。它会启动一个带种子数据的 Gateway 网关 容器，再启动第二个容器来运行 `openclaw mcp serve`，然后 -验证路由后的会话发现、transcript 读取、附件元数据、 +验证路由后的会话发现、转录读取、附件元数据、 实时事件队列行为、出站发送路由，以及 Claude 风格的渠道 + -权限通知在真实 stdio MCP bridge 上的表现。通知检查 -会直接检查原始 stdio MCP frame，因此这个冒烟测试验证的是 bridge +权限通知是否通过真实的 stdio MCP bridge 正常工作。通知检查会 +直接检查原始 stdio MCP 帧，因此该冒烟测试验证的是 bridge 实际发出的内容，而不仅仅是某个特定客户端 SDK 恰好暴露出来的内容。 手动 ACP 自然语言线程冒烟（非 CI）： - `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel ...` -- 保留此脚本用于回归/调试工作流。它未来仍可能用于 ACP 线程路由验证，因此不要删除它。 +- 保留此脚本用于回归/调试工作流。它未来可能还会再次用于 ACP 线程路由验证，因此不要删除。 -常用环境变量： +有用的环境变量： - `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`）挂载到 `/home/node/.openclaw` - `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`）挂载到 `/home/node/.openclaw/workspace` - `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前读取 -- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于缓存 Docker 内部的 CLI 安装 -- `$HOME` 下的外部 CLI 认证目录/文件会以只读方式挂载到 `/host-auth...` 下，然后在测试开始前复制到 `/home/node/...` - - 默认目录：`.codex`、`.minimax` - - 默认文件：`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json` - - 已缩小提供商范围的运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的必需目录/文件 - - 可通过 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none` 或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表手动覆盖 +- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于 Docker 内部缓存 CLI 安装 +- `$HOME` 下的外部 CLI 认证目录/文件会以只读方式挂载到 `/host-auth...`，然后在测试启动前复制到 `/home/node/...` + - 默认目录：`.minimax` + - 默认文件：`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json` + - 缩小提供商范围的运行只会挂载根据 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的必需目录/文件 + - 手动覆盖方式：`OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或逗号列表如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` - `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围 -- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内筛选提供商 -- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 确保凭证来自 profile 存储（而不是环境变量） -- `OPENCLAW_OPENWEBUI_MODEL=...` 选择 Gateway 网关为 Open WebUI 冒烟暴露的模型 -- `OPENCLAW_OPENWEBUI_PROMPT=...` 覆盖 Open WebUI 冒烟使用的 nonce 检查提示词 -- `OPENWEBUI_IMAGE=...` 覆盖固定的 Open WebUI 镜像标签 +- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器中筛选提供商 +- `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 以确保凭证来自 profile 存储（而非环境变量） +- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 Gateway 网关向 Open WebUI 冒烟测试暴露的模型 +- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词 +- `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签 ## 文档完整性检查 编辑文档后运行文档检查：`pnpm check:docs`。 -当你还需要进行页内标题检查时，运行完整的 Mintlify anchor 验证：`pnpm docs:check-links:anchors`。 +如果你还需要检查页内标题锚点，请运行完整的 Mintlify 锚点验证：`pnpm docs:check-links:anchors`。 ## 离线回归（CI 安全） -这些是在没有真实提供商的情况下进行的“真实流水线”回归测试： +这些是在不使用真实提供商的情况下，针对“真实流水线”的回归测试： -- Gateway 网关工具调用（mock OpenAI，真实 Gateway 网关 + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） +- Gateway 网关工具调用（模拟 OpenAI，真实 Gateway 网关 + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） - Gateway 网关向导（WS `wizard.start`/`wizard.next`，强制写入配置 + 认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） ## 智能体可靠性评估（Skills） -我们已经有一些 CI 安全的测试，行为上类似“智能体可靠性评估”： +我们已经有一些 CI 安全的测试，它们的行为类似“智能体可靠性评估”： -- 通过真实的 Gateway 网关 + 智能体循环进行 mock 工具调用（`src/gateway/gateway.test.ts`）。 -- 验证会话接线与配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。 +- 通过真实 Gateway 网关 + 智能体循环进行模拟工具调用（`src/gateway/gateway.test.ts`）。 +- 验证会话接线和配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。 -对于 Skills（见 [Skills](/zh-CN/tools/skills)），目前仍缺少： +对于 Skills，我们仍然缺少的内容（参见 [Skills](/zh-CN/tools/skills)）： -- **决策能力：** 当提示词中列出了 skill 时，智能体是否会选择正确的 skill（或避开无关的 skill）？ -- **合规性：** 智能体在使用前是否会读取 `SKILL.md`，并遵循要求的步骤/参数？ -- **工作流契约：** 断言工具顺序、会话历史延续以及沙箱边界的多轮场景。 +- **决策能力：** 当 Skills 列在提示中时，智能体是否会选择正确的 skill（或避免选择无关的 skill）？ +- **合规性：** 智能体是否会在使用前读取 `SKILL.md`，并遵循所需步骤/参数？ +- **工作流契约：** 断言工具顺序、会话历史延续和沙箱边界的多轮场景。 -未来的评估应优先保持确定性： +未来的评估应首先保持确定性： -- 一个使用 mock 提供商的场景运行器，用于断言工具调用 + 顺序、skill 文件读取以及会话接线。 -- 一小组聚焦 skill 的场景（应使用 vs 应避免、门控、提示注入）。 -- 可选的 live 评估（选择性启用、由环境变量控制）应在 CI 安全套件就位后再添加。 +- 一个使用模拟提供商的场景运行器，用于断言工具调用 + 顺序、skill 文件读取以及会话接线。 +- 一小套以 skill 为中心的场景（该用还是不该用、门控、提示注入）。 +- 仅在 CI 安全套件完善之后，再添加可选的实时评估（按需启用、受环境变量控制）。 -## Contract 测试（插件和渠道形状） +## 契约测试（插件和渠道形状） -Contract 测试用于验证每个已注册插件和渠道都符合其 -接口契约。它们会遍历所有已发现插件，并运行一组 -形状和行为断言。默认的 `pnpm test` unit 通道会有意 -跳过这些共享 seam 和 smoke 文件；当你修改共享渠道或提供商接口时， -请显式运行这些 contract 命令。 +契约测试用于验证每个已注册的插件和渠道都符合其 +接口契约。它们会遍历所有已发现的插件，并运行一组 +针对形状和行为的断言。默认的 `pnpm test` 单元通道会刻意 +跳过这些共享接缝和冒烟文件；当你修改共享渠道或提供商表面时， +请显式运行契约命令。 ### 命令 -- 所有 contract：`pnpm test:contracts` -- 仅渠道 contract：`pnpm test:contracts:channels` -- 仅提供商 contract：`pnpm test:contracts:plugins` +- 所有契约：`pnpm test:contracts` +- 仅渠道契约：`pnpm test:contracts:channels` +- 仅提供商契约：`pnpm test:contracts:plugins` -### 渠道 contract +### 渠道契约 位于 `src/channels/plugins/contracts/*.contract.test.ts`： - **plugin** - 基本插件形状（id、name、capabilities） - **setup** - 设置向导契约 - **session-binding** - 会话绑定行为 -- **outbound-payload** - 消息负载结构 +- **outbound-payload** - 消息载荷结构 - **inbound** - 入站消息处理 -- **actions** - 渠道操作处理器 +- **actions** - 渠道动作处理器 - **threading** - 线程 ID 处理 - **directory** - 目录/成员列表 API -- **group-policy** - 群组策略强制执行 +- **group-policy** - 群组策略执行 -### 提供商状态 contract +### 提供商状态契约 位于 `src/plugins/contracts/*.contract.test.ts`。 - **status** - 渠道状态探测 - **registry** - 插件注册表形状 -### 提供商 contract +### 提供商契约 位于 `src/plugins/contracts/*.contract.test.ts`： -- **auth** - 认证流契约 +- **auth** - 认证流程契约 - **auth-choice** - 认证选项/选择 - **catalog** - 模型目录 API - **discovery** - 插件发现 @@ -578,21 +581,21 @@ Contract 测试用于验证每个已注册插件和渠道都符合其 ### 何时运行 -- 修改 plugin-sdk 导出或子路径之后 -- 添加或修改渠道或提供商插件之后 -- 重构插件注册或发现逻辑之后 +- 修改 plugin-sdk 导出或子路径后 +- 添加或修改渠道或提供商插件后 +- 重构插件注册或发现逻辑后 -Contract 测试会在 CI 中运行，并且不需要真实 API 密钥。 +契约测试会在 CI 中运行，不需要真实 API 密钥。 -## 添加回归测试（指导） +## 添加回归测试（指南） -当你修复了一个在 live 中发现的提供商/模型问题时： +当你修复一个在实时环境中发现的提供商/模型问题时： -- 如果可能，添加一个 CI 安全的回归测试（mock/stub 提供商，或者捕获精确的请求形状转换） -- 如果它本质上只能在 live 中复现（限流、认证策略），请保持 live 测试足够窄，并通过环境变量选择性启用 -- 优先定位到能捕获该 Bug 的最小层： - - 提供商请求转换/重放 Bug → direct models 测试 - - Gateway 网关会话/历史/工具流水线 Bug → Gateway 网关 live 冒烟或 CI 安全的 Gateway 网关 mock 测试 -- SecretRef 遍历防护： +- 如果可能，添加一个 CI 安全的回归测试（模拟/存根提供商，或捕获准确的请求形状转换） +- 如果它本质上只能在实时环境中复现（速率限制、认证策略），就保持该实时测试范围狭窄，并通过环境变量按需启用 +- 优先瞄准能捕获该缺陷的最小层级： + - 提供商请求转换/回放缺陷 → 直接模型测试 + - Gateway 网关会话/历史/工具流水线缺陷 → Gateway 网关实时冒烟测试或 CI 安全的 Gateway 网关模拟测试 +- SecretRef 遍历护栏： - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言遍历段 exec id 会被拒绝。 - - 如果你在 `src/secrets/target-registry-data.ts` 中新增了一个 `includeInPlan` SecretRef 目标族，请更新该测试中的 `classifyTargetClass`。该测试会在出现未分类的目标 id 时故意失败，以防新的类别被悄悄跳过。 + - 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会刻意在未分类目标 id 上失败，这样新类别就不能被悄悄跳过。