From c168cbbdb17df629f1bc5ca6fd043795054dc487 Mon Sep 17 00:00:00 2001 From: "openclaw-docs-i18n[bot]" Date: Fri, 17 Apr 2026 15:09:01 +0000 Subject: [PATCH] chore(i18n): refresh zh-CN translations --- docs/zh-CN/concepts/qa-e2e-automation.md | 133 ++--- docs/zh-CN/help/testing.md | 708 +++++++++++------------ docs/zh-CN/refactor/qa.md | 313 +++++----- 3 files changed, 575 insertions(+), 579 deletions(-) diff --git a/docs/zh-CN/concepts/qa-e2e-automation.md b/docs/zh-CN/concepts/qa-e2e-automation.md index eb72239f5..672432639 100644 --- a/docs/zh-CN/concepts/qa-e2e-automation.md +++ b/docs/zh-CN/concepts/qa-e2e-automation.md @@ -1,43 +1,43 @@ --- read_when: - 扩展 qa-lab 或 qa-channel - - 添加由仓库支持的 QA 场景 - - 围绕 Gateway 网关仪表板构建更高真实性的 QA 自动化 -summary: 用于 qa-lab、qa-channel、种子场景和协议报告的私有 QA 自动化结构 + - 添加仓库支持的 QA 场景 + - 围绕 Gateway 网关仪表板构建更高真实度的 QA 自动化 +summary: qa-lab、qa-channel、种子场景和协议报告的私有 QA 自动化形态 title: QA 端到端自动化 x-i18n: - generated_at: "2026-04-17T01:26:34Z" + generated_at: "2026-04-17T15:05:29Z" model: gpt-5.4 provider: openai - source_hash: 51f97293c184d7c04c95d9858305668fbc0f93273f587ec7e54896ad5d603ab0 + source_hash: adf8c5f74e8fabdc8e9fd7ecd41afce8b60354c7dd24d92ac926d3c527927cd4 source_path: concepts/qa-e2e-automation.md workflow: 15 --- # QA 端到端自动化 -私有 QA 栈的目标是以比单个单元测试更贴近真实、更加符合渠道形态的方式来验证 OpenClaw。 +私有 QA 栈旨在以比单个单元测试更贴近真实渠道形态的方式来验证 OpenClaw。 当前组成部分： -- `extensions/qa-channel`：合成消息渠道，支持私信、频道、线程、表情回应、编辑和删除等交互面。 -- `extensions/qa-lab`：调试器 UI 和 QA 总线，用于观察转录内容、注入入站消息，以及导出 Markdown 报告。 -- `qa/`：由仓库支持的启动任务种子资源和基线 QA 场景。 +- `extensions/qa-channel`：合成消息渠道，包含私信、频道、线程、表情回应、编辑和删除等交互面。 +- `extensions/qa-lab`：调试器 UI 和 QA 总线，用于观察转录内容、注入入站消息以及导出 Markdown 报告。 +- `qa/`：用于启动任务和基线 QA 场景的仓库支持种子资源。 当前的 QA 操作流程是一个双窗格 QA 站点： - 左侧：带有智能体的 Gateway 网关仪表板（Control UI）。 -- 右侧：QA Lab，显示类似 Slack 的转录内容和场景计划。 +- 右侧：QA Lab，显示类 Slack 风格的转录内容和场景计划。 -运行方式： +使用以下命令运行： ```bash pnpm qa:lab:up ``` -这会构建 QA 站点、启动由 Docker 支持的 Gateway 网关测试通道，并暴露 QA Lab 页面，供操作员或自动化循环向智能体下达 QA 任务、观察真实渠道行为，并记录哪些内容成功、失败或仍然受阻。 +该命令会构建 QA 站点、启动基于 Docker 的 Gateway 网关测试通道，并暴露 QA Lab 页面，供操作员或自动化循环为智能体分配 QA 任务、观察真实渠道行为，并记录哪些成功、哪些失败、哪些仍受阻。 -如果你想更快地迭代 QA Lab UI，而不必每次都重建 Docker 镜像，可通过绑定挂载的 QA Lab bundle 启动整套堆栈： +如果你想更快地迭代 QA Lab UI，而不必每次都重建 Docker 镜像，可使用带有绑定挂载 QA Lab bundle 的方式启动整套栈： ```bash pnpm openclaw qa docker-build-image @@ -46,64 +46,67 @@ pnpm qa:lab:up:fast pnpm qa:lab:watch ``` -`qa:lab:up:fast` 会让 Docker 服务继续使用预构建镜像，并将 `extensions/qa-lab/web/dist` 绑定挂载到 `qa-lab` 容器中。`qa:lab:watch` 会在变更时重建该 bundle，而当 QA Lab 资源哈希变化时，浏览器会自动重新加载。 +`qa:lab:up:fast` 会让 Docker 服务继续使用预构建镜像，并将 `extensions/qa-lab/web/dist` 绑定挂载到 `qa-lab` 容器中。`qa:lab:watch` 会在变更时重建该 bundle，而当 QA Lab 资源哈希发生变化时，浏览器会自动重新加载。 -如果你想运行一个基于真实传输的 Matrix 烟雾测试通道，请执行： +如果要运行一个传输层真实的 Matrix 冒烟测试通道，请执行： ```bash pnpm openclaw qa matrix ``` -该通道会在 Docker 中预配一个一次性的 Tuwunel homeserver，注册临时的驱动、SUT 和观察者用户，创建一个私有房间，然后在 QA Gateway 网关子进程中运行真实的 Matrix 插件。这个实时传输通道会将子配置限定在被测传输范围内，因此 Matrix 会在子配置中不包含 `qa-channel` 的情况下运行。它会将结构化报告产物以及合并后的 stdout/stderr 日志写入所选的 Matrix QA 输出目录。若还想捕获外层 `scripts/run-node.mjs` 的构建/启动输出，可将 `OPENCLAW_RUN_NODE_OUTPUT_LOG=` 设置为仓库内的某个日志文件路径。 +该通道会在 Docker 中配置一个一次性的 Tuwunel homeserver，注册临时的驱动端、SUT 和观察者用户，创建一个私有房间，然后在 QA Gateway 网关子进程中运行真实的 Matrix 插件。这个实时传输测试通道会将子进程配置限定在被测传输协议范围内，因此 Matrix 会在不包含 `qa-channel` 的子进程配置下运行。它会将结构化报告产物以及合并后的 stdout/stderr 日志写入所选的 Matrix QA 输出目录。若还要捕获外层 `scripts/run-node.mjs` 的构建/启动输出，请将 `OPENCLAW_RUN_NODE_OUTPUT_LOG=` 设置为一个仓库内本地日志文件路径。 -如果你想运行一个基于真实传输的 Telegram 烟雾测试通道，请执行： +如果要运行一个传输层真实的 Telegram 冒烟测试通道，请执行： ```bash pnpm openclaw qa telegram ``` -该通道会面向一个真实的私有 Telegram 群组，而不是预配一次性服务器。它要求设置 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`，并要求两个不同的机器人位于同一个私有群组中。SUT 机器人必须具有 Telegram 用户名，而当两个机器人都在 `@BotFather` 中启用了 Bot-to-Bot Communication Mode 时，机器人之间的观察效果最佳。 +该通道会针对一个真实的私有 Telegram 群组，而不是配置一次性服务器。它要求设置 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`，并且需要两个不同的机器人位于同一个私有群组中。SUT 机器人必须具有 Telegram 用户名，并且当两个机器人都在 `@BotFather` 中启用了 Bot-to-Bot Communication Mode 时，机器人间观察效果最佳。 -实时传输通道现在共享一套更小的统一契约，而不是每条通道各自发明自己的场景列表结构： +实时传输测试通道现在共享同一个更小的契约，而不是各自定义自己的场景列表结构： -`qa-channel` 仍然是覆盖面广泛的合成产品行为测试套件，不属于实时传输覆盖矩阵的一部分。 +`qa-channel` 仍然是覆盖面更广的合成产品行为测试套件，不属于实时传输覆盖矩阵的一部分。 -| 通道 | Canary | 提及门控 | allowlist 拦截 | 顶层回复 | 重启恢复 | 线程跟进 | 线程隔离 | 表情回应观察 | 帮助命令 | -| ---- | ------ | -------- | -------------- | -------- | -------- | -------- | -------- | ------------ | -------- | -| Matrix | x | x | x | x | x | x | x | x | | -| Telegram | x | | | | | | | | x | +| 通道 | Canary | 提及门控 | Allowlist 拦截 | 顶层回复 | 重启恢复 | 线程跟进 | 线程隔离 | 表情回应观察 | Help 命令 | +| -------- | ------ | -------------- | --------------- | --------------- | -------------- | ---------------- | ---------------- | -------------------- | ------------ | +| Matrix | x | x | x | x | x | x | x | x | | +| Telegram | x | | | | | | | | x | -这使 `qa-channel` 保持为广泛的产品行为测试套件，而 Matrix、Telegram 以及未来的实时传输则共享一份明确的传输契约检查清单。 +这样可以让 `qa-channel` 继续作为广泛的产品行为测试套件，而 Matrix、Telegram 以及未来的实时传输协议则共享同一个明确的传输契约检查清单。 -如果你想运行一个一次性的 Linux VM 通道，并且不把 Docker 纳入 QA 路径，请执行： +如果要运行一个一次性的 Linux VM 测试通道，并且不把 Docker 引入 QA 路径中，请执行： ```bash pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline ``` -这会启动一个全新的 Multipass 来宾实例，在来宾中安装依赖、构建 OpenClaw、运行 `qa suite`，然后把常规 QA 报告和摘要复制回主机上的 `.artifacts/qa-e2e/...`。 -它会复用与主机上 `qa suite` 相同的场景选择行为。 -主机和 Multipass 的 suite 运行默认都会并行执行多个已选场景，并为每个场景使用隔离的 Gateway 网关 worker，最多 64 个 worker 或已选场景数，以较小者为准。使用 `--concurrency ` 可调整 worker 数量，或使用 `--concurrency 1` 进行串行执行。 -实时运行会转发适合来宾环境使用的受支持 QA 凭证输入：基于环境变量的提供商密钥、QA 实时提供商配置路径，以及在存在时的 `CODEX_HOME`。请将 `--output-dir` 保持在仓库根目录下，以便来宾能够通过挂载的工作区回写结果。 +这会启动一个全新的 Multipass guest，在 guest 内安装依赖、构建 OpenClaw、运行 `qa suite`，然后将常规 QA 报告和摘要复制回宿主机上的 `.artifacts/qa-e2e/...`。 +它会复用与宿主机上 `qa suite` 相同的场景选择行为。 +宿主机和 Multipass 套件运行默认都会使用隔离的 Gateway 网关工作进程并行执行多个已选场景，并发数最多为 64 个工作进程或所选场景数量。可使用 `--concurrency ` 调整工作进程数量，或使用 `--concurrency 1` 串行执行。 +实时运行会转发那些适合 guest 使用的受支持 QA 凭证输入：基于环境变量的提供商密钥、QA 实时提供商配置路径，以及存在时的 `CODEX_HOME`。请将 `--output-dir` 保持在仓库根目录下，以便 guest 能通过挂载的工作区写回结果。 -## 由仓库支持的种子资源 +## 仓库支持的种子 -种子资源位于 `qa/`： +种子资源位于 `qa/` 下： - `qa/scenarios/index.md` -- `qa/scenarios/*.md` +- `qa/scenarios//*.md` -这些内容会有意保存在 git 中，以便人类和智能体都能看到 QA 计划。 +这些文件有意保存在 git 中，这样 QA 计划对人类和智能体都可见。 -`qa-lab` 应保持为一个通用的 Markdown 运行器。每个场景 Markdown 文件都是一次测试运行的事实来源，并且应定义： +`qa-lab` 应保持为一个通用的 Markdown 运行器。每个场景 Markdown 文件都是一次测试运行的唯一事实来源，并且应定义： - 场景元数据 +- 可选的 category、capability、lane 和 risk 元数据 - 文档和代码引用 -- 可选的插件需求 +- 可选的插件要求 - 可选的 Gateway 网关配置补丁 - 可执行的 `qa-flow` -支持 `qa-flow` 的可复用运行时表面可以保持通用且跨领域。例如，Markdown 场景可以将传输侧辅助工具与浏览器侧辅助工具结合起来，通过 Gateway 网关的 `browser.request` 接缝驱动嵌入式 Control UI，而无需新增专用场景运行器。 +支撑 `qa-flow` 的可复用运行时表面可以保持通用且跨领域。例如，Markdown 场景可以组合传输侧辅助工具与浏览器侧辅助工具，后者通过 Gateway 网关 `browser.request` 接缝驱动嵌入式 Control UI，而无需添加特定场景运行器。 + +场景文件应按产品能力分组，而不是按源码树文件夹分组。文件移动时应保持场景 ID 稳定；使用 `docsRefs` 和 `codeRefs` 来追踪实现。 基线列表应足够广泛，以覆盖： @@ -111,47 +114,46 @@ pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline - 线程行为 - 消息动作生命周期 - cron 回调 -- 记忆召回 +- memory recall - 模型切换 -- 子智能体交接 +- subagent 交接 - 读取仓库和读取文档 - 一个小型构建任务，例如 Lobster Invaders ## 提供商 mock 通道 -`qa suite` 有两条本地提供商 mock 通道： +`qa suite` 有两个本地提供商 mock 通道： -- `mock-openai` 是面向场景的 OpenClaw mock。它仍然是用于由仓库支持的 QA 和一致性门禁的默认确定性 mock 通道。 -- `aimock` 会启动一个由 AIMock 支持的提供商服务器，用于实验性的协议、夹具、录制/回放和混沌覆盖。它是附加能力，不替代 `mock-openai` 的场景分发器。 +- `mock-openai` 是具备场景感知能力的 OpenClaw mock。它仍然是仓库支持 QA 和一致性门禁的默认确定性 mock 通道。 +- `aimock` 会启动一个基于 AIMock 的提供商服务器，用于实验性的协议、夹具、录制/回放和混沌测试覆盖。它是增量补充，不替代 `mock-openai` 场景分发器。 -提供商通道实现位于 `extensions/qa-lab/src/providers/` 下。 -每个提供商都拥有自己的默认设置、本地服务器启动方式、Gateway 网关模型配置、凭证配置文件暂存需求，以及实时/mock 能力标志。共享的 suite 和 Gateway 网关代码应通过提供商注册表进行路由，而不是根据提供商名称分支。 +提供商通道实现位于 `extensions/qa-lab/src/providers/` 下。每个提供商负责自己的默认值、本地服务器启动、Gateway 网关模型配置、auth profile 暂存需求，以及实时/mock 能力标志。共享套件和 Gateway 网关代码应通过提供商注册表进行路由，而不是根据提供商名称分支。 ## 传输适配器 -`qa-lab` 拥有一个面向 Markdown QA 场景的通用传输接缝。 -`qa-channel` 是该接缝上的第一个适配器，但设计目标更广：未来的真实或合成渠道都应接入同一个 suite 运行器，而不是新增一个传输专用的 QA 运行器。 +`qa-lab` 为 Markdown QA 场景提供一个通用传输接缝。 +`qa-channel` 是这个接缝上的第一个适配器，但设计目标更广：未来无论是真实渠道还是合成渠道，都应插入同一个 suite 运行器，而不是新增一个传输专用的 QA 运行器。 -在架构层面，拆分如下： +从架构层面看，拆分如下： -- `qa-lab` 负责通用场景执行、worker 并发、产物写入和报告。 -- 传输适配器负责 Gateway 网关配置、就绪性、入站与出站观察、传输动作以及规范化的传输状态。 -- `qa/scenarios/` 下的 Markdown 场景文件定义测试运行；`qa-lab` 提供执行它们的可复用运行时表面。 +- `qa-lab` 负责通用场景执行、工作进程并发、产物写入和报告生成。 +- 传输适配器负责 Gateway 网关配置、就绪性、入站与出站观察、传输动作以及标准化传输状态。 +- `qa/scenarios/` 下的 Markdown 场景文件定义测试运行；`qa-lab` 提供执行这些场景的可复用运行时表面。 -面向维护者的新渠道适配器接入指南位于 +面向维护者的新渠道适配器采用指南位于 [测试](/zh-CN/help/testing#adding-a-channel-to-qa)。 ## 报告 `qa-lab` 会根据观察到的总线时间线导出一份 Markdown 协议报告。 -这份报告应回答： +报告应回答： -- 哪些内容成功了 -- 哪些内容失败了 -- 哪些内容仍然受阻 +- 哪些成功了 +- 哪些失败了 +- 哪些仍然受阻 - 值得补充哪些后续场景 -对于角色和风格检查，可在多个实时模型引用上运行同一场景，并生成一份经评判的 Markdown 报告： +对于角色和风格检查，可在多个实时模型引用上运行同一场景，并写出一份经过评审的 Markdown 报告： ```bash pnpm openclaw qa character-eval \ @@ -170,21 +172,22 @@ pnpm openclaw qa character-eval \ --judge-concurrency 16 ``` -该命令运行的是本地 QA Gateway 网关子进程，而不是 Docker。角色评估场景应通过 `SOUL.md` 设置人格，然后执行普通用户轮次，例如聊天、工作区帮助和小型文件任务。候选模型不应被告知自己正在被评估。该命令会保留每份完整转录、记录基本运行统计信息，然后要求评审模型以快速模式和 `xhigh` 推理来按自然度、氛围感和幽默感对这些运行进行排序。 -在比较不同提供商时，请使用 `--blind-judge-models`：评审提示仍会获得每份转录和运行状态，但候选引用会被替换为中性标签，例如 `candidate-01`；报告会在解析完成后再将排名映射回真实引用。 -候选运行默认使用 `high` thinking，而对支持该能力的 OpenAI 模型则默认使用 `xhigh`。你可以通过 `--model provider/model,thinking=` 为某个候选项单独覆盖。`--thinking ` 仍然会设置全局后备值，而旧的 `--model-thinking ` 形式则为兼容性保留。 -OpenAI 候选引用默认启用快速模式，以便在提供商支持时使用优先处理。若单个候选项或评审模型需要覆盖，请内联添加 `,fast`、`,no-fast` 或 `,fast=false`。只有在你想为每个候选模型都强制开启快速模式时，才传入 `--fast`。候选和评审模型的耗时都会记录在报告中用于基准分析，但评审提示会明确说明不要按速度排名。 -候选和评审模型运行默认都使用并发数 16。当提供商限制或本地 Gateway 网关压力使运行噪声过大时，请降低 `--concurrency` 或 `--judge-concurrency`。 -当未传入候选 `--model` 时，角色评估默认使用 -`openai/gpt-5.4`、`openai/gpt-5.2`、`openai/gpt-5`、`anthropic/claude-opus-4-6`、`anthropic/claude-sonnet-4-6`、`zai/glm-5.1`、 +该命令运行的是本地 QA Gateway 网关子进程，而不是 Docker。角色评估场景应通过 `SOUL.md` 设置 persona，然后运行普通用户回合，例如聊天、工作区帮助和小型文件任务。候选模型不应被告知自己正在接受评估。该命令会保留每一份完整转录、记录基础运行统计信息，然后以快速模式要求评审模型使用 `xhigh` 推理，按自然度、氛围和幽默感对这些运行进行排序。 +在比较不同提供商时，请使用 `--blind-judge-models`：评审提示仍会获得每份转录和运行状态，但候选引用会被替换为中性标签，例如 `candidate-01`；解析后报告会将排序结果映射回真实引用。 +候选运行默认使用 `high` thinking，而支持该能力的 OpenAI 模型则默认使用 `xhigh`。你可以通过 `--model provider/model,thinking=` 内联覆盖某个特定候选项。`--thinking ` 仍然用于设置全局回退值，旧的 `--model-thinking ` 形式也会保留以兼容旧用法。 +OpenAI 候选引用默认启用快速模式，以便在提供商支持时使用优先处理。若某个单独候选项或评审项需要覆盖，请内联添加 `,fast`、`,no-fast` 或 `,fast=false`。只有当你想为所有候选模型强制开启快速模式时，才传入 `--fast`。候选项和评审项的耗时都会记录在报告中，用于基准分析，但评审提示会明确说明不要按速度排序。 +候选模型和评审模型运行的默认并发数都是 16。当提供商限制或本地 Gateway 网关压力导致运行噪声过大时，请降低 `--concurrency` 或 `--judge-concurrency`。 +当未传入候选 `--model` 时，character eval 默认使用 +`openai/gpt-5.4`、`openai/gpt-5.2`、`openai/gpt-5`、`anthropic/claude-opus-4-6`、 +`anthropic/claude-sonnet-4-6`、`zai/glm-5.1`、 `moonshot/kimi-k2.5` 和 `google/gemini-3.1-pro-preview`。 -当未传入 `--judge-model` 时，评审默认使用 +当未传入 `--judge-model` 时，评审模型默认使用 `openai/gpt-5.4,thinking=xhigh,fast` 和 `anthropic/claude-opus-4-6,thinking=high`。 ## 相关文档 - [测试](/zh-CN/help/testing) -- [QA Channel](/zh-CN/channels/qa-channel) +- [QA 渠道](/zh-CN/channels/qa-channel) - [仪表板](/web/dashboard) diff --git a/docs/zh-CN/help/testing.md b/docs/zh-CN/help/testing.md index 53e203aa6..97e30935f 100644 --- a/docs/zh-CN/help/testing.md +++ b/docs/zh-CN/help/testing.md @@ -3,115 +3,113 @@ read_when: - 在本地或 CI 中运行测试 - 为模型 / 提供商缺陷添加回归测试 - 调试 Gateway 网关 + 智能体行为 -summary: 测试工具包：单元 / e2e / 实时测试套件、Docker 运行器，以及每类测试所覆盖的内容 +summary: 测试工具包：单元 / e2e / 实时测试套件、Docker 运行器，以及每类测试覆盖的内容 title: 测试 x-i18n: - generated_at: "2026-04-17T01:26:34Z" + generated_at: "2026-04-17T15:05:26Z" model: gpt-5.4 provider: openai - source_hash: 55483bc68d3b24daca3189fba3af1e896f39b8e83068d102fed06eac05b36102 + source_hash: 7cdd2048ba58e606fd68703977c2b33000abdb1826b6589ce25a35c53468726a source_path: help/testing.md workflow: 15 --- # 测试 -OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及一小组 Docker 运行器。 +OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时测试）以及一小组 Docker 运行器。 -这篇文档是“我们如何测试”的指南： +本文档是一份“我们如何测试”的指南： -- 每个测试套件覆盖什么内容（以及它明确_不_覆盖什么） +- 每个测试套件覆盖什么内容（以及它刻意 _不_ 覆盖什么） - 常见工作流应运行哪些命令（本地、推送前、调试） -- 实时测试如何发现凭证，以及如何选择模型 / 提供商 +- 实时测试如何发现凭证并选择模型 / 提供商 - 如何为真实世界中的模型 / 提供商问题添加回归测试 ## 快速开始 大多数情况下： -- 完整门禁（通常在推送前需要运行）：`pnpm build && pnpm check && pnpm test` -- 在配置较充足的机器上更快地运行本地完整测试套件：`pnpm test:max` +- 完整门禁（预期在推送前执行）：`pnpm build && pnpm check && pnpm test` +- 在配置充足的机器上更快地运行本地完整测试套件：`pnpm test:max` - 直接进入 Vitest 监听循环：`pnpm test:watch` -- 现在也支持直接按文件路径定位扩展 / 渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` -- 当你在迭代单个失败用例时，优先使用定向运行。 +- 直接按文件定位现在也支持 extension / channel 路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` +- 当你在迭代单个失败用例时，优先先跑定向测试。 - 基于 Docker 的 QA 站点：`pnpm qa:lab:up` - 基于 Linux VM 的 QA 通道：`pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline` -当你修改了测试，或者希望获得更高信心时： +当你修改了测试或想获得更多信心时： - 覆盖率门禁：`pnpm test:coverage` - E2E 测试套件：`pnpm test:e2e` -当调试真实提供商 / 模型时（需要真实凭证）： +当你在调试真实提供商 / 模型时（需要真实凭证）： - 实时测试套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live` -- 安静地只跑一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` +- 安静地只运行一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` -提示：当你只需要处理一个失败用例时，优先使用下文介绍的 allowlist 环境变量来缩小实时测试范围。 +提示：当你只需要一个失败用例时，优先使用下文介绍的 allowlist 环境变量来缩小实时测试范围。 ## QA 专用运行器 -当你需要更贴近 qa-lab 的真实环境时，这些命令位于主测试套件旁边： +当你需要接近 QA lab 的真实环境时，这些命令与主测试套件配合使用： - `pnpm openclaw qa suite` - 直接在主机上运行基于仓库的 QA 场景。 - - 默认会以隔离的 Gateway 网关工作进程并行运行多个选中的场景，最多 64 个工作进程，或以选中场景数量为上限。使用 `--concurrency ` 调整工作进程数量，或使用 `--concurrency 1` 回到旧的串行通道。 - - 支持 `live-frontier`、`mock-openai` 和 `aimock` 三种提供商模式。 - `aimock` 会启动一个基于本地 AIMock 的提供商服务器，用于实验性的夹具与协议模拟覆盖，但不会替代具备场景感知能力的 `mock-openai` 通道。 + - 默认会使用隔离的 Gateway 网关 worker 并行运行多个选定场景，最多 64 个 worker，或不超过所选场景数量。使用 `--concurrency ` 调整 worker 数量，或使用 `--concurrency 1` 切换到旧的串行通道。 + - 支持 `live-frontier`、`mock-openai` 和 `aimock` 提供商模式。`aimock` 会启动一个本地的、由 AIMock 支持的提供商服务器，用于实验性的 fixture 和协议 mock 覆盖，而不会替代具备场景感知能力的 `mock-openai` 通道。 - `pnpm openclaw qa suite --runner multipass` - - 在一次性 Multipass Linux VM 中运行同一套 QA 测试。 + - 在一次性 Multipass Linux VM 中运行相同的 QA 测试套件。 - 保持与主机上 `qa suite` 相同的场景选择行为。 - - 复用与 `qa suite` 相同的提供商 / 模型选择参数。 - - 实时运行会转发那些对来宾系统而言可行的、受支持的 QA 凭证输入： - 基于环境变量的提供商密钥、QA 实时提供商配置路径，以及存在时的 `CODEX_HOME`。 - - 输出目录必须位于仓库根目录之下，这样来宾系统才能通过挂载的工作区回写内容。 - - 会将常规 QA 报告与摘要，以及 Multipass 日志写入 `.artifacts/qa-e2e/...`。 + - 复用与 `qa suite` 相同的提供商 / 模型选择标志。 + - 实时运行会转发对 guest 可行的受支持 QA 认证输入：基于环境变量的提供商密钥、QA 实时提供商配置路径，以及存在时的 `CODEX_HOME`。 + - 输出目录必须位于仓库根目录下，以便 guest 能通过挂载的工作区回写。 + - 会将常规 QA 报告 + 摘要以及 Multipass 日志写入 `.artifacts/qa-e2e/...`。 - `pnpm qa:lab:up` - 启动基于 Docker 的 QA 站点，用于偏操作员风格的 QA 工作。 - `pnpm openclaw qa aimock` - - 仅启动本地 AIMock 提供商服务器，用于直接的协议冒烟测试。 + - 仅启动本地 AIMock 提供商服务器，用于直接进行协议冒烟测试。 - `pnpm openclaw qa matrix` - - 针对一次性的、基于 Docker 的 Tuwunel homeserver 运行 Matrix 实时 QA 通道。 - - 这个 QA 主机目前仅用于仓库 / 开发环境。打包后的 OpenClaw 安装不包含 `qa-lab`，因此也不会暴露 `openclaw qa`。 + - 针对一次性的、由 Docker 支持的 Tuwunel homeserver 运行 Matrix 实时 QA 通道。 + - 这个 QA 主机目前仅供仓库 / 开发使用。打包后的 OpenClaw 安装不包含 `qa-lab`，因此也不会暴露 `openclaw qa`。 - 仓库检出会直接加载内置运行器，无需单独安装插件。 - - 会预置三个临时 Matrix 用户（`driver`、`sut`、`observer`）和一个私有房间，然后以真实 Matrix 插件作为 SUT 传输层启动一个 QA Gateway 网关子进程。 - - 默认使用固定稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。当你需要测试其他镜像时，可用 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 - - Matrix 不暴露共享凭证源参数，因为该通道会在本地预置一次性用户。 - - 会将 Matrix QA 报告、摘要、观测事件产物，以及合并后的 stdout/stderr 输出日志写入 `.artifacts/qa-e2e/...`。 + - 会预配三个临时 Matrix 用户（`driver`、`sut`、`observer`）以及一个私有房间，然后以真实 Matrix 插件作为 SUT 传输层启动一个 QA Gateway 网关子进程。 + - 默认使用固定的稳定版 Tuwunel 镜像 `ghcr.io/matrix-construct/tuwunel:v1.5.1`。如需测试其他镜像，可使用 `OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE` 覆盖。 + - Matrix 不暴露共享凭证来源标志，因为该通道会在本地预配一次性用户。 + - 会将 Matrix QA 报告、摘要、observed-events 工件以及合并的 stdout / stderr 输出日志写入 `.artifacts/qa-e2e/...`。 - `pnpm openclaw qa telegram` - - 使用环境变量中的 driver 和 SUT 机器人令牌，针对一个真实私有群组运行 Telegram 实时 QA 通道。 - - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 ID 必须是数值型 Telegram chat id。 - - 支持 `--credential-source convex` 以使用共享池化凭证。默认使用 env 模式，或者设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 - - 需要两个位于同一私有群组中的不同机器人，且 SUT 机器人必须公开 Telegram 用户名。 - - 为了稳定观察机器人之间的消息，请在 `@BotFather` 中为两个机器人启用 Bot-to-Bot Communication Mode，并确保 driver 机器人能够观察群组中的机器人流量。 - - 会将 Telegram QA 报告、摘要和观测消息产物写入 `.artifacts/qa-e2e/...`。 + - 使用环境变量中的 driver 和 SUT bot token，针对真实私有群组运行 Telegram 实时 QA 通道。 + - 需要 `OPENCLAW_QA_TELEGRAM_GROUP_ID`、`OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN` 和 `OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN`。群组 id 必须是 Telegram chat 的数字 id。 + - 支持 `--credential-source convex` 以使用共享的池化凭证。默认使用 env 模式，或设置 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex` 以启用池化租约。 + - 需要两个位于同一私有群组中的不同 bot，并且 SUT bot 必须暴露 Telegram 用户名。 + - 为了实现稳定的 bot 对 bot 观测，请在 `@BotFather` 中为两个 bot 启用 Bot-to-Bot Communication Mode，并确保 driver bot 能观测群组中的 bot 流量。 + - 会将 Telegram QA 报告、摘要和 observed-messages 工件写入 `.artifacts/qa-e2e/...`。 -实时传输通道共享一套标准契约，这样新增传输层时就不会偏离一致性： +实时传输通道共享一个标准契约，以避免新传输逐渐偏离： -`qa-channel` 仍然是覆盖面广的合成 QA 测试套件，不属于实时传输覆盖矩阵的一部分。 +`qa-channel` 仍然是广义的合成 QA 测试套件，不属于实时传输覆盖矩阵的一部分。 -| 通道 | Canary | 提及门控 | Allowlist 阻止 | 顶层回复 | 重启恢复 | 线程后续跟进 | 线程隔离 | Reaction 观测 | 帮助命令 | +| 通道 | Canary | Mention gating | Allowlist block | 顶层回复 | 重启恢复 | 线程跟进 | 线程隔离 | reaction 观测 | 帮助命令 | | -------- | ------ | -------------- | --------------- | --------------- | -------------- | ---------------- | ---------------- | -------------------- | ------------ | | Matrix | x | x | x | x | x | x | x | x | | | Telegram | x | | | | | | | | x | ### 通过 Convex 共享 Telegram 凭证（v1） -当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时，QA lab 会从基于 Convex 的凭证池获取一个独占租约，在通道运行期间为该租约发送心跳，并在关闭时释放租约。 +当为 `openclaw qa telegram` 启用 `--credential-source convex`（或 `OPENCLAW_QA_CREDENTIAL_SOURCE=convex`）时，QA lab 会从基于 Convex 的池中获取一个独占租约，在通道运行期间对该租约发送心跳，并在关闭时释放该租约。 参考 Convex 项目脚手架： - `qa/convex-credential-broker/` -必需的环境变量： +必需环境变量： - `OPENCLAW_QA_CONVEX_SITE_URL`（例如 `https://your-deployment.convex.site`） -- 为所选角色提供一个密钥： - - `maintainer` 使用 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER` - - `ci` 使用 `OPENCLAW_QA_CONVEX_SECRET_CI` +- 针对所选角色提供一个 secret： + - `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER` 用于 `maintainer` + - `OPENCLAW_QA_CONVEX_SECRET_CI` 用于 `ci` - 凭证角色选择： - CLI：`--credential-role maintainer|ci` - - 环境变量默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（默认是 `maintainer`） + - 环境变量默认值：`OPENCLAW_QA_CREDENTIAL_ROLE`（默认 `maintainer`） 可选环境变量： @@ -120,12 +118,12 @@ OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及 - `OPENCLAW_QA_CREDENTIAL_ACQUIRE_TIMEOUT_MS`（默认 `90000`） - `OPENCLAW_QA_CREDENTIAL_HTTP_TIMEOUT_MS`（默认 `15000`） - `OPENCLAW_QA_CONVEX_ENDPOINT_PREFIX`（默认 `/qa-credentials/v1`） -- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选追踪 ID） +- `OPENCLAW_QA_CREDENTIAL_OWNER_ID`（可选追踪 id） - `OPENCLAW_QA_ALLOW_INSECURE_HTTP=1` 允许在仅限本地开发时使用 loopback `http://` Convex URL。 -在正常运行中，`OPENCLAW_QA_CONVEX_SITE_URL` 应使用 `https://`。 +正常运行时，`OPENCLAW_QA_CONVEX_SITE_URL` 应使用 `https://`。 -维护者管理命令（池添加 / 删除 / 列表）必须特别使用 +维护者管理命令（池添加 / 删除 / 列表）必须明确使用 `OPENCLAW_QA_CONVEX_SECRET_MAINTAINER`。 面向维护者的 CLI 辅助命令： @@ -136,7 +134,7 @@ pnpm openclaw qa credentials list --kind telegram pnpm openclaw qa credentials remove --credential-id ``` -在脚本和 CI 工具中，使用 `--json` 获取适合机器读取的输出。 +在脚本和 CI 工具中使用 `--json` 可获得机器可读输出。 默认端点契约（`OPENCLAW_QA_CONVEX_SITE_URL` + `/qa-credentials/v1`）： @@ -150,73 +148,73 @@ pnpm openclaw qa credentials remove --credential-id - `POST /release` - 请求：`{ kind, ownerId, actorRole, credentialId, leaseToken }` - 成功：`{ status: "ok" }`（或空的 `2xx`） -- `POST /admin/add`（仅限 maintainer 密钥） +- `POST /admin/add`（仅限 maintainer secret） - 请求：`{ kind, actorId, payload, note?, status? }` - 成功：`{ status: "ok", credential }` -- `POST /admin/remove`（仅限 maintainer 密钥） +- `POST /admin/remove`（仅限 maintainer secret） - 请求：`{ credentialId, actorId }` - 成功：`{ status: "ok", changed, credential }` - 活跃租约保护：`{ status: "error", code: "LEASE_ACTIVE", ... }` -- `POST /admin/list`（仅限 maintainer 密钥） +- `POST /admin/list`（仅限 maintainer secret） - 请求：`{ kind?, status?, includePayload?, limit? }` - 成功：`{ status: "ok", credentials, count }` -Telegram 类型的负载结构： +Telegram 类型的 payload 结构： - `{ groupId: string, driverToken: string, sutToken: string }` -- `groupId` 必须是数值型 Telegram chat id 字符串。 -- 对于 `kind: "telegram"`，`admin/add` 会验证此结构，并拒绝格式错误的负载。 +- `groupId` 必须是 Telegram chat 数字 id 字符串。 +- `admin/add` 会针对 `kind: "telegram"` 校验此结构，并拒绝格式不正确的 payload。 ### 向 QA 添加一个渠道 -要将一个渠道添加到 Markdown QA 系统中，恰好需要两样东西： +向 Markdown QA 系统添加一个渠道时，严格只需要两样东西： 1. 该渠道的传输适配器。 -2. 一个用于验证该渠道契约的场景包。 +2. 一个用于验证渠道契约的场景包。 -当共享的 `qa-lab` 主机可以承载流程时，不要新增新的顶层 QA 命令根。 +如果共享的 `qa-lab` 主机可以承载流程，就不要新增顶层 QA 命令根。 `qa-lab` 负责共享主机机制： - `openclaw qa` 命令根 -- 测试套件启动与关闭 -- 工作进程并发 -- 产物写入 +- 测试套件启动与清理 +- worker 并发 +- 工件写入 - 报告生成 - 场景执行 -- 对旧 `qa-channel` 场景的兼容别名 +- 对旧版 `qa-channel` 场景的兼容别名 运行器插件负责传输契约： -- 如何将 `openclaw qa ` 挂载到共享 `qa` 根命令之下 -- 如何为该传输层配置 Gateway 网关 +- 如何将 `openclaw qa ` 挂载到共享的 `qa` 根命令之下 +- 如何为该传输配置 Gateway 网关 - 如何检查就绪状态 - 如何注入入站事件 -- 如何观察出站消息 -- 如何暴露转录和归一化后的传输状态 -- 如何执行基于传输层的操作 -- 如何处理传输层特定的重置或清理 +- 如何观测出站消息 +- 如何暴露转录内容和标准化后的传输状态 +- 如何执行传输支持的操作 +- 如何处理传输特有的重置或清理 -一个新渠道的最低接入门槛是： +新渠道的最低接入门槛是： -1. 保持由 `qa-lab` 负责共享 `qa` 根。 -2. 在共享的 `qa-lab` 主机接缝上实现传输运行器。 -3. 将传输层特定机制保留在运行器插件或渠道 harness 内部。 -4. 将运行器挂载为 `openclaw qa `，而不是注册一个相互竞争的根命令。 - 运行器插件应在 `openclaw.plugin.json` 中声明 `qaRunners`，并从 `runtime-api.ts` 导出匹配的 `qaRunnerCliRegistrations` 数组。 - 保持 `runtime-api.ts` 轻量；惰性 CLI 和运行器执行应放在独立入口点之后。 -5. 在 `qa/scenarios/` 下编写或调整 Markdown 场景。 -6. 为新场景使用通用场景辅助工具。 -7. 除非仓库正在进行有意的迁移，否则要保持现有兼容别名继续可用。 +1. 保持由 `qa-lab` 负责共享的 `qa` 根命令。 +2. 在共享的 `qa-lab` 主机接口上实现该传输运行器。 +3. 将传输特有机制保留在运行器插件或渠道 harness 中。 +4. 将运行器挂载为 `openclaw qa `，而不是注册一个相互竞争的根命令。 + 运行器插件应在 `openclaw.plugin.json` 中声明 `qaRunners`，并从 `runtime-api.ts` 导出匹配的 `qaRunnerCliRegistrations` 数组。 + 保持 `runtime-api.ts` 轻量；惰性 CLI 和运行器执行应放在单独的入口点之后。 +5. 在带主题的 `qa/scenarios/` 目录下编写或改造 Markdown 场景。 +6. 对新场景使用通用场景辅助函数。 +7. 除非仓库正在进行有意的迁移，否则应保持现有兼容别名继续可用。 决策规则非常严格： -- 如果某个行为可以在 `qa-lab` 中统一表达一次，就把它放进 `qa-lab`。 -- 如果某个行为依赖某一种渠道传输层，就把它保留在该运行器插件或插件 harness 中。 -- 如果某个场景需要多个渠道都能使用的新能力，就添加通用辅助工具，而不是在 `suite.ts` 中写一个渠道特定分支。 -- 如果某个行为只对某一种传输层有意义，就保持该场景为传输层特定，并在场景契约中明确说明。 +- 如果某个行为可以在 `qa-lab` 中统一表达一次，就放到 `qa-lab`。 +- 如果某个行为依赖单一渠道传输，就把它保留在对应运行器插件或插件 harness 中。 +- 如果某个场景需要新的能力且多个渠道都能使用，就添加一个通用辅助函数，而不是在 `suite.ts` 中加入渠道特定分支。 +- 如果某个行为只对一种传输有意义，就让该场景保持传输特定性，并在场景契约中明确说明。 -新场景推荐使用的通用辅助函数名是： +新场景推荐使用的通用辅助函数名为： - `waitForTransportReady` - `waitForChannelReady` @@ -239,18 +237,18 @@ Telegram 类型的负载结构： - `formatConversationTranscript` - `resetBus` -新的渠道工作应使用这些通用辅助函数名。 -兼容别名的存在是为了避免一次性迁移，不应作为新场景编写的模板。 +新的渠道相关工作应使用通用辅助函数名。 +兼容别名的存在是为了避免一次性迁移，不应作为新场景编写的参考模型。 -## 测试套件（各自运行在哪里） +## 测试套件（各自在哪些地方运行） -可以把这些测试套件理解为“真实性逐步提高”（同时波动性 / 成本也逐步提高）： +把这些测试套件理解为“真实度逐步提高”（同时不稳定性 / 成本也逐步增加）： ### 单元 / 集成（默认） - 命令：`pnpm test` -- 配置：在现有分组 Vitest 项目上执行十个顺序分片运行（`vitest.full-*.config.ts`） -- 文件：位于 `src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的核心 / 单元测试清单，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试 +- 配置：针对现有作用域化 Vitest 项目，执行十个顺序分片运行（`vitest.full-*.config.ts`） +- 文件：位于 `src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的 core / unit 清单，以及由 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试 - 范围： - 纯单元测试 - 进程内集成测试（Gateway 网关认证、路由、工具、解析、配置） @@ -258,44 +256,43 @@ Telegram 类型的负载结构： - 预期： - 在 CI 中运行 - 不需要真实密钥 - - 应该快速且稳定 + - 应当快速且稳定 - 项目说明： - - 现在，不带目标的 `pnpm test` 会运行 11 个更小的分片配置（`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生 root-project 进程。这样可以降低高负载机器上的 RSS 峰值，并避免 auto-reply / 扩展工作拖慢无关测试套件。 - - `pnpm test --watch` 仍然使用原生根级 `vitest.config.ts` 项目图，因为多分片监听循环并不现实。 - - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会优先通过分组通道路由显式的文件 / 目录目标，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 可以避免承担完整根项目启动的开销。 - - `pnpm test:changed` 会在差异仅涉及可路由的源文件 / 测试文件时，把变更过的 Git 路径展开到同样的分组通道；配置 / setup 修改仍会回退到更广泛的根项目重跑。 - - 来自 agents、commands、plugins、auto-reply helpers、`plugin-sdk` 以及类似纯工具区域的轻导入单元测试会通过 `unit-fast` 通道运行，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时负担较重的文件则保留在现有通道上。 - - 部分 `plugin-sdk` 和 `commands` 辅助源文件，在 changed 模式下也会将运行映射到这些轻量通道中的显式同级测试，因此辅助代码修改无需为该目录重跑完整的重型测试套件。 - - `auto-reply` 现在有三个专用桶：顶层核心辅助工具、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这样可以让最重的 reply harness 工作不影响廉价的状态 / 分块 / token 测试。 + - 现在，无目标指定的 `pnpm test` 会运行十一组更小的分片配置（`core-unit-src`、`core-unit-security`、`core-unit-ui`、`core-unit-support`、`core-support-boundary`、`core-contracts`、`core-bundled`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生根项目进程。这样可以降低高负载机器上的峰值 RSS，并避免 `auto-reply` / extension 工作拖慢无关测试套件。 + - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片监听循环并不现实。 + - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会先将显式文件 / 目录目标路由到作用域化通道，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 可以避免支付完整根项目启动成本。 + - 当 diff 仅涉及可路由的源码 / 测试文件时，`pnpm test:changed` 会将变更的 git 路径扩展到同样的作用域化通道；配置 / setup 编辑仍会回退到更广泛的根项目重跑。 + - 来自 agents、commands、plugins、`auto-reply` 辅助函数、`plugin-sdk` 以及类似纯工具区域的轻导入单元测试会路由到 `unit-fast` 通道，该通道会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件则保留在现有通道上。 + - 部分 `plugin-sdk` 和 `commands` 辅助源码文件也会在 changed 模式下将运行映射到这些轻量通道中的显式同级测试，因此辅助函数修改无需为该目录重跑完整重型测试套件。 + - `auto-reply` 现在有三个专用桶：顶层 core 辅助函数、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这样可以让最重的 reply harness 工作不影响廉价的状态 / chunk / token 测试。 - 嵌入式运行器说明： - 当你修改消息工具发现输入或压缩运行时上下文时， - 需要同时保留两个层级的覆盖。 - - 为纯路由 / 归一化边界添加聚焦的辅助回归测试。 - - 同时还要确保嵌入式运行器集成测试套件保持健康： + 需要同时保留两层覆盖。 + - 为纯路由 / 规范化边界添加聚焦的辅助函数回归测试。 + - 同时也要保持嵌入式运行器集成测试套件健康： `src/agents/pi-embedded-runner/compact.hooks.test.ts`、 `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和 `src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。 - - 这些测试套件会验证作用域 ID 和压缩行为仍然能沿真实的 `run.ts` / `compact.ts` 路径流动；仅有辅助级测试 - 不能充分替代这些集成路径。 + - 这些测试套件会验证作用域化 id 和压缩行为仍然沿真实的 `run.ts` / `compact.ts` 路径流动；仅有辅助函数级测试不足以替代这些集成路径。 - Pool 说明： - 基础 Vitest 配置现在默认使用 `threads`。 - - 共享 Vitest 配置还固定了 `isolate: false`，并在根项目、e2e 和实时配置中使用非隔离运行器。 - - 根级 UI 通道保留其 `jsdom` setup 和优化器，但现在也运行在共享的非隔离运行器上。 - - 每个 `pnpm test` 分片都从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 - - 共享的 `scripts/run-vitest.mjs` 启动器现在还会默认为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行中的 V8 编译抖动。如果你需要与原生 V8 行为比较，请设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 + - 共享 Vitest 配置也固定使用 `isolate: false`，并在根项目、e2e 和实时测试配置中使用非隔离运行器。 + - 根 UI 通道保留其 `jsdom` setup 和优化器，但现在也运行在共享的非隔离运行器上。 + - 每个 `pnpm test` 分片都会从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 + - 共享的 `scripts/run-vitest.mjs` 启动器现在也会默认向 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与原生 V8 行为对比，可设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 - 本地快速迭代说明： - - `pnpm test:changed` 会在变更路径能清晰映射到较小测试套件时，通过分组通道进行路由。 - - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的工作进程上限。 - - 本地工作进程自动伸缩现在刻意更保守，并且当主机平均负载已经较高时也会回退，因此默认情况下多个并发 Vitest 运行造成的影响更小。 - - 基础 Vitest 配置将项目 / 配置文件标记为 `forceRerunTriggers`，从而在测试接线发生变化时，changed 模式重跑仍然正确。 - - 该配置会在受支持主机上保持 `OPENCLAW_VITEST_FS_MODULE_CACHE` 启用；如果你希望为直接性能分析指定一个明确缓存位置，请设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 + - 当变更路径可以清晰映射到更小的测试套件时，`pnpm test:changed` 会通过作用域化通道执行。 + - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的 worker 上限。 + - 本地 worker 自动伸缩现在刻意更保守，并且在主机负载平均值已经较高时也会回退，因此默认情况下多个并发 Vitest 运行的破坏性更小。 + - 基础 Vitest 配置将项目 / 配置文件标记为 `forceRerunTriggers`，以便在测试接线变更时，changed 模式重跑仍然正确。 + - 在受支持主机上，该配置会保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你希望为直接性能分析指定一个明确缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 - 性能调试说明： - - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入明细输出。 - - `pnpm test:perf:imports:changed` 会将同样的分析视图限定到自 `origin/main` 以来变更的文件。 -- `pnpm test:perf:changed:bench -- --ref ` 会将已路由的 `test:changed` 与该已提交差异的原生根项目路径进行比较，并输出耗时以及 macOS 最大 RSS。 -- `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置，将当前脏工作树中的变更文件列表进行路由并做基准测试。 - - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和转换开销写出主线程 CPU profile。 - - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为单元测试套件写出运行器 CPU + 堆 profile。 + - `pnpm test:perf:imports` 会启用 Vitest 导入时长报告以及导入明细输出。 + - `pnpm test:perf:imports:changed` 会将同样的性能分析视图限定到自 `origin/main` 以来发生变更的文件。 +- `pnpm test:perf:changed:bench -- --ref ` 会将路由后的 `test:changed` 与该已提交 diff 的原生根项目路径进行比较，并输出耗时与 macOS 最大 RSS。 +- `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置，将变更文件列表路由后，对当前脏工作树进行基准测试。 + - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和转换开销写入主线程 CPU profile。 + - `pnpm test:perf:profile:runner` 会在禁用文件并行的情况下，为单元测试套件写入运行器 CPU + heap profile。 ### E2E（Gateway 网关冒烟测试） @@ -304,14 +301,14 @@ Telegram 类型的负载结构： - 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts` - 运行时默认值： - 使用 Vitest `threads` 且 `isolate: false`，与仓库其余部分保持一致。 - - 使用自适应工作进程（CI：最多 2 个，本地：默认 1 个）。 + - 使用自适应 worker（CI：最多 2 个，本地：默认 1 个）。 - 默认以静默模式运行，以减少控制台 I/O 开销。 -- 常用覆盖项： - - `OPENCLAW_E2E_WORKERS=` 强制指定工作进程数量（上限 16）。 +- 有用的覆盖项： + - `OPENCLAW_E2E_WORKERS=` 强制设置 worker 数量（上限 16）。 - `OPENCLAW_E2E_VERBOSE=1` 重新启用详细控制台输出。 - 范围： - 多实例 Gateway 网关端到端行为 - - WebSocket / HTTP 接口、节点配对和更重的网络行为 + - WebSocket / HTTP 接口、节点配对以及更重的网络行为 - 预期： - 在 CI 中运行（当流水线启用时） - 不需要真实密钥 @@ -323,16 +320,16 @@ Telegram 类型的负载结构： - 文件：`test/openshell-sandbox.e2e.test.ts` - 范围： - 通过 Docker 在主机上启动一个隔离的 OpenShell Gateway 网关 - - 从一个临时本地 Dockerfile 创建沙箱 + - 从临时本地 Dockerfile 创建一个沙箱 - 通过真实的 `sandbox ssh-config` + SSH exec 运行 OpenClaw 的 OpenShell 后端 - - 通过 sandbox fs bridge 验证远端规范文件系统行为 + - 通过沙箱 fs bridge 验证远端规范化文件系统行为 - 预期： - 仅按需启用；不属于默认 `pnpm test:e2e` 运行的一部分 - 需要本地 `openshell` CLI 和可用的 Docker daemon - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 Gateway 网关和沙箱 -- 常用覆盖项： +- 有用的覆盖项： - `OPENCLAW_E2E_OPENSHELL=1` 在手动运行更广泛 e2e 测试套件时启用该测试 - - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 指向一个非默认 CLI 二进制或包装脚本 + - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell` 指向非默认 CLI 二进制或包装脚本 ### 实时测试（真实提供商 + 真实模型） @@ -341,115 +338,115 @@ Telegram 类型的负载结构： - 文件：`src/**/*.live.test.ts` - 默认：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`） - 范围： - - “这个提供商 / 模型在_今天_是否真的能在真实凭证下工作？” - - 捕获提供商格式变更、工具调用怪癖、认证问题和速率限制行为 + - “这个提供商 / 模型 _今天_ 是否真的能在真实凭证下工作？” + - 捕捉提供商格式变化、工具调用怪癖、认证问题以及速率限制行为 - 预期： - - 按设计并不适合作为稳定的 CI 测试（真实网络、真实提供商策略、配额、故障） + - 按设计不具备 CI 稳定性（真实网络、真实提供商策略、配额、故障） - 会花钱 / 消耗速率限制 - - 优先运行缩小范围的子集，而不是“一次跑完所有内容” + - 优先运行缩小范围的子集，而不是“全部” - 实时运行会读取 `~/.profile` 以补齐缺失的 API 密钥。 -- 默认情况下，实时运行仍会隔离 `HOME`，并将配置 / 认证材料复制到一个临时测试 home 中，这样单元测试夹具就不会修改你真实的 `~/.openclaw`。 -- 仅当你明确需要实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 -- `pnpm test:live` 现在默认使用更安静的模式：会保留 `[live] ...` 进度输出，但会隐藏额外的 `~/.profile` 提示，并静默 Gateway 网关启动日志 / Bonjour 杂讯。如果你想恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 -- API 密钥轮换（提供商特定）：设置 `*_API_KEYS` 为逗号 / 分号格式，或使用 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），或者通过 `OPENCLAW_LIVE_*_KEY` 为实时测试单独覆盖；测试在收到速率限制响应时会重试。 +- 默认情况下，实时运行仍会隔离 `HOME`，并将配置 / 认证材料复制到临时测试 home 中，以避免单元测试 fixture 修改你真实的 `~/.openclaw`。 +- 只有当你明确需要实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 +- `pnpm test:live` 现在默认采用更安静的模式：会保留 `[live] ...` 进度输出，但会隐藏额外的 `~/.profile` 提示，并静音 Gateway 网关启动日志 / Bonjour 噪声。如果你想恢复完整启动日志，设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 +- API 密钥轮换（提供商特定）：设置逗号 / 分号格式的 `*_API_KEYS` 或 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），或者通过 `OPENCLAW_LIVE_*_KEY` 进行每次实时测试覆盖；测试会在收到速率限制响应时重试。 - 进度 / 心跳输出： - - 实时测试套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间提供商调用也能明显显示为仍在运行。 - - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，因此提供商 / Gateway 网关进度行会在实时运行时立即流式输出。 - - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型心跳。 - - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / 探测心跳。 + - 实时测试套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间的提供商调用也能明显显示为活跃状态。 + - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，因此在实时运行期间，提供商 / Gateway 网关进度行会立即流式输出。 + - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整 direct-model 心跳。 + - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / probe 心跳。 ## 我应该运行哪个测试套件？ -使用下面的决策表： +使用这个决策表： -- 修改逻辑 / 测试：运行 `pnpm test`（如果改动很多，再加上 `pnpm test:coverage`） -- 涉及 Gateway 网关网络 / WS 协议 / 配对：再加上 `pnpm test:e2e` -- 调试“我的机器人挂了” / 提供商特定失败 / 工具调用：运行缩小范围的 `pnpm test:live` +- 编辑逻辑 / 测试：运行 `pnpm test`（如果你改动很多，再加上 `pnpm test:coverage`） +- 修改 Gateway 网关网络 / WS 协议 / 配对：加跑 `pnpm test:e2e` +- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行一个缩小范围的 `pnpm test:live` ## 实时测试：Android 节点能力扫描 - 测试：`src/gateway/android-node.capabilities.live.test.ts` - 脚本：`pnpm android:test:integration` -- 目标：调用某个已连接 Android 节点当前**声明的每一个命令**，并断言命令契约行为。 +- 目标：调用已连接 Android 节点当前通告的**每一条命令**，并断言命令契约行为。 - 范围： - - 预置 / 手动 setup（该测试套件不会安装 / 运行 / 配对应用）。 + - 依赖前置条件 / 手动 setup（该测试套件不会安装 / 运行 / 配对应用）。 - 针对所选 Android 节点逐命令验证 Gateway 网关 `node.invoke`。 -- 必需的预先 setup： - - Android 应用已连接并与 Gateway 网关配对。 - - 应用保持在前台。 - - 已授予你期望通过的能力所需的权限 / 捕获授权。 +- 必需前置 setup： + - Android 应用已连接并与 Gateway 网关完成配对。 + - 应用保持前台运行。 + - 为你预期通过的能力授予权限 / 捕获同意。 - 可选目标覆盖项： - `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。 - `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。 -- 完整 Android setup 详情： [Android App](/zh-CN/platforms/android) +- 完整 Android setup 详情：[Android App](/zh-CN/platforms/android) ## 实时测试：模型冒烟测试（profile 密钥） -实时测试分成两层，以便我们隔离故障： +实时测试被拆成两层，以便隔离故障： -- “直接模型”告诉我们，提供商 / 模型在给定密钥下是否至少可以回答。 -- “Gateway 网关冒烟测试”告诉我们，该模型的完整 Gateway 网关 + 智能体流水线是否正常工作（会话、历史、工具、沙箱策略等）。 +- “Direct model” 告诉我们该提供商 / 模型在给定密钥下是否至少能够响应。 +- “Gateway smoke” 告诉我们完整的 Gateway 网关 + 智能体流水线是否对该模型有效（会话、历史、工具、沙箱策略等）。 -### 第 1 层：直接模型补全（无 Gateway 网关） +### 第 1 层：Direct model completion（无 Gateway 网关） - 测试：`src/agents/models.profiles.live.test.ts` - 目标： - - 枚举已发现模型 + - 枚举已发现的模型 - 使用 `getApiKeyForModel` 选择你拥有凭证的模型 - - 针对每个模型运行一次小型补全（并在需要时运行定向回归测试） + - 为每个模型运行一个小型 completion（并在需要时运行定向回归测试） - 启用方式： - - `pnpm test:live`（如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） -- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，它是 `modern` 的别名）才会真正运行这套测试；否则它会跳过，以保持 `pnpm test:live` 聚焦于 Gateway 网关冒烟测试 -- 如何选择模型： + - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） +- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 `modern` 的别名）才能真正运行此测试套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 Gateway 网关冒烟测试 +- 选择模型的方式： - `OPENCLAW_LIVE_MODELS=modern` 运行现代 allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_MODELS=all` 是现代 allowlist 的别名 - - 或者 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`（逗号分隔的 allowlist） - - modern / all 扫描默认会应用一个精心挑选的高信号上限；将 `OPENCLAW_LIVE_MAX_MODELS=0` 设为完整的现代扫描，或设为正整数以使用更小上限。 -- 如何选择提供商： + - 或 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`（逗号分隔的 allowlist） + - modern / all 扫描默认会使用精心挑选的高信号上限；设置 `OPENCLAW_LIVE_MAX_MODELS=0` 可进行完整的现代模型扫描，或设置为正数以使用更小的上限。 +- 选择提供商的方式： - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔的 allowlist） - 密钥来源： - 默认：profile 存储和环境变量回退 - - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅使用 profile 存储** + - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**只使用 profile 存储** - 存在原因： - - 将“提供商 API 坏了 / 密钥无效”和“Gateway 网关智能体流水线坏了”区分开来 - - 容纳小型、隔离的回归测试（例如：OpenAI Responses / Codex Responses 的推理重放 + 工具调用流程） + - 将“提供商 API 已损坏 / 密钥无效”与“Gateway 网关智能体流水线已损坏”区分开来 + - 容纳小而隔离的回归测试（例如：OpenAI Responses / Codex Responses 推理重放 + 工具调用流程） ### 第 2 层：Gateway 网关 + dev 智能体冒烟测试（也就是 “@openclaw” 实际做的事） - 测试：`src/gateway/gateway-models.profiles.live.test.ts` - 目标： - 启动一个进程内 Gateway 网关 - - 创建 / 修补一个 `agent:dev:*` 会话（每次运行按需覆盖模型） - - 遍历“有密钥的模型”，并断言： - - 有“有意义”的回复（无工具） - - 一个真实工具调用能正常工作（`read` 探针） - - 可选的额外工具探针正常工作（`exec+read` 探针） - - OpenAI 回归路径（仅工具调用 → 后续跟进）保持可用 -- 探针详情（这样你可以快速解释故障）： - - `read` 探针：测试会在工作区中写入一个 nonce 文件，并要求智能体 `read` 该文件并回显 nonce。 - - `exec+read` 探针：测试会要求智能体通过 `exec` 将一个 nonce 写入临时文件，然后再 `read` 回来。 - - 图像探针：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 + - 创建 / patch 一个 `agent:dev:*` 会话（每次运行覆盖模型） + - 遍历带密钥的模型并断言： + - “有意义的”响应（不使用工具） + - 一个真实工具调用可正常工作（read probe） + - 可选的额外工具探测（exec+read probe） + - OpenAI 回归路径（仅工具调用 → 后续跟进）仍然正常 +- 探测细节（这样你就能快速解释失败原因）： + - `read` probe：测试会在工作区中写入一个 nonce 文件，并要求智能体 `read` 该文件并原样回显 nonce。 + - `exec+read` probe：测试会要求智能体通过 `exec` 将一个 nonce 写入临时文件，然后再 `read` 回来。 + - 图像 probe：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 - 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。 - 启用方式： - - `pnpm test:live`（如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） -- 如何选择模型： + - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） +- 选择模型的方式： - 默认：现代 allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是现代 allowlist 的别名 - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来缩小范围 - - modern / all 的 Gateway 网关扫描默认会应用一个精心挑选的高信号上限；将 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 设为完整的现代扫描，或设为正整数以使用更小上限。 -- 如何选择提供商（避免 “OpenRouter 全家桶”）： + - modern / all 的 Gateway 网关扫描默认会使用精心挑选的高信号上限；设置 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0` 可进行完整的现代模型扫描，或设置为正数以使用更小的上限。 +- 选择提供商的方式（避免“所有 OpenRouter”）： - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔的 allowlist） -- 工具 + 图像探针在这个实时测试中始终启用： - - `read` 探针 + `exec+read` 探针（工具压力测试） - - 当模型声明支持图像输入时，会运行图像探针 - - 流程（高层）： - - 测试生成一个很小的 PNG，内容为 “CAT” + 随机代码（`src/gateway/live-image-probe.ts`） - - 通过 `agent` `attachments: [{ mimeType: "image/png", content: "" }]` 发送 - - Gateway 网关将附件解析到 `images[]` 中（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） - - 嵌入式智能体将一个多模态用户消息转发给模型 - - 断言：回复包含 `cat` + 该代码（OCR 容错：允许轻微错误） +- 工具 + 图像 probe 在这个实时测试中始终启用： + - `read` probe + `exec+read` probe（工具压力测试） + - 当模型声明支持图像输入时，会运行图像 probe + - 流程（高层级）： + - 测试会生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） + - 通过 `agent` 的 `attachments: [{ mimeType: "image/png", content: "" }]` 发送 + - Gateway 网关将附件解析为 `images[]`（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） + - 嵌入式智能体将一条多模态用户消息转发给模型 + - 断言：回复中包含 `cat` + 该代码（OCR 容错：允许轻微错误） -提示：要查看你机器上可以测试什么内容（以及精确的 `provider/model` ID），请运行： +提示：要查看你当前机器上可以测试什么（以及精确的 `provider/model` id），请运行： ```bash openclaw models list @@ -459,10 +456,10 @@ openclaw models list --json ## 实时测试：CLI 后端冒烟测试（Claude、Codex、Gemini 或其他本地 CLI） - 测试：`src/gateway/gateway-cli-backend.live.test.ts` -- 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线，同时不触碰你的默认配置。 -- 后端专属的默认冒烟行为位于其所属扩展的 `cli-backend.ts` 定义中。 +- 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线，而不触碰你的默认配置。 +- 后端特定的冒烟测试默认值与所属 extension 的 `cli-backend.ts` 定义一起存在。 - 启用： - - `pnpm test:live`（如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） + - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） - `OPENCLAW_LIVE_CLI_BACKEND=1` - 默认值： - 默认提供商 / 模型：`claude-cli/claude-sonnet-4-6` @@ -471,11 +468,11 @@ openclaw models list --json - `OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.4"` - `OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"` - `OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'` - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送一个真实图像附件（路径会注入到提示中）。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 通过 CLI 参数而不是提示注入来传递图像文件路径。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）用于在设置 `IMAGE_ARG` 时控制图像参数的传递方式。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图像附件（路径会注入到提示中）。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"` 通过 CLI 参数传递图像文件路径，而不是注入到提示中。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）用于控制在设置 `IMAGE_ARG` 时如何传递图像参数。 - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮消息并验证恢复流程。 - - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=0` 禁用默认的 Claude Sonnet -> Opus 同会话连续性探针（当所选模型支持切换目标时，设为 `1` 可强制启用）。 + - `OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=0` 禁用默认的 Claude Sonnet -> Opus 同会话连续性探测（当所选模型支持切换目标时，设置为 `1` 可强制开启）。 示例： @@ -503,11 +500,11 @@ pnpm test:docker:live-cli-backend:gemini 说明： - Docker 运行器位于 `scripts/test-live-cli-backend-docker.sh`。 -- 它会在仓库 Docker 镜像中，以非 root 的 `node` 用户运行实时 CLI 后端冒烟测试。 -- 它会从所属扩展解析 CLI 冒烟测试元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到一个带缓存、可写的前缀中，路径为 `OPENCLAW_DOCKER_CLI_TOOLS_DIR`（默认：`~/.cache/openclaw/docker-cli-tools`）。 -- `pnpm test:docker:live-cli-backend:claude-subscription` 需要可移植的 Claude Code 订阅 OAuth，可通过带有 `claudeAiOauth.subscriptionType` 的 `~/.claude/.credentials.json`，或来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN` 提供。它会先证明 Docker 中的直接 `claude -p` 可用，然后在不保留 Anthropic API 密钥环境变量的情况下，运行两轮 Gateway 网关 CLI 后端交互。这个 subscription 通道默认禁用 Claude MCP / 工具和图像探针，因为 Claude 目前会将第三方应用用量计入额外使用计费，而不是普通订阅套餐额度。 -- 这个实时 CLI 后端冒烟测试现在会对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图像分类轮次，然后通过 Gateway 网关 CLI 验证 MCP `cron` 工具调用。 -- Claude 的默认冒烟测试还会将会话从 Sonnet 切换到 Opus，并验证恢复后的会话仍记得之前的一条备注。 +- 它会以非 root 的 `node` 用户身份，在仓库 Docker 镜像内运行实时 CLI 后端冒烟测试。 +- 它会从所属 extension 解析 CLI 冒烟测试元数据，然后将匹配的 Linux CLI 包（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）安装到可缓存的可写前缀 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 中（默认：`~/.cache/openclaw/docker-cli-tools`）。 +- `pnpm test:docker:live-cli-backend:claude-subscription` 需要可移植的 Claude Code 订阅 OAuth，可通过带有 `claudeAiOauth.subscriptionType` 的 `~/.claude/.credentials.json`，或来自 `claude setup-token` 的 `CLAUDE_CODE_OAUTH_TOKEN` 提供。它会先在 Docker 中验证直接 `claude -p` 可用，然后在不保留 Anthropic API key 环境变量的前提下运行两轮 Gateway 网关 CLI 后端测试。这个订阅通道默认禁用 Claude MCP / 工具和图像 probes，因为 Claude 当前会将第三方应用使用路由到额外用量计费，而不是普通订阅套餐额度。 +- 现在，实时 CLI 后端冒烟测试会对 Claude、Codex 和 Gemini 执行相同的端到端流程：文本轮次、图像分类轮次，然后通过 Gateway 网关 CLI 验证 MCP `cron` 工具调用。 +- Claude 的默认冒烟测试还会将会话从 Sonnet patch 到 Opus，并验证恢复后的会话仍记得先前的备注。 ## 实时测试：ACP 绑定冒烟测试（`/acp spawn ... --bind here`） @@ -515,8 +512,8 @@ pnpm test:docker:live-cli-backend:gemini - 目标：使用一个实时 ACP 智能体验证真实的 ACP 会话绑定流程： - 发送 `/acp spawn --bind here` - 就地绑定一个合成的消息渠道会话 - - 在同一个会话上发送一条普通后续消息 - - 验证该后续消息落入绑定的 ACP 会话转录中 + - 在同一会话上发送普通后续消息 + - 验证该后续消息落入已绑定的 ACP 会话 transcript 中 - 启用： - `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts` - `OPENCLAW_LIVE_ACP_BIND=1` @@ -532,8 +529,8 @@ pnpm test:docker:live-cli-backend:gemini - `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini` - `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@'` - 说明： - - 这个通道使用 Gateway 网关 `chat.send` 接口，并带有仅管理员可用的合成 originating-route 字段，因此测试可以附加消息渠道上下文，而无需假装真的向外部发送。 - - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会对所选 ACP harness 智能体使用内置 `acpx` 插件自带的智能体注册表。 + - 这个通道使用 Gateway 网关 `chat.send` 接口，并带有仅管理员可用的合成 `originating-route` 字段，因此测试可以附加消息渠道上下文，而无需伪装成外部投递。 + - 当 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 未设置时，测试会使用内置 `acpx` 插件的内建智能体注册表来选择 ACP harness 智能体。 示例： @@ -560,29 +557,29 @@ pnpm test:docker:live-acp-bind:gemini Docker 说明： - Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。 -- 默认情况下，它会按顺序对所有受支持的实时 CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后是 `gemini`。 -- 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 可缩小测试矩阵。 -- 它会读取 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，把 `acpx` 安装到一个可写的 npm 前缀中，然后在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 -- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 `acpx` 就能让从 profile 读取到的提供商环境变量继续对其子 harness CLI 可见。 +- 默认情况下，它会按顺序对所有受支持的实时 CLI 智能体运行 ACP 绑定冒烟测试：`claude`、`codex`，然后 `gemini`。 +- 使用 `OPENCLAW_LIVE_ACP_BIND_AGENTS=claude`、`OPENCLAW_LIVE_ACP_BIND_AGENTS=codex` 或 `OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini` 可缩小矩阵范围。 +- 它会读取 `~/.profile`，将匹配的 CLI 认证材料暂存到容器中，将 `acpx` 安装到可写 npm 前缀，并在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code`、`@openai/codex` 或 `@google/gemini-cli`）。 +- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 `acpx` 能让从 profile 读取到的提供商环境变量继续传递给子 harness CLI。 ## 实时测试：Codex app-server harness 冒烟测试 -- 目标：通过常规 Gateway 网关 +- 目标：通过正常的 Gateway 网关 `agent` 方法验证插件自有的 Codex harness： - 加载内置 `codex` 插件 - 选择 `OPENCLAW_AGENT_RUNTIME=codex` - - 向 `codex/gpt-5.4` 发送第一条 Gateway 网关智能体消息 - - 向同一个 OpenClaw 会话发送第二条消息，并验证 app-server - 线程可以恢复 + - 向 `codex/gpt-5.4` 发送第一轮 Gateway 网关智能体消息 + - 向同一个 OpenClaw 会话发送第二轮消息，并验证 app-server + 线程能够恢复 - 通过同一个 Gateway 网关命令 路径运行 `/codex status` 和 `/codex models` - 测试：`src/gateway/gateway-codex-harness.live.test.ts` - 启用：`OPENCLAW_LIVE_CODEX_HARNESS=1` - 默认模型：`codex/gpt-5.4` -- 可选图像探针：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` -- 可选 MCP / 工具探针：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` -- 此冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，因此损坏的 Codex - harness 不能通过悄悄回退到 PI 而“蒙混过关”。 +- 可选图像 probe：`OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1` +- 可选 MCP / 工具 probe：`OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1` +- 该冒烟测试会设置 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，因此损坏的 Codex + harness 不会因为悄悄回退到 PI 而通过测试。 - 认证：来自 shell / profile 的 `OPENAI_API_KEY`，以及可选复制的 `~/.codex/auth.json` 和 `~/.codex/config.toml` @@ -608,20 +605,20 @@ Docker 说明： - Docker 运行器位于 `scripts/test-live-codex-harness-docker.sh`。 - 它会读取挂载的 `~/.profile`，传递 `OPENAI_API_KEY`，在存在时复制 Codex CLI - 认证文件，将 `@openai/codex` 安装到一个可写的、已挂载 npm - 前缀中，暂存源代码树，然后只运行 Codex harness 实时测试。 -- Docker 默认启用图像和 MCP / 工具探针。如需更窄范围的调试运行，可设置 - `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 + 认证文件，将 `@openai/codex` 安装到一个可写的挂载 npm + 前缀中，准备源码树，然后仅运行 Codex harness 实时测试。 +- Docker 默认启用图像和 MCP / 工具 probes。需要更窄的调试运行时， + 可设置 `OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0` 或 `OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0`。 - Docker 还会导出 `OPENCLAW_AGENT_HARNESS_FALLBACK=none`，与实时 - 测试配置保持一致，因此 `openai-codex/*` 或 PI 回退都不能掩盖 Codex harness + 测试配置保持一致，这样 `openai-codex/*` 或 PI 回退就无法掩盖 Codex harness 回归问题。 ### 推荐的实时测试配方 -范围窄、显式的 allowlist 最快，也最不容易波动： +范围窄、显式的 allowlist 最快，也最不容易出现不稳定情况： -- 单模型，直接测试（无 Gateway 网关）： +- 单模型，direct（无 Gateway 网关）： - `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts` - 单模型，Gateway 网关冒烟测试： @@ -637,19 +634,19 @@ Docker 说明： 说明： - `google/...` 使用 Gemini API（API 密钥）。 -- `google-antigravity/...` 使用 Antigravity OAuth bridge（类似 Cloud Code Assist 风格的智能体端点）。 -- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（独立的认证 + 工具行为差异）。 -- Gemini API 与 Gemini CLI 的区别： - - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API 密钥 / profile 认证）；这也是大多数用户所说的 “Gemini”。 - - CLI：OpenClaw 会 shell 调用本地 `gemini` 二进制；它有自己独立的认证方式，并且行为可能不同（流式传输 / 工具支持 / 版本偏差）。 +- `google-antigravity/...` 使用 Antigravity OAuth bridge（Cloud Code Assist 风格的智能体端点）。 +- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（认证和工具行为怪癖是独立的）。 +- Gemini API 与 Gemini CLI： + - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API 密钥 / profile 认证）；这也是大多数用户理解中的 “Gemini”。 + - CLI：OpenClaw 会调用本地 `gemini` 二进制；它有自己独立的认证方式，行为也可能不同（流式传输 / 工具支持 / 版本偏差）。 ## 实时测试：模型矩阵（我们覆盖什么） -没有固定的“CI 模型列表”（实时测试是按需启用的），但以下是在带有密钥的开发机器上，**推荐**定期覆盖的模型。 +这里没有固定的“CI 模型列表”（实时测试是按需启用的），但以下是建议在带有密钥的开发机器上定期覆盖的**推荐**模型。 ### 现代冒烟测试集合（工具调用 + 图像） -这是我们期望持续保持可用的“常见模型”运行集： +这是我们期望持续保持可用的“常用模型”运行集合： - OpenAI（非 Codex）：`openai/gpt-5.4`（可选：`openai/gpt-5.4-mini`） - OpenAI Codex：`openai-codex/gpt-5.4` @@ -672,64 +669,64 @@ Docker 说明： - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` -可选的额外覆盖（有则更好）： +可选的额外覆盖（有更好，没有也可以）： -- xAI：`xai/grok-4`（或当前最新可用版本） -- Mistral：`mistral/`…（选择一个你已启用、支持工具的模型） -- Cerebras：`cerebras/`…（如果你有访问权限） +- xAI：`xai/grok-4`（或最新可用版本） +- Mistral：`mistral/`…（选择一个你已启用、支持 `tools` 的模型） +- Cerebras：`cerebras/`…（如果你有权限） - LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式） -### 视觉：发送图像（附件 → 多模态消息） +### Vision：图像发送（附件 → 多模态消息） -在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个具备图像能力的模型（Claude / Gemini / OpenAI 的视觉变体等），以便运行图像探针。 +在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 的支持视觉的变体等），以覆盖图像 probe。 ### 聚合器 / 替代 Gateway 网关 -如果你启用了相应密钥，我们也支持通过以下方式测试： +如果你已启用对应密钥，也支持通过以下方式进行测试： -- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选项） +- OpenRouter：`openrouter/...`（数百种模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选项） - OpenCode：`opencode/...` 用于 Zen，`opencode-go/...` 用于 Go（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） -如果你有凭证 / 配置，还可以把更多提供商纳入实时测试矩阵： +如果你有凭证 / 配置，还可以将更多提供商纳入实时测试矩阵： - 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`google-gemini-cli`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot` - 通过 `models.providers`（自定义端点）：`minimax`（云 / API），以及任何兼容 OpenAI / Anthropic 的代理（LM Studio、vLLM、LiteLLM 等） -提示：不要试图在文档中硬编码“所有模型”。权威列表应始终以你机器上的 `discoverModels(...)` 返回结果以及当前可用密钥为准。 +提示：不要尝试在文档中硬编码“所有模型”。权威列表始终是你机器上 `discoverModels(...)` 的返回结果 + 当前可用密钥的组合。 ## 凭证（绝不要提交） -实时测试发现凭证的方式与 CLI 相同。实际含义是： +实时测试发现凭证的方式与 CLI 完全相同。实际含义如下： -- 如果 CLI 能工作，实时测试也应该能找到相同的密钥。 -- 如果实时测试提示“无凭证”，就按你调试 `openclaw models list` / 模型选择时的方式来排查。 +- 如果 CLI 能正常工作，实时测试也应能找到相同的密钥。 +- 如果实时测试提示 “no creds”，就用与调试 `openclaw models list` / 模型选择相同的方式来排查。 -- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试里 “profile keys” 的含义） +- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试中 “profile keys” 的含义） - 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`） -- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时测试 home 中，但它不是主要的 profile-key 存储） -- 本地实时运行默认会将当前活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到一个临时测试 home 中；暂存的实时 home 会跳过 `workspace/` 和 `sandboxes/`，并移除 `agents.*.workspace` / `agentDir` 路径覆盖，这样探针就不会落到你真实主机的工作区上。 +- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时测试 home 中，但它不是主 profile-key 存储） +- 本地实时运行默认会将当前活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 认证目录复制到一个临时测试 home 中；暂存的实时测试 home 会跳过 `workspace/` 和 `sandboxes/`，并移除 `agents.*.workspace` / `agentDir` 路径覆盖，以便 probes 不会落到你真实主机工作区上。 -如果你想依赖环境变量密钥（例如在 `~/.profile` 中导出的那些），请在 `source ~/.profile` 之后再运行本地测试，或者使用下方的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 +如果你想依赖环境变量中的密钥（例如在你的 `~/.profile` 中导出），请在 `source ~/.profile` 之后运行本地测试，或者使用下面的 Docker 运行器（它们可以把 `~/.profile` 挂载到容器中）。 -## Deepgram 实时测试（音频转写） +## Deepgram 实时测试（音频转录） - 测试：`src/media-understanding/providers/deepgram/audio.live.test.ts` - 启用：`DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live src/media-understanding/providers/deepgram/audio.live.test.ts` -## BytePlus 编码计划实时测试 +## BytePlus coding plan 实时测试 - 测试：`src/agents/byteplus.live.test.ts` - 启用：`BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live src/agents/byteplus.live.test.ts` - 可选模型覆盖：`BYTEPLUS_CODING_MODEL=ark-code-latest` -## ComfyUI 工作流媒体实时测试 +## ComfyUI workflow media 实时测试 - 测试：`extensions/comfy/comfy.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts` - 范围： - - 运行内置 comfy 图像、视频和 `music_generate` 路径 - - 如果未配置 `models.providers.comfy.`，则逐项跳过对应能力 - - 在修改 comfy 工作流提交、轮询、下载或插件注册后特别有用 + - 覆盖内置 comfy 图像、视频和 `music_generate` 路径 + - 除非配置了 `models.providers.comfy.`，否则会跳过每项能力 + - 在修改 comfy workflow 提交、轮询、下载或插件注册后尤其有用 ## 图像生成实时测试 @@ -738,10 +735,10 @@ Docker 说明： - Harness：`pnpm test:live:media image` - 范围： - 枚举每个已注册的图像生成提供商插件 - - 在探测前从你的登录 shell（`~/.profile`）加载缺失的提供商环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖你真实 shell 凭证 + - 在探测前，从你的登录 shell（`~/.profile`）加载缺失的提供商环境变量 + - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 - 跳过没有可用认证 / profile / 模型的提供商 - - 通过共享运行时能力运行标准图像生成变体： + - 通过共享运行时能力运行内置图像生成变体： - `google:flash-generate` - `google:pro-generate` - `google:pro-edit` @@ -754,7 +751,7 @@ Docker 说明： - `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-1,google/gemini-3.1-flash-image-preview"` - `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅来自环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅环境变量覆盖 ## 音乐生成实时测试 @@ -762,23 +759,23 @@ Docker 说明： - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts` - Harness：`pnpm test:live:media music` - 范围： - - 运行共享的内置音乐生成提供商路径 + - 覆盖共享的内置音乐生成提供商路径 - 当前覆盖 Google 和 MiniMax - - 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖你真实 shell 凭证 + - 在探测前，从你的登录 shell（`~/.profile`）加载提供商环境变量 + - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 - 跳过没有可用认证 / profile / 模型的提供商 - - 在可用时运行两种声明的运行时模式： - - `generate`：仅使用提示词输入 + - 在可用时运行两种已声明的运行时模式： + - `generate`：仅提示词输入 - `edit`：当提供商声明 `capabilities.edit.enabled` 时 - 当前共享通道覆盖： - `google`：`generate`、`edit` - `minimax`：`generate` - - `comfy`：单独的 Comfy 实时测试文件，不在这个共享扫描内 + - `comfy`：单独的 Comfy 实时测试文件，不在这个共享扫描中 - 可选缩小范围： - `OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"` - `OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.5+"` - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅来自环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅环境变量覆盖 ## 视频生成实时测试 @@ -786,40 +783,40 @@ Docker 说明： - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts` - Harness：`pnpm test:live:media video` - 范围： - - 运行共享的内置视频生成提供商路径 - - 默认采用适合发布的安全冒烟路径：非 FAL 提供商、每个提供商一次文生视频请求、一秒钟的 lobster 提示词，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每提供商操作上限（默认 `180000`） - - 默认跳过 FAL，因为提供商端队列延迟可能主导发布时间；显式传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 才会运行它 - - 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量 - - 默认优先使用实时 / 环境变量 API 密钥，而不是存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖你真实 shell 凭证 + - 覆盖共享的内置视频生成提供商路径 + - 默认使用对发布安全的冒烟测试路径：非 FAL 提供商、每个提供商一个文生视频请求、一秒钟的 lobster 提示词，以及来自 `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS` 的每提供商操作上限（默认 `180000`） + - 默认跳过 FAL，因为提供商侧队列延迟可能主导发布时间；传入 `--video-providers fal` 或 `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal"` 可显式运行它 + - 在探测前，从你的登录 shell（`~/.profile`）加载提供商环境变量 + - 默认优先使用实时 / 环境变量 API 密钥，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 - 跳过没有可用认证 / profile / 模型的提供商 - 默认只运行 `generate` - - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 后，还会在可用时运行声明的转换模式： + - 设置 `OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1` 后，也会在可用时运行已声明的转换模式： - `imageToVideo`：当提供商声明 `capabilities.imageToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地图像输入时 - `videoToVideo`：当提供商声明 `capabilities.videoToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地视频输入时 - - 当前在共享扫描中已声明但被跳过的 `imageToVideo` 提供商： + - 当前在共享扫描中已声明但跳过的 `imageToVideo` 提供商： - `vydra`，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图像 URL - - 提供商专属的 Vydra 覆盖： + - 提供商特定的 Vydra 覆盖： - `OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts` - - 该文件会运行 `veo3` 文生视频，以及一个默认使用远程图像 URL 夹具的 `kling` 通道 - - 当前 `videoToVideo` 实时覆盖： - - 仅 `runway`，且所选模型为 `runway/gen4_aleph` - - 当前在共享扫描中已声明但被跳过的 `videoToVideo` 提供商： - - `alibaba`、`qwen`、`xai`，因为这些路径当前需要远程 `http(s)` / MP4 参考 URL - - `google`，因为当前共享 Gemini / Veo 通道使用基于本地 buffer 的输入，而该路径在共享扫描中不被接受 - - `openai`，因为当前共享通道缺少组织特定的视频修补 / remix 访问保证 + - 该文件会运行 `veo3` 文生视频，以及一个默认使用远程图像 URL fixture 的 `kling` 通道 + - 当前 `videoToVideo` 的实时测试覆盖： + - 仅 `runway`，且所选模型为 `runway/gen4_aleph` 时 + - 当前在共享扫描中已声明但跳过的 `videoToVideo` 提供商： + - `alibaba`、`qwen`、`xai`，因为这些路径目前需要远程 `http(s)` / MP4 参考 URL + - `google`，因为当前共享 Gemini / Veo 通道使用基于本地 buffer 的输入，而共享扫描不接受该路径 + - `openai`，因为当前共享通道缺少针对特定组织的视频 inpaint / remix 访问保证 - 可选缩小范围： - `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"` - `OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"` - `OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""` 以在默认扫描中包含所有提供商，包括 FAL - - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 以在激进冒烟测试中降低每个提供商的操作上限 + - `OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000` 以降低每个提供商的操作上限，用于更激进的冒烟测试运行 - 可选认证行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅来自环境变量的覆盖 + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile 存储认证，并忽略仅环境变量覆盖 ## 媒体实时测试 harness - 命令：`pnpm test:live:media` - 目的： - - 通过一个仓库原生入口运行共享的图像、音乐和视频实时测试套件 + - 通过一个仓库原生入口点运行共享的图像、音乐和视频实时测试套件 - 自动从 `~/.profile` 加载缺失的提供商环境变量 - 默认自动将每个测试套件缩小到当前具有可用认证的提供商 - 复用 `scripts/test-live.mjs`，因此心跳和静默模式行为保持一致 @@ -829,24 +826,24 @@ Docker 说明： - `pnpm test:live:media video --video-providers openai,runway --all-providers` - `pnpm test:live:media music --quiet` -## Docker 运行器（可选的 “在 Linux 中也能工作” 检查） +## Docker 运行器（可选的“在 Linux 中可用”检查） -这些 Docker 运行器分成两类： +这些 Docker 运行器分为两类： -- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行各自匹配的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），并挂载你的本地配置目录与工作区（如果已挂载，还会读取 `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 -- Docker 实时运行器默认使用更小的冒烟测试上限，以便完整的 Docker 扫描仍然可行： - `test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，而 +- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行与其匹配的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），并挂载你的本地配置目录和工作区（如果已挂载，也会读取 `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 +- Docker 实时运行器默认采用更小的冒烟测试上限，以保证完整 Docker 扫描仍然可行： + `test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，并且 `test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、 - `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 和 + `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000`，以及 `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你 - 明确需要更大范围的完整扫描时，可覆盖这些环境变量。 -- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后在两个实时 Docker 通道中复用它。 -- 容器冒烟测试运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层级的集成路径。 + 明确想要更大范围的完整扫描时，可覆盖这些环境变量。 +- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后在两个 Docker 实时测试通道中复用它。 +- 容器冒烟测试运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层次的集成路径。 -实时模型 Docker 运行器还会只 bind mount 必需的 CLI 认证 home（如果运行未缩小范围，则挂载全部受支持项），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 就可以刷新 token，而不会修改主机认证存储： +实时模型 Docker 运行器还会只绑定挂载所需的 CLI 认证 home（或者当运行未缩小时挂载所有受支持的认证 home），然后在运行前将其复制到容器 home 中，这样外部 CLI OAuth 就可以刷新 token，而不会修改主机上的认证存储： -- 直接模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） +- Direct models：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） - ACP 绑定冒烟测试：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） - CLI 后端冒烟测试：`pnpm test:docker:live-cli-backend`（脚本：`scripts/test-live-cli-backend-docker.sh`） - Codex app-server harness 冒烟测试：`pnpm test:docker:live-codex-harness`（脚本：`scripts/test-live-codex-harness-docker.sh`） @@ -854,108 +851,105 @@ Docker 说明： - Open WebUI 实时冒烟测试：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） - 新手引导向导（TTY，完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`） - Gateway 网关网络（两个容器，WS 认证 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） -- MCP 渠道桥接（已注入种子的 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟测试）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） -- 插件（安装冒烟测试 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） +- MCP 渠道桥接（预置 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟测试）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） +- 渠道插件（安装冒烟测试 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） -实时模型 Docker 运行器还会以只读方式 bind mount 当前检出内容， -并将其暂存到容器中的临时工作目录。这使运行时 -镜像保持精简，同时仍能针对你当前本地的精确源代码 / 配置运行 Vitest。 -暂存步骤会跳过大型仅本地缓存和应用构建输出，例如 -`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地的 `.build` 或 -Gradle 输出目录，因此 Docker 实时运行不会花几分钟复制 -机器特定的产物。 -它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关实时探针就不会在 -容器中启动真实的 Telegram / Discord / 等渠道工作进程。 -`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要缩小范围或从该 Docker 通道中排除 Gateway 网关 -实时覆盖时，也需要同时传递 +实时模型 Docker 运行器还会以只读方式绑定挂载当前检出内容，并将其暂存到容器内的临时工作目录中。这样既能保持运行时镜像轻量，又能确保 Vitest 针对你当前精确的本地源码 / 配置运行。 +暂存步骤会跳过大型本地专用缓存和应用构建输出，例如 +`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及应用本地 `.build` 或 +Gradle 输出目录，因此 Docker 实时测试运行不会花费数分钟复制 +机器特有工件。 +它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关实时 probes 就不会在容器内启动 +真实的 Telegram / Discord / 等等 渠道 worker。 +`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要缩小范围或排除该 Docker 通道中的 Gateway 网关 +实时测试覆盖时，也请一并传递 `OPENCLAW_LIVE_GATEWAY_*`。 -`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个 +`test:docker:openwebui` 是更高层次的兼容性冒烟测试：它会启动一个 启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器， 再针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器，通过 -Open WebUI 登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过 +Open WebUI 完成登录，验证 `/api/models` 暴露 `openclaw/default`，然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一次真实聊天请求。 -首次运行可能会明显更慢，因为 Docker 可能需要拉取 +首次运行可能明显更慢，因为 Docker 可能需要拉取 Open WebUI 镜像，而 Open WebUI 也可能需要完成自己的冷启动 setup。 这个通道需要一个可用的实时模型密钥，而 `OPENCLAW_PROFILE_FILE` （默认 `~/.profile`）是在 Docker 化运行中提供该密钥的主要方式。 成功运行会打印一个小型 JSON 负载，例如 `{ "ok": true, "model": "openclaw/default", ... }`。 -`test:docker:mcp-channels` 刻意设计为确定性运行，不需要 -真实的 Telegram、Discord 或 iMessage 账户。它会启动一个已注入种子的 Gateway 网关 -容器，再启动第二个容器运行 `openclaw mcp serve`，随后 -验证路由后的会话发现、转录读取、附件元数据、 -实时事件队列行为、出站发送路由，以及通过真实 stdio MCP bridge 发送的 Claude 风格渠道 + -权限通知。通知检查 -会直接检查原始 stdio MCP frame，因此这个冒烟测试验证的是 -bridge 实际发出的内容，而不是某个特定客户端 SDK 恰好暴露出来的内容。 +`test:docker:mcp-channels` 被刻意设计为确定性测试，不需要 +真实的 Telegram、Discord 或 iMessage 账号。它会启动一个预置的 Gateway 网关 +容器，启动第二个容器来运行 `openclaw mcp serve`，然后 +验证路由会话发现、transcript 读取、附件元数据、 +实时事件队列行为、出站发送路由，以及通过真实 stdio MCP bridge 传递的 Claude 风格渠道 + +权限通知。通知检查会直接检查原始 stdio MCP frame，因此该冒烟测试验证的是 bridge 实际发出的内容， +而不仅仅是某个特定客户端 SDK 恰好暴露出的内容。 手动 ACP 自然语言线程冒烟测试（非 CI）： - `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel ...` -- 请为回归 / 调试工作流保留这个脚本。后续仍可能需要它来验证 ACP 线程路由，因此不要删除它。 +- 请保留这个脚本用于回归 / 调试工作流。以后可能还需要它来验证 ACP 线程路由，因此不要删除。 有用的环境变量： - `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`）挂载到 `/home/node/.openclaw` - `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`）挂载到 `/home/node/.openclaw/workspace` - `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前读取 -- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 只验证从 `OPENCLAW_PROFILE_FILE` 读取的环境变量，使用临时配置 / 工作区目录且不挂载外部 CLI 认证 -- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于缓存 Docker 内部的 CLI 安装 +- `OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1` 用于仅验证从 `OPENCLAW_PROFILE_FILE` 读取的环境变量，使用临时配置 / 工作区目录且不挂载外部 CLI 认证 +- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于 Docker 内缓存 CLI 安装 - `$HOME` 下的外部 CLI 认证目录 / 文件会以只读方式挂载到 `/host-auth...` 下，然后在测试开始前复制到 `/home/node/...` - 默认目录：`.minimax` - 默认文件：`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json` - - 缩小后的提供商运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的必需目录 / 文件 - - 手动覆盖方式：`OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表 + - 缩小提供商范围的运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件 + - 手动覆盖：使用 `OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或逗号列表，例如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` - `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围 -- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内筛选提供商 -- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于复用现有 `openclaw:local-live` 镜像，以便重跑那些不需要重建的运行 +- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内过滤提供商 +- `OPENCLAW_SKIP_DOCKER_BUILD=1` 用于复用现有 `openclaw:local-live` 镜像，适合不需要重建的重跑 - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 确保凭证来自 profile 存储（而不是环境变量） -- `OPENCLAW_OPENWEBUI_MODEL=...` 用于选择 Gateway 网关为 Open WebUI 冒烟测试暴露的模型 -- `OPENCLAW_OPENWEBUI_PROMPT=...` 用于覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词 -- `OPENWEBUI_IMAGE=...` 用于覆盖固定的 Open WebUI 镜像标签 +- `OPENCLAW_OPENWEBUI_MODEL=...` 选择由 Gateway 网关向 Open WebUI 冒烟测试暴露的模型 +- `OPENCLAW_OPENWEBUI_PROMPT=...` 覆盖 Open WebUI 冒烟测试使用的 nonce 检查提示词 +- `OPENWEBUI_IMAGE=...` 覆盖固定的 Open WebUI 镜像标签 ## 文档完整性检查 修改文档后运行文档检查：`pnpm check:docs`。 -当你还需要检查页内标题锚点时，运行完整的 Mintlify 锚点校验：`pnpm docs:check-links:anchors`。 +当你还需要页内标题检查时，运行完整的 Mintlify anchor 校验：`pnpm docs:check-links:anchors`。 -## 离线回归测试（CI 安全） +## 离线回归（CI 安全） -这些是在不依赖真实提供商的情况下进行的“真实流水线”回归测试： +这些是在没有真实提供商的情况下验证“真实流水线”的回归测试： - Gateway 网关工具调用（mock OpenAI，真实 Gateway 网关 + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） - Gateway 网关向导（WS `wizard.start` / `wizard.next`，强制写入配置 + 认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） ## 智能体可靠性评估（Skills） -我们已经有一些 CI 安全测试，其行为类似于“智能体可靠性评估”： +我们已经有一些 CI 安全的测试，其行为类似“智能体可靠性评估”： -- 通过真实 Gateway 网关 + 智能体循环进行 mock 工具调用（`src/gateway/gateway.test.ts`）。 -- 验证会话接线和配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。 +- 通过真实 Gateway 网关 + 智能体循环执行 mock 工具调用（`src/gateway/gateway.test.ts`）。 +- 端到端向导流程，用于验证会话接线和配置效果（`src/gateway/gateway.test.ts`）。 -针对 Skills 目前仍缺少的内容（见 [Skills](/zh-CN/tools/skills)）： +对于 Skills 目前仍然缺少的内容（参见 [Skills](/zh-CN/tools/skills)）： -- **决策能力：** 当 Skills 列在提示中时，智能体是否会选择正确的 skill（或避免不相关的 skill）？ +- **决策：** 当提示中列出 Skills 时，智能体是否会选择正确的 skill（或避开无关 skill）？ - **合规性：** 智能体是否会在使用前读取 `SKILL.md`，并遵循要求的步骤 / 参数？ -- **工作流契约：** 用多轮场景断言工具顺序、会话历史继承以及沙箱边界。 +- **工作流契约：** 多轮场景，用于断言工具顺序、会话历史延续以及沙箱边界。 未来的评估应优先保持确定性： - 一个使用 mock 提供商的场景运行器，用于断言工具调用 + 顺序、skill 文件读取和会话接线。 -- 一小组面向 skill 的场景（使用 vs 避免、门控、提示注入）。 -- 仅在具备 CI 安全测试套件之后，再考虑可选的实时评估（按需启用、受环境变量控制）。 +- 一小组聚焦 skill 的场景（使用 vs 避免、门禁、提示注入）。 +- 仅在 CI 安全测试套件就位后，再加入可选的实时评估（按需启用、受环境变量控制）。 ## 契约测试（插件和渠道形状） -契约测试用于验证每个已注册插件和渠道都符合其 +契约测试用于验证每个已注册的插件和渠道都符合其 接口契约。它们会遍历所有已发现的插件，并运行一组 -关于形状和行为的断言。默认的 `pnpm test` 单元通道会刻意 -跳过这些共享接缝和冒烟测试文件；当你修改共享渠道或提供商表面时， -请显式运行这些契约命令。 +关于形状和行为的断言。默认的 `pnpm test` 单元测试通道会刻意 +跳过这些共享接口和冒烟测试文件；当你修改共享渠道或提供商接口时， +请显式运行契约测试命令。 ### 命令 -- 全部契约测试：`pnpm test:contracts` +- 所有契约测试：`pnpm test:contracts` - 仅渠道契约测试：`pnpm test:contracts:channels` - 仅提供商契约测试：`pnpm test:contracts:plugins` @@ -963,7 +957,7 @@ bridge 实际发出的内容，而不是某个特定客户端 SDK 恰好暴露 位于 `src/channels/plugins/contracts/*.contract.test.ts`： -- **plugin** - 基本插件形状（id、name、capabilities） +- **plugin** - 基础插件形状（id、name、capabilities） - **setup** - 设置向导契约 - **session-binding** - 会话绑定行为 - **outbound-payload** - 消息负载结构 @@ -985,7 +979,7 @@ bridge 实际发出的内容，而不是某个特定客户端 SDK 恰好暴露 位于 `src/plugins/contracts/*.contract.test.ts`： - **auth** - 认证流程契约 -- **auth-choice** - 认证选项 / 选择 +- **auth-choice** - 认证选择 / 选取 - **catalog** - 模型目录 API - **discovery** - 插件发现 - **loader** - 插件加载 @@ -995,21 +989,21 @@ bridge 实际发出的内容，而不是某个特定客户端 SDK 恰好暴露 ### 何时运行 -- 修改 plugin-sdk 导出或子路径之后 -- 添加或修改渠道或提供商插件之后 +- 修改 `plugin-sdk` 导出或子路径之后 +- 添加或修改渠道插件或提供商插件之后 - 重构插件注册或发现逻辑之后 -契约测试会在 CI 中运行，不需要真实 API 密钥。 +契约测试会在 CI 中运行，并且不需要真实 API 密钥。 ## 添加回归测试（指南） -当你修复一个在实时测试中发现的提供商 / 模型问题时： +当你修复了在实时测试中发现的某个提供商 / 模型问题时： -- 尽可能添加一个 CI 安全的回归测试（mock / stub 提供商，或捕获精确的请求形状转换） -- 如果它本质上只能通过实时测试验证（速率限制、认证策略），就让实时测试保持范围窄，并通过环境变量按需启用 -- 优先锁定能捕获该缺陷的最小层级： - - 提供商请求转换 / 重放缺陷 → 直接模型测试 +- 如果可能，添加一个 CI 安全的回归测试（mock / stub 提供商，或捕获精确的请求形状转换） +- 如果该问题本质上只能通过实时测试发现（速率限制、认证策略），就让实时测试保持狭窄，并通过环境变量按需启用 +- 优先瞄准能够捕获该缺陷的最小层级： + - 提供商请求转换 / 重放缺陷 → direct models 测试 - Gateway 网关会话 / 历史 / 工具流水线缺陷 → Gateway 网关实时冒烟测试或 CI 安全的 Gateway 网关 mock 测试 -- SecretRef 遍历防护规则： - - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中，为每个 SecretRef 类派生一个采样目标，然后断言遍历段 exec id 会被拒绝。 - - 如果你在 `src/secrets/target-registry-data.ts` 中添加一个新的 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类的目标 id 时故意失败，这样新类别就不能被悄悄跳过。 +- SecretRef 遍历保护规则： + - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类推导一个采样目标，然后断言会拒绝遍历段 exec id。 + - 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类目标 id 时故意失败，这样新类别就不能被悄悄跳过。 diff --git a/docs/zh-CN/refactor/qa.md b/docs/zh-CN/refactor/qa.md index 54f32e4db..c397525ba 100644 --- a/docs/zh-CN/refactor/qa.md +++ b/docs/zh-CN/refactor/qa.md @@ -1,34 +1,33 @@ --- x-i18n: - generated_at: "2026-04-08T04:39:37Z" + generated_at: "2026-04-17T15:05:20Z" model: gpt-5.4 provider: openai - source_hash: 4a9066b2a939c5a9ba69141d75405f0e8097997b523164340e2f0e9a0d5060dd + source_hash: dbb2c70c82da7f6f12d90e25666635ff4147c52e8a94135e902d1de4f5cbccca source_path: refactor/qa.md workflow: 15 --- # QA 重构 -状态：基础迁移已完成。 +状态：基础迁移已落地。 ## 目标 -将 OpenClaw QA 从拆分定义模型迁移到单一事实来源： +将 OpenClaw QA 从拆分定义模型迁移为单一事实来源： - 场景元数据 - 发送给模型的提示词 - 设置与清理 - harness 逻辑 - 断言与成功标准 -- 工件与报告提示 +- 产物与报告提示 -期望的最终状态是一个通用 QA harness，它加载功能强大的场景定义文件，而不是将大部分行为硬编码在 TypeScript 中。 +期望的最终状态是：一个通用 QA harness 加载功能强大的场景定义文件，而不是将大部分行为硬编码在 TypeScript 中。 ## 当前状态 -当前的主要事实来源现在位于 `qa/scenarios/index.md`，并且每个 -场景在 `qa/scenarios/*.md` 下各有一个文件。 +当前的主要事实来源现在位于 `qa/scenarios/index.md`，以及每个场景对应的单独文件 `qa/scenarios//*.md`。 已实现： @@ -36,34 +35,34 @@ x-i18n: - 规范的 QA 包元数据 - 操作员身份 - 启动任务 -- `qa/scenarios/*.md` - - 每个场景对应一个 markdown 文件 +- `qa/scenarios//*.md` + - 每个场景一个 Markdown 文件 - 场景元数据 - - 处理器绑定 + - handler 绑定 - 场景专用执行配置 - `extensions/qa-lab/src/scenario-catalog.ts` - - markdown 包解析器 + zod 验证 + - Markdown 包解析器 + zod 校验 - `extensions/qa-lab/src/qa-agent-bootstrap.ts` - - 根据 markdown 包渲染计划 + - 从 Markdown 包渲染执行计划 - `extensions/qa-lab/src/qa-agent-workspace.ts` - - 生成兼容性文件以及 `QA_SCENARIOS.md` + - 生成兼容性文件种子，以及 `QA_SCENARIOS.md` - `extensions/qa-lab/src/suite.ts` - - 通过 markdown 定义的处理器绑定选择可执行场景 + - 通过 Markdown 定义的 handler 绑定选择可执行场景 - QA 总线协议 + UI - - 用于渲染图像 / 视频 / 音频 / 文件的通用内联附件 + - 用于图片 / 视频 / 音频 / 文件渲染的通用内联附件 -仍然拆分的表面： +仍然拆分的部分： - `extensions/qa-lab/src/suite.ts` - - 仍然拥有大部分可执行的自定义处理器逻辑 + - 仍然承载大多数可执行自定义 handler 逻辑 - `extensions/qa-lab/src/report.ts` - - 仍然从运行时输出推导报告结构 + - 仍然根据运行时输出推导报告结构 -因此，事实来源拆分问题已经修复，但执行仍然主要依赖处理器支持，而不是完全声明式。 +因此，事实来源拆分问题已经修复，但执行层仍然主要依赖 handler，而不是完全声明式。 -## 真实的场景表面是什么样的 +## 实际场景面是什么样的 -阅读当前 suite 可以看出几类不同的场景。 +阅读当前 suite 可以看到几类不同的场景。 ### 简单交互 @@ -72,69 +71,69 @@ x-i18n: - 线程后续跟进 - 模型切换 - 审批后续执行 -- 反应 / 编辑 / 删除 +- reaction / edit / delete ### 配置与运行时变更 -- config patch 技能禁用 -- config apply 重启唤醒 -- config 重启能力切换 -- 运行时清单漂移检查 +- config patch skill disable +- config apply restart wake-up +- config restart capability flip +- runtime inventory drift check ### 文件系统与仓库断言 -- source / docs 发现报告 -- 构建 Lobster Invaders -- 生成图像工件查找 +- source / docs discovery report +- build Lobster Invaders +- generated image artifact lookup -### 记忆编排 +### Memory 编排 -- 记忆召回 -- 渠道上下文中的记忆工具 -- 记忆失败回退 -- 会话记忆排序 -- 线程记忆隔离 -- 记忆 dreaming sweep +- memory recall +- 渠道上下文中的 memory 工具 +- memory failure fallback +- session memory ranking +- 线程 memory 隔离 +- memory dreaming sweep ### 工具与插件集成 -- MCP plugin-tools 调用 -- skill 可见性 -- skill 热安装 +- MCP plugin-tools call +- Skills 可见性 +- Skills 热安装 - 原生图像生成 - 图像往返 -- 来自附件的图像理解 +- 从附件理解图像 ### 多轮与多参与者 -- subagent 交接 -- subagent 扇出汇总 -- 重启恢复类流程 +- subagent handoff +- subagent fanout synthesis +- restart recovery 风格流程 -这些类别很重要，因为它们决定 DSL 需求。仅有提示词 + 期望文本的平面列表是不够的。 +这些分类很重要，因为它们决定 DSL 的需求。仅靠“提示词 + 预期文本”的平面列表是不够的。 ## 方向 ### 单一事实来源 -使用 `qa/scenarios/index.md` 加 `qa/scenarios/*.md` 作为编写时的事实来源。 +使用 `qa/scenarios/index.md` 和 `qa/scenarios//*.md` 作为编写时的单一事实来源。 -该包应保持： +这个包应保持： -- 在代码审查中便于人类阅读 -- 可供机器解析 -- 足够丰富，以驱动： +- 便于人工在评审中阅读 +- 可被机器解析 +- 足够丰富，可驱动： - suite 执行 - - QA 工作区引导 + - QA 工作区 bootstrap - QA Lab UI 元数据 - docs / discovery 提示词 - 报告生成 ### 首选编写格式 -使用 markdown 作为顶层格式，内部嵌入结构化 YAML。 +使用 Markdown 作为顶层格式，并在其中使用结构化 YAML。 -推荐形状： +推荐结构： - YAML frontmatter - id @@ -146,24 +145,24 @@ x-i18n: - model / provider overrides - prerequisites - prose sections - - 目标 - - 注释 - - 调试提示 + - objective + - notes + - debugging hints - fenced YAML blocks - setup - steps - assertions - cleanup -这样可以得到： +这样可以获得： - 比庞大的 JSON 更好的 PR 可读性 - 比纯 YAML 更丰富的上下文 -- 严格解析与 zod 验证 +- 严格解析与 zod 校验 -原始 JSON 仅在作为中间生成形式时可接受。 +原始 JSON 仅应作为中间生成形式接受。 -## 拟议的场景文件形状 +## 提议的场景文件结构 示例： @@ -236,11 +235,11 @@ Verify generated media is reattached on the follow-up turn. ``` ```` -## 该 DSL 必须覆盖的运行器能力 +## DSL 必须覆盖的运行器能力 根据当前 suite，通用运行器需要的不只是提示词执行。 -### 环境与设置操作 +### 环境与设置动作 - `bus.reset` - `gateway.waitHealthy` @@ -249,14 +248,14 @@ Verify generated media is reattached on the follow-up turn. - `thread.create` - `workspace.writeSkill` -### 智能体轮次操作 +### 智能体轮次动作 - `agent.send` - `agent.wait` - `bus.injectInbound` - `bus.injectOutbound` -### 配置与运行时操作 +### 配置与运行时动作 - `config.get` - `config.patch` @@ -265,7 +264,7 @@ Verify generated media is reattached on the follow-up turn. - `tools.effective` - `skills.status` -### 文件与工件操作 +### 文件与产物动作 - `file.write` - `file.read` @@ -274,7 +273,7 @@ Verify generated media is reattached on the follow-up turn. - `artifact.captureGeneratedImage` - `artifact.capturePath` -### 记忆与 cron 操作 +### Memory 与 cron 动作 - `memory.indexForce` - `memory.searchCli` @@ -284,7 +283,7 @@ Verify generated media is reattached on the follow-up turn. - `cron.waitCompletion` - `sessionTranscript.write` -### MCP 操作 +### MCP 动作 - `mcp.callTool` @@ -304,66 +303,66 @@ Verify generated media is reattached on the follow-up turn. - `cron.managedPresent` - `artifact.exists` -## 变量与工件引用 +## 变量与产物引用 -该 DSL 必须支持已保存输出及其后续引用。 +DSL 必须支持保存输出并在后续引用。 当前 suite 中的示例： - 创建一个线程，然后复用 `threadId` -- 创建一个会话，然后复用 `sessionKey` -- 生成一张图像，然后在下一轮附加该文件 -- 生成一个唤醒标记字符串，然后断言它稍后会出现 +- 创建一个 session，然后复用 `sessionKey` +- 生成一张图片，然后在下一轮中附加该文件 +- 生成一个 wake marker 字符串，然后断言它稍后出现 所需能力： - `saveAs` - `${vars.name}` - `${artifacts.name}` -- 路径、会话键、线程 id、标记、工具输出的类型化引用 +- 针对路径、session key、线程 id、marker、工具输出的类型化引用 -如果没有变量支持，harness 将继续把场景逻辑泄漏回 TypeScript。 +如果没有变量支持，harness 逻辑就会继续泄漏回 TypeScript 中。 ## 哪些内容应保留为逃生口 -在第 1 阶段，实现一个完全纯声明式的运行器并不现实。 +在第 1 阶段，完全纯声明式的运行器并不现实。 -有些场景本质上就是高度依赖编排的： +有些场景天然就是重编排型的： -- 记忆 dreaming sweep -- config apply 重启唤醒 -- config 重启能力切换 -- 依据时间戳 / 路径解析生成图像工件 -- discovery-report 评估 +- memory dreaming sweep +- config apply restart wake-up +- config restart capability flip +- 按时间戳 / 路径解析生成图像产物 +- discovery-report evaluation -这些场景目前应继续使用显式自定义处理器。 +这些目前应继续使用显式自定义 handler。 推荐规则： -- 85 - 90% 声明式 -- 对于剩余困难部分，使用显式 `customHandler` 步骤 -- 仅允许具名且有文档说明的自定义处理器 -- 场景文件中不允许匿名内联代码 +- 85-90% 声明式 +- 对剩余困难部分使用显式 `customHandler` steps +- 仅允许具名且有文档说明的自定义 handler +- 不允许在场景文件中写匿名内联代码 -这样可以保持通用引擎整洁，同时仍然允许推进工作。 +这样可以让通用引擎保持整洁，同时仍然推进迁移。 ## 架构变更 ### 当前 -场景 markdown 已经是以下内容的事实来源： +场景 Markdown 现在已经是以下内容的事实来源： - suite 执行 -- 工作区引导文件 +- 工作区 bootstrap 文件 - QA Lab UI 场景目录 - 报告元数据 - discovery 提示词 -已生成的兼容内容： +生成的兼容性内容： -- 种子工作区仍然包含 `QA_KICKOFF_TASK.md` -- 种子工作区仍然包含 `QA_SCENARIO_PLAN.md` -- 种子工作区现在还包含 `QA_SCENARIOS.md` +- seed 工作区仍然包含 `QA_KICKOFF_TASK.md` +- seed 工作区仍然包含 `QA_SCENARIO_PLAN.md` +- seed 工作区现在还包含 `QA_SCENARIOS.md` ## 重构计划 @@ -372,11 +371,11 @@ Verify generated media is reattached on the follow-up turn. 已完成。 - 添加了 `qa/scenarios/index.md` -- 将场景拆分到 `qa/scenarios/*.md` -- 为具名 markdown YAML 包内容添加了解析器 -- 使用 zod 进行验证 -- 将消费者切换为使用已解析的包 -- 删除了仓库级别的 `qa/seed-scenarios.json` 和 `qa/QA_KICKOFF_TASK.md` +- 将场景拆分到 `qa/scenarios//*.md` +- 为具名 Markdown YAML 包内容添加了解析器 +- 使用 zod 进行校验 +- 将消费者切换到已解析的包 +- 删除了仓库级 `qa/seed-scenarios.json` 和 `qa/QA_KICKOFF_TASK.md` ### 第 2 阶段：通用引擎 @@ -386,55 +385,55 @@ Verify generated media is reattached on the follow-up turn. - action registry - assertion registry - custom handlers -- 保留现有辅助函数作为引擎操作 +- 保留现有 helper functions 作为引擎操作 -交付成果： +交付物： - 引擎执行简单的声明式场景 先从主要是 prompt + wait + assert 的场景开始： -- 线程后续跟进 -- 来自附件的图像理解 -- skill 可见性与调用 -- 渠道基线 +- threaded follow-up +- 从附件理解图像 +- Skills 可见性与调用 +- channel baseline -交付成果： +交付物： -- 第一批真正由 markdown 定义的场景通过通用引擎发布 +- 第一批真正由 Markdown 定义并通过通用引擎交付的场景 ### 第 4 阶段：迁移中等复杂度场景 -- 图像生成往返 -- 渠道上下文中的记忆工具 -- 会话记忆排序 -- subagent 交接 -- subagent 扇出汇总 +- image generation roundtrip +- 渠道上下文中的 memory 工具 +- session memory ranking +- subagent handoff +- subagent fanout synthesis -交付成果： +交付物： -- 变量、工件、工具断言、请求日志断言得到验证 +- 变量、产物、工具断言、request-log 断言都得到验证 -### 第 5 阶段：将复杂场景保留在自定义处理器上 +### 第 5 阶段：将困难场景保留在自定义 handler 中 -- 记忆 dreaming sweep -- config apply 重启唤醒 -- config 重启能力切换 -- 运行时清单漂移 +- memory dreaming sweep +- config apply restart wake-up +- config restart capability flip +- runtime inventory drift -交付成果： +交付物： -- 保持相同的编写格式，但在需要时使用显式自定义步骤块 +- 保持相同的编写格式，但在需要时使用显式 custom-step blocks ### 第 6 阶段：删除硬编码场景映射 -一旦包覆盖率足够高： +当包覆盖率足够高后： -- 移除 `extensions/qa-lab/src/suite.ts` 中大部分按场景区分的 TypeScript 分支 +- 删除 `extensions/qa-lab/src/suite.ts` 中大多数按场景分支的 TypeScript 逻辑 ## Fake Slack / 富媒体支持 -当前 QA 总线以文本优先。 +当前 QA 总线仍然是 text-first。 相关文件： @@ -444,17 +443,17 @@ Verify generated media is reattached on the follow-up turn. - `extensions/qa-lab/src/bus-server.ts` - `extensions/qa-lab/web/src/ui-render.ts` -如今 QA 总线支持： +目前 QA 总线支持： - 文本 -- 反应 -- 线程 +- reactions +- threads -它尚未对内联媒体附件建模。 +它还不能建模内联媒体附件。 -### 所需传输契约 +### 所需的传输契约 -添加一个通用 QA 总线附件模型： +添加通用 QA 总线附件模型： ```ts type QaBusAttachment = { @@ -473,42 +472,42 @@ type QaBusAttachment = { }; ``` -然后向以下类型添加 `attachments?: QaBusAttachment[]`： +然后将 `attachments?: QaBusAttachment[]` 添加到： - `QaBusMessage` - `QaBusInboundMessageInput` - `QaBusOutboundMessageInput` -### 为什么要先做通用模型 +### 为什么要先做通用层 -不要构建仅适用于 Slack 的媒体模型。 +不要构建仅限 Slack 的媒体模型。 -而应使用： +而应该： -- 一个通用 QA 传输模型 -- 在其上构建多个渲染器 - - 当前 QA Lab 聊天 +- 先有一个通用 QA 传输模型 +- 再在其上构建多个渲染器 + - 当前 QA Lab chat - 未来的 fake Slack web - - 任何其他 fake transport 视图 + - 其他任何 fake transport views 这样可以避免重复逻辑，并让媒体场景保持与传输层无关。 -### 所需 UI 工作 +### 所需的 UI 工作 更新 QA UI 以渲染： -- 内联图像预览 +- 内联图片预览 - 内联音频播放器 - 内联视频播放器 - 文件附件 chip -当前 UI 已经可以渲染线程和反应，因此附件渲染应能叠加到同一消息卡片模型上。 +当前 UI 已经可以渲染线程和 reactions，因此附件渲染应可以叠加到同一消息卡片模型上。 -### 媒体传输启用的场景工作 +### 媒体传输启用后的场景工作 -一旦附件能通过 QA 总线流转，我们就可以添加更丰富的 fake-chat 场景： +一旦附件可以通过 QA 总线流转，我们就可以添加更丰富的 fake-chat 场景： -- fake Slack 中的内联图像回复 +- fake Slack 中的内联图片回复 - 音频附件理解 - 视频附件理解 - 混合附件顺序 @@ -516,24 +515,24 @@ type QaBusAttachment = { ## 建议 -下一个实现阶段应是： +下一块实现工作应是： -1. 添加 markdown 场景加载器 + zod schema -2. 从 markdown 生成当前目录 +1. 添加 Markdown 场景加载器 + zod schema +2. 从 Markdown 生成当前目录 3. 先迁移几个简单场景 4. 添加通用 QA 总线附件支持 -5. 在 QA UI 中渲染内联图像 -6. 然后扩展到音频和视频 +5. 在 QA UI 中渲染内联图片 +6. 然后再扩展到音频和视频 -这是能够同时验证两个目标的最小路径： +这是能同时验证两个目标的最小路径： -- 通用的 markdown 定义 QA -- 更丰富的 fake messaging 表面 +- 通用的 Markdown 定义 QA +- 更丰富的 fake messaging surfaces -## 未决问题 +## 开放问题 -- 场景文件是否应允许嵌入带变量插值的 markdown 提示词模板 -- setup / cleanup 应该是具名章节，还是仅作为有序操作列表 -- 工件引用在 schema 中应为强类型，还是基于字符串 -- 自定义处理器应放在一个 registry 中，还是按 surface 分 registry -- 迁移期间生成的 JSON 兼容文件是否应继续纳入版本控制 +- 场景文件是否应允许嵌入带变量插值的 Markdown 提示词模板 +- setup / cleanup 应该是具名 section，还是仅作为有序动作列表 +- 产物引用在 schema 中应采用强类型，还是基于字符串 +- 自定义 handler 应放在一个统一 registry 中，还是按 surface 分 registry +- 在迁移期间，生成的 JSON 兼容性文件是否应继续保留为已检入状态