From 63d7d19dc24cf4e8f75fecf34a7a4e6e7a07909b Mon Sep 17 00:00:00 2001 From: "openclaw-docs-i18n[bot]" Date: Mon, 6 Apr 2026 18:19:16 +0000 Subject: [PATCH] chore(i18n): refresh zh-CN translations --- docs/zh-CN/help/testing.md | 670 +++++++++++++++------------ docs/zh-CN/tools/music-generation.md | 188 ++++---- docs/zh-CN/tools/video-generation.md | 246 +++++----- 3 files changed, 575 insertions(+), 529 deletions(-) diff --git a/docs/zh-CN/help/testing.md b/docs/zh-CN/help/testing.md index 5c08e3ddd..e3c449a32 100644 --- a/docs/zh-CN/help/testing.md +++ b/docs/zh-CN/help/testing.md @@ -1,105 +1,105 @@ --- read_when: - 在本地或 CI 中运行测试时 - - 为模型 / 提供商 bug 添加回归测试时 + - 为模型 / 提供商缺陷添加回归测试时 - 调试 Gateway 网关 + 智能体行为时 -summary: 测试工具包：单元 / e2e / live 测试套件、Docker 运行器，以及各类测试覆盖的内容 +summary: 测试工具包：单元 / e2e / 实时测试套件、Docker 运行器，以及各项测试覆盖的内容 title: 测试 x-i18n: - generated_at: "2026-04-06T16:52:05Z" + generated_at: "2026-04-06T18:19:15Z" model: gpt-5.4 provider: openai - source_hash: 8d90ff6e00c3e03c480922529cdf77e508add1ca5fc1bdded3d0e4e16aa43d10 + source_hash: 1e1e3b5092c91786fb93de1ed84bf3867f6cc85ef797775fa242a56009da3372 source_path: help/testing.md workflow: 15 --- # 测试 -OpenClaw 有三套 Vitest 测试（单元 / 集成、e2e、live）以及一小组 Docker 运行器。 +OpenClaw 有三套 Vitest 测试套件（单元 / 集成、e2e、实时）以及一小组 Docker 运行器。 本文档是一份“我们如何测试”的指南： -- 每个测试套件覆盖什么（以及它有意 _不_ 覆盖什么） -- 常见工作流应运行哪些命令（本地、推送前、调试） -- live 测试如何发现凭证并选择模型 / 提供商 +- 每个测试套件覆盖什么内容（以及它刻意 _不_ 覆盖的内容） +- 常见工作流（本地、推送前、调试）应运行哪些命令 +- 实时测试如何发现凭证并选择模型 / 提供商 - 如何为真实世界中的模型 / 提供商问题添加回归测试 ## 快速开始 大多数时候： -- 完整门禁（推送前预期运行）：`pnpm build && pnpm check && pnpm test` +- 完整 gate（推送前预期执行）：`pnpm build && pnpm check && pnpm test` - 在配置充足的机器上更快地运行本地完整测试套件：`pnpm test:max` - 直接进入 Vitest 监听循环：`pnpm test:watch` -- 直接指定文件现在也会路由扩展 / 渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` +- 现在直接指定文件也会路由扩展 / 渠道路径：`pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` - 基于 Docker 的 QA 站点：`pnpm qa:lab:up` -当你修改了测试或需要更高置信度时： +当你修改了测试或想获得更多信心时： -- 覆盖率门禁：`pnpm test:coverage` +- 覆盖率 gate：`pnpm test:coverage` - E2E 测试套件：`pnpm test:e2e` 当你在调试真实提供商 / 模型时（需要真实凭证）： -- live 测试套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live` -- 静默运行单个 live 文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` +- 实时测试套件（模型 + Gateway 网关工具 / 图像探测）：`pnpm test:live` +- 安静地只跑一个实时测试文件：`pnpm test:live -- src/agents/models.profiles.live.test.ts` -提示：当你只需要复现一个失败用例时，优先使用下文介绍的 allowlist 环境变量来缩小 live 测试范围。 +提示：当你只需要一个失败用例时，优先使用下面介绍的 allowlist 环境变量来收窄实时测试范围。 ## 测试套件（各自在哪里运行） -可以将这些测试套件理解为“真实度逐步增加”（同时也更容易波动 / 成本更高）： +可以把这些测试套件理解为“真实性逐步增加”（同时不稳定性 / 成本也逐步增加）： ### 单元 / 集成（默认） - 命令：`pnpm test` -- 配置：基于现有作用域化 Vitest 项目的五个顺序分片运行（`vitest.full-*.config.ts`） +- 配置：在现有分范围 Vitest 项目上运行五个顺序分片配置（`vitest.full-*.config.ts`） - 文件：`src/**/*.test.ts`、`packages/**/*.test.ts`、`test/**/*.test.ts` 下的核心 / 单元测试清单，以及 `vitest.unit.config.ts` 覆盖的白名单 `ui` Node 测试 - 范围： - 纯单元测试 - - 进程内集成测试（Gateway 网关鉴权、路由、工具、解析、配置） - - 已知 bug 的确定性回归测试 + - 进程内集成测试（Gateway 网关认证、路由、工具、解析、配置） + - 针对已知缺陷的确定性回归测试 - 预期： - 在 CI 中运行 - 不需要真实密钥 - 应该快速且稳定 - 项目说明： - - 未指定目标的 `pnpm test` 现在会运行五个更小的分片配置（`core-unit`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生根项目进程。这能降低高负载机器上的峰值 RSS，并避免 auto-reply / extension 工作拖慢无关套件。 - - `pnpm test --watch` 仍然使用原生根级 `vitest.config.ts` 项目图，因为多分片监听循环并不现实。 - - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会优先将显式文件 / 目录目标路由到作用域化通道，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 不必承担完整根项目启动开销。 - - `pnpm test:changed` 会在差异只涉及可路由的源码 / 测试文件时，将变更过的 git 路径展开到同样的作用域化通道；配置 / setup 编辑仍会回退到更广泛的根项目重跑。 - - 部分 `plugin-sdk` 和 `commands` 测试也会通过专用轻量通道运行，并跳过 `test/setup-openclaw-runtime.ts`；而有状态 / 运行时较重的文件仍保留在现有通道上。 - - 部分 `plugin-sdk` 和 `commands` 辅助源文件也会让 changed 模式运行映射到这些轻量通道中的显式同级测试，因此辅助文件变更无需重跑该目录下完整的重型测试套件。 - - `auto-reply` 现在有三个专用分桶：顶层核心辅助、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这使最重的 reply harness 工作不会挤占便宜的 status / chunk / token 测试。 + - 无定向的 `pnpm test` 现在会运行五个更小的分片配置（`core-unit`、`core-runtime`、`agentic`、`auto-reply`、`extensions`），而不是一个巨大的原生根项目进程。这样可以降低高负载机器上的 RSS 峰值，并避免 auto-reply / 扩展相关工作拖慢无关测试套件。 + - `pnpm test --watch` 仍然使用原生根 `vitest.config.ts` 项目图，因为多分片监听循环并不现实。 + - `pnpm test`、`pnpm test:watch` 和 `pnpm test:perf:imports` 现在会先把显式的文件 / 目录目标路由到分范围 lane，因此 `pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts` 不必承担完整根项目启动开销。 + - `pnpm test:changed` 会在 diff 只涉及可路由的源码 / 测试文件时，把变更的 git 路径扩展到同样的分范围 lane；如果改动了 config / setup，仍会回退到较宽泛的根项目重跑。 + - 部分选定的 `plugin-sdk` 和 `commands` 测试也会通过专门的轻量 lane 路由，这些 lane 会跳过 `test/setup-openclaw-runtime.ts`；有状态 / 运行时较重的文件仍保留在原有 lane 中。 + - 部分选定的 `plugin-sdk` 和 `commands` 辅助源码文件也会在 changed 模式下映射到这些轻量 lane 中的显式同级测试，因此辅助文件的修改不需要为该目录重跑完整的重型测试套件。 + - `auto-reply` 现在有三个专门 bucket：顶层核心辅助、顶层 `reply.*` 集成测试，以及 `src/auto-reply/reply/**` 子树。这样可以把最重的 reply harness 工作与轻量的 status / chunk / token 测试分开。 - 嵌入式运行器说明： - 当你修改消息工具发现输入或压缩运行时上下文时， - 要同时保留这两个层级的覆盖。 - - 为纯路由 / 规范化边界添加聚焦的辅助回归测试。 + 需要同时保留两个层级的覆盖。 + - 为纯路由 / 归一化边界添加聚焦的辅助回归测试。 - 同时也要保持嵌入式运行器集成测试套件健康： `src/agents/pi-embedded-runner/compact.hooks.test.ts`、 - `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts` 和 + `src/agents/pi-embedded-runner/run.overflow-compaction.test.ts`，以及 `src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts`。 - - 这些套件验证带作用域的 id 和压缩行为仍然会通过真实的 `run.ts` / `compact.ts` 路径流动；仅有辅助层测试不能充分替代这些集成路径。 -- 进程池说明： + - 这些测试套件会验证作用域 id 和压缩行为仍会通过真实的 `run.ts` / `compact.ts` 路径流转；仅有辅助测试并不能充分替代这些集成路径。 +- Pool 说明： - 基础 Vitest 配置现在默认使用 `threads`。 - - 共享 Vitest 配置还固定使用 `isolate: false`，并在根项目、e2e 和 live 配置中使用非隔离运行器。 - - 根 UI 通道仍保留其 `jsdom` setup 和优化器，但现在也运行在共享的非隔离运行器上。 - - 每个 `pnpm test` 分片都从共享 Vitest 配置继承同样的 `threads` + `isolate: false` 默认值。 - - 共享的 `scripts/run-vitest.mjs` 启动器现在默认还会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要对比原生 V8 行为，可设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 + - 共享 Vitest 配置还固定了 `isolate: false`，并在根项目、e2e 和实时配置中使用非隔离运行器。 + - 根 UI lane 仍保留其 `jsdom` 设置和优化器，但现在也运行在共享的非隔离运行器上。 + - 每个 `pnpm test` 分片都会从共享 Vitest 配置继承相同的 `threads` + `isolate: false` 默认值。 + - 共享的 `scripts/run-vitest.mjs` 启动器现在默认还会为 Vitest 子 Node 进程添加 `--no-maglev`，以减少大型本地运行期间的 V8 编译抖动。如果你需要与原生 V8 行为对比，可设置 `OPENCLAW_VITEST_ENABLE_MAGLEV=1`。 - 本地快速迭代说明： - - 当变更路径能明确映射到更小的测试套件时，`pnpm test:changed` 会通过作用域化通道运行。 + - `pnpm test:changed` 会在变更路径可以清晰映射到更小测试套件时，通过分范围 lane 路由。 - `pnpm test:max` 和 `pnpm test:changed:max` 保持相同的路由行为，只是使用更高的 worker 上限。 - - 本地 worker 自动缩放现在刻意更保守，并且在主机负载平均值已经偏高时也会回退，因此默认情况下多个并发 Vitest 运行对机器的影响会更小。 - - 基础 Vitest 配置将这些项目 / 配置文件标记为 `forceRerunTriggers`，以便在测试接线发生变化时，changed 模式的重跑仍然正确。 - - 配置会在支持的主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你想为直接性能分析指定一个明确的缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 + - 本地 worker 自动伸缩现在有意更保守，并且在宿主机平均负载已经较高时也会退让，因此默认情况下多个并发 Vitest 运行造成的影响会更小。 + - 基础 Vitest 配置将项目 / 配置文件标记为 `forceRerunTriggers`，以便在测试接线变化时，changed 模式重跑仍然正确。 + - 配置在受支持主机上保持启用 `OPENCLAW_VITEST_FS_MODULE_CACHE`；如果你想为直接性能分析指定一个显式缓存位置，可设置 `OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path`。 - 性能调试说明： - - `pnpm test:perf:imports` 会启用 Vitest 导入时长报告以及导入明细输出。 - - `pnpm test:perf:imports:changed` 会将同样的性能视图限定到自 `origin/main` 以来变更的文件。 -- `pnpm test:perf:changed:bench -- --ref ` 会将已提交差异的路由式 `test:changed` 与原生根项目路径进行对比，并打印总耗时以及 macOS 最大 RSS。 -- `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 与根 Vitest 配置，将当前脏工作树的变更文件列表路由后进行基准测试。 - - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动与转换开销写出主线程 CPU profile。 - - `pnpm test:perf:profile:runner` 会在禁用文件级并行时，为单元测试套件写出运行器 CPU + 堆 profile。 + - `pnpm test:perf:imports` 会启用 Vitest 导入耗时报告以及导入拆分输出。 + - `pnpm test:perf:imports:changed` 会将相同的分析视图限制到自 `origin/main` 以来发生变更的文件。 +- `pnpm test:perf:changed:bench -- --ref ` 会把已提交 diff 的路由 `test:changed` 与原生根项目路径进行比较，并输出墙钟时间以及 macOS 最大 RSS。 +- `pnpm test:perf:changed:bench -- --worktree` 会通过 `scripts/test-projects.mjs` 和根 Vitest 配置，对当前脏工作树进行基准测试。 + - `pnpm test:perf:profile:main` 会为 Vitest / Vite 启动和转换开销写出主线程 CPU profile。 + - `pnpm test:perf:profile:runner` 会在禁用文件并行时，为单元测试套件写出运行器 CPU + 堆 profile。 ### E2E（Gateway 网关冒烟） @@ -107,158 +107,163 @@ OpenClaw 有三套 Vitest 测试（单元 / 集成、e2e、live）以及一小 - 配置：`vitest.e2e.config.ts` - 文件：`src/**/*.e2e.test.ts`、`test/**/*.e2e.test.ts` - 运行时默认值： - - 使用 Vitest `threads` 配合 `isolate: false`，与仓库其余部分保持一致。 + - 使用 Vitest `threads` 与 `isolate: false`，与仓库其他部分保持一致。 - 使用自适应 worker（CI：最多 2 个，本地：默认 1 个）。 - - 默认以静默模式运行，以减少控制台 I/O 开销。 -- 常用覆盖项： - - `OPENCLAW_E2E_WORKERS=` 用于强制指定 worker 数量（上限 16）。 - - `OPENCLAW_E2E_VERBOSE=1` 用于重新启用详细控制台输出。 + - 默认以静默模式运行，以降低控制台 I/O 开销。 +- 常用覆盖方式： + - `OPENCLAW_E2E_WORKERS=` 强制设置 worker 数量（上限为 16）。 + - `OPENCLAW_E2E_VERBOSE=1` 重新启用详细控制台输出。 - 范围： - 多实例 Gateway 网关端到端行为 - - WebSocket / HTTP 接口、节点配对以及更重的网络路径 + - WebSocket / HTTP 表面、节点配对和更重的网络行为 - 预期： - 在 CI 中运行（当流水线启用时） - 不需要真实密钥 - - 比单元测试涉及更多活动部件（可能更慢） + - 比单元测试涉及更多可变因素（可能更慢） ### E2E：OpenShell 后端冒烟 - 命令：`pnpm test:e2e:openshell` - 文件：`test/openshell-sandbox.e2e.test.ts` - 范围： - - 通过 Docker 在主机上启动隔离的 OpenShell Gateway 网关 + - 通过 Docker 在主机上启动一个隔离的 OpenShell Gateway 网关 - 从临时本地 Dockerfile 创建一个沙箱 - - 通过真实的 `sandbox ssh-config` + SSH exec 演练 OpenClaw 的 OpenShell 后端 - - 通过沙箱 fs bridge 验证远端规范化文件系统行为 + - 通过真实的 `sandbox ssh-config` + SSH exec，执行 OpenClaw 的 OpenShell 后端 + - 通过沙箱 fs bridge 验证远程规范化文件系统行为 - 预期： - - 仅按需启用；不属于默认的 `pnpm test:e2e` 运行 + - 仅按需启用；不属于默认 `pnpm test:e2e` 运行的一部分 - 需要本地 `openshell` CLI 和可用的 Docker daemon - - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，随后销毁测试 Gateway 网关和沙箱 -- 常用覆盖项： - - `OPENCLAW_E2E_OPENSHELL=1`：手动运行更广泛 e2e 测试套件时启用该测试 - - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`：指向非默认的 CLI 二进制或包装脚本 + - 使用隔离的 `HOME` / `XDG_CONFIG_HOME`，然后销毁测试 Gateway 网关和沙箱 +- 常用覆盖方式： + - `OPENCLAW_E2E_OPENSHELL=1`，在手动运行更宽泛的 e2e 套件时启用该测试 + - `OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell`，指定非默认 CLI 二进制或包装脚本 -### Live（真实提供商 + 真实模型） +### 实时（真实提供商 + 真实模型） - 命令：`pnpm test:live` - 配置：`vitest.live.config.ts` - 文件：`src/**/*.live.test.ts` - 默认：由 `pnpm test:live` **启用**（设置 `OPENCLAW_LIVE_TEST=1`） - 范围： - - “这个提供商 / 模型在 _今天_ 搭配真实凭证时是否真的能工作？” - - 捕捉提供商格式变化、工具调用怪癖、鉴权问题以及限流行为 + - “这个提供商 / 模型今天是否真的能用真实凭证工作？” + - 捕获提供商格式变化、工具调用怪癖、认证问题以及速率限制行为 - 预期： - - 按设计不具备 CI 稳定性（真实网络、真实提供商策略、配额、故障） - - 会花钱 / 消耗限额 - - 优先运行缩小范围的子集，而不是“全部” -- live 运行会 source `~/.profile` 以获取缺失的 API 密钥。 -- 默认情况下，live 运行仍会隔离 `HOME`，并将配置 / 鉴权材料复制到临时测试 home 中，这样单元测试夹具就不会修改你真实的 `~/.openclaw`。 -- 只有在你明确需要 live 测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 -- `pnpm test:live` 现在默认采用更安静的模式：会保留 `[live] ...` 进度输出，但隐藏额外的 `~/.profile` 提示，并静默 Gateway 网关启动日志 / Bonjour 噪音。若要恢复完整启动日志，请设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 -- API 密钥轮换（提供商特定）：可设置逗号 / 分号格式的 `*_API_KEYS` 或 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），或通过 `OPENCLAW_LIVE_*_KEY` 为单个 live 运行覆盖；测试会在限流响应时重试。 + - 按设计并不适合作为稳定的 CI 测试（真实网络、真实提供商策略、配额、故障） + - 会花钱 / 消耗速率限制 + - 优先运行收窄后的子集，而不是“全部” +- 实时运行会 source `~/.profile` 以补齐缺失的 API key。 +- 默认情况下，实时运行仍会隔离 `HOME`，并把配置 / 认证材料复制到临时测试 home 中，这样单元测试夹具就不会修改你真实的 `~/.openclaw`。 +- 仅在你明确需要让实时测试使用真实 home 目录时，才设置 `OPENCLAW_LIVE_USE_REAL_HOME=1`。 +- `pnpm test:live` 现在默认更安静：会保留 `[live] ...` 进度输出，但隐藏额外的 `~/.profile` 提示，并静音 Gateway 网关启动日志 / Bonjour 杂音。如果想恢复完整启动日志，设置 `OPENCLAW_LIVE_TEST_QUIET=0`。 +- API key 轮换（提供商特定）：设置逗号 / 分号格式的 `*_API_KEYS` 或 `*_API_KEY_1`、`*_API_KEY_2`（例如 `OPENAI_API_KEYS`、`ANTHROPIC_API_KEYS`、`GEMINI_API_KEYS`），或通过 `OPENCLAW_LIVE_*_KEY` 进行每个实时测试的覆盖；测试会在遇到速率限制响应时重试。 - 进度 / 心跳输出： - - live 测试套件现在会将进度行输出到 stderr，因此即使 Vitest 控制台捕获处于安静模式，长时间的提供商调用也会显示为正在进行。 - - `vitest.live.config.ts` 会禁用 Vitest 控制台拦截，因此提供商 / Gateway 网关进度行会在 live 运行时立即流出。 - - 通过 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直接模型心跳。 - - 通过 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / 探测心跳。 + - 实时测试套件现在会把进度行输出到 stderr，因此即使 Vitest 控制台捕获较安静，长时间的提供商调用也能明显看到仍在运行。 + - `vitest.live.config.ts` 禁用了 Vitest 控制台拦截，因此提供商 / Gateway 网关进度行会在实时运行时立即输出。 + - 使用 `OPENCLAW_LIVE_HEARTBEAT_MS` 调整直连模型心跳。 + - 使用 `OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS` 调整 Gateway 网关 / 探测心跳。 ## 我应该运行哪个测试套件？ 使用这个决策表： -- 编辑逻辑 / 测试：运行 `pnpm test`（如果改动较多，再加上 `pnpm test:coverage`） -- 涉及 Gateway 网关网络 / WS 协议 / 配对：增加 `pnpm test:e2e` -- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行缩小范围的 `pnpm test:live` +- 修改逻辑 / 测试：运行 `pnpm test`（如果你改动较多，再加上 `pnpm test:coverage`） +- 涉及 Gateway 网关网络 / WS 协议 / 配对：再加上 `pnpm test:e2e` +- 调试“我的 bot 挂了” / 提供商特定故障 / 工具调用：运行收窄后的 `pnpm test:live` -## Live：Android 节点能力扫描 +## 实时：Android 节点能力全量扫描 - 测试：`src/gateway/android-node.capabilities.live.test.ts` - 脚本：`pnpm android:test:integration` -- 目标：调用已连接 Android 节点当前**声明的每一条命令**，并断言命令契约行为。 +- 目标：调用已连接 Android 节点当前**宣告的每一个命令**，并断言命令契约行为。 - 范围： - - 预设条件 / 手动 setup（该测试套件不会安装 / 运行 / 配对应用）。 - - 针对选定 Android 节点逐命令验证 Gateway 网关 `node.invoke`。 -- 必需的预先 setup： - - Android 应用已连接并与 Gateway 网关配对。 - - 应用保持在前台。 - - 你期望通过的能力所需权限 / 捕获许可已授予。 -- 可选目标覆盖项： + - 依赖前置 / 手动设置（该测试套件不会安装 / 运行 / 配对 app）。 + - 针对所选 Android 节点，逐命令验证 Gateway 网关 `node.invoke`。 +- 所需预设： + - Android app 已连接并与 Gateway 网关配对。 + - app 保持前台。 + - 对你预期通过的能力，相关权限 / 捕获授权已授予。 +- 可选目标覆盖： - `OPENCLAW_ANDROID_NODE_ID` 或 `OPENCLAW_ANDROID_NODE_NAME`。 - `OPENCLAW_ANDROID_GATEWAY_URL` / `OPENCLAW_ANDROID_GATEWAY_TOKEN` / `OPENCLAW_ANDROID_GATEWAY_PASSWORD`。 -- 完整 Android setup 详情： [Android App](/zh-CN/platforms/android) +- 完整 Android 设置细节： [Android App](/zh-CN/platforms/android) -## Live：模型冒烟（配置档案密钥） +## 实时：模型冒烟（配置档案密钥） -live 测试拆分为两层，以便隔离故障： +实时测试分成两层，这样我们可以隔离故障： -- “直接模型”告诉我们：提供商 / 模型是否至少能用给定密钥回答。 -- “Gateway 网关冒烟”告诉我们：该模型的完整 Gateway 网关 + 智能体流水线是否正常工作（会话、历史、工具、沙箱策略等）。 +- “直接模型”告诉我们：给定密钥时，提供商 / 模型是否至少可以回答。 +- “Gateway 网关冒烟”告诉我们：该模型在完整的 Gateway 网关 + 智能体流水线中是否正常工作（会话、历史、工具、沙箱策略等）。 ### 第 1 层：直接模型补全（无 Gateway 网关） - 测试：`src/agents/models.profiles.live.test.ts` - 目标： - - 枚举已发现的模型 - - 使用 `getApiKeyForModel` 选择你有凭证的模型 - - 为每个模型运行一个小型补全（并在需要时运行有针对性的回归测试） + - 枚举发现到的模型 + - 使用 `getApiKeyForModel` 选择你拥有凭证的模型 + - 对每个模型运行一个小型补全（并在需要时运行定向回归） - 启用方式： - - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） -- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）才会实际运行该测试套件；否则它会跳过，以便让 `pnpm test:live` 专注于 Gateway 网关冒烟 -- 选择模型的方法： + - `pnpm test:live`（或者如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） +- 设置 `OPENCLAW_LIVE_MODELS=modern`（或 `all`，即 modern 的别名）来实际运行该套件；否则它会跳过，以便让 `pnpm test:live` 聚焦于 Gateway 网关冒烟 +- 如何选择模型： - `OPENCLAW_LIVE_MODELS=modern` 运行 modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_MODELS=all` 是 modern allowlist 的别名 - 或 `OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..."`（逗号分隔 allowlist） -- 选择提供商的方法： +- 如何选择提供商： - `OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"`（逗号分隔 allowlist） - 密钥来源： - 默认：profile store 和环境变量回退 - - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制**仅使用 profile store** -- 存在意义： - - 将“提供商 API 坏了 / 密钥无效”与“Gateway 网关智能体流水线坏了”区分开 - - 容纳小而隔离的回归测试（例如：OpenAI Responses / Codex Responses 的 reasoning replay + 工具调用流程） + - 设置 `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 以强制**仅使用 profile store** +- 该层存在的原因： + - 将“提供商 API 坏了 / 密钥无效”和“Gateway 网关智能体流水线坏了”区分开来 + - 容纳小而隔离的回归测试（例如：OpenAI Responses / Codex Responses 的推理回放 + 工具调用流程） -### 第 2 层：Gateway 网关 + 开发智能体冒烟（也就是 “@openclaw” 实际做的事） +### 第 2 层：Gateway 网关 + dev 智能体冒烟（也就是 “@openclaw” 实际做的事） - 测试：`src/gateway/gateway-models.profiles.live.test.ts` - 目标： - 启动一个进程内 Gateway 网关 - 创建 / 修补一个 `agent:dev:*` 会话（每次运行覆盖模型） - - 遍历所有带密钥的模型并断言： - - “有意义的”回复（不使用工具） - - 一个真实的工具调用可以工作（read probe） - - 可选的额外工具探测可以工作（exec+read probe） - - OpenAI 回归路径（仅工具调用 → 后续跟进）继续正常 -- 探测细节（便于你快速解释故障）： - - `read` probe：测试会在工作区中写入一个 nonce 文件，并要求智能体 `read` 该文件然后回显 nonce。 - - `exec+read` probe：测试要求智能体通过 `exec` 将 nonce 写入临时文件，然后再 `read` 回来。 + - 迭代带密钥的模型，并断言： + - “有意义”的响应（无工具） + - 一个真实工具调用可以正常工作（read probe） + - 可选的额外工具探测工作正常（exec+read probe） + - OpenAI 回归路径（仅工具调用 → 后续跟进）保持可用 +- Probe 细节（这样你可以快速解释故障）： + - `read` probe：测试会在工作区写入一个 nonce 文件，并要求智能体 `read` 它，然后把 nonce 回显出来。 + - `exec+read` probe：测试要求智能体用 `exec` 把 nonce 写入临时文件，然后再 `read` 回来。 - image probe：测试会附加一个生成的 PNG（猫 + 随机代码），并期望模型返回 `cat `。 - 实现参考：`src/gateway/gateway-models.profiles.live.test.ts` 和 `src/gateway/live-image-probe.ts`。 - 启用方式： - - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） -- 选择模型的方法： + - `pnpm test:live`（或者如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） +- 如何选择模型： - 默认：modern allowlist（Opus / Sonnet 4.6+、GPT-5.x + Codex、Gemini 3、GLM 4.7、MiniMax M2.7、Grok 4） - `OPENCLAW_LIVE_GATEWAY_MODELS=all` 是 modern allowlist 的别名 - - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）以缩小范围 -- 选择提供商的方法（避免“OpenRouter 全家桶”）： + - 或设置 `OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"`（或逗号列表）来收窄范围 +- 如何选择提供商（避免“OpenRouter 全家桶”）： - `OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"`（逗号分隔 allowlist） -- 工具 + 图像探测在该 live 测试中始终开启： - - `read` probe + `exec+read` probe`（工具压力测试） - - 当模型声明支持图像输入时，会运行 image probe - - 流程（高层）： - - 测试会生成一个带有 “CAT” + 随机代码的小型 PNG（`src/gateway/live-image-probe.ts`） +- 工具 + 图像探测在这个实时测试中始终开启： + - `read` probe + `exec+read` probe（工具压力测试） + - 当模型宣告支持图像输入时，会运行 image probe + - 流程（高层级）： + - 测试生成一个带有 “CAT” + 随机代码的小 PNG（`src/gateway/live-image-probe.ts`） - 通过 `agent` `attachments: [{ mimeType: "image/png", content: "" }]` 发送 - - Gateway 网关将附件解析为 `images[]`（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） - - 嵌入式智能体将多模态用户消息转发给模型 + - Gateway 网关将附件解析到 `images[]` 中（`src/gateway/server-methods/agent.ts` + `src/gateway/chat-attachments.ts`） + - 嵌入式智能体向模型转发一个多模态用户消息 - 断言：回复包含 `cat` + 该代码（OCR 容错：允许少量错误） -提示：要查看你的机器上可以测试哪些内容（以及精确的 `provider/model` id），请运行： -__OC_I18N_900000__ -## Live：CLI 后端冒烟（Codex CLI 或其他本地 CLI） +提示：如果想查看你的机器上能测什么（以及精确的 `provider/model` id），运行： + +```bash +openclaw models list +openclaw models list --json +``` + +## 实时：CLI 后端冒烟（Codex CLI 或其他本地 CLI） - 测试：`src/gateway/gateway-cli-backend.live.test.ts` - 目标：使用本地 CLI 后端验证 Gateway 网关 + 智能体流水线，同时不触碰你的默认配置。 - 启用： - - `pnpm test:live`（或在直接调用 Vitest 时设置 `OPENCLAW_LIVE_TEST=1`） + - `pnpm test:live`（或者如果直接调用 Vitest，则设置 `OPENCLAW_LIVE_TEST=1`） - `OPENCLAW_LIVE_CLI_BACKEND=1` - 默认值： - 模型：`codex-cli/gpt-5.4` @@ -268,92 +273,112 @@ __OC_I18N_900000__ - `OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.4"` - `OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"` - `OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'` - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1`：发送真实图像附件（路径会注入到提示词中）。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"`：将图像文件路径作为 CLI 参数传入，而不是通过提示词注入。 - - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`）：当设置 `IMAGE_ARG` 时，控制图像参数的传递方式。 - - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1`：发送第二轮消息并验证恢复流程。 - + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1` 发送真实图像附件（路径会注入到提示中）。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image"`，将图像文件路径作为 CLI 参数传递，而不是注入到提示中。 + - `OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"`（或 `"list"`），控制在设置 `IMAGE_ARG` 时图像参数的传递方式。 + - `OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1` 发送第二轮消息并验证 resume 流程。 + 示例： -__OC_I18N_900001__ + +```bash +OPENCLAW_LIVE_CLI_BACKEND=1 \ + OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.4" \ + pnpm test:live src/gateway/gateway-cli-backend.live.test.ts +``` + Docker 配方： -__OC_I18N_900002__ + +```bash +pnpm test:docker:live-cli-backend +``` + 说明： - Docker 运行器位于 `scripts/test-live-cli-backend-docker.sh`。 -- 它会在仓库 Docker 镜像中以非 root 的 `node` 用户身份运行 live CLI 后端冒烟测试。 -- 对于 `codex-cli`，它会将 Linux 版 `@openai/codex` 包安装到一个可缓存、可写的前缀 `OPENCLAW_DOCKER_CLI_TOOLS_DIR`（默认：`~/.cache/openclaw/docker-cli-tools`）。 +- 它会在仓库 Docker 镜像中，以非 root 的 `node` 用户运行实时 CLI 后端冒烟测试。 +- 对于 `codex-cli`，它会把 Linux 版 `@openai/codex` 包安装到可缓存的可写前缀 `OPENCLAW_DOCKER_CLI_TOOLS_DIR` 中（默认：`~/.cache/openclaw/docker-cli-tools`）。 -## Live：ACP 绑定冒烟（`/acp spawn ... --bind here`） +## 实时：ACP 绑定冒烟（`/acp spawn ... --bind here`） - 测试：`src/gateway/gateway-acp-bind.live.test.ts` -- 目标：使用 live ACP 智能体验证真实 ACP 会话绑定流程： +- 目标：使用实时 ACP 智能体验证真实 ACP 会话绑定流程： - 发送 `/acp spawn --bind here` - 就地绑定一个合成的消息渠道会话 - - 在同一会话中发送正常跟进消息 - - 验证该跟进消息落入已绑定的 ACP 会话转录中 + - 在同一个会话上发送普通后续消息 + - 验证后续消息会落到绑定的 ACP 会话转录中 - 启用： - `pnpm test:live src/gateway/gateway-acp-bind.live.test.ts` - `OPENCLAW_LIVE_ACP_BIND=1` - 默认值： - ACP 智能体：`claude` - - 合成渠道：类似 Slack 私信的会话上下文 + - 合成渠道：Slack 私信风格会话上下文 - ACP 后端：`acpx` - 覆盖项： - `OPENCLAW_LIVE_ACP_BIND_AGENT=claude` - `OPENCLAW_LIVE_ACP_BIND_AGENT=codex` - `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@'` - 说明： - - 该通道使用 Gateway 网关 `chat.send` 接口，并带有仅管理员可用的合成 originating-route 字段，因此测试可以附加消息渠道上下文，而无需假装实际向外部投递。 - - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会使用嵌入式 `acpx` 插件内置的智能体注册表来选择 ACP harness 智能体。 + - 该 lane 使用 Gateway 网关 `chat.send` 表面，并附带仅管理员可用的合成来源路由字段，因此测试可以附加消息渠道上下文，而不需要伪装成外部投递。 + - 当未设置 `OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND` 时，测试会为所选 ACP harness 智能体使用内置 `acpx` 插件自带的智能体注册表。 示例： -__OC_I18N_900003__ + +```bash +OPENCLAW_LIVE_ACP_BIND=1 \ + OPENCLAW_LIVE_ACP_BIND_AGENT=claude \ + pnpm test:live src/gateway/gateway-acp-bind.live.test.ts +``` + Docker 配方： -__OC_I18N_900004__ + +```bash +pnpm test:docker:live-acp-bind +``` + Docker 说明： - Docker 运行器位于 `scripts/test-live-acp-bind-docker.sh`。 -- 它会 source `~/.profile`，将匹配的 CLI 鉴权材料暂存到容器中，把 `acpx` 安装到可写的 npm 前缀中，然后在缺失时安装所需的 live CLI（`@anthropic-ai/claude-code` 或 `@openai/codex`）。 -- 在 Docker 内部，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，以便 `acpx` 保持从已 source 的 profile 获得的提供商环境变量对子 harness CLI 可用。 +- 它会 source `~/.profile`，把匹配的 CLI 认证材料暂存到容器中，将 `acpx` 安装到可写 npm 前缀中，并在缺失时安装所请求的实时 CLI（`@anthropic-ai/claude-code` 或 `@openai/codex`）。 +- 在 Docker 内，运行器会设置 `OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx`，这样 `acpx` 就能让来自已 source 配置档案的提供商环境变量继续对其子 harness CLI 可用。 -### 推荐的 live 配方 +### 推荐的实时测试配方 -范围窄、显式的 allowlist 速度最快，也最不容易波动： +范围明确的 allowlist 最快、也最不容易出问题： -- 单模型，直接（无 Gateway 网关）： +- 单模型，直接测试（无 Gateway 网关）： - `OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts` - 单模型，Gateway 网关冒烟： - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` -- 跨多个提供商的工具调用： +- 多个提供商上的工具调用： - `OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` -- 聚焦 Google（Gemini API 密钥 + Antigravity）： - - Gemini（API 密钥）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` +- 聚焦 Google（Gemini API key + Antigravity）： + - Gemini（API key）：`OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` - Antigravity（OAuth）：`OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts` 说明： -- `google/...` 使用 Gemini API（API 密钥）。 -- `google-antigravity/...` 使用 Antigravity OAuth bridge（类似 Cloud Code Assist 的智能体端点）。 -- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（鉴权方式和工具行为怪癖不同）。 +- `google/...` 使用 Gemini API（API key）。 +- `google-antigravity/...` 使用 Antigravity OAuth bridge（Cloud Code Assist 风格的智能体端点）。 +- `google-gemini-cli/...` 使用你机器上的本地 Gemini CLI（独立认证 + 工具怪癖）。 - Gemini API 与 Gemini CLI： - - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API 密钥 / profile 鉴权）；这通常就是大多数用户说的 “Gemini”。 - - CLI：OpenClaw 通过 shell 调用本地 `gemini` 二进制；它有自己的鉴权方式，并且行为可能不同（流式传输 / 工具支持 / 版本偏差）。 + - API：OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API（API key / profile auth）；这通常是大多数用户所说的 “Gemini”。 + - CLI：OpenClaw 通过 shell 调用本地 `gemini` 二进制；它有自己的认证方式，并且行为可能不同（流式传输 / 工具支持 / 版本偏差）。 -## Live：模型矩阵（我们覆盖什么） +## 实时：模型矩阵（我们的覆盖范围） -这里没有固定的“CI 模型列表”（live 是按需启用的），但以下是在有密钥的开发机上建议定期覆盖的**推荐**模型。 +没有固定的“CI 模型列表”（实时测试是按需启用的），但以下是**推荐**在有密钥的开发机器上定期覆盖的模型。 -### 现代冒烟集（工具调用 + 图像） +### 现代冒烟集合（工具调用 + 图像） -这是我们期望持续保持可用的“常见模型”运行集： +这是我们预期应持续保持可用的“常用模型”运行： - OpenAI（非 Codex）：`openai/gpt-5.4`（可选：`openai/gpt-5.4-mini`） - OpenAI Codex：`openai-codex/gpt-5.4` - Anthropic：`anthropic/claude-opus-4-6`（或 `anthropic/claude-sonnet-4-6`） -- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免较旧的 Gemini 2.x 模型） +- Google（Gemini API）：`google/gemini-3.1-pro-preview` 和 `google/gemini-3-flash-preview`（避免更旧的 Gemini 2.x 模型） - Google（Antigravity）：`google-antigravity/claude-opus-4-6-thinking` 和 `google-antigravity/gemini-3-flash` - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` @@ -371,74 +396,75 @@ Docker 说明： - Z.AI（GLM）：`zai/glm-4.7` - MiniMax：`minimax/MiniMax-M2.7` -可选的额外覆盖（有更好，没有也行）： +可选的附加覆盖（最好有）： -- xAI：`xai/grok-4`（或最新可用版本） -- Mistral：`mistral/`…（选择一个你已启用且具备工具能力的模型） +- xAI：`xai/grok-4`（或当前最新可用版本） +- Mistral：`mistral/`…（选择一个你已启用、支持 “tools” 的模型） - Cerebras：`cerebras/`…（如果你有访问权限） - LM Studio：`lmstudio/`…（本地；工具调用取决于 API 模式） ### Vision：图像发送（附件 → 多模态消息） -在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 支持 Vision 的变体等），以覆盖 image probe。 +在 `OPENCLAW_LIVE_GATEWAY_MODELS` 中至少包含一个支持图像的模型（Claude / Gemini / OpenAI 的支持视觉的变体等），以执行 image probe。 ### 聚合器 / 替代 Gateway 网关 -如果你已启用相关密钥，也支持通过以下方式测试： +如果你启用了相关密钥，我们也支持通过以下方式测试： -- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选模型） -- OpenCode：`opencode/...` 用于 Zen，`opencode-go/...` 用于 Go（鉴权通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY`） +- OpenRouter：`openrouter/...`（数百个模型；使用 `openclaw models scan` 查找支持工具 + 图像的候选） +- OpenCode：`opencode/...` 用于 Zen，`opencode-go/...` 用于 Go（通过 `OPENCODE_API_KEY` / `OPENCODE_ZEN_API_KEY` 认证） -如果你有凭证 / 配置，也可以将更多提供商纳入 live 矩阵： +你还可以在实时矩阵中加入更多提供商（如果你有凭证 / 配置）： - 内置：`openai`、`openai-codex`、`anthropic`、`google`、`google-vertex`、`google-antigravity`、`google-gemini-cli`、`zai`、`openrouter`、`opencode`、`opencode-go`、`xai`、`groq`、`cerebras`、`mistral`、`github-copilot` - 通过 `models.providers`（自定义端点）：`minimax`（云 / API），以及任何兼容 OpenAI / Anthropic 的代理（LM Studio、vLLM、LiteLLM 等） -提示：不要试图在文档里硬编码“所有模型”。权威列表应当始终是你的机器上 `discoverModels(...)` 的返回结果，加上当前可用的密钥。 +提示：不要试图在文档里硬编码“所有模型”。权威列表始终是你机器上 `discoverModels(...)` 返回的内容 + 当前可用的密钥。 ## 凭证（绝不要提交） -live 测试发现凭证的方式与 CLI 完全相同。实际含义如下： +实时测试发现凭证的方式与 CLI 相同。实际含义如下： -- 如果 CLI 能工作，live 测试应该能找到相同的密钥。 -- 如果 live 测试提示“没有凭证”，就像调试 `openclaw models list` / 模型选择那样去调试。 +- 如果 CLI 能工作，实时测试通常也应该能找到相同的密钥。 +- 如果实时测试说“没有凭证”，就像排查 `openclaw models list` / 模型选择那样去排查。 -- 每智能体鉴权 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是 live 测试里 “profile keys” 的含义） +- 每个智能体的认证 profile：`~/.openclaw/agents//agent/auth-profiles.json`（这就是实时测试里 “profile keys” 的含义） - 配置：`~/.openclaw/openclaw.json`（或 `OPENCLAW_CONFIG_PATH`） -- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的 live home 中，但它不是主 profile-key store） -- 本地 live 运行默认会将当前配置、每智能体 `auth-profiles.json` 文件、旧版 `credentials/` 以及受支持的外部 CLI 鉴权目录复制到临时测试 home 中；在该暂存配置中会去除 `agents.*.workspace` / `agentDir` 路径覆盖，以确保探测不会落到你真实主机工作区。 +- 旧版状态目录：`~/.openclaw/credentials/`（存在时会复制到暂存的实时测试 home 中，但它不是主要的 profile-key 存储） +- 本地实时运行默认会复制活动配置、每个智能体的 `auth-profiles.json` 文件、旧版 `credentials/` 以及支持的外部 CLI 认证目录到临时测试 home；在该暂存配置中会移除 `agents.*.workspace` / `agentDir` 路径覆盖，以便 probe 不会落到你的真实主机工作区。 -如果你希望依赖环境变量密钥（例如导出在 `~/.profile` 中），请在本地测试前运行 `source ~/.profile`，或者使用下面的 Docker 运行器（它们可以将 `~/.profile` 挂载到容器中）。 +如果你想依赖环境变量密钥（例如导出在你的 `~/.profile` 中），请在本地测试前运行 `source ~/.profile`，或者使用下面的 Docker 运行器（它们可以把 `~/.profile` 挂载到容器中）。 -## Deepgram live（音频转录） +## Deepgram 实时（音频转录） - 测试：`src/media-understanding/providers/deepgram/audio.live.test.ts` - 启用：`DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live src/media-understanding/providers/deepgram/audio.live.test.ts` -## BytePlus 编码计划 live +## BytePlus 编码计划实时测试 - 测试：`src/agents/byteplus.live.test.ts` - 启用：`BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live src/agents/byteplus.live.test.ts` -- 可选模型覆盖项：`BYTEPLUS_CODING_MODEL=ark-code-latest` +- 可选模型覆盖：`BYTEPLUS_CODING_MODEL=ark-code-latest` -## ComfyUI 工作流媒体 live +## ComfyUI 工作流媒体实时测试 - 测试：`extensions/comfy/comfy.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts` - 范围： - - 覆盖内置 comfy 图像、视频和 `music_generate` 路径 - - 除非配置了 `models.providers.comfy.`，否则会跳过各项能力 - - 在修改 comfy 工作流提交、轮询、下载或插件注册后特别有用 + - 执行内置 comfy 图像、视频和 `music_generate` 路径 + - 除非已配置 `models.providers.comfy.`，否则会跳过对应能力 + - 在修改 comfy 工作流提交、轮询、下载或插件注册后很有用 -## 图像生成 live +## 图像生成实时测试 - 测试：`src/image-generation/runtime.live.test.ts` - 命令：`pnpm test:live src/image-generation/runtime.live.test.ts` +- Harness：`pnpm test:live:media image` - 范围： - - 枚举每个已注册的图像生成 provider 插件 + - 枚举每一个已注册的图像生成提供商插件 - 在探测前从你的登录 shell（`~/.profile`）加载缺失的提供商环境变量 - - 默认优先使用 live / env API 密钥，而不是已存储的鉴权 profile，因此 `auth-profiles.json` 中陈旧的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用鉴权 / profile / 模型的提供商 + - 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证 / profile / 模型的提供商 - 通过共享运行时能力运行标准图像生成变体： - `google:flash-generate` - `google:pro-generate` @@ -447,220 +473,258 @@ live 测试发现凭证的方式与 CLI 完全相同。实际含义如下： - 当前覆盖的内置提供商： - `openai` - `google` -- 可选缩小范围： +- 可选收窄： - `OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="openai,google"` - `OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-1,google/gemini-3.1-flash-image-preview"` - `OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit"` -- 可选鉴权行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile store 鉴权并忽略仅环境变量覆盖 +- 可选认证行为： + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅环境变量覆盖 -## 音乐生成 live +## 音乐生成实时测试 - 测试：`extensions/music-generation-providers.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts` +- Harness：`pnpm test:live:media music` - 范围： - - 覆盖共享的内置音乐生成提供商路径 + - 执行共享内置音乐生成提供商路径 - 当前覆盖 Google 和 MiniMax - 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量 - - 默认优先使用 live / env API 密钥，而不是已存储的鉴权 profile，因此 `auth-profiles.json` 中陈旧的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用鉴权 / profile / 模型的提供商 - - 在可用时运行两种声明的运行时模式： + - 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证 / profile / 模型的提供商 + - 在可用时运行两个已声明的运行时模式： - `generate`：仅提示词输入 - `edit`：当提供商声明 `capabilities.edit.enabled` 时 - - 当前共享通道覆盖： + - 当前共享 lane 覆盖： - `google`：`generate`、`edit` - `minimax`：`generate` - - `comfy`：使用单独的 Comfy live 文件，不在此共享扫描中 -- 可选缩小范围： + - `comfy`：使用单独的 Comfy 实时测试文件，不在该共享扫描中 +- 可选收窄： - `OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"` - `OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.5+"` -- 可选鉴权行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile store 鉴权并忽略仅环境变量覆盖 +- 可选认证行为： + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅环境变量覆盖 -## 视频生成 live +## 视频生成实时测试 - 测试：`extensions/video-generation-providers.live.test.ts` - 启用：`OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts` +- Harness：`pnpm test:live:media video` - 范围： - - 覆盖共享的内置视频生成提供商路径 + - 执行共享内置视频生成提供商路径 - 在探测前从你的登录 shell（`~/.profile`）加载提供商环境变量 - - 默认优先使用 live / env API 密钥，而不是已存储的鉴权 profile，因此 `auth-profiles.json` 中陈旧的测试密钥不会掩盖真实 shell 凭证 - - 跳过没有可用鉴权 / profile / 模型的提供商 - - 在可用时运行两种声明的运行时模式： + - 默认优先使用实时 / 环境变量 API key，而不是已存储的认证 profile，因此 `auth-profiles.json` 中过期的测试密钥不会掩盖真实的 shell 凭证 + - 跳过没有可用认证 / profile / 模型的提供商 + - 在可用时运行两个已声明的运行时模式： - `generate`：仅提示词输入 - - `imageToVideo`：当提供商声明 `capabilities.imageToVideo.enabled` 时 - - `videoToVideo`：当提供商声明 `capabilities.videoToVideo.enabled` 且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地视频输入时 - - 当前 `videoToVideo` live 覆盖： - - `google` - - `openai` - - 仅当所选模型为 `runway/gen4_aleph` 时覆盖 `runway` - - 当前在共享扫描中已声明但跳过的 `videoToVideo` 提供商： - - `alibaba`、`qwen`、`xai`，因为这些路径目前需要远程 `http(s)` / MP4 引用 URL -- 可选缩小范围： + - `imageToVideo`：当提供商声明 `capabilities.imageToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地图像输入时 + - `videoToVideo`：当提供商声明 `capabilities.videoToVideo.enabled`，且所选提供商 / 模型在共享扫描中接受基于 buffer 的本地视频输入时 + - 当前在共享扫描中已声明但被跳过的 `imageToVideo` 提供商： + - `vydra`，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图像 URL + - 当前 `videoToVideo` 的实时覆盖： + - 仅 `runway`，且所选模型为 `runway/gen4_aleph` + - 当前在共享扫描中已声明但被跳过的 `videoToVideo` 提供商： + - `alibaba`、`qwen`、`xai`，因为这些路径当前需要远程 `http(s)` / MP4 参考 URL + - `google`，因为当前共享 Gemini / Veo lane 使用基于本地 buffer 的输入，而该路径在共享扫描中不被接受 + - `openai`，因为当前共享 lane 无法保证具备组织特定的视频修补 / remix 访问权限 +- 可选收窄： - `OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"` - `OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"` -- 可选鉴权行为： - - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 可强制使用 profile store 鉴权并忽略仅环境变量覆盖 +- 可选认证行为： + - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 强制使用 profile store 认证，并忽略仅环境变量覆盖 -## Docker 运行器（可选的“可在 Linux 中工作”检查） +## 媒体实时 harness -这些 Docker 运行器分为两类： +- 命令：`pnpm test:live:media` +- 目的： + - 通过一个仓库原生入口运行共享的图像、音乐和视频实时测试套件 + - 自动从 `~/.profile` 加载缺失的提供商环境变量 + - 默认自动将每个测试套件收窄为当前具有可用认证的提供商 + - 复用 `scripts/test-live.mjs`，因此心跳与 quiet 模式行为保持一致 +- 示例： + - `pnpm test:live:media` + - `pnpm test:live:media image video --providers openai,google,minimax` + - `pnpm test:live:media video --video-providers openai,runway --all-providers` + - `pnpm test:live:media music --quiet` -- live 模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行与其匹配的 profile-key live 文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），并挂载你的本地配置目录和工作区（如果挂载了 `~/.profile`，也会 source 它）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 -- Docker live 运行器默认使用更小的冒烟上限，以保证完整 Docker 扫描仍然可行： - `test:docker:live-models` 默认使用 `OPENCLAW_LIVE_MAX_MODELS=12`，而 - `test:docker:live-gateway` 默认使用 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 +## Docker 运行器（可选的“在 Linux 中可用”检查） + +这些 Docker 运行器分成两类： + +- 实时模型运行器：`test:docker:live-models` 和 `test:docker:live-gateway` 只会在仓库 Docker 镜像中运行与其匹配的 profile-key 实时测试文件（`src/agents/models.profiles.live.test.ts` 和 `src/gateway/gateway-models.profiles.live.test.ts`），会挂载你的本地配置目录和工作区（如果已挂载，还会 source `~/.profile`）。对应的本地入口点是 `test:live:models-profiles` 和 `test:live:gateway-profiles`。 +- Docker 实时运行器默认使用更小的冒烟上限，以便完整 Docker 扫描仍然可行： + `test:docker:live-models` 默认设置 `OPENCLAW_LIVE_MAX_MODELS=12`，并且 + `test:docker:live-gateway` 默认设置 `OPENCLAW_LIVE_GATEWAY_SMOKE=1`、 `OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8`、 - `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000` 和 - `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你明确需要更大的穷举扫描时，再覆盖这些环境变量。 -- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次 live Docker 镜像，然后在两个 live Docker 通道之间复用它。 -- 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层的集成路径。 + `OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000`，以及 + `OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000`。当你 + 明确想运行更大范围的穷举扫描时，可以覆盖这些环境变量。 +- `test:docker:all` 会先通过 `test:docker:live-build` 构建一次实时 Docker 镜像，然后复用它运行两个实时 Docker lane。 +- 容器冒烟运行器：`test:docker:openwebui`、`test:docker:onboard`、`test:docker:gateway-network`、`test:docker:mcp-channels` 和 `test:docker:plugins` 会启动一个或多个真实容器，并验证更高层级的集成路径。 -live 模型 Docker 运行器还会只绑定挂载所需的 CLI 鉴权 home（或在未缩小运行范围时挂载所有受支持的鉴权 home），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 就可以刷新令牌而不会修改主机鉴权存储： +实时模型 Docker 运行器还会只 bind-mount 所需的 CLI 认证 home（如果运行未收窄，则挂载所有受支持的认证 home），然后在运行前将它们复制到容器 home 中，这样外部 CLI OAuth 可以刷新令牌，而不会修改主机认证存储： -- 直接模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） +- 直连模型：`pnpm test:docker:live-models`（脚本：`scripts/test-live-models-docker.sh`） - ACP 绑定冒烟：`pnpm test:docker:live-acp-bind`（脚本：`scripts/test-live-acp-bind-docker.sh`） - CLI 后端冒烟：`pnpm test:docker:live-cli-backend`（脚本：`scripts/test-live-cli-backend-docker.sh`） -- Gateway 网关 + 开发智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） -- Open WebUI live 冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） +- Gateway 网关 + dev 智能体：`pnpm test:docker:live-gateway`（脚本：`scripts/test-live-gateway-models-docker.sh`） +- Open WebUI 实时冒烟：`pnpm test:docker:openwebui`（脚本：`scripts/e2e/openwebui-docker.sh`） - 新手引导向导（TTY，完整脚手架）：`pnpm test:docker:onboard`（脚本：`scripts/e2e/onboard-docker.sh`） -- Gateway 网关网络（两个容器，WS 鉴权 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） -- MCP 渠道桥接（带种子数据的 Gateway 网关 + stdio bridge + 原始 Claude 通知帧冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） +- Gateway 网关网络（两个容器，WS 认证 + 健康检查）：`pnpm test:docker:gateway-network`（脚本：`scripts/e2e/gateway-network-docker.sh`） +- MCP 渠道桥接（预置 Gateway 网关 + stdio bridge + 原始 Claude notification-frame 冒烟）：`pnpm test:docker:mcp-channels`（脚本：`scripts/e2e/mcp-channels-docker.sh`） - 插件（安装冒烟 + `/plugin` 别名 + Claude bundle 重启语义）：`pnpm test:docker:plugins`（脚本：`scripts/e2e/plugins-docker.sh`） -live 模型 Docker 运行器还会以只读方式绑定挂载当前 checkout，并将其暂存到容器内的临时工作目录中。这能让运行时镜像保持精简，同时仍然针对你本地精确的源代码 / 配置运行 Vitest。 -暂存步骤会跳过大型本地专用缓存和应用构建输出，例如 -`.pnpm-store`、`.worktrees`、`__openclaw_vitest__` 以及应用本地 `.build` 或 -Gradle 输出目录，因此 Docker live 运行不会花几分钟复制机器特定产物。 -它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关 live 探测就不会在容器内启动真实的 Telegram / Discord / 等渠道 worker。 -`test:docker:live-models` 仍然会运行 `pnpm test:live`，因此当你需要在该 Docker 通道中缩小或排除 Gateway 网关 live 覆盖时，也请传入 `OPENCLAW_LIVE_GATEWAY_*`。 -`test:docker:openwebui` 是更高层的兼容性冒烟：它会启动一个启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器，针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器，通过 Open WebUI 登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过 Open WebUI 的 `/api/chat/completions` 代理发送一条真实聊天请求。 -首次运行可能明显更慢，因为 Docker 可能需要拉取 Open WebUI 镜像，而 Open WebUI 也可能需要完成自身冷启动 setup。 -该通道需要一个可用的 live 模型密钥，而 `OPENCLAW_PROFILE_FILE` -（默认 `~/.profile`）是在 Docker 化运行中提供它的主要方式。 -成功运行会打印一个小型 JSON 载荷，例如 `{ "ok": true, "model": +实时模型 Docker 运行器还会以只读方式 bind-mount 当前 checkout， +并将其暂存到容器中的临时 workdir。这样可以在保持运行时 +镜像精简的同时，仍然让 Vitest 对你当前本地的精确源码 / 配置运行。 +暂存步骤会跳过大型本地专用缓存和 app 构建输出，例如 +`.pnpm-store`、`.worktrees`、`__openclaw_vitest__`，以及 app 本地的 `.build` 或 +Gradle 输出目录，因此 Docker 实时运行不会花几分钟去复制 +机器特定工件。 +它们还会设置 `OPENCLAW_SKIP_CHANNELS=1`，这样 Gateway 网关实时探测 +就不会在容器中启动真实的 Telegram / Discord / 等渠道 worker。 +`test:docker:live-models` 仍然运行 `pnpm test:live`，因此当你需要收窄或排除该 Docker lane 中的 Gateway 网关 +实时覆盖时，也可以一并传入 +`OPENCLAW_LIVE_GATEWAY_*`。 +`test:docker:openwebui` 是一个更高层级的兼容性冒烟测试：它会启动一个 +启用了 OpenAI 兼容 HTTP 端点的 OpenClaw Gateway 网关容器， +再针对该 Gateway 网关启动一个固定版本的 Open WebUI 容器，通过 +Open WebUI 完成登录，验证 `/api/models` 暴露了 `openclaw/default`，然后通过 +Open WebUI 的 `/api/chat/completions` 代理发送 +一个真实聊天请求。 +首次运行可能明显更慢，因为 Docker 可能需要拉取 +Open WebUI 镜像，并且 Open WebUI 可能需要完成自身的冷启动设置。 +这个 lane 需要可用的实时模型密钥，而 `OPENCLAW_PROFILE_FILE` +（默认 `~/.profile`）是在 Docker 化运行中提供该密钥的主要方式。 +成功运行会打印一小段 JSON 载荷，例如 `{ "ok": true, "model": "openclaw/default", ... }`。 -`test:docker:mcp-channels` 刻意设计为确定性测试，不需要真实的 -Telegram、Discord 或 iMessage 账号。它会启动一个带种子数据的 Gateway 网关 -容器，再启动第二个容器以拉起 `openclaw mcp serve`，然后验证真实 stdio MCP bridge 上的路由会话发现、转录读取、附件元数据、实时事件队列行为、出站发送路由，以及 Claude 风格的渠道 + -权限通知。通知检查会直接检视原始 stdio MCP 帧，因此该冒烟测试验证的是 -bridge 实际发出的内容，而不仅仅是某个特定客户端 SDK 恰好暴露的内容。 +`test:docker:mcp-channels` 刻意设计为确定性运行，不需要 +真实的 Telegram、Discord 或 iMessage 账号。它会启动一个预置的 Gateway 网关 +容器，启动第二个会生成 `openclaw mcp serve` 的容器，然后 +验证路由后的会话发现、转录读取、附件元数据、 +实时事件队列行为、出站发送路由，以及 Claude 风格的渠道 + +权限通知，这些都通过真实的 stdio MCP bridge 完成。通知检查 +会直接检查原始 stdio MCP frame，因此该冒烟测试验证的是 +bridge 实际发出的内容，而不只是某个特定客户端 SDK 恰好暴露了什么。 手动 ACP 自然语言线程冒烟（非 CI）： - `bun scripts/dev/discord-acp-plain-language-smoke.ts --channel ...` -- 请保留这个脚本用于回归 / 调试工作流。之后可能还需要它来验证 ACP 线程路由，因此不要删除它。 +- 为回归 / 调试工作流保留这个脚本。之后它可能还会再次用于 ACP 线程路由验证，因此不要删除它。 常用环境变量： - `OPENCLAW_CONFIG_DIR=...`（默认：`~/.openclaw`）挂载到 `/home/node/.openclaw` - `OPENCLAW_WORKSPACE_DIR=...`（默认：`~/.openclaw/workspace`）挂载到 `/home/node/.openclaw/workspace` -- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile` 并在运行测试前 source -- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于在 Docker 内缓存 CLI 安装 -- `$HOME` 下的外部 CLI 鉴权目录 / 文件会以只读方式挂载到 `/host-auth...` 下，然后在测试开始前复制到 `/home/node/...` +- `OPENCLAW_PROFILE_FILE=...`（默认：`~/.profile`）挂载到 `/home/node/.profile`，并在运行测试前 source +- `OPENCLAW_DOCKER_CLI_TOOLS_DIR=...`（默认：`~/.cache/openclaw/docker-cli-tools`）挂载到 `/home/node/.npm-global`，用于 Docker 内缓存 CLI 安装 +- `$HOME` 下的外部 CLI 认证目录 / 文件会以只读方式挂载到 `/host-auth...`，然后在测试开始前复制到 `/home/node/...` - 默认目录：`.minimax` - 默认文件：`~/.codex/auth.json`、`~/.codex/config.toml`、`.claude.json`、`~/.claude/.credentials.json`、`~/.claude/settings.json`、`~/.claude/settings.local.json` - - 缩小提供商范围的运行只会挂载根据 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件 - - 手动覆盖方式：`OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或类似 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` 的逗号列表 -- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于缩小运行范围 -- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内过滤提供商 + - 收窄后的提供商运行只会挂载从 `OPENCLAW_LIVE_PROVIDERS` / `OPENCLAW_LIVE_GATEWAY_PROVIDERS` 推断出的所需目录 / 文件 + - 也可以手动覆盖：`OPENCLAW_DOCKER_AUTH_DIRS=all`、`OPENCLAW_DOCKER_AUTH_DIRS=none`，或逗号列表，例如 `OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex` +- `OPENCLAW_LIVE_GATEWAY_MODELS=...` / `OPENCLAW_LIVE_MODELS=...` 用于收窄运行范围 +- `OPENCLAW_LIVE_GATEWAY_PROVIDERS=...` / `OPENCLAW_LIVE_PROVIDERS=...` 用于在容器内筛选提供商 - `OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1` 确保凭证来自 profile store（而不是环境变量） -- `OPENCLAW_OPENWEBUI_MODEL=...` 选择 Gateway 网关为 Open WebUI 冒烟暴露的模型 -- `OPENCLAW_OPENWEBUI_PROMPT=...` 覆盖 Open WebUI 冒烟所使用的 nonce 检查提示词 +- `OPENCLAW_OPENWEBUI_MODEL=...` 选择 Open WebUI 冒烟测试中 Gateway 网关暴露的模型 +- `OPENCLAW_OPENWEBUI_PROMPT=...` 覆盖 Open WebUI 冒烟测试所使用的 nonce 检查提示词 - `OPENWEBUI_IMAGE=...` 覆盖固定的 Open WebUI 镜像标签 ## 文档完整性检查 编辑文档后运行文档检查：`pnpm check:docs`。 -当你还需要完整的 Mintlify anchor 校验（包括页内标题检查）时，请运行：`pnpm docs:check-links:anchors`。 +如果还需要页内标题检查，请运行完整的 Mintlify 锚点校验：`pnpm docs:check-links:anchors`。 ## 离线回归（CI 安全） -这些是在不接入真实提供商的情况下，对“真实流水线”进行的回归测试： +这些是无需真实提供商的“真实流水线”回归： -- Gateway 网关工具调用（mock OpenAI，真实 Gateway 网关 + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） -- Gateway 网关向导（WS `wizard.start` / `wizard.next`，写入配置 + 强制鉴权）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） +- Gateway 网关工具调用（模拟 OpenAI，真实 Gateway 网关 + 智能体循环）：`src/gateway/gateway.test.ts`（用例：“runs a mock OpenAI tool call end-to-end via gateway agent loop”） +- Gateway 网关向导（WS `wizard.start` / `wizard.next`，写入配置 + 强制认证）：`src/gateway/gateway.test.ts`（用例：“runs wizard over ws and writes auth token config”） -## 智能体可靠性评测（Skills） +## 智能体可靠性评估（Skills） -我们已经有一些 CI 安全的测试，它们的行为类似“智能体可靠性评测”： +我们已经有一些 CI 安全的测试，行为上类似“智能体可靠性评估”： -- 通过真实 Gateway 网关 + 智能体循环进行 mock 工具调用（`src/gateway/gateway.test.ts`）。 +- 通过真实 Gateway 网关 + 智能体循环进行模拟工具调用（`src/gateway/gateway.test.ts`）。 - 验证会话接线和配置效果的端到端向导流程（`src/gateway/gateway.test.ts`）。 -对于 Skills（参见 [Skills](/tools/skills)），目前仍然缺少： +针对 Skills 仍然缺少的内容（见 [Skills](/zh-CN/tools/skills)）： -- **决策能力：**当提示词中列出 Skills 时，智能体是否会选择正确的 Skill（或避开无关 Skill）？ -- **合规性：**智能体在使用前是否会读取 `SKILL.md` 并遵循所需步骤 / 参数？ -- **工作流契约：**断言工具顺序、会话历史延续和沙箱边界的多轮场景。 +- **决策**：当提示中列出 Skills 时，智能体是否会选择正确的 skill（或避免选择无关 skill）？ +- **合规**：智能体在使用前是否会读取 `SKILL.md`，并遵循要求的步骤 / 参数？ +- **工作流契约**：断言工具顺序、会话历史承接和沙箱边界的多轮场景。 -未来的评测应优先保持确定性： +未来的评估应首先保持确定性： -- 一个使用 mock 提供商的场景运行器，用于断言工具调用 + 顺序、Skill 文件读取以及会话接线。 -- 一小套以 Skill 为重点的场景（使用 vs 避免、门禁、提示注入）。 -- 只有在 CI 安全集合到位之后，才添加可选的 live 评测（按需启用、受环境变量控制）。 +- 一个使用模拟提供商的场景运行器，用于断言工具调用 + 顺序、skill 文件读取以及会话接线。 +- 一小组聚焦 skill 的场景测试（使用与避免、gate、提示注入）。 +- 仅在 CI 安全套件就位之后，再加入可选的实时评估（按需启用、环境变量 gate）。 -## 契约测试（plugin 和 channel 形状） +## 契约测试（插件和渠道形状） -契约测试用于验证每个已注册 plugin 和 channel 都符合其接口契约。它们会遍历所有已发现的插件，并运行一组形状与行为断言。默认的 `pnpm test` 单元通道会刻意跳过这些共享接缝和冒烟文件；当你修改共享 channel 或 provider 接口时，请显式运行这些契约命令。 +契约测试会验证每个已注册插件和渠道都符合其 +接口契约。它们会遍历所有发现到的插件，并运行一组 +形状和行为断言。默认的 `pnpm test` 单元 lane 会刻意 +跳过这些共享 seam 和冒烟文件；当你修改共享渠道或提供商表面时， +请显式运行这些契约命令。 ### 命令 -- 所有契约测试：`pnpm test:contracts` -- 仅 channel 契约测试：`pnpm test:contracts:channels` -- 仅 provider 契约测试：`pnpm test:contracts:plugins` +- 所有契约：`pnpm test:contracts` +- 仅渠道契约：`pnpm test:contracts:channels` +- 仅提供商契约：`pnpm test:contracts:plugins` -### Channel 契约测试 +### 渠道契约 位于 `src/channels/plugins/contracts/*.contract.test.ts`： -- **plugin** - 基本插件形状（id、name、capabilities） +- **plugin** - 基本插件形状（id、名称、能力） - **setup** - 设置向导契约 - **session-binding** - 会话绑定行为 - **outbound-payload** - 消息载荷结构 - **inbound** - 入站消息处理 - **actions** - 渠道动作处理器 - **threading** - 线程 ID 处理 -- **directory** - 目录 / 花名册 API -- **group-policy** - 群组策略执行 +- **directory** - 目录 / roster API +- **group-policy** - 群组策略强制执行 -### Provider 状态契约测试 +### 提供商状态契约 位于 `src/plugins/contracts/*.contract.test.ts`。 -- **status** - Channel 状态探测 -- **registry** - Plugin 注册表形状 +- **status** - 渠道状态探测 +- **registry** - 插件注册表形状 -### Provider 契约测试 +### 提供商契约 位于 `src/plugins/contracts/*.contract.test.ts`： -- **auth** - 鉴权流程契约 -- **auth-choice** - 鉴权选择 / 选择逻辑 +- **auth** - 认证流程契约 +- **auth-choice** - 认证选择 / 选择逻辑 - **catalog** - 模型目录 API - **discovery** - 插件发现 - **loader** - 插件加载 -- **runtime** - Provider 运行时 +- **runtime** - 提供商运行时 - **shape** - 插件形状 / 接口 - **wizard** - 设置向导 ### 何时运行 - 修改 plugin-sdk 导出或子路径之后 -- 添加或修改 channel 或 provider 插件之后 +- 添加或修改渠道或提供商插件之后 - 重构插件注册或发现逻辑之后 -契约测试会在 CI 中运行，并且不需要真实 API 密钥。 +契约测试会在 CI 中运行，并且不需要真实 API key。 -## 添加回归测试（指导） +## 添加回归测试（指南） -当你修复 live 中发现的某个 provider / model 问题时： +当你修复了在实时测试中发现的提供商 / 模型问题时： -- 如果可能，添加一个 CI 安全的回归测试（mock / stub provider，或捕获精确的请求形状转换） -- 如果问题本质上只能在 live 中复现（限流、鉴权策略），就让 live 测试保持范围狭窄，并通过环境变量按需启用 -- 优先瞄准能捕获该 bug 的最小层级： - - provider 请求转换 / 回放 bug → 直接模型测试 - - Gateway 网关会话 / 历史 / 工具流水线 bug → Gateway 网关 live 冒烟或 CI 安全的 Gateway 网关 mock 测试 +- 如果可能，添加一个 CI 安全的回归测试（模拟 / 存根提供商，或捕获精确的请求形状转换） +- 如果问题天然只能通过实时测试发现（速率限制、认证策略），那就让实时测试保持收窄，并通过环境变量按需启用 +- 优先选择能捕获该缺陷的最小层级： + - 提供商请求转换 / 回放缺陷 → 直连模型测试 + - Gateway 网关会话 / 历史 / 工具流水线缺陷 → Gateway 网关实时冒烟或 CI 安全的 Gateway 网关模拟测试 - SecretRef 遍历护栏： - - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言遍历段 exec id 会被拒绝。 - - 如果你在 `src/secrets/target-registry-data.ts` 中添加了新的 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类目标 id 时故意失败，从而确保不会静默跳过新类别。 + - `src/secrets/exec-secret-ref-id-parity.test.ts` 会从注册表元数据（`listSecretTargetRegistryEntries()`）中为每个 SecretRef 类派生一个采样目标，然后断言遍历分段 exec id 会被拒绝。 + - 如果你在 `src/secrets/target-registry-data.ts` 中新增了一个 `includeInPlan` SecretRef 目标家族，请更新该测试中的 `classifyTargetClass`。该测试会在遇到未分类目标 id 时故意失败，以确保新类别不会被悄悄跳过。 diff --git a/docs/zh-CN/tools/music-generation.md b/docs/zh-CN/tools/music-generation.md index 0724772e9..c59d4476d 100644 --- a/docs/zh-CN/tools/music-generation.md +++ b/docs/zh-CN/tools/music-generation.md @@ -1,40 +1,35 @@ --- read_when: - - 通过智能体生成音乐或音频时 - - 配置音乐生成提供商和模型时 - - 了解 `music_generate` 工具参数时 + - 通过智能体生成音乐或音频 + - 配置音乐生成提供商和模型 + - 了解 `music_generate` 工具参数 summary: 使用共享提供商生成音乐，包括基于工作流的插件 title: 音乐生成 x-i18n: - generated_at: "2026-04-06T15:32:12Z" + generated_at: "2026-04-06T18:17:26Z" model: gpt-5.4 provider: openai - source_hash: 5a2c95d087d6d0b5f4aaaae2fc1f98d683cbb4991d08ed6cabae45c90519ec0c + source_hash: a7af06f64efde518934e1408837a9c4bfc52710a6b5d39225eee9889d7b86030 source_path: tools/music-generation.md workflow: 15 --- # 音乐生成 -`music_generate` 工具允许智能体通过共享的音乐生成能力来创建音乐或音频， -可使用已配置的提供商，例如 Google、 -MiniMax，以及通过工作流配置的 ComfyUI。 +`music_generate` 工具让智能体能够通过共享音乐生成能力，结合已配置的提供商（如 Google、MiniMax 以及通过工作流配置的 ComfyUI）来创建音乐或音频。 -对于基于共享提供商的智能体会话，OpenClaw 会将音乐生成启动为后台任务， -在任务账本中跟踪它，然后在音轨准备好后再次唤醒智能体， -这样智能体就可以把最终音频发回原始渠道。 +对于由共享提供商支持的智能体会话，OpenClaw 会将音乐生成作为后台任务启动，在任务台账中跟踪它，然后在音轨准备就绪时再次唤醒智能体，以便智能体将完成的音频发布回原始渠道。 -只有在至少有一个音乐生成提供商可用时，内置共享工具才会出现。如果你在智能体工具中看不到 `music_generate`，请配置 `agents.defaults.musicGenerationModel` 或设置提供商 API 密钥。 +仅当至少有一个音乐生成提供商可用时，内置共享工具才会显示。如果你在智能体工具中看不到 `music_generate`，请配置 `agents.defaults.musicGenerationModel` 或设置提供商 API 密钥。 ## 快速开始 -### 基于共享提供商的生成 +### 共享提供商支持的生成 -1. 为至少一个提供商设置 API 密钥，例如 `GEMINI_API_KEY` 或 - `MINIMAX_API_KEY`。 -2. 可选地设置你的首选模型： +1. 为至少一个提供商设置 API 密钥，例如 `GEMINI_API_KEY` 或 `MINIMAX_API_KEY`。 +2. 可选：设置你偏好的模型： ```json5 { @@ -48,12 +43,11 @@ MiniMax，以及通过工作流配置的 ComfyUI。 } ``` -3. 向智能体提问：_“生成一段关于夜晚驾车穿过霓虹都市的轻快 synthpop 音轨。”_ +3. 向智能体提问：_“生成一段关于夜间驾驶穿越霓虹城市的欢快 synthpop 音轨。”_ -智能体会自动调用 `music_generate`。不需要工具允许列表。 +智能体会自动调用 `music_generate`。无需为工具配置允许列表。 -对于没有基于会话的智能体运行的直接同步上下文，内置 -工具仍会回退为内联生成，并在工具结果中返回最终媒体路径。 +对于没有会话支持的智能体运行的直接同步上下文，内置工具仍会回退为内联生成，并在工具结果中返回最终媒体路径。 示例提示词： @@ -65,15 +59,13 @@ Generate a cinematic piano track with soft strings and no vocals. Generate an energetic chiptune loop about launching a rocket at sunrise. ``` -### 基于工作流的 Comfy 生成 +### 工作流驱动的 Comfy 生成 -内置的 `comfy` 插件通过 -音乐生成提供商注册表接入共享的 `music_generate` 工具。 +内置的 `comfy` 插件通过音乐生成提供商注册表接入共享的 `music_generate` 工具。 -1. 配置 `models.providers.comfy.music`，包含工作流 JSON 以及 - prompt/output 节点。 +1. 为 `models.providers.comfy.music` 配置工作流 JSON 以及提示词/输出节点。 2. 如果你使用 Comfy Cloud，请设置 `COMFY_API_KEY` 或 `COMFY_CLOUD_API_KEY`。 -3. 请求智能体生成音乐，或直接调用该工具。 +3. 向智能体请求音乐，或直接调用该工具。 示例： @@ -83,22 +75,21 @@ Generate an energetic chiptune loop about launching a rocket at sunrise. ## 共享内置提供商支持 -| 提供商 | 默认模型 | 参考输入 | 支持的控制项 | API 密钥 | -| -------- | ---------------------- | ---------------- | --------------------------------------------------------- | -------------------------------------- | -| ComfyUI | `workflow` | 最多 1 张图像 | 由工作流定义的音乐或音频 | `COMFY_API_KEY`, `COMFY_CLOUD_API_KEY` | -| Google | `lyria-3-clip-preview` | 最多 10 张图像 | `lyrics`、`instrumental`、`format` | `GEMINI_API_KEY`, `GOOGLE_API_KEY` | +| 提供商 | 默认模型 | 参考输入 | 支持的控制项 | API 密钥 | +| ------ | ---------------------- | -------------- | --------------------------------------------------------- | -------------------------------------- | +| ComfyUI | `workflow` | 最多 1 张图片 | 工作流定义的音乐或音频 | `COMFY_API_KEY`, `COMFY_CLOUD_API_KEY` | +| Google | `lyria-3-clip-preview` | 最多 10 张图片 | `lyrics`、`instrumental`、`format` | `GEMINI_API_KEY`, `GOOGLE_API_KEY` | | MiniMax | `music-2.5+` | 无 | `lyrics`、`instrumental`、`durationSeconds`、`format=mp3` | `MINIMAX_API_KEY` | -### 已声明的能力矩阵 +### 声明式能力矩阵 -这是 `music_generate`、契约测试 -和共享 live 扫描使用的显式模式契约。 +这是 `music_generate`、契约测试以及共享实时扫描所使用的显式模式契约。 -| 提供商 | `generate` | `edit` | 编辑上限 | 共享 live lane | -| -------- | ---------- | ------ | ---------- | ------------------------------------------------------------------------- | -| ComfyUI | 是 | 是 | 1 张图像 | 不在共享扫描中；由 `extensions/comfy/comfy.live.test.ts` 覆盖 | -| Google | 是 | 是 | 10 张图像 | `generate`、`edit` | -| MiniMax | 是 | 否 | 无 | `generate` | +| 提供商 | `generate` | `edit` | 编辑上限 | 共享实时测试通道 | +| ------ | ---------- | ------ | ---------- | ------------------------------------------------------------------------ | +| ComfyUI | 是 | 是 | 1 张图片 | 不在共享扫描中；由 `extensions/comfy/comfy.live.test.ts` 覆盖 | +| Google | 是 | 是 | 10 张图片 | `generate`、`edit` | +| MiniMax | 是 | 否 | 无 | `generate` | 使用 `action: "list"` 可在运行时查看可用的共享提供商和模型： @@ -106,7 +97,7 @@ Generate an energetic chiptune loop about launching a rocket at sunrise. /tool music_generate action=list ``` -使用 `action: "status"` 可查看当前基于会话的音乐任务： +使用 `action: "status"` 可查看当前由会话支持的音乐任务状态： ```text /tool music_generate action=status @@ -120,42 +111,41 @@ Generate an energetic chiptune loop about launching a rocket at sunrise. ## 内置工具参数 -| 参数 | 类型 | 描述 | -| ----------------- | -------- | ------------------------------------------------------------------------------------------------- | -| `prompt` | string | 音乐生成提示词（`action: "generate"` 时必填） | -| `action` | string | `"generate"`（默认）、`"status"`（当前会话任务）或 `"list"`（查看提供商） | -| `model` | string | 提供商/模型覆盖，例如 `google/lyria-3-pro-preview` 或 `comfy/workflow` | -| `lyrics` | string | 当提供商支持显式歌词输入时使用的可选歌词 | -| `instrumental` | boolean | 当提供商支持时，请求仅器乐输出 | -| `image` | string | 单张参考图像路径或 URL | -| `images` | string[] | 多张参考图像（最多 10 张） | -| `durationSeconds` | number | 当提供商支持时长提示时，目标时长（秒） | -| `format` | string | 当提供商支持时的输出格式提示（`mp3` 或 `wav`） | -| `filename` | string | 输出文件名提示 | +| 参数 | 类型 | 说明 | +| ----------------- | -------- | -------------------------------------------------------------------- | +| `prompt` | string | 音乐生成提示词（`action: "generate"` 时为必填） | +| `action` | string | `"generate"`（默认）、当前会话任务的 `"status"`，或用于查看提供商的 `"list"` | +| `model` | string | 提供商/模型覆盖，例如 `google/lyria-3-pro-preview` 或 `comfy/workflow` | +| `lyrics` | string | 当提供商支持显式歌词输入时的可选歌词 | +| `instrumental` | boolean | 当提供商支持时，请求仅器乐输出 | +| `image` | string | 单个参考图片路径或 URL | +| `images` | string[] | 多个参考图片（最多 10 张） | +| `durationSeconds` | number | 当提供商支持时长提示时，以秒为单位的目标时长 | +| `format` | string | 当提供商支持时的输出格式提示（`mp3` 或 `wav`） | +| `filename` | string | 输出文件名提示 | -并非所有提供商都支持所有参数。OpenClaw 仍会在提交前验证诸如输入数量之类的硬性限制， -但如果所选提供商或模型无法满足某些可选提示，这些提示会被忽略，并给出警告。 +并非所有提供商都支持所有参数。OpenClaw 在提交前仍会验证输入数量等硬性限制，但当所选提供商或模型无法满足时，不支持的可选提示会被忽略，并附带警告。 -## 共享提供商路径的异步行为 +## 共享提供商支持路径的异步行为 -- 基于会话的智能体运行：`music_generate` 会创建后台任务，立即返回已启动/任务响应，并在稍后的后续智能体消息中发送完成的音轨。 -- 重复防护：当该后台任务仍处于 `queued` 或 `running` 状态时，同一会话中的后续 `music_generate` 调用会返回任务状态，而不是再次启动生成。 -- 状态查询：使用 `action: "status"` 可在不启动新生成的情况下查看当前基于会话的音乐任务。 -- 任务跟踪：使用 `openclaw tasks list` 或 `openclaw tasks show ` 查看生成任务的排队、运行和终态状态。 -- 完成唤醒：OpenClaw 会将内部完成事件注入回同一会话，以便模型自行编写面向用户的后续消息。 -- 提示词提示：如果同一会话中已有音乐任务在进行，后续用户/手动回合会收到一个小型运行时提示，避免模型再次盲目调用 `music_generate`。 -- 无会话回退：没有真实智能体会话的直接/本地上下文仍会以内联方式运行，并在同一回合返回最终音频结果。 +- 由会话支持的智能体运行：`music_generate` 会创建一个后台任务，立即返回 started/task 响应，并在稍后的智能体后续消息中发布完成的音轨。 +- 防重复：当该后台任务仍处于 `queued` 或 `running` 状态时，同一会话中后续的 `music_generate` 调用会返回任务状态，而不是再次启动新的生成。 +- 状态查询：使用 `action: "status"` 可在不启动新任务的情况下查看当前由会话支持的音乐任务。 +- 任务跟踪：使用 `openclaw tasks list` 或 `openclaw tasks show ` 查看该生成任务的排队、运行和终态状态。 +- 完成唤醒：OpenClaw 会将内部完成事件重新注入到同一会话中，以便模型自行编写面向用户的后续回复。 +- 提示词提示：当同一会话中已有音乐任务在进行时，后续用户/手动轮次会获得一个小型运行时提示，避免模型盲目再次调用 `music_generate`。 +- 无会话回退：在没有真实智能体会话的直接/本地上下文中，仍会以内联方式运行，并在同一轮中返回最终音频结果。 ### 任务生命周期 -每个 `music_generate` 请求会经历四个状态： +每个 `music_generate` 请求会经历四种状态： -1. **queued** —— 任务已创建，等待提供商接受。 -2. **running** —— 提供商正在处理（通常为 30 秒到 3 分钟，取决于提供商和时长）。 -3. **succeeded** —— 音轨已就绪；智能体被唤醒并将其发布到会话中。 -4. **failed** —— 提供商错误或超时；智能体会带着错误详情被唤醒。 +1. **queued** -- 任务已创建，等待提供商接受。 +2. **running** -- 提供商正在处理（通常为 30 秒到 3 分钟，取决于提供商和时长）。 +3. **succeeded** -- 音轨已准备好；智能体被唤醒并将其发布到对话中。 +4. **failed** -- 提供商错误或超时；智能体被唤醒并附带错误详情。 -从 CLI 检查状态： +通过 CLI 查看状态： ```bash openclaw tasks list @@ -163,7 +153,7 @@ openclaw tasks show openclaw tasks cancel ``` -重复防护：如果当前会话已有音乐任务处于 `queued` 或 `running` 状态，`music_generate` 会返回现有任务状态，而不是启动新任务。使用 `action: "status"` 可显式检查，而不会触发新生成。 +防重复：如果当前会话的音乐任务已处于 `queued` 或 `running` 状态，`music_generate` 会返回现有任务状态，而不是启动新的任务。使用 `action: "status"` 可在不触发新生成的情况下显式查看状态。 ## 配置 @@ -186,32 +176,27 @@ openclaw tasks cancel 生成音乐时，OpenClaw 会按以下顺序尝试提供商： -1. 工具调用中的 `model` 参数（如果智能体显式指定） +1. 工具调用中的 `model` 参数（如果智能体指定了它） 2. 配置中的 `musicGenerationModel.primary` 3. 按顺序使用 `musicGenerationModel.fallbacks` -4. 仅使用基于认证的提供商默认值进行自动检测： - - 先尝试当前默认提供商 - - 再按提供商 id 顺序尝试其余已注册的音乐生成提供商 +4. 仅使用基于凭证支持的提供商默认值进行自动检测： + - 当前默认提供商优先 + - 其余已注册的音乐生成提供商，按 provider id 顺序 -如果某个提供商失败，会自动尝试下一个候选项。如果全部失败， -错误中会包含每次尝试的详细信息。 +如果某个提供商失败，会自动尝试下一个候选项。如果全部失败，错误中会包含每次尝试的详细信息。 ## 提供商说明 -- Google 使用 Lyria 3 批量生成。当前内置流程支持 - prompt、可选歌词文本和可选参考图像。 -- MiniMax 使用批量 `music_generation` 端点。当前内置流程 - 支持 prompt、可选歌词、器乐模式、时长引导以及 - mp3 输出。 -- ComfyUI 支持基于工作流驱动，并取决于所配置的图以及 - prompt/output 字段的节点映射。 +- Google 使用 Lyria 3 批量生成。当前内置流程支持提示词、可选歌词文本和可选参考图片。 +- MiniMax 使用批量 `music_generation` 端点。当前内置流程支持提示词、可选歌词、器乐模式、时长控制和 mp3 输出。 +- ComfyUI 支持由工作流驱动，取决于已配置的图以及提示词/输出字段的节点映射。 ## 提供商能力模式 共享音乐生成契约现在支持显式模式声明： - `generate` 用于仅基于提示词的生成 -- 当请求包含一张或多张参考图像时，使用 `edit` +- 当请求包含一张或多张参考图片时使用 `edit` 新的提供商实现应优先使用显式模式块： @@ -231,49 +216,50 @@ capabilities: { } ``` -旧版平铺字段，例如 `maxInputImages`、`supportsLyrics` 和 -`supportsFormat`，不足以宣告编辑支持。提供商应 -显式声明 `generate` 和 `edit`，这样 live 测试、契约测试以及 -共享的 `music_generate` 工具才能以确定性的方式验证模式支持。 +旧版扁平字段（如 `maxInputImages`、`supportsLyrics` 和 `supportsFormat`）不足以声明编辑支持。提供商应显式声明 `generate` 和 `edit`，以便实时测试、契约测试以及共享 `music_generate` 工具能够确定性地验证模式支持。 ## 选择正确的路径 -- 当你需要模型选择、提供商故障切换和内置异步任务/状态流时，请使用共享提供商路径。 +- 当你希望获得模型选择、提供商故障转移以及内置异步任务/状态流程时，请使用共享提供商支持的路径。 - 当你需要自定义工作流图，或需要使用不属于共享内置音乐能力的提供商时，请使用插件路径，例如 ComfyUI。 -- 如果你正在调试 ComfyUI 特定行为，请参见 [ComfyUI](/zh-CN/providers/comfy)。如果你正在调试共享提供商行为，请先从 [Google（Gemini）](/zh-CN/providers/google) 或 [MiniMax](/zh-CN/providers/minimax) 开始。 +- 如果你正在调试 ComfyUI 特有行为，请参阅 [ComfyUI](/zh-CN/providers/comfy)。如果你正在调试共享提供商行为，请从 [Google (Gemini)](/zh-CN/providers/google) 或 [MiniMax](/zh-CN/providers/minimax) 开始。 -## Live 测试 +## 实时测试 -针对共享内置提供商的按需启用 live 覆盖： +共享内置提供商的选择加入式实时覆盖： ```bash OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts ``` -该 live 文件会从 `~/.profile` 加载缺失的提供商环境变量，默认优先使用 -live/env API 密钥而不是已存储的认证 profile，并在提供商启用编辑模式时同时运行 -`generate` 和已声明的 `edit` 覆盖。 +仓库包装命令： + +```bash +pnpm test:live:media music +``` + +此实时测试文件会从 `~/.profile` 加载缺失的提供商环境变量，默认优先使用实时/环境 API 密钥而不是已存储的凭证配置，并在提供商启用编辑模式时同时运行 `generate` 和已声明的 `edit` 覆盖。 当前这意味着： -- `google`：`generate` 加 `edit` -- `minimax`：仅 `generate` -- `comfy`：单独的 Comfy live 覆盖，不属于共享提供商扫描 +- `google`: `generate` 加 `edit` +- `minimax`: 仅 `generate` +- `comfy`: 单独的 Comfy 实时覆盖，不属于共享提供商扫描 -针对内置 ComfyUI 音乐路径的按需启用 live 覆盖： +内置 ComfyUI 音乐路径的选择加入式实时覆盖： ```bash OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts ``` -当这些部分已配置时，Comfy live 文件也会覆盖 comfy 图像和视频工作流。 +Comfy 实时测试文件在相关部分已配置时，也会覆盖 comfy 图像和视频工作流。 ## 相关内容 -- [后台任务](/zh-CN/automation/tasks) - 用于分离式 `music_generate` 运行的任务跟踪 +- [后台任务](/zh-CN/automation/tasks) - 分离式 `music_generate` 运行的任务跟踪 - [配置参考](/zh-CN/gateway/configuration-reference#agent-defaults) - `musicGenerationModel` 配置 - [ComfyUI](/zh-CN/providers/comfy) -- [Google（Gemini）](/zh-CN/providers/google) +- [Google (Gemini)](/zh-CN/providers/google) - [MiniMax](/zh-CN/providers/minimax) -- [模型](/zh-CN/concepts/models) - 模型配置和故障切换 +- [Models](/zh-CN/concepts/models) - 模型配置和故障转移 - [工具概览](/zh-CN/tools) diff --git a/docs/zh-CN/tools/video-generation.md b/docs/zh-CN/tools/video-generation.md index c2562cef3..be363e2f5 100644 --- a/docs/zh-CN/tools/video-generation.md +++ b/docs/zh-CN/tools/video-generation.md @@ -1,45 +1,44 @@ --- read_when: - 通过智能体生成视频 - - 配置视频生成 provider 和模型 + - 配置视频生成提供商和模型 - 了解 `video_generate` 工具参数 -summary: 使用 12 个 provider 后端根据文本、图像或现有视频生成视频 +summary: 使用 12 个提供商后端，通过文本、图像或现有视频生成视频 title: 视频生成 x-i18n: - generated_at: "2026-04-06T15:32:14Z" + generated_at: "2026-04-06T18:17:37Z" model: gpt-5.4 provider: openai - source_hash: 7d995d91f86f863f5a69c6945043dc430eb186830348a09eeaaad94620767f7d + source_hash: fc8984dfc718a3558b66089b37aea718f3da1ec8cf4f846a017201413c9be6a2 source_path: tools/video-generation.md workflow: 15 --- # 视频生成 -OpenClaw 智能体可以根据文本提示词、参考图像或现有视频生成视频。支持 12 个 provider 后端，每个后端都有不同的模型选项、输入模式和功能集。智能体会根据你的配置和可用的 API 密钥自动选择合适的 provider。 +OpenClaw 智能体可以根据文本提示、参考图像或现有视频生成视频。支持 12 个提供商后端，每个后端都有不同的模型选项、输入模式和功能集。智能体会根据你的配置和可用的 API 密钥自动选择合适的提供商。 -只有在至少有一个视频生成 provider 可用时，`video_generate` 工具才会出现。如果你没有在智能体工具中看到它，请设置 provider API 密钥或配置 `agents.defaults.videoGenerationModel`。 +仅当至少有一个视频生成提供商可用时，`video_generate` 工具才会出现。如果你没有在智能体工具中看到它，请设置提供商 API 密钥或配置 `agents.defaults.videoGenerationModel`。 OpenClaw 将视频生成视为三种运行时模式： -- `generate`：用于没有参考媒体的 text-to-video 请求 -- `imageToVideo`：当请求包含一个或多个参考图像时使用 -- `videoToVideo`：当请求包含一个或多个参考视频时使用 +- `generate` 用于不包含参考媒体的文生视频请求 +- 当请求包含一个或多个参考图像时使用 `imageToVideo` +- 当请求包含一个或多个参考视频时使用 `videoToVideo` -Providers 可以支持这些模式中的任意子集。工具会在提交前验证当前 -模式，并在 `action=list` 中报告支持的模式。 +提供商可以支持这些模式中的任意子集。该工具会在提交前验证当前模式，并在 `action=list` 中报告支持的模式。 ## 快速开始 -1. 为任意受支持的 provider 设置 API 密钥： +1. 为任意受支持的提供商设置 API 密钥： ```bash export GEMINI_API_KEY="your-key" ``` -2. 可选地固定一个默认模型： +2. 可选：固定一个默认模型： ```bash openclaw config set agents.defaults.videoGenerationModel.primary "google/veo-3.1-fast-generate-preview" @@ -47,33 +46,33 @@ openclaw config set agents.defaults.videoGenerationModel.primary "google/veo-3.1 3. 向智能体发出请求： -> 生成一个 5 秒钟的电影感视频：一只友好的龙虾在日落时冲浪。 +> 生成一段 5 秒钟、富有电影感的友善龙虾在日落时分冲浪的视频。 -智能体会自动调用 `video_generate`。不需要工具 allowlist。 +智能体会自动调用 `video_generate`。不需要将工具加入允许列表。 ## 生成视频时会发生什么 视频生成是异步的。当智能体在会话中调用 `video_generate` 时： -1. OpenClaw 将请求提交给 provider，并立即返回一个任务 ID。 -2. Provider 在后台处理该任务（通常需要 30 秒到 5 分钟，取决于 provider 和分辨率）。 +1. OpenClaw 将请求提交给提供商，并立即返回一个任务 ID。 +2. 提供商在后台处理该任务（通常为 30 秒到 5 分钟，取决于提供商和分辨率）。 3. 当视频准备就绪后，OpenClaw 会通过内部完成事件唤醒同一个会话。 -4. 智能体会将生成完成的视频发布回原始对话中。 +4. 智能体会将最终生成的视频发布回原始对话中。 -当同一会话中已有任务正在进行时，重复调用 `video_generate` 不会启动新的生成，而是返回当前任务状态。使用 `openclaw tasks list` 或 `openclaw tasks show ` 可以在 CLI 中检查进度。 +当某个任务正在进行时，同一会话中的重复 `video_generate` 调用会返回当前任务状态，而不是启动新的生成。使用 `openclaw tasks list` 或 `openclaw tasks show ` 可以通过 CLI 检查进度。 -在没有会话支持的智能体运行之外（例如直接工具调用），该工具会回退为内联生成，并在同一轮中返回最终媒体路径。 +在非会话支持的智能体运行之外（例如直接调用工具），该工具会回退为内联生成，并在同一轮中返回最终媒体路径。 ### 任务生命周期 -每个 `video_generate` 请求都会经历四种状态： +每个 `video_generate` 请求都会经过四个状态： -1. **queued** -- 任务已创建，等待 provider 接受。 -2. **running** -- provider 正在处理（通常需要 30 秒到 5 分钟，取决于 provider 和分辨率）。 -3. **succeeded** -- 视频已准备好；智能体会被唤醒并将其发布到对话中。 -4. **failed** -- provider 错误或超时；智能体会带着错误详情被唤醒。 +1. **queued** -- 任务已创建，等待提供商接受。 +2. **running** -- 提供商正在处理中（通常为 30 秒到 5 分钟，取决于提供商和分辨率）。 +3. **succeeded** -- 视频已就绪；智能体会被唤醒并将其发布到对话中。 +4. **failed** -- 提供商错误或超时；智能体会被唤醒并附带错误详情。 -从 CLI 检查状态： +通过 CLI 检查状态： ```bash openclaw tasks list @@ -81,86 +80,85 @@ openclaw tasks show openclaw tasks cancel ``` -防止重复：如果当前会话已有视频任务处于 `queued` 或 `running` 状态，`video_generate` 会返回现有任务状态，而不是启动新任务。使用 `action: "status"` 可以显式检查状态，而不触发新的生成。 +防止重复：如果当前会话中已有视频任务处于 `queued` 或 `running` 状态，`video_generate` 会返回现有任务状态，而不是启动新任务。使用 `action: "status"` 可以显式检查状态，而不会触发新的生成。 -## 支持的 providers +## 支持的提供商 -| Provider | 默认模型 | 文本 | 图像参考 | 视频参考 | API 密钥 | -| -------- | ------------------------------- | ---- | ----------------- | ---------------- | ---------------------------------------- | -| Alibaba | `wan2.6-t2v` | Yes | Yes（远程 URL） | Yes（远程 URL） | `MODELSTUDIO_API_KEY` | -| BytePlus（国际版） | `seedance-1-0-lite-t2v-250428` | Yes | 1 张图像 | No | `BYTEPLUS_API_KEY` | -| ComfyUI | `workflow` | Yes | 1 张图像 | No | `COMFY_API_KEY` 或 `COMFY_CLOUD_API_KEY` | -| fal | `fal-ai/minimax/video-01-live` | Yes | 1 张图像 | No | `FAL_KEY` | -| Google | `veo-3.1-fast-generate-preview` | Yes | 1 张图像 | 1 个视频 | `GEMINI_API_KEY` | -| MiniMax | `MiniMax-Hailuo-2.3` | Yes | 1 张图像 | No | `MINIMAX_API_KEY` | -| OpenAI | `sora-2` | Yes | 1 张图像 | 1 个视频 | `OPENAI_API_KEY` | -| Qwen | `wan2.6-t2v` | Yes | Yes（远程 URL） | Yes（远程 URL） | `QWEN_API_KEY` | -| Runway | `gen4.5` | Yes | 1 张图像 | 1 个视频 | `RUNWAYML_API_SECRET` | -| Together | `Wan-AI/Wan2.2-T2V-A14B` | Yes | 1 张图像 | No | `TOGETHER_API_KEY` | -| Vydra | `veo3` | Yes | 1 张图像（`kling`） | No | `VYDRA_API_KEY` | -| xAI | `grok-imagine-video` | Yes | 1 张图像 | 1 个视频 | `XAI_API_KEY` | +| 提供商 | 默认模型 | 文本 | 图像参考 | 视频参考 | API 密钥 | +| ------ | ------------------------------- | ---- | ----------------- | ---------------- | ----------------------------------------- | +| Alibaba | `wan2.6-t2v` | 是 | 是（远程 URL） | 是（远程 URL） | `MODELSTUDIO_API_KEY` | +| BytePlus | `seedance-1-0-lite-t2v-250428` | 是 | 1 张图像 | 否 | `BYTEPLUS_API_KEY` | +| ComfyUI | `workflow` | 是 | 1 张图像 | 否 | `COMFY_API_KEY` 或 `COMFY_CLOUD_API_KEY` | +| fal | `fal-ai/minimax/video-01-live` | 是 | 1 张图像 | 否 | `FAL_KEY` | +| Google | `veo-3.1-fast-generate-preview` | 是 | 1 张图像 | 1 段视频 | `GEMINI_API_KEY` | +| MiniMax | `MiniMax-Hailuo-2.3` | 是 | 1 张图像 | 否 | `MINIMAX_API_KEY` | +| OpenAI | `sora-2` | 是 | 1 张图像 | 1 段视频 | `OPENAI_API_KEY` | +| Qwen | `wan2.6-t2v` | 是 | 是（远程 URL） | 是（远程 URL） | `QWEN_API_KEY` | +| Runway | `gen4.5` | 是 | 1 张图像 | 1 段视频 | `RUNWAYML_API_SECRET` | +| Together | `Wan-AI/Wan2.2-T2V-A14B` | 是 | 1 张图像 | 否 | `TOGETHER_API_KEY` | +| Vydra | `veo3` | 是 | 1 张图像 (`kling`) | 否 | `VYDRA_API_KEY` | +| xAI | `grok-imagine-video` | 是 | 1 张图像 | 1 段视频 | `XAI_API_KEY` | -某些 provider 接受额外的或替代的 API 密钥环境变量。详情请参见各个[provider 页面](#related)。 +某些提供商还接受额外或替代的 API 密钥环境变量。详见各个[提供商页面](#related)。 -运行 `video_generate action=list` 可在运行时检查可用的 provider、模型和 -运行时模式。 +运行 `video_generate action=list` 可在运行时查看可用的提供商、模型和运行时模式。 ### 声明的能力矩阵 -这是 `video_generate`、合约测试和共享 live sweep 所使用的显式模式合约。 +这是 `video_generate`、契约测试以及共享实时扫描使用的显式模式契约。 -| Provider | `generate` | `imageToVideo` | `videoToVideo` | 当前共享 live lanes | -| -------- | ---------- | -------------- | -------------- | ---------------------------------------------------------------------------------------------------------- | -| Alibaba | Yes | Yes | Yes | `generate`、`imageToVideo`；跳过 `videoToVideo`，因为此 provider 需要远程 `http(s)` 视频 URL | -| BytePlus（国际版） | Yes | Yes | No | `generate`、`imageToVideo` | -| ComfyUI | Yes | Yes | No | 不在共享 sweep 中；特定 workflow 的覆盖由 Comfy 测试负责 | -| fal | Yes | Yes | No | `generate`、`imageToVideo` | -| Google | Yes | Yes | Yes | `generate`、`imageToVideo`、`videoToVideo` | -| MiniMax | Yes | Yes | No | `generate`、`imageToVideo` | -| OpenAI | Yes | Yes | Yes | `generate`、`imageToVideo`、`videoToVideo` | -| Qwen | Yes | Yes | Yes | `generate`、`imageToVideo`；跳过 `videoToVideo`，因为此 provider 需要远程 `http(s)` 视频 URL | -| Runway | Yes | Yes | Yes | `generate`、`imageToVideo`；仅当所选模型为 `runway/gen4_aleph` 时运行 `videoToVideo` | -| Together | Yes | Yes | No | `generate`、`imageToVideo` | -| Vydra | Yes | Yes | No | `generate`、`imageToVideo` | -| xAI | Yes | Yes | Yes | `generate`、`imageToVideo`；跳过 `videoToVideo`，因为此 provider 当前需要远程 MP4 URL | +| 提供商 | `generate` | `imageToVideo` | `videoToVideo` | 当前共享实时通道 | +| ------ | ---------- | -------------- | -------------- | --------------------------------------------------------------------------------------------------------------------------------------- | +| Alibaba | 是 | 是 | 是 | `generate`、`imageToVideo`；`videoToVideo` 已跳过，因为此提供商需要远程 `http(s)` 视频 URL | +| BytePlus | 是 | 是 | 否 | `generate`、`imageToVideo` | +| ComfyUI | 是 | 是 | 否 | 不在共享扫描中；特定于工作流的覆盖由 Comfy 测试负责 | +| fal | 是 | 是 | 否 | `generate`、`imageToVideo` | +| Google | 是 | 是 | 是 | `generate`、`imageToVideo`；共享 `videoToVideo` 已跳过，因为当前基于缓冲区的 Gemini/Veo 扫描不接受该输入 | +| MiniMax | 是 | 是 | 否 | `generate`、`imageToVideo` | +| OpenAI | 是 | 是 | 是 | `generate`、`imageToVideo`；共享 `videoToVideo` 已跳过，因为当前组织/输入路径需要提供商侧的修补/混剪访问 | +| Qwen | 是 | 是 | 是 | `generate`、`imageToVideo`；`videoToVideo` 已跳过，因为此提供商需要远程 `http(s)` 视频 URL | +| Runway | 是 | 是 | 是 | `generate`、`imageToVideo`；`videoToVideo` 仅在所选模型为 `runway/gen4_aleph` 时运行 | +| Together | 是 | 是 | 否 | `generate`、`imageToVideo` | +| Vydra | 是 | 是 | 否 | `generate`；共享 `imageToVideo` 已跳过，因为内置 `veo3` 仅支持文本，而内置 `kling` 需要远程图像 URL | +| xAI | 是 | 是 | 是 | `generate`、`imageToVideo`；`videoToVideo` 已跳过，因为此提供商当前需要远程 MP4 URL | ## 工具参数 ### 必填 -| 参数 | 类型 | 描述 | -| --------- | ------ | ----------------------------------------------------------------------------- | -| `prompt` | string | 要生成的视频文本描述（`action: "generate"` 时必填） | +| 参数 | 类型 | 说明 | +| -------- | ------ | ----------------------------------------------------------------------------- | +| `prompt` | string | 要生成的视频文本描述（对 `action: "generate"` 为必填） | ### 内容输入 -| 参数 | 类型 | 描述 | -| --------- | -------- | ------------------------------------ | -| `image` | string | 单个参考图像（路径或 URL） | -| `images` | string[] | 多个参考图像（最多 5 个） | -| `video` | string | 单个参考视频（路径或 URL） | -| `videos` | string[] | 多个参考视频（最多 4 个） | +| 参数 | 类型 | 说明 | +| -------- | -------- | ---------------------------- | +| `image` | string | 单个参考图像（路径或 URL） | +| `images` | string[] | 多个参考图像（最多 5 个） | +| `video` | string | 单个参考视频（路径或 URL） | +| `videos` | string[] | 多个参考视频（最多 4 个） | ### 风格控制 -| 参数 | 类型 | 描述 | +| 参数 | 类型 | 说明 | | ----------------- | ------- | ------------------------------------------------------------------------ | | `aspectRatio` | string | `1:1`、`2:3`、`3:2`、`3:4`、`4:3`、`4:5`、`5:4`、`9:16`、`16:9`、`21:9` | -| `resolution` | string | `480P`、`720P` 或 `1080P` | -| `durationSeconds` | number | 目标时长（秒，会四舍五入到 provider 支持的最近值） | -| `size` | string | 当 provider 支持时使用的尺寸提示 | -| `audio` | boolean | 在支持时启用生成音频 | -| `watermark` | boolean | 在支持时切换 provider 水印 | +| `resolution` | string | `480P`、`720P`、`768P` 或 `1080P` | +| `durationSeconds` | number | 目标时长（单位：秒，会四舍五入到提供商支持的最近值） | +| `size` | string | 当提供商支持时使用的尺寸提示 | +| `audio` | boolean | 在支持时启用生成音频 | +| `watermark` | boolean | 在支持时切换提供商水印 | ### 高级 -| 参数 | 类型 | 描述 | -| ---------- | ------ | ----------------------------------------------- | -| `action` | string | `"generate"`（默认）、`"status"` 或 `"list"` | -| `model` | string | provider/model 覆盖（例如 `runway/gen4.5`） | -| `filename` | string | 输出文件名提示 | +| 参数 | 类型 | 说明 | +| ---------- | ------ | ---------------------------------------------- | +| `action` | string | `"generate"`（默认）、`"status"` 或 `"list"` | +| `model` | string | 提供商/模型覆盖（例如 `runway/gen4.5`） | +| `filename` | string | 输出文件名提示 | -并非所有 provider 都支持所有参数。不支持的覆盖会尽力忽略，并在工具结果中报告为警告。硬性能力限制（例如参考输入过多）会在提交前直接失败。 +并非所有提供商都支持所有参数。不支持的覆盖项会尽力忽略，并在工具结果中以警告形式报告。硬性能力限制（例如参考输入过多）会在提交前直接失败。 参考输入还会决定运行时模式： @@ -168,25 +166,25 @@ openclaw tasks cancel - 任意图像参考：`imageToVideo` - 任意视频参考：`videoToVideo` -混合图像与视频参考不是稳定的共享能力表面。 -每个请求优先只使用一种参考类型。 +混合使用图像和视频参考并不是稳定的共享能力表面。 +建议每个请求只使用一种参考类型。 ## 操作 -- **generate**（默认）-- 根据给定提示词和可选参考输入创建视频。 +- **generate**（默认）-- 根据给定提示和可选参考输入创建视频。 - **status** -- 检查当前会话中正在进行的视频任务状态，而不启动新的生成。 -- **list** -- 显示可用的 provider、模型及其能力。 +- **list** -- 显示可用的提供商、模型及其能力。 ## 模型选择 -生成视频时，OpenClaw 按以下顺序解析模型： +生成视频时，OpenClaw 会按以下顺序解析模型： 1. **`model` 工具参数** -- 如果智能体在调用中指定了它。 2. **`videoGenerationModel.primary`** -- 来自配置。 3. **`videoGenerationModel.fallbacks`** -- 按顺序尝试。 -4. **自动检测** -- 使用具有有效身份验证的 providers，先从当前默认 provider 开始，然后按字母顺序尝试其余 providers。 +4. **自动检测** -- 使用具有有效身份验证的提供商，从当前默认提供商开始，然后按字母顺序尝试其余提供商。 -如果某个 provider 失败，会自动尝试下一个候选项。如果所有候选项都失败，错误中会包含每次尝试的详情。 +如果某个提供商失败，会自动尝试下一个候选项。如果所有候选项都失败，错误中会包含每次尝试的详细信息。 ```json5 { @@ -201,28 +199,26 @@ openclaw tasks cancel } ``` -## Provider 说明 +## 提供商说明 -| Provider | 说明 | -| -------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------- | -| Alibaba | 使用 DashScope/Model Studio 异步端点。参考图像和视频必须是远程 `http(s)` URL。 | -| BytePlus（国际版） | 仅支持单张参考图像。 | -| ComfyUI | 由 workflow 驱动的本地或云端执行。通过已配置图支持 text-to-video 和 image-to-video。 | -| fal | 对长时间运行任务使用基于队列的流程。仅支持单张参考图像。 | -| Google | 使用 Gemini/Veo。支持一张参考图像或一个参考视频。 | -| MiniMax | 仅支持单张参考图像。 | -| OpenAI | 只会转发 `size` 覆盖。其他风格覆盖（`aspectRatio`、`resolution`、`audio`、`watermark`）会被忽略并附带警告。 | -| Qwen | 与 Alibaba 使用相同的 DashScope 后端。参考输入必须是远程 `http(s)` URL；本地文件会在一开始就被拒绝。 | -| Runway | 通过 data URI 支持本地文件。video-to-video 需要 `runway/gen4_aleph`。纯文本运行暴露 `16:9` 和 `9:16` 宽高比。 | -| Together | 仅支持单张参考图像。 | -| Vydra | 直接使用 `https://www.vydra.ai/api/v1` 以避免丢失身份验证的重定向。`veo3` 内置为仅 text-to-video；`kling` 需要远程图像 URL。 | -| xAI | 支持 text-to-video、image-to-video，以及远程视频编辑/扩展流程。 | +| 提供商 | 说明 | +| ------ | -------------------------------------------------------------------------------------------------------------------------------------------------------- | +| Alibaba | 使用 DashScope/Model Studio 异步端点。参考图像和视频必须是远程 `http(s)` URL。 | +| BytePlus | 仅支持单个图像参考。 | +| ComfyUI | 由工作流驱动的本地或云端执行。通过已配置的图支持文生视频和图生视频。 | +| fal | 对长时间运行任务使用基于队列的流程。仅支持单个图像参考。 | +| Google | 使用 Gemini/Veo。支持一个图像或一个视频参考。 | +| MiniMax | 仅支持单个图像参考。 | +| OpenAI | 仅转发 `size` 覆盖。其他样式覆盖（`aspectRatio`、`resolution`、`audio`、`watermark`）会被忽略，并给出警告。 | +| Qwen | 与 Alibaba 使用相同的 DashScope 后端。参考输入必须是远程 `http(s)` URL；本地文件会在前期直接被拒绝。 | +| Runway | 通过 data URI 支持本地文件。视频转视频需要 `runway/gen4_aleph`。纯文本运行公开 `16:9` 和 `9:16` 宽高比。 | +| Together | 仅支持单个图像参考。 | +| Vydra | 直接使用 `https://www.vydra.ai/api/v1` 以避免身份验证在重定向中丢失。`veo3` 内置为仅文生视频；`kling` 需要远程图像 URL。 | +| xAI | 支持文生视频、图生视频以及远程视频编辑/扩展流程。 | -## Provider 能力模式 +## 提供商能力模式 -共享视频生成合约现在允许 providers 声明特定模式的 -能力，而不是只声明扁平的聚合限制。新的 provider -实现应优先使用显式模式块： +共享视频生成契约现在允许提供商声明特定于模式的能力，而不只是平铺的聚合限制。新的提供商实现应优先使用显式模式块： ```typescript capabilities: { @@ -246,31 +242,31 @@ capabilities: { } ``` -像 `maxInputImages` 和 `maxInputVideos` 这样的扁平聚合字段，不足以表达变换模式支持。Providers 应显式声明 -`generate`、`imageToVideo` 和 `videoToVideo`，这样 live tests、 -合约测试和共享 `video_generate` 工具才能以确定性的方式验证模式支持。 +像 `maxInputImages` 和 `maxInputVideos` 这样的平铺聚合字段，不足以声明转换模式支持。提供商应显式声明 `generate`、`imageToVideo` 和 `videoToVideo`，以便实时测试、契约测试和共享 `video_generate` 工具能够以确定方式验证模式支持。 -## Live tests +## 实时测试 -针对共享内置 providers 的选择接入 live 覆盖： +共享内置提供商的可选加入实时覆盖： ```bash OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts ``` -该 live 文件会从 `~/.profile` 加载缺失的 provider 环境变量，默认优先使用 -live/env API 密钥而不是已存储的 auth profiles，并运行它能够用本地媒体安全执行的已声明模式： +仓库包装命令： -- 对 sweep 中每个 provider 执行 `generate` -- 当 `capabilities.imageToVideo.enabled` 时执行 `imageToVideo` -- 当 `capabilities.videoToVideo.enabled` 且 provider/model - 在共享 sweep 中接受基于缓冲区的本地视频输入时执行 `videoToVideo` +```bash +pnpm test:live:media video +``` -目前共享 `videoToVideo` live lane 覆盖： +这个实时测试文件会从 `~/.profile` 加载缺失的提供商环境变量，默认优先使用实时/环境 API 密钥，而不是已存储的认证配置文件，并运行它能够安全地通过本地媒体执行的声明模式： -- `google` -- `openai` -- `runway`，仅当你选择 `runway/gen4_aleph` +- 对扫描中的每个提供商运行 `generate` +- 当 `capabilities.imageToVideo.enabled` 时运行 `imageToVideo` +- 当 `capabilities.videoToVideo.enabled` 且提供商/模型在共享扫描中接受基于缓冲区的本地视频输入时运行 `videoToVideo` + +当前共享 `videoToVideo` 实时通道涵盖： + +- `runway`，且仅当你选择 `runway/gen4_aleph` 时 ## 配置 @@ -298,12 +294,12 @@ openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2 ## 相关内容 - [工具概览](/zh-CN/tools) -- [后台任务](/zh-CN/automation/tasks) -- 异步视频生成的任务跟踪 +- [后台任务](/zh-CN/automation/tasks) -- 用于异步视频生成的任务跟踪 - [Alibaba Model Studio](/zh-CN/providers/alibaba) -- [BytePlus（国际版）](/zh-CN/concepts/model-providers#byteplus-international) +- [BytePlus](/zh-CN/concepts/model-providers#byteplus-international) - [ComfyUI](/zh-CN/providers/comfy) - [fal](/zh-CN/providers/fal) -- [Google（Gemini）](/zh-CN/providers/google) +- [Google (Gemini)](/zh-CN/providers/google) - [MiniMax](/zh-CN/providers/minimax) - [OpenAI](/zh-CN/providers/openai) - [Qwen](/zh-CN/providers/qwen)