diff --git a/docs/zh-CN/providers/index.md b/docs/zh-CN/providers/index.md index 6b2275aea..f8920ca50 100644 --- a/docs/zh-CN/providers/index.md +++ b/docs/zh-CN/providers/index.md @@ -1,28 +1,27 @@ --- read_when: - 你想选择一个模型提供商 - - 你需要支持的 LLM 后端的快速概览 + - 你需要快速了解受支持的 LLM 后端 summary: OpenClaw 支持的模型提供商（LLM） title: 提供商目录 x-i18n: - generated_at: "2026-04-06T00:52:07Z" + generated_at: "2026-04-06T01:23:23Z" model: gpt-5.4 provider: openai - source_hash: 17a1996056cad47f0bcf9b199384f44c5ffcb6a21de40c4f7ac3bf9164201ff1 + source_hash: 7271157a6ab5418672baff62bfd299572fd010f75aad529267095c6e55903882 source_path: providers/index.md workflow: 15 --- # 模型提供商 -OpenClaw 可以使用许多 LLM 提供商。选择一个提供商，完成认证，然后将 -默认模型设置为 `provider/model`。 +OpenClaw 可以使用许多 LLM 提供商。选择一个提供商，完成身份验证，然后将默认模型设置为 `provider/model`。 -在寻找聊天渠道文档（WhatsApp/Telegram/Discord/Slack/Mattermost（插件）/等）？参见 [Channels](/zh-CN/channels)。 +在找聊天渠道文档（WhatsApp/Telegram/Discord/Slack/Mattermost（插件）/等）？请参阅 [Channels](/zh-CN/channels)。 ## 快速开始 -1. 使用提供商完成认证（通常通过 `openclaw onboard`）。 +1. 先通过提供商完成身份验证（通常使用 `openclaw onboard`）。 2. 设置默认模型： ```json5 @@ -44,7 +43,7 @@ OpenClaw 可以使用许多 LLM 提供商。选择一个提供商，完成认证 - [fal](/zh-CN/providers/fal) - [Fireworks](/zh-CN/providers/fireworks) - [GitHub Copilot](/zh-CN/providers/github-copilot) -- [GLM models](/zh-CN/providers/glm) +- [GLM 模型](/zh-CN/providers/glm) - [Google（Gemini）](/zh-CN/providers/google) - [Groq（LPU 推理）](/zh-CN/providers/groq) - [Hugging Face（Inference）](/zh-CN/providers/huggingface) @@ -59,7 +58,7 @@ OpenClaw 可以使用许多 LLM 提供商。选择一个提供商，完成认证 - [OpenCode](/zh-CN/providers/opencode) - [OpenCode Go](/zh-CN/providers/opencode-go) - [OpenRouter](/zh-CN/providers/openrouter) -- [Perplexity（网页搜索）](/zh-CN/providers/perplexity-provider) +- [Perplexity（网络搜索）](/zh-CN/providers/perplexity-provider) - [Qianfan](/zh-CN/providers/qianfan) - [Qwen Cloud](/zh-CN/providers/qwen) - [Runway](/zh-CN/providers/runway) @@ -67,8 +66,9 @@ OpenClaw 可以使用许多 LLM 提供商。选择一个提供商，完成认证 - [StepFun](/zh-CN/providers/stepfun) - [Synthetic](/zh-CN/providers/synthetic) - [Together AI](/zh-CN/providers/together) -- [Venice（Venice AI，以隐私为重点）](/zh-CN/providers/venice) +- [Venice（Venice AI，注重隐私）](/zh-CN/providers/venice) - [Vercel AI Gateway](/zh-CN/providers/vercel-ai-gateway) +- [Vydra](/providers/vydra) - [vLLM（本地模型）](/zh-CN/providers/vllm) - [Volcengine（Doubao）](/zh-CN/providers/volcengine) - [xAI](/zh-CN/providers/xai) @@ -82,13 +82,12 @@ OpenClaw 可以使用许多 LLM 提供商。选择一个提供商，完成认证 - [音乐生成](/zh-CN/tools/music-generation) - 共享的 `music_generate` 工具、提供商选择和故障切换 - [视频生成](/zh-CN/tools/video-generation) - 共享的 `video_generate` 工具、提供商选择和故障切换 -## 转写提供商 +## 转录提供商 -- [Deepgram（音频转写）](/zh-CN/providers/deepgram) +- [Deepgram（音频转录）](/zh-CN/providers/deepgram) ## 社区工具 -- [Claude Max API Proxy](/zh-CN/providers/claude-max-api-proxy) - 用于 Claude 订阅凭证的社区代理（使用前请确认 Anthropic 的政策/条款） +- [Claude Max API Proxy](/zh-CN/providers/claude-max-api-proxy) - 用于 Claude 订阅凭证的社区代理（使用前请核实 Anthropic 的政策/条款） -有关完整的提供商目录（xAI、Groq、Mistral 等）和高级配置， -请参见 [模型提供商](/zh-CN/concepts/model-providers)。 +如需查看完整的提供商目录（xAI、Groq、Mistral 等）和高级配置，请参阅 [Model providers](/zh-CN/concepts/model-providers)。 diff --git a/docs/zh-CN/providers/vydra.md b/docs/zh-CN/providers/vydra.md new file mode 100644 index 000000000..7c783376b --- /dev/null +++ b/docs/zh-CN/providers/vydra.md @@ -0,0 +1,130 @@ +--- +read_when: + - 你想在 OpenClaw 中使用 Vydra 媒体生成功能 + - 你需要 Vydra API 密钥设置指南 +summary: 在 OpenClaw 中使用 Vydra 图像、视频和语音 +title: Vydra +x-i18n: + generated_at: "2026-04-06T01:23:21Z" + model: gpt-5.4 + provider: openai + source_hash: 0fe999e8a5414b8a31a6d7d127bc6bcfc3b4492b8f438ab17dfa9680c5b079b7 + source_path: providers/vydra.md + workflow: 15 +--- + +# Vydra + +内置的 Vydra 插件新增了： + +- 通过 `vydra/grok-imagine` 进行图像生成 +- 通过 `vydra/veo3` 和 `vydra/kling` 进行视频生成 +- 通过 Vydra 基于 ElevenLabs 的 TTS 路由进行语音合成 + +OpenClaw 对这三项能力都使用同一个 `VYDRA_API_KEY`。 + +## 重要的基础 URL + +请使用 `https://www.vydra.ai/api/v1`。 + +Vydra 的顶级主机（`https://vydra.ai/api/v1`）当前会重定向到 `www`。某些 HTTP 客户端会在这种跨主机重定向中丢弃 `Authorization`，从而让原本有效的 API 密钥表现为具有误导性的身份验证失败。内置插件会直接使用 `www` 基础 URL 以避免这个问题。 + +## 设置 + +交互式新手引导： + +```bash +openclaw onboard --auth-choice vydra-api-key +``` + +或者直接设置环境变量： + +```bash +export VYDRA_API_KEY="vydra_live_..." +``` + +## 图像生成 + +默认图像模型： + +- `vydra/grok-imagine` + +将其设为默认图像提供商： + +```json5 +{ + agents: { + defaults: { + imageGenerationModel: { + primary: "vydra/grok-imagine", + }, + }, + }, +} +``` + +当前内置支持仅限文生图。Vydra 托管的编辑路由需要远程图像 URL，而 OpenClaw 在内置插件中尚未添加 Vydra 专用的上传桥接。 + +有关共享工具行为，请参阅 [图像生成](/zh-CN/tools/image-generation)。 + +## 视频生成 + +已注册的视频模型： + +- `vydra/veo3` 用于文生视频 +- `vydra/kling` 用于图生视频 + +将 Vydra 设为默认视频提供商： + +```json5 +{ + agents: { + defaults: { + videoGenerationModel: { + primary: "vydra/veo3", + }, + }, + }, +} +``` + +注意事项： + +- `vydra/veo3` 内置时仅作为文生视频使用。 +- `vydra/kling` 当前需要远程图像 URL 引用。本地文件上传会在前端直接被拒绝。 +- 内置插件保持保守，不会转发未文档化的风格控制参数，例如宽高比、分辨率、水印或生成音频。 + +有关共享工具行为，请参阅 [视频生成](/zh-CN/tools/video-generation)。 + +## 语音合成 + +将 Vydra 设为语音提供商： + +```json5 +{ + messages: { + tts: { + provider: "vydra", + providers: { + vydra: { + apiKey: "${VYDRA_API_KEY}", + voiceId: "21m00Tcm4TlvDq8ikWAM", + }, + }, + }, + }, +} +``` + +默认值： + +- model: `elevenlabs/tts` +- voice id: `21m00Tcm4TlvDq8ikWAM` + +内置插件当前提供一个已知可用的默认语音，并返回 MP3 音频文件。 + +## 相关内容 + +- [提供商目录](/zh-CN/providers/index) +- [图像生成](/zh-CN/tools/image-generation) +- [视频生成](/zh-CN/tools/video-generation) diff --git a/docs/zh-CN/tools/image-generation.md b/docs/zh-CN/tools/image-generation.md index 4d783cfc8..c00b6bf7f 100644 --- a/docs/zh-CN/tools/image-generation.md +++ b/docs/zh-CN/tools/image-generation.md @@ -3,23 +3,23 @@ read_when: - 通过智能体生成图像 - 配置图像生成提供商和模型 - 了解 `image_generate` 工具参数 -summary: 使用已配置的提供商（OpenAI、Google Gemini、fal、MiniMax、ComfyUI）生成和编辑图像 +summary: 使用已配置的提供商（OpenAI、Google Gemini、fal、MiniMax、ComfyUI、Vydra）生成和编辑图像 title: 图像生成 x-i18n: - generated_at: "2026-04-06T00:47:29Z" + generated_at: "2026-04-06T01:23:30Z" model: gpt-5.4 provider: openai - source_hash: ab69a02eea97b1d77ddb2127f3db01c660401974c53fad79a7f4a5649b0efc1b + source_hash: dde416dd1441a06605db85b5813cf61ccfc525813d6db430b7b7dfa53d6a3134 source_path: tools/image-generation.md workflow: 15 --- # 图像生成 -`image_generate` 工具允许智能体使用你已配置的提供商来创建和编辑图像。生成的图像会作为媒体附件自动随智能体的回复一并发送。 +`image_generate` 工具让智能体能够使用你已配置的提供商创建和编辑图像。生成的图像会作为媒体附件自动附加在智能体的回复中。 -只有在至少有一个图像生成提供商可用时，此工具才会显示。如果你在智能体的工具中看不到 `image_generate`，请配置 `agents.defaults.imageGenerationModel` 或设置提供商 API 密钥。 +只有在至少有一个图像生成提供商可用时，该工具才会显示。如果你在智能体的工具中看不到 `image_generate`，请配置 `agents.defaults.imageGenerationModel`，或设置提供商 API 密钥。 ## 快速开始 @@ -41,7 +41,7 @@ x-i18n: 3. 向智能体提问：_“生成一张友好的龙虾吉祥物图像。”_ -智能体会自动调用 `image_generate`。不需要工具白名单——只要有可用提供商，它默认启用。 +智能体会自动调用 `image_generate`。无需将它加入工具允许列表 —— 当提供商可用时，它默认启用。 ## 支持的提供商 @@ -50,8 +50,9 @@ x-i18n: | OpenAI | `gpt-image-1` | 是（最多 5 张图像） | `OPENAI_API_KEY` | | Google | `gemini-3.1-flash-image-preview` | 是 | `GEMINI_API_KEY` 或 `GOOGLE_API_KEY` | | fal | `fal-ai/flux/dev` | 是 | `FAL_KEY` | -| MiniMax | `image-01` | 是（主体参考） | `MINIMAX_API_KEY` 或 MiniMax OAuth (`minimax-portal`) | +| MiniMax | `image-01` | 是（主体参考） | `MINIMAX_API_KEY` 或 MiniMax OAuth（`minimax-portal`） | | ComfyUI | `workflow` | 是（1 张图像，由工作流配置） | 云端使用 `COMFY_API_KEY` 或 `COMFY_CLOUD_API_KEY` | +| Vydra | `grok-imagine` | 否 | `VYDRA_API_KEY` | 使用 `action: "list"` 可在运行时查看可用的提供商和模型： @@ -63,13 +64,13 @@ x-i18n: | 参数 | 类型 | 说明 | | ------------- | -------- | ------------------------------------------------------------------------------------- | -| `prompt` | string | 图像生成提示词（`action: "generate"` 时必需） | +| `prompt` | string | 图像生成提示词（`action: "generate"` 时必填） | | `action` | string | `"generate"`（默认）或 `"list"`，用于查看提供商 | -| `model` | string | 提供商/模型覆盖值，例如 `openai/gpt-image-1` | +| `model` | string | 提供商/模型覆盖，例如 `openai/gpt-image-1` | | `image` | string | 编辑模式下的单个参考图像路径或 URL | | `images` | string[] | 编辑模式下的多个参考图像（最多 5 张） | -| `size` | string | 尺寸提示：`1024x1024`、`1536x1024`、`1024x1536`、`1024x1792`、`1792x1024` | -| `aspectRatio` | string | 宽高比：`1:1`、`2:3`、`3:2`、`3:4`、`4:3`、`4:5`、`5:4`、`9:16`、`16:9`、`21:9` | +| `size` | string | 尺寸提示：`1024x1024`、`1536x1024`、`1024x1536`、`1024x1792`、`1792x1024` | +| `aspectRatio` | string | 宽高比：`1:1`、`2:3`、`3:2`、`3:4`、`4:3`、`4:5`、`5:4`、`9:16`、`16:9`、`21:9` | | `resolution` | string | 分辨率提示：`1K`、`2K` 或 `4K` | | `count` | number | 要生成的图像数量（1–4） | | `filename` | string | 输出文件名提示 | @@ -97,18 +98,18 @@ x-i18n: 生成图像时，OpenClaw 会按以下顺序尝试提供商： -1. 工具调用中的 **`model` 参数**（如果智能体指定了该参数） +1. 工具调用中的 **`model` 参数**（如果智能体指定了） 2. 配置中的 **`imageGenerationModel.primary`** -3. 按顺序使用 **`imageGenerationModel.fallbacks`** -4. **自动检测** —— 仅使用基于认证的提供商默认值： +3. 按顺序尝试 **`imageGenerationModel.fallbacks`** +4. **自动检测** —— 仅使用有凭证支持的提供商默认值： - 先使用当前默认提供商 - 再按 provider-id 顺序使用其余已注册的图像生成提供商 如果某个提供商失败（凭证错误、速率限制等），系统会自动尝试下一个候选项。如果全部失败，错误中会包含每次尝试的详细信息。 -注意： +说明： -- 自动检测会识别认证状态。只有当 OpenClaw 实际能够验证该提供商身份时，提供商默认值才会进入候选列表。 +- 自动检测会感知凭证状态。只有当 OpenClaw 实际上能够验证某个提供商时，该提供商默认值才会进入候选列表。 - 使用 `action: "list"` 可查看当前已注册的提供商、它们的默认模型以及认证环境变量提示。 ### 图像编辑 @@ -121,28 +122,29 @@ OpenAI、Google、fal、MiniMax 和 ComfyUI 支持编辑参考图像。传入参 OpenAI 和 Google 通过 `images` 参数最多支持 5 张参考图像。fal、MiniMax 和 ComfyUI 支持 1 张。 -MiniMax 图像生成可通过两种内置 MiniMax 认证路径使用： +MiniMax 图像生成可通过两种内置的 MiniMax 认证路径使用： - `minimax/image-01` 用于 API 密钥配置 - `minimax-portal/image-01` 用于 OAuth 配置 ## 提供商能力 -| 能力 | OpenAI | Google | fal | MiniMax | ComfyUI | -| --------------------- | -------------------- | -------------------- | ------------------- | -------------------------- | ---------------------------------- | -| 生成 | 是（最多 4 张） | 是（最多 4 张） | 是（最多 4 张） | 是（最多 9 张） | 是（由工作流定义输出） | -| 编辑/参考 | 是（最多 5 张图像） | 是（最多 5 张图像） | 是（1 张图像） | 是（1 张图像，主体参考） | 是（1 张图像，由工作流配置） | -| 尺寸控制 | 是 | 是 | 是 | 否 | 否 | -| 宽高比 | 否 | 是 | 是（仅生成） | 是 | 否 | -| 分辨率（1K/2K/4K） | 否 | 是 | 是 | 否 | 否 | +| 能力 | OpenAI | Google | fal | MiniMax | ComfyUI | Vydra | +| --------------------- | -------------------- | -------------------- | ------------------- | -------------------------- | ---------------------------------- | ----- | +| 生成 | 是（最多 4 张） | 是（最多 4 张） | 是（最多 4 张） | 是（最多 9 张） | 是（由工作流定义输出） | 是（1 张） | +| 编辑/参考 | 是（最多 5 张图像） | 是（最多 5 张图像） | 是（1 张图像） | 是（1 张图像，主体参考） | 是（1 张图像，由工作流配置） | 否 | +| 尺寸控制 | 是 | 是 | 是 | 否 | 否 | 否 | +| 宽高比 | 否 | 是 | 是（仅生成） | 是 | 否 | 否 | +| 分辨率（1K/2K/4K） | 否 | 是 | 是 | 否 | 否 | 否 | ## 相关内容 -- [工具概览](/zh-CN/tools) — 所有可用的智能体工具 -- [fal](/zh-CN/providers/fal) — fal 图像和视频提供商设置 -- [ComfyUI](/providers/comfy) — 本地 ComfyUI 和 Comfy Cloud 工作流设置 -- [Google（Gemini）](/zh-CN/providers/google) — Gemini 图像提供商设置 -- [MiniMax](/zh-CN/providers/minimax) — MiniMax 图像提供商设置 -- [OpenAI](/zh-CN/providers/openai) — OpenAI Images 提供商设置 -- [配置参考](/zh-CN/gateway/configuration-reference#agent-defaults) — `imageGenerationModel` 配置 -- [Models](/zh-CN/concepts/models) — 模型配置和故障切换 +- [工具概览](/zh-CN/tools) —— 所有可用的智能体工具 +- [fal](/zh-CN/providers/fal) —— fal 图像和视频提供商设置 +- [ComfyUI](/zh-CN/providers/comfy) —— 本地 ComfyUI 和 Comfy Cloud 工作流设置 +- [Google (Gemini)](/zh-CN/providers/google) —— Gemini 图像提供商设置 +- [MiniMax](/zh-CN/providers/minimax) —— MiniMax 图像提供商设置 +- [OpenAI](/zh-CN/providers/openai) —— OpenAI Images 提供商设置 +- [Vydra](/providers/vydra) —— Vydra 图像、视频和语音设置 +- [配置参考](/zh-CN/gateway/configuration-reference#agent-defaults) —— `imageGenerationModel` 配置 +- [模型](/zh-CN/concepts/models) —— 模型配置与故障切换 diff --git a/docs/zh-CN/tools/video-generation.md b/docs/zh-CN/tools/video-generation.md index d5ed014dc..7700894f8 100644 --- a/docs/zh-CN/tools/video-generation.md +++ b/docs/zh-CN/tools/video-generation.md @@ -3,75 +3,76 @@ read_when: - 通过智能体生成视频 - 配置视频生成提供商和模型 - 了解 `video_generate` 工具参数 -summary: 通过 11 个提供商后端，使用文本、图像或现有视频生成视频 +summary: 使用 12 个提供商后端从文本、图像或现有视频生成视频 title: 视频生成 x-i18n: - generated_at: "2026-04-06T00:47:37Z" + generated_at: "2026-04-06T01:23:42Z" model: gpt-5.4 provider: openai - source_hash: 4e47e867b30f7df1bab79d89f566fc17480aecfb58b8dbf95ae96aedd2bccddb + source_hash: 4afec87368232221db1aa5a3980254093d6a961b17271b2dcbf724e6bd455b16 source_path: tools/video-generation.md workflow: 15 --- # 视频生成 -OpenClaw 智能体可以根据文本提示、参考图像或现有视频生成视频。支持 11 个提供商后端，每个后端都有不同的模型选项、输入模式和功能集。智能体会根据你的配置和可用的 API 密钥自动选择合适的提供商。 +OpenClaw 智能体可以根据文本提示、参考图像或现有视频生成视频。支持 12 个提供商后端，每个后端都有不同的模型选项、输入模式和功能集。智能体会根据你的配置和可用的 API 密钥自动选择合适的提供商。 -仅当至少有一个视频生成提供商可用时，`video_generate` 工具才会显示。如果你在智能体工具中看不到它，请设置提供商 API 密钥或配置 `agents.defaults.videoGenerationModel`。 +仅当至少有一个视频生成提供商可用时，`video_generate` 工具才会显示。如果你没有在智能体工具中看到它，请设置提供商 API 密钥或配置 `agents.defaults.videoGenerationModel`。 ## 快速开始 -1. 为任意受支持的提供商设置一个 API 密钥： +1. 为任意受支持的提供商设置 API 密钥： ```bash export GEMINI_API_KEY="your-key" ``` -2. 可选：固定默认模型： +2. 可选：固定一个默认模型： ```bash openclaw config set agents.defaults.videoGenerationModel.primary "google/veo-3.1-fast-generate-preview" ``` -3. 向智能体发出请求： +3. 询问智能体： -> 生成一段 5 秒钟、在日落时分一只友好龙虾冲浪的电影感视频。 +> 生成一个 5 秒钟的电影感视频，内容是一只友好的龙虾在日落时分冲浪。 -智能体会自动调用 `video_generate`。无需将工具加入 allowlist。 +智能体会自动调用 `video_generate`。不需要将工具加入允许列表。 ## 生成视频时会发生什么 视频生成是异步的。当智能体在一个会话中调用 `video_generate` 时： -1. OpenClaw 会将请求提交给提供商，并立即返回一个任务 ID。 -2. 提供商会在后台处理该任务（通常需要 30 秒到 5 分钟，具体取决于提供商和分辨率）。 -3. 当视频准备完成后，OpenClaw 会通过一个内部完成事件唤醒同一个会话。 -4. 智能体会将生成完成的视频发回原始对话中。 +1. OpenClaw 将请求提交给提供商，并立即返回一个任务 ID。 +2. 提供商在后台处理该任务（通常需要 30 秒到 5 分钟，具体取决于提供商和分辨率）。 +3. 当视频准备就绪时，OpenClaw 会通过内部完成事件唤醒同一个会话。 +4. 智能体会将生成完成的视频发布回原始对话中。 -当某个任务正在进行中时，同一会话中的重复 `video_generate` 调用不会启动新的生成，而是返回当前任务状态。使用 `openclaw tasks list` 或 `openclaw tasks show ` 可通过 CLI 查看进度。 +当任务正在进行时，在同一会话中重复调用 `video_generate` 不会启动新的生成，而是返回当前任务状态。使用 `openclaw tasks list` 或 `openclaw tasks show ` 可从 CLI 检查进度。 -在不依赖会话的智能体运行之外（例如直接调用工具），该工具会回退为内联生成，并在同一轮返回最终媒体路径。 +在非会话支持的智能体运行之外（例如直接调用工具），该工具会回退为内联生成，并在同一轮中返回最终媒体路径。 ## 支持的提供商 -| 提供商 | 默认模型 | 文本 | 图像参考 | 视频参考 | API 密钥 | +| 提供商 | 默认模型 | 文本 | 图像参考 | 视频参考 | API 密钥 | | -------- | ------------------------------- | ---- | ---------------- | ---------------- | ---------------------------------------- | -| Alibaba | `wan2.6-t2v` | 是 | 是（远程 URL） | 是（远程 URL） | `MODELSTUDIO_API_KEY` | -| BytePlus（国际版） | `seedance-1-0-lite-t2v-250428` | 是 | 1 张图像 | 否 | `BYTEPLUS_API_KEY` | -| ComfyUI | `workflow` | 是 | 1 张图像 | 否 | `COMFY_API_KEY` 或 `COMFY_CLOUD_API_KEY` | -| fal | `fal-ai/minimax/video-01-live` | 是 | 1 张图像 | 否 | `FAL_KEY` | -| Google | `veo-3.1-fast-generate-preview` | 是 | 1 张图像 | 1 个视频 | `GEMINI_API_KEY` | -| MiniMax | `MiniMax-Hailuo-2.3` | 是 | 1 张图像 | 否 | `MINIMAX_API_KEY` | -| OpenAI | `sora-2` | 是 | 1 张图像 | 1 个视频 | `OPENAI_API_KEY` | -| Qwen | `wan2.6-t2v` | 是 | 是（远程 URL） | 是（远程 URL） | `QWEN_API_KEY` | -| Runway | `gen4.5` | 是 | 1 张图像 | 1 个视频 | `RUNWAYML_API_SECRET` | -| Together | `Wan-AI/Wan2.2-T2V-A14B` | 是 | 1 张图像 | 否 | `TOGETHER_API_KEY` | -| xAI | `grok-imagine-video` | 是 | 1 张图像 | 1 个视频 | `XAI_API_KEY` | +| Alibaba | `wan2.6-t2v` | 是 | 是（远程 URL） | 是（远程 URL） | `MODELSTUDIO_API_KEY` | +| BytePlus（国际版） | `seedance-1-0-lite-t2v-250428` | 是 | 1 张图像 | 否 | `BYTEPLUS_API_KEY` | +| ComfyUI | `workflow` | 是 | 1 张图像 | 否 | `COMFY_API_KEY` 或 `COMFY_CLOUD_API_KEY` | +| fal | `fal-ai/minimax/video-01-live` | 是 | 1 张图像 | 否 | `FAL_KEY` | +| Google | `veo-3.1-fast-generate-preview` | 是 | 1 张图像 | 1 个视频 | `GEMINI_API_KEY` | +| MiniMax | `MiniMax-Hailuo-2.3` | 是 | 1 张图像 | 否 | `MINIMAX_API_KEY` | +| OpenAI | `sora-2` | 是 | 1 张图像 | 1 个视频 | `OPENAI_API_KEY` | +| Qwen | `wan2.6-t2v` | 是 | 是（远程 URL） | 是（远程 URL） | `QWEN_API_KEY` | +| Runway | `gen4.5` | 是 | 1 张图像 | 1 个视频 | `RUNWAYML_API_SECRET` | +| Together | `Wan-AI/Wan2.2-T2V-A14B` | 是 | 1 张图像 | 否 | `TOGETHER_API_KEY` | +| Vydra | `veo3` | 是 | 1 张图像（`kling`） | 否 | `VYDRA_API_KEY` | +| xAI | `grok-imagine-video` | 是 | 1 张图像 | 1 个视频 | `XAI_API_KEY` | -某些提供商还接受额外或替代的 API 密钥环境变量。详情请参阅各个[提供商页面](#related)。 +某些提供商接受额外或替代的 API 密钥环境变量。详见各个[提供商页面](#related)。 运行 `video_generate action=list` 可在运行时查看可用的提供商和模型。 @@ -79,54 +80,54 @@ openclaw config set agents.defaults.videoGenerationModel.primary "google/veo-3.1 ### 必填 -| 参数 | 类型 | 说明 | +| 参数 | 类型 | 说明 | | --------- | ------ | ----------------------------------------------------------------------------- | -| `prompt` | string | 要生成的视频的文本描述（对于 `action: "generate"` 为必填） | +| `prompt` | string | 要生成的视频的文本描述（`action: "generate"` 时必填） | ### 内容输入 -| 参数 | 类型 | 说明 | +| 参数 | 类型 | 说明 | | --------- | -------- | ------------------------------------ | -| `image` | string | 单个参考图像（路径或 URL） | -| `images` | string[] | 多个参考图像（最多 5 个） | -| `video` | string | 单个参考视频（路径或 URL） | -| `videos` | string[] | 多个参考视频（最多 4 个） | +| `image` | string | 单个参考图像（路径或 URL） | +| `images` | string[] | 多个参考图像（最多 5 个） | +| `video` | string | 单个参考视频（路径或 URL） | +| `videos` | string[] | 多个参考视频（最多 4 个） | ### 风格控制 -| 参数 | 类型 | 说明 | +| 参数 | 类型 | 说明 | | ----------------- | ------- | ------------------------------------------------------------------------ | | `aspectRatio` | string | `1:1`、`2:3`、`3:2`、`3:4`、`4:3`、`4:5`、`5:4`、`9:16`、`16:9`、`21:9` | -| `resolution` | string | `480P`、`720P` 或 `1080P` | -| `durationSeconds` | number | 目标时长（秒，四舍五入到最接近的提供商支持值） | -| `size` | string | 当提供商支持时使用的尺寸提示 | -| `audio` | boolean | 在支持时启用生成音频 | -| `watermark` | boolean | 在支持时切换提供商水印 | +| `resolution` | string | `480P`、`720P` 或 `1080P` | +| `durationSeconds` | number | 目标时长（秒，四舍五入为最接近的提供商支持值） | +| `size` | string | 提供商支持时使用的尺寸提示 | +| `audio` | boolean | 在支持时启用生成音频 | +| `watermark` | boolean | 在支持时切换提供商水印 | -### 高级 +### 高级参数 -| 参数 | 类型 | 说明 | -| ---------- | ------ | ----------------------------------------------- | +| 参数 | 类型 | 说明 | +| ---------- | ------ | --------------------------------------------- | | `action` | string | `"generate"`（默认）、`"status"` 或 `"list"` | -| `model` | string | 提供商 / 模型覆盖值（例如 `runway/gen4.5`） | -| `filename` | string | 输出文件名提示 | +| `model` | string | 提供商/模型覆盖（例如 `runway/gen4.5`） | +| `filename` | string | 输出文件名提示 | -并非所有提供商都支持全部参数。不受支持的覆盖参数会尽力忽略，并在工具结果中报告为警告。硬性能力限制（例如参考输入过多）会在提交前直接失败。 +并非所有提供商都支持所有参数。不受支持的覆盖项会在尽力而为的基础上被忽略，并在工具结果中报告为警告。硬性能力限制（例如参考输入过多）会在提交前直接失败。 ## 操作 - **generate**（默认）-- 根据给定提示和可选参考输入创建视频。 -- **status** -- 检查当前会话中正在进行的视频任务状态，而不启动新的任务。 +- **status** -- 检查当前会话中进行中的视频任务状态，而不启动新的生成。 - **list** -- 显示可用的提供商、模型及其能力。 ## 模型选择 生成视频时，OpenClaw 会按以下顺序解析模型： -1. **`model` 工具参数** -- 如果智能体在调用中指定了它。 +1. **`model` 工具参数** -- 如果智能体在调用中指定了该参数。 2. **`videoGenerationModel.primary`** -- 来自配置。 3. **`videoGenerationModel.fallbacks`** -- 按顺序尝试。 -4. **自动检测** -- 使用具有有效认证的提供商，从当前默认提供商开始，然后按字母顺序尝试其余提供商。 +4. **自动检测** -- 使用具有有效认证的提供商，先从当前默认提供商开始，再按字母顺序尝试其余提供商。 如果某个提供商失败，会自动尝试下一个候选项。如果所有候选项都失败，错误中会包含每次尝试的详细信息。 @@ -145,19 +146,20 @@ openclaw config set agents.defaults.videoGenerationModel.primary "google/veo-3.1 ## 提供商说明 -| 提供商 | 说明 | +| 提供商 | 说明 | | -------- | ---------------------------------------------------------------------------------------------------------------------------------------- | -| Alibaba | 使用 DashScope / Model Studio 异步端点。参考图像和视频必须是远程 `http(s)` URL。 | -| BytePlus（国际版） | 仅支持单张参考图像。 | -| ComfyUI | 由工作流驱动的本地或云端执行。通过已配置的图形支持 text-to-video 和 image-to-video。 | -| fal | 对长时间运行的任务使用基于队列的流程。仅支持单张参考图像。 | -| Google | 使用 Gemini / Veo。支持一张参考图像或一个参考视频。 | -| MiniMax | 仅支持单张参考图像。 | -| OpenAI | 仅转发 `size` 覆盖值。其他风格覆盖值（`aspectRatio`、`resolution`、`audio`、`watermark`）会被忽略，并给出警告。 | -| Qwen | 与 Alibaba 使用相同的 DashScope 后端。参考输入必须是远程 `http(s)` URL；本地文件会在前置校验时被拒绝。 | -| Runway | 通过 data URI 支持本地文件。video-to-video 需要 `runway/gen4_aleph`。纯文本运行会暴露 `16:9` 和 `9:16` 纵横比。 | -| Together | 仅支持单张参考图像。 | -| xAI | 支持 text-to-video、image-to-video，以及远程视频编辑 / 扩展流程。 | +| Alibaba | 使用 DashScope/Model Studio 异步端点。参考图像和视频必须是远程 `http(s)` URL。 | +| BytePlus（国际版） | 仅支持单张参考图像。 | +| ComfyUI | 由工作流驱动的本地或云端执行。通过配置的图支持文生视频和图生视频。 | +| fal | 对长时间运行的任务使用基于队列的流程。仅支持单张参考图像。 | +| Google | 使用 Gemini/Veo。支持一张参考图像或一个参考视频。 | +| MiniMax | 仅支持单张参考图像。 | +| OpenAI | 仅转发 `size` 覆盖项。其他风格覆盖项（`aspectRatio`、`resolution`、`audio`、`watermark`）会被忽略，并附带警告。 | +| Qwen | 与 Alibaba 使用相同的 DashScope 后端。参考输入必须是远程 `http(s)` URL；本地文件会被预先拒绝。 | +| Runway | 通过 data URI 支持本地文件。视频转视频需要 `runway/gen4_aleph`。纯文本运行提供 `16:9` 和 `9:16` 宽高比。 | +| Together | 仅支持单张参考图像。 | +| Vydra | 直接使用 `https://www.vydra.ai/api/v1` 以避免认证在重定向过程中丢失。`veo3` 仅作为文生视频内置；`kling` 需要远程图像 URL。 | +| xAI | 支持文生视频、图生视频，以及远程视频编辑/扩展流程。 | ## 配置 @@ -176,7 +178,7 @@ openclaw config set agents.defaults.videoGenerationModel.primary "google/veo-3.1 } ``` -或者通过 CLI： +或通过 CLI： ```bash openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v" @@ -188,7 +190,7 @@ openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2 - [后台任务](/zh-CN/automation/tasks) -- 用于异步视频生成的任务跟踪 - [Alibaba Model Studio](/zh-CN/providers/alibaba) - [BytePlus（国际版）](/providers/byteplus) -- [ComfyUI](/providers/comfy) +- [ComfyUI](/zh-CN/providers/comfy) - [fal](/zh-CN/providers/fal) - [Google（Gemini）](/zh-CN/providers/google) - [MiniMax](/zh-CN/providers/minimax) @@ -196,6 +198,7 @@ openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2 - [Qwen](/zh-CN/providers/qwen) - [Runway](/zh-CN/providers/runway) - [Together AI](/zh-CN/providers/together) +- [Vydra](/providers/vydra) - [xAI](/zh-CN/providers/xai) - [配置参考](/zh-CN/gateway/configuration-reference#agent-defaults) - [模型](/zh-CN/concepts/models)