From 7b8f843095e013c07e950baf1250faf3b32126fd Mon Sep 17 00:00:00 2001 From: "openclaw-docs-i18n[bot]" Date: Thu, 23 Apr 2026 01:24:54 +0000 Subject: [PATCH] chore(i18n): refresh zh-CN translations --- docs/zh-CN/providers/openai.md | 245 +++++++++++++++++------------ docs/zh-CN/tools/media-overview.md | 65 ++++---- 2 files changed, 181 insertions(+), 129 deletions(-) diff --git a/docs/zh-CN/providers/openai.md b/docs/zh-CN/providers/openai.md index 7800ce556..b7005eff8 100644 --- a/docs/zh-CN/providers/openai.md +++ b/docs/zh-CN/providers/openai.md @@ -3,50 +3,65 @@ read_when: - 你想在 OpenClaw 中使用 OpenAI 模型 - 你想使用 Codex 订阅认证，而不是 API 密钥 - 你需要更严格的 GPT-5 智能体执行行为 -summary: 在 OpenClaw 中使用 OpenAI，可通过 API 密钥或 Codex 订阅 +summary: 在 OpenClaw 中使用 OpenAI 的 API 密钥或 Codex 订阅 title: OpenAI x-i18n: - generated_at: "2026-04-22T22:45:15Z" + generated_at: "2026-04-23T01:23:55Z" model: gpt-5.4 provider: openai - source_hash: 1ef9aaacd585acd098163468880761270936a05bbf79dd54b4f4d45068eeeaf1 + source_hash: 775a937680731ff09181dd58d2be1ca1a751c9193ac299ba6657266490a6a9b7 source_path: providers/openai.md workflow: 15 --- -# OpenAI + # OpenAI -OpenAI 提供 GPT 模型的开发者 API。OpenClaw 支持两种认证方式： + OpenAI 提供用于 GPT 模型的开发者 API。OpenClaw 支持两种认证方式： -- **API 密钥** —— 直接访问 OpenAI Platform，并按使用量计费（`openai/*` 模型） -- **Codex 订阅** —— 使用 ChatGPT/Codex 登录，并通过订阅访问（`openai-codex/*` 模型） + - **API 密钥** — 通过按量计费直接访问 OpenAI Platform（`openai/*` 模型） + - **Codex 订阅** — 通过 ChatGPT/Codex 登录并使用订阅访问（`openai-codex/*` 模型） -OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订阅的 OAuth。 + OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用订阅 OAuth。 -## 入门指南 + ## OpenClaw 功能覆盖范围 -选择你偏好的认证方式，并按照设置步骤操作。 + | OpenAI 能力 | OpenClaw 表面 | 状态 | + | ------------------------- | ----------------------------------------- | ------------------------------------------------------ | + | 聊天 / Responses | `openai/` 模型提供商 | 是 | + | Codex 订阅模型 | `openai-codex/` 模型提供商 | 是 | + | 服务端 Web 搜索 | 原生 OpenAI Responses 工具 | 是，启用 Web 搜索且未固定提供商时 | + | 图像 | `image_generate` | 是 | + | 视频 | `video_generate` | 是 | + | 文本转语音 | `messages.tts.provider: "openai"` / `tts` | 是 | + | 批量语音转文本 | `tools.media.audio` / 媒体理解 | 是 | + | 流式语音转文本 | Voice Call `streaming.provider: "openai"` | 是 | + | 实时语音 | Voice Call `realtime.provider: "openai"` | 是 | + | Embeddings | memory embedding 提供商 | 是 | - + ## 入门指南 + + 选择你偏好的认证方式，并按照设置步骤操作。 + + - **最适合：** 直接访问 API 和按使用量计费。 + **最适合：** 直接访问 API 和按量计费。 - 在 [OpenAI Platform 控制台](https://platform.openai.com/api-keys) 创建或复制一个 API 密钥。 + 在 [OpenAI Platform 控制台](https://platform.openai.com/api-keys) 中创建或复制一个 API 密钥。 ```bash openclaw onboard --auth-choice openai-api-key ``` - 或者直接传入密钥： + 或直接传入密钥： ```bash openclaw onboard --openai-api-key "$OPENAI_API_KEY" ``` - + ```bash openclaw models list --provider openai ``` @@ -55,7 +70,7 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 ### 路由摘要 - | 模型引用 | 路由 | 认证 | + | Model ref | Route | Auth | |-----------|-------|------| | `openai/gpt-5.4` | 直接 OpenAI Platform API | `OPENAI_API_KEY` | | `openai/gpt-5.4-pro` | 直接 OpenAI Platform API | `OPENAI_API_KEY` | @@ -88,7 +103,7 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 openclaw onboard --auth-choice openai-codex ``` - 或者直接运行 OAuth： + 或直接运行 OAuth： ```bash openclaw models auth login --provider openai-codex @@ -99,7 +114,7 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 openclaw config set agents.defaults.model.primary openai-codex/gpt-5.4 ``` - + ```bash openclaw models list --provider openai-codex ``` @@ -108,13 +123,13 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 ### 路由摘要 - | 模型引用 | 路由 | 认证 | + | Model ref | Route | Auth | |-----------|-------|------| | `openai-codex/gpt-5.4` | ChatGPT/Codex OAuth | Codex 登录 | - | `openai-codex/gpt-5.3-codex-spark` | ChatGPT/Codex OAuth | Codex 登录（取决于权限） | + | `openai-codex/gpt-5.3-codex-spark` | ChatGPT/Codex OAuth | Codex 登录（取决于授权资格） | - 这一路径与 `openai/gpt-5.4` 有意分开。直接 Platform 访问请使用带 API 密钥的 `openai/*`，Codex 订阅访问请使用 `openai-codex/*`。 + 此路由与 `openai/gpt-5.4` 有意分离。直接 Platform 访问请使用带 API 密钥的 `openai/*`，Codex 订阅访问请使用 `openai-codex/*`。 ### 配置示例 @@ -126,19 +141,19 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 ``` - 如果新手引导复用了现有的 Codex CLI 登录，这些凭证会继续由 Codex CLI 管理。凭证过期时，OpenClaw 会先重新读取外部 Codex 来源，再将刷新后的凭证写回 Codex 存储。 + 如果新手引导复用了现有的 Codex CLI 登录，这些凭证仍由 Codex CLI 管理。过期后，OpenClaw 会先重新读取外部 Codex 来源，再把刷新的凭证写回 Codex 存储。 ### 上下文窗口上限 - OpenClaw 将模型元数据和运行时上下文上限视为两个独立的值。 + OpenClaw 将模型元数据与运行时上下文上限视为两个独立的值。 对于 `openai-codex/gpt-5.4`： - 原生 `contextWindow`：`1050000` - 默认运行时 `contextTokens` 上限：`272000` - 默认使用较小的上限，在实际中通常具有更好的延迟和质量表现。你可以通过 `contextTokens` 覆盖它： + 较小的默认上限在实践中通常具有更好的延迟和质量表现。你可以用 `contextTokens` 覆盖它： ```json5 { @@ -153,7 +168,7 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 ``` - 使用 `contextWindow` 声明模型的原生元数据。使用 `contextTokens` 限制运行时上下文预算。 + 使用 `contextWindow` 来声明原生模型元数据。使用 `contextTokens` 来限制运行时上下文预算。 @@ -163,7 +178,7 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 内置的 `openai` 插件通过 `image_generate` 工具注册图像生成功能。 -| 功能 | 值 | +| 能力 | 值 | | ------------------------- | ---------------------------------- | | 默认模型 | `openai/gpt-image-2` | | 每次请求的最大图像数 | 4 | @@ -182,34 +197,34 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 ``` -请参阅 [图像生成](/zh-CN/tools/image-generation)，了解共享工具参数、提供商选择和故障切换行为。 +有关共享工具参数、提供商选择和故障转移行为，请参见 [图像生成](/zh-CN/tools/image-generation)。 -`gpt-image-2` 是 OpenAI 文生图和图像编辑的默认模型。`gpt-image-1` 仍可作为显式模型覆盖使用，但新的 OpenAI 图像工作流应使用 `openai/gpt-image-2`。 +`gpt-image-2` 是 OpenAI 文生图生成和图像编辑的默认模型。`gpt-image-1` 仍可作为显式模型覆盖使用，但新的 OpenAI 图像工作流应使用 `openai/gpt-image-2`。 生成： ``` -/tool image_generate model=openai/gpt-image-2 prompt="A polished launch poster for OpenClaw on macOS" size=3840x2160 count=1 +/tool image_generate model=openai/gpt-image-2 prompt="为 macOS 上的 OpenClaw 制作一张精致的发布海报" size=3840x2160 count=1 ``` 编辑： ``` -/tool image_generate model=openai/gpt-image-2 prompt="Preserve the object shape, change the material to translucent glass" image=/path/to/reference.png size=1024x1536 +/tool image_generate model=openai/gpt-image-2 prompt="保留物体形状，将材质改为半透明玻璃" image=/path/to/reference.png size=1024x1536 ``` ## 视频生成 内置的 `openai` 插件通过 `video_generate` 工具注册视频生成功能。 -| 功能 | 值 | +| 能力 | 值 | | ---------------- | --------------------------------------------------------------------------------- | | 默认模型 | `openai/sora-2` | | 模式 | 文生视频、图生视频、单视频编辑 | | 参考输入 | 1 张图像或 1 个视频 | | 尺寸覆盖 | 支持 | -| 其他覆盖项 | `aspectRatio`、`resolution`、`audio`、`watermark` 会被忽略，并给出工具警告 | +| 其他覆盖 | `aspectRatio`、`resolution`、`audio`、`watermark` 会被忽略，并产生工具警告 | ```json5 { @@ -222,16 +237,16 @@ OpenAI 明确支持在 OpenClaw 这类外部工具和工作流中使用基于订 ``` -请参阅 [视频生成](/zh-CN/tools/video-generation)，了解共享工具参数、提供商选择和故障切换行为。 +有关共享工具参数、提供商选择和故障转移行为，请参见 [视频生成](/zh-CN/tools/video-generation)。 -## GPT-5 提示词贡献 +## GPT-5 提示词扩展 -OpenClaw 会为跨提供商的 GPT-5 系列运行添加一层共享的 GPT-5 提示词贡献。它按模型 id 应用，因此 `openai/gpt-5.4`、`openai-codex/gpt-5.4`、`openrouter/openai/gpt-5.4`、`opencode/gpt-5.4` 以及其他兼容的 GPT-5 引用都会接收相同的覆盖层。较旧的 GPT-4.x 模型则不会。 +OpenClaw 会为跨提供商的 GPT-5 系列运行添加共享的 GPT-5 提示词扩展。它按模型 id 应用，因此 `openai/gpt-5.4`、`openai-codex/gpt-5.4`、`openrouter/openai/gpt-5.4`、`opencode/gpt-5.4` 以及其他兼容的 GPT-5 引用都会接收相同的叠加层。较旧的 GPT-4.x 模型不会应用该扩展。 -内置的原生 Codex harness 提供商（`codex/*`）也会通过 Codex app-server 开发者指令使用相同的 GPT-5 行为和心跳覆盖层，因此 `codex/gpt-5.x` 会话也会保持相同的后续跟进行为和主动心跳指引，尽管 Codex 负责 harness 提示词的其余部分。 +内置的原生 Codex harness 提供商（`codex/*`）通过 Codex app-server 开发者指令使用相同的 GPT-5 行为和心跳叠加层，因此 `codex/gpt-5.x` 会话会保持相同的后续跟进行为和主动心跳指引，即使 Codex 拥有 harness 提示词的其余部分也是如此。 -GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人格持续性、执行安全、工具纪律、输出形态、完成检查和验证。特定于渠道的回复和静默消息行为仍保留在共享的 OpenClaw 系统提示词和出站传递策略中。对于匹配的模型，GPT-5 指引始终启用。友好的交互风格层是独立的，并且可配置。 +GPT-5 扩展添加了一个带标签的行为契约，用于规定角色持续性、执行安全、工具纪律、输出形态、完成检查和验证。特定渠道的回复和静默消息行为仍保留在共享的 OpenClaw 系统提示词和出站传递策略中。对于匹配的模型，GPT-5 指引始终启用。友好的交互风格层是独立的，并且可配置。 | 值 | 效果 | | ---------------------- | ------------------------------------------- | @@ -261,30 +276,30 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 -这些值在运行时不区分大小写，因此 `"Off"` 和 `"off"` 都会禁用友好风格层。 +运行时值不区分大小写，因此 `"Off"` 和 `"off"` 都会禁用友好风格层。 当共享设置 `agents.defaults.promptOverlays.gpt5.personality` 未设置时，仍会读取旧版 `plugins.entries.openai.config.personality` 作为兼容性回退。 -## 语音与语音合成 +## 语音和语音识别 - 内置的 `openai` 插件会为 `messages.tts` 接口注册语音合成功能。 + 内置的 `openai` 插件为 `messages.tts` 表面注册语音合成功能。 | 设置 | 配置路径 | 默认值 | |---------|------------|---------| | 模型 | `messages.tts.providers.openai.model` | `gpt-4o-mini-tts` | - | 声音 | `messages.tts.providers.openai.voice` | `coral` | + | 语音 | `messages.tts.providers.openai.voice` | `coral` | | 速度 | `messages.tts.providers.openai.speed` | （未设置） | - | 指令 | `messages.tts.providers.openai.instructions` | （未设置，仅适用于 `gpt-4o-mini-tts`） | + | 指令 | `messages.tts.providers.openai.instructions` | （未设置，仅 `gpt-4o-mini-tts`） | | 格式 | `messages.tts.providers.openai.responseFormat` | 语音便笺为 `opus`，文件为 `mp3` | | API 密钥 | `messages.tts.providers.openai.apiKey` | 回退到 `OPENAI_API_KEY` | | Base URL | `messages.tts.providers.openai.baseUrl` | `https://api.openai.com/v1` | - 可用模型：`gpt-4o-mini-tts`、`tts-1`、`tts-1-hd`。可用声音：`alloy`、`ash`、`ballad`、`cedar`、`coral`、`echo`、`fable`、`juniper`、`marin`、`onyx`、`nova`、`sage`、`shimmer`、`verse`。 + 可用模型：`gpt-4o-mini-tts`、`tts-1`、`tts-1-hd`。可用语音：`alloy`、`ash`、`ballad`、`cedar`、`coral`、`echo`、`fable`、`juniper`、`marin`、`onyx`、`nova`、`sage`、`shimmer`、`verse`。 ```json5 { @@ -299,34 +314,71 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 ``` - 设置 `OPENAI_TTS_BASE_URL` 可覆盖 TTS 的 Base URL，而不会影响聊天 API 端点。 + 设置 `OPENAI_TTS_BASE_URL` 可以覆盖 TTS Base URL，而不会影响聊天 API 端点。 + + 内置的 `openai` 插件通过 OpenClaw 的媒体理解转录表面注册批量语音转文本功能。 + + - 默认模型：`gpt-4o-transcribe` + - 端点：OpenAI REST `/v1/audio/transcriptions` + - 输入路径：multipart 音频文件上传 + - 在 OpenClaw 中，只要入站音频转录使用 + `tools.media.audio`，就受支持，包括 Discord 语音频道片段和渠道 + 音频附件 + + 要为入站音频转录强制使用 OpenAI： + + ```json5 + { + tools: { + media: { + audio: { + models: [ + { + type: "provider", + provider: "openai", + model: "gpt-4o-transcribe", + }, + ], + }, + }, + }, + } + ``` + + 当共享音频媒体配置或每次调用的转录请求提供了语言和提示词提示时， + 这些内容会转发给 OpenAI。 + + + - 内置的 `openai` 插件会为 Voice Call 插件注册实时转录功能。 + 内置的 `openai` 插件为 Voice Call 插件注册实时转录功能。 | 设置 | 配置路径 | 默认值 | |---------|------------|---------| | 模型 | `plugins.entries.voice-call.config.streaming.providers.openai.model` | `gpt-4o-transcribe` | + | 语言 | `...openai.language` | （未设置） | + | 提示词 | `...openai.prompt` | （未设置） | | 静音时长 | `...openai.silenceDurationMs` | `800` | | VAD 阈值 | `...openai.vadThreshold` | `0.5` | | API 密钥 | `...openai.apiKey` | 回退到 `OPENAI_API_KEY` | - 使用到 `wss://api.openai.com/v1/realtime` 的 WebSocket 连接，并采用 G.711 u-law 音频。 + 使用到 `wss://api.openai.com/v1/realtime` 的 WebSocket 连接，并采用 G.711 u-law（`g711_ulaw` / `audio/pcmu`）音频。此流式提供商用于 Voice Call 的实时转录路径；Discord 语音当前仍会录制短片段，并改用批量 `tools.media.audio` 转录路径。 - 内置的 `openai` 插件会为 Voice Call 插件注册实时语音功能。 + 内置的 `openai` 插件为 Voice Call 插件注册实时语音功能。 | 设置 | 配置路径 | 默认值 | |---------|------------|---------| | 模型 | `plugins.entries.voice-call.config.realtime.providers.openai.model` | `gpt-realtime` | - | 声音 | `...openai.voice` | `alloy` | + | 语音 | `...openai.voice` | `alloy` | | 温度 | `...openai.temperature` | `0.8` | | VAD 阈值 | `...openai.vadThreshold` | `0.5` | | 静音时长 | `...openai.silenceDurationMs` | `500` | @@ -346,40 +398,39 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 OpenClaw 对 `openai/*` 和 `openai-codex/*` 都优先使用 WebSocket，并在失败时回退到 SSE（`"auto"`）。 在 `"auto"` 模式下，OpenClaw 会： + - 在回退到 SSE 之前，重试一次早期 WebSocket 失败 + - 失败后，将 WebSocket 标记为降级约 60 秒，并在冷却期间使用 SSE + - 为重试和重连附加稳定的会话与轮次标识头 + - 在不同传输变体之间规范化用量计数器（`input_tokens` / `prompt_tokens`） -- 在回退到 SSE 之前，对一次早期 WebSocket 失败进行重试 -- 发生失败后，将 WebSocket 标记为降级状态约 60 秒，并在冷却期间使用 SSE -- 为重试和重连附加稳定的会话和轮次身份标头 -- 在不同传输变体之间标准化用量计数器（`input_tokens` / `prompt_tokens`） + | 值 | 行为 | + |-------|----------| + | `"auto"`（默认） | 优先 WebSocket，失败时回退到 SSE | + | `"sse"` | 仅强制使用 SSE | + | `"websocket"` | 仅强制使用 WebSocket | -| 值 | 行为 | -|-------|----------| -| `"auto"`（默认） | 优先使用 WebSocket，失败时回退到 SSE | -| `"sse"` | 仅强制使用 SSE | -| `"websocket"` | 仅强制使用 WebSocket | - -```json5 -{ - agents: { - defaults: { - models: { - "openai-codex/gpt-5.4": { - params: { transport: "auto" }, + ```json5 + { + agents: { + defaults: { + models: { + "openai-codex/gpt-5.4": { + params: { transport: "auto" }, + }, + }, }, }, - }, - }, -} -``` + } + ``` -相关 OpenAI 文档： -- [使用 WebSocket 的 Realtime API](https://platform.openai.com/docs/guides/realtime-websocket) -- [流式 API 响应（SSE）](https://platform.openai.com/docs/guides/streaming-responses) + 相关 OpenAI 文档： + - [使用 WebSocket 的 Realtime API](https://platform.openai.com/docs/guides/realtime-websocket) + - [流式 API 响应（SSE）](https://platform.openai.com/docs/guides/streaming-responses) - 默认情况下，OpenClaw 会为 `openai/*` 启用 WebSocket 预热，以减少首轮延迟。 + OpenClaw 默认对 `openai/*` 启用 WebSocket 预热，以降低首次轮次延迟。 ```json5 // 禁用预热 @@ -399,12 +450,12 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 - OpenClaw 为 `openai/*` 和 `openai-codex/*` 都提供了共享的快速模式开关： + OpenClaw 为 `openai/*` 和 `openai-codex/*` 提供共享的快速模式开关： - - **聊天 / UI：** `/fast status|on|off` + - **聊天/UI：** `/fast status|on|off` - **配置：** `agents.defaults.models["/"].params.fastMode` - 启用后，OpenClaw 会将快速模式映射到 OpenAI 的优先处理（`service_tier = "priority"`）。现有的 `service_tier` 值会被保留，快速模式不会改写 `reasoning` 或 `text.verbosity`。 + 启用后，OpenClaw 会将快速模式映射到 OpenAI 优先处理（`service_tier = "priority"`）。现有的 `service_tier` 值会被保留，并且快速模式不会重写 `reasoning` 或 `text.verbosity`。 ```json5 { @@ -420,7 +471,7 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 ``` - 会话级覆盖优先于配置。在 Sessions UI 中清除会话覆盖后，该会话会返回到已配置的默认值。 + 会话覆盖优先于配置。在 Sessions UI 中清除会话覆盖后，该会话会恢复为配置的默认值。 @@ -444,21 +495,21 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 支持的值：`auto`、`default`、`flex`、`priority`。 - `serviceTier` 只会转发到原生 OpenAI 端点（`api.openai.com`）和原生 Codex 端点（`chatgpt.com/backend-api`）。如果你通过代理路由任一提供商，OpenClaw 会保持 `service_tier` 不变。 + `serviceTier` 仅会转发到原生 OpenAI 端点（`api.openai.com`）和原生 Codex 端点（`chatgpt.com/backend-api`）。如果你通过代理路由任一提供商，OpenClaw 会保持 `service_tier` 不变。 - 对于直接使用 OpenAI Responses 模型（`api.openai.com` 上的 `openai/*`），OpenClaw 会自动启用服务端压缩： + 对于直接 OpenAI Responses 模型（`api.openai.com` 上的 `openai/*`），OpenClaw 会自动启用服务端压缩： - - 强制设置 `store: true`（除非模型兼容性设置 `supportsStore: false`） + - 强制设置 `store: true`（除非模型兼容性将 `supportsStore: false`） - 注入 `context_management: [{ type: "compaction", compact_threshold: ... }]` - 默认 `compact_threshold`：`contextWindow` 的 70%（不可用时为 `80000`） - 适用于 Azure OpenAI Responses 等兼容端点： + 对 Azure OpenAI Responses 这类兼容端点很有用： ```json5 { @@ -510,13 +561,13 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 - `responsesServerCompaction` 只控制 `context_management` 注入。直接 OpenAI Responses 模型仍会强制设置 `store: true`，除非兼容性设置 `supportsStore: false`。 + `responsesServerCompaction` 仅控制 `context_management` 注入。除非兼容性将 `supportsStore: false`，直接 OpenAI Responses 模型仍会强制使用 `store: true`。 - - 对于运行在 `openai/*` 和 `openai-codex/*` 上的 GPT-5 系列，OpenClaw 可以使用更严格的内嵌执行契约： + + 对于 `openai/*` 和 `openai-codex/*` 上的 GPT-5 系列运行，OpenClaw 可以使用更严格的内嵌执行契约： ```json5 { @@ -529,32 +580,32 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 ``` 使用 `strict-agentic` 时，OpenClaw 会： - - 当工具操作可用时，不再将仅有计划的轮次视为成功进展 + - 当工具操作可用时，不再将仅有计划的轮次视为成功推进 - 使用“立即行动”的引导重试该轮次 - - 在处理实质性工作时自动启用 `update_plan` - - 如果模型持续规划而不行动，则显示明确的受阻状态 + - 对于较大工作自动启用 `update_plan` + - 如果模型持续只做计划而不行动，则显示明确的阻塞状态 - 仅适用于 OpenAI 和 Codex 的 GPT-5 系列运行。其他提供商和较旧的模型系列仍保持默认行为。 + 仅限 OpenAI 和 Codex GPT-5 系列运行。其他提供商和较旧的模型系列保持默认行为。 - - OpenClaw 会将直接 OpenAI、Codex 和 Azure OpenAI 端点，与通用的 OpenAI 兼容 `/v1` 代理区分对待： + + OpenClaw 会区别对待直接 OpenAI、Codex 和 Azure OpenAI 端点，以及通用的 OpenAI-compatible `/v1` 代理： **原生路由**（`openai/*`、`openai-codex/*`、Azure OpenAI）： - 仅对支持 OpenAI `none` effort 的模型保留 `reasoning: { effort: "none" }` - - 对拒绝 `reasoning.effort: "none"` 的模型或代理省略已禁用的 reasoning + - 对于拒绝 `reasoning.effort: "none"` 的模型或代理，省略禁用的 reasoning - 默认将工具 schema 设为严格模式 - - 仅在已验证的原生主机上附加隐藏归因标头 + - 仅在已验证的原生主机上附加隐藏归因头 - 保留 OpenAI 专有的请求整形（`service_tier`、`store`、reasoning 兼容性、提示词缓存提示） - **代理 / 兼容路由：** + **代理/兼容路由：** - 使用更宽松的兼容行为 - - 不强制严格工具 schema 或原生专用标头 + - 不强制严格工具 schema 或原生专用头 - Azure OpenAI 使用原生传输和兼容行为，但不会接收隐藏归因标头。 + Azure OpenAI 使用原生传输和兼容行为，但不会接收隐藏归因头。 @@ -563,7 +614,7 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 - 选择提供商、模型引用和故障切换行为。 + 选择提供商、模型引用和故障转移行为。 共享图像工具参数和提供商选择。 @@ -571,7 +622,7 @@ GPT-5 提示词贡献增加了一个带标签的行为契约，用于约束人 共享视频工具参数和提供商选择。 - + 认证细节和凭证复用规则。 diff --git a/docs/zh-CN/tools/media-overview.md b/docs/zh-CN/tools/media-overview.md index 153fdccbb..e3febe3bd 100644 --- a/docs/zh-CN/tools/media-overview.md +++ b/docs/zh-CN/tools/media-overview.md @@ -1,22 +1,22 @@ --- read_when: - - 正在寻找媒体能力概览 + - 寻找媒体能力概览 - 决定要配置哪个媒体提供商 - 了解异步媒体生成的工作方式 summary: 用于媒体生成、理解和语音能力的统一落地页 title: 媒体概览 x-i18n: - generated_at: "2026-04-23T00:39:58Z" + generated_at: "2026-04-23T01:23:57Z" model: gpt-5.4 provider: openai - source_hash: d7d848343a406e51e14b698b17fbde32bee5f85854d091217d6ac6514a359de6 + source_hash: bdc240c0ac4cc066e337f69e04b27828e9eb34648515688bc97e398299d7c18e source_path: tools/media-overview.md workflow: 15 --- # 媒体生成与理解 -OpenClaw 可以生成图像、视频和音乐，理解传入媒体（图像、音频、视频），并通过文本转语音将回复朗读出来。所有媒体能力都由工具驱动：智能体会根据对话决定何时使用它们，并且只有在至少配置了一个对应的后端提供商时，相应工具才会出现。 +OpenClaw 可以生成图像、视频和音乐，理解传入的媒体内容（图像、音频、视频），并通过文本转语音将回复朗读出来。所有媒体能力都由工具驱动：智能体会根据对话决定何时使用它们，并且只有在至少配置了一个后端提供商时，对应工具才会出现。 ## 能力概览 @@ -26,46 +26,47 @@ OpenClaw 可以生成图像、视频和音乐，理解传入媒体（图像、 | 视频生成 | `video_generate` | Alibaba、BytePlus、ComfyUI、fal、Google、MiniMax、OpenAI、Qwen、Runway、Together、Vydra、xAI | 根据文本、图像或现有视频创建视频 | | 音乐生成 | `music_generate` | ComfyUI、Google、MiniMax | 根据文本提示创建音乐或音频轨道 | | 文本转语音（TTS） | `tts` | ElevenLabs、Microsoft、MiniMax、OpenAI、xAI | 将发出的回复转换为语音音频 | -| 媒体理解 | （自动） | 任何具备视觉/音频能力的模型提供商，以及 CLI 回退方案 | 总结传入的图像、音频和视频 | +| 媒体理解 | （自动） | 任何支持视觉/音频的模型提供商，以及 CLI 回退方式 | 总结传入的图像、音频和视频 | ## 提供商能力矩阵 -下表展示了各个提供商在整个平台中支持哪些媒体能力。 +下表展示了各提供商在整个平台中支持的媒体能力。 -| Provider | 图像 | 视频 | 音乐 | TTS | STT / 转录 | 媒体理解 | +| 提供商 | 图像 | 视频 | 音乐 | TTS | STT / 转录 | 媒体理解 | | ---------- | ----- | ----- | ----- | --- | ------------------- | ------------------- | -| Alibaba | | 是 | | | | | -| BytePlus | | 是 | | | | | -| ComfyUI | 是 | 是 | 是 | | | | -| Deepgram | | | | | 是 | | -| ElevenLabs | | | | 是 | | | -| fal | 是 | 是 | | | | | -| Google | 是 | 是 | 是 | | | 是 | -| Microsoft | | | | 是 | | | -| MiniMax | 是 | 是 | 是 | 是 | | | -| OpenAI | 是 | 是 | | 是 | 是 | 是 | -| Qwen | | 是 | | | | | -| Runway | | 是 | | | | | -| Together | | 是 | | | | | -| Vydra | 是 | 是 | | | | | -| xAI | 是 | 是 | | 是 | 是 | 是 | +| Alibaba | | 是 | | | | | +| BytePlus | | 是 | | | | | +| ComfyUI | 是 | 是 | 是 | | | | +| Deepgram | | | | | 是 | | +| ElevenLabs | | | | 是 | | | +| fal | 是 | 是 | | | | | +| Google | 是 | 是 | 是 | | | 是 | +| Microsoft | | | | 是 | | | +| MiniMax | 是 | 是 | 是 | 是 | | | +| OpenAI | 是 | 是 | | 是 | 是 | 是 | +| Qwen | | 是 | | | | | +| Runway | | 是 | | | | | +| Together | | 是 | | | | | +| Vydra | 是 | 是 | | | | | +| xAI | 是 | 是 | | 是 | 是 | 是 | -媒体理解会使用你在提供商配置中注册的任何具备视觉能力或音频能力的模型。上表重点列出了提供专用媒体理解支持的提供商；大多数具备多模态模型的 LLM 提供商（Anthropic、Google、OpenAI 等）在被配置为当前活动回复模型时，也可以理解传入媒体。 +媒体理解会使用你在提供商配置中注册的任何支持视觉或音频的模型。上表重点标出了具有专门媒体理解支持的提供商；大多数带有多模态模型的 LLM 提供商（Anthropic、Google、OpenAI 等）在被配置为当前回复模型时，也可以理解传入的媒体内容。 ## 异步生成的工作方式 -视频和音乐生成会作为后台任务运行，因为提供商处理通常需要 30 秒到数分钟。当智能体调用 `video_generate` 或 `music_generate` 时，OpenClaw 会将请求提交给提供商、立即返回任务 ID，并在任务账本中跟踪该作业。任务运行期间，智能体会继续响应其他消息。当提供商处理完成后，OpenClaw 会唤醒智能体，以便它将完成的媒体发布回原始渠道。图像生成和 TTS 是同步的，会随回复内联完成。 +视频和音乐生成会作为后台任务运行，因为提供商处理通常需要 30 秒到数分钟。当智能体调用 `video_generate` 或 `music_generate` 时，OpenClaw 会将请求提交给提供商，立即返回任务 ID，并在任务台账中跟踪该任务。任务运行期间，智能体会继续响应其他消息。当提供商处理完成后，OpenClaw 会唤醒智能体，以便它将完成的媒体内容回发到原始渠道。图像生成和 TTS 是同步的，会随回复内联完成。 -xAI 目前映射到 OpenClaw 的图像、视频、搜索、代码执行、批量 -TTS、批量 STT，以及语音通话流式 STT 功能面。xAI Realtime 语音是 -上游能力，但在共享实时语音契约能够表示它之前，它不会在 OpenClaw 中注册。 +OpenAI 映射到 OpenClaw 的图像、视频、批量 TTS、批量 STT、Voice Call +流式 STT、实时语音和记忆嵌入能力。xAI 当前映射到 OpenClaw 的图像、视频、搜索、代码执行、批量 TTS、批量 STT， +以及 Voice Call 流式 STT 能力。xAI Realtime voice 是上游能力， +但在共享实时语音契约能够表示它之前，它不会在 OpenClaw 中注册。 ## 快速链接 -- [图像生成](/zh-CN/tools/image-generation) -- 生成和编辑图像 -- [视频生成](/zh-CN/tools/video-generation) -- 文本生成视频、图像生成视频，以及视频生成视频 -- [音乐生成](/zh-CN/tools/music-generation) -- 创建音乐和音频轨道 -- [文本转语音](/zh-CN/tools/tts) -- 将回复转换为语音音频 -- [媒体理解](/zh-CN/nodes/media-understanding) -- 理解传入的图像、音频和视频 +- [Image Generation](/zh-CN/tools/image-generation) -- 生成和编辑图像 +- [Video Generation](/zh-CN/tools/video-generation) -- 文本转视频、图像转视频和视频转视频 +- [Music Generation](/zh-CN/tools/music-generation) -- 创建音乐和音频轨道 +- [Text-to-Speech](/zh-CN/tools/tts) -- 将回复转换为语音音频 +- [Media Understanding](/zh-CN/nodes/media-understanding) -- 理解传入的图像、音频和视频