diff --git a/docs/zh-CN/nodes/voicewake.md b/docs/zh-CN/nodes/voicewake.md index 2d9d42013..fbb68fdc2 100644 --- a/docs/zh-CN/nodes/voicewake.md +++ b/docs/zh-CN/nodes/voicewake.md @@ -1,24 +1,24 @@ --- read_when: - - 更改语音唤醒词行为或默认值 + - 更改语音唤醒词的行为或默认设置 - 添加需要唤醒词同步的新节点平台 -summary: Gateway 网关持有的全局语音唤醒词，以及它们如何在各节点之间同步 +summary: 全局语音唤醒词（由 Gateway 网关拥有）及其如何在节点间同步 title: 语音唤醒 x-i18n: - generated_at: "2026-04-23T22:59:11Z" + generated_at: "2026-04-26T05:23:58Z" model: gpt-5.4 provider: openai - source_hash: 5094c17aaa7f868beb81d04f7dc60565ded1852cc5c835a33de64dbd3da74bb4 + source_hash: ac638cdf89f09404cdf293b416417f6cb3e31865b09f04ef87b9604e436dcbbe source_path: nodes/voicewake.md workflow: 15 --- -OpenClaw 将**唤醒词视为由 Gateway 网关持有的单一全局列表**。 +OpenClaw 将**唤醒词视为由** **Gateway 网关** **拥有的单一全局列表**。 -- **没有按节点自定义的唤醒词**。 +- **不支持按节点自定义唤醒词**。 - **任何节点/应用 UI 都可以编辑**该列表；更改由 Gateway 网关持久化，并广播给所有人。 - macOS 和 iOS 保留本地的**语音唤醒启用/禁用**开关（本地 UX 和权限不同）。 -- Android 当前保持语音唤醒关闭，并在“语音”标签中使用手动麦克风流程。 +- Android 目前保持语音唤醒关闭，并在 Voice 标签中使用手动麦克风流程。 ## 存储（Gateway 网关主机） @@ -44,34 +44,57 @@ OpenClaw 将**唤醒词视为由 Gateway 网关持有的单一全局列表**。 - 触发词会被规范化（去除首尾空白、丢弃空项）。空列表会回退到默认值。 - 出于安全考虑，会强制执行限制（数量/长度上限）。 +### 路由方法（触发词 → 目标） + +- `voicewake.routing.get` → `{ config: VoiceWakeRoutingConfig }` +- `voicewake.routing.set`，参数为 `{ config: VoiceWakeRoutingConfig }` → `{ config: VoiceWakeRoutingConfig }` + +`VoiceWakeRoutingConfig` 结构： + +```json +{ + "version": 1, + "defaultTarget": { "mode": "current" }, + "routes": [{ "trigger": "robot wake", "target": { "sessionKey": "agent:main:main" } }], + "updatedAtMs": 1730000000000 +} +``` + +路由目标必须且仅支持以下其中一种： + +- `{ "mode": "current" }` +- `{ "agentId": "main" }` +- `{ "sessionKey": "agent:main:main" }` + ### 事件 -- `voicewake.changed`，负载为 `{ triggers: string[] }` +- `voicewake.changed` 负载为 `{ triggers: string[] }` +- `voicewake.routing.changed` 负载为 `{ config: VoiceWakeRoutingConfig }` 接收方： - 所有 WebSocket 客户端（macOS 应用、WebChat 等） -- 所有已连接节点（iOS/Android），并且在节点连接时也会作为初始“当前状态”推送发送 +- 所有已连接节点（iOS/Android），并且在节点连接时也会作为初始“当前状态”推送 ## 客户端行为 ### macOS 应用 -- 使用全局列表来控制 `VoiceWakeRuntime` 触发器。 +- 使用全局列表来控制 `VoiceWakeRuntime` 触发词。 - 在语音唤醒设置中编辑“触发词”会调用 `voicewake.set`，然后依赖广播让其他客户端保持同步。 ### iOS 节点 - 使用全局列表进行 `VoiceWakeManager` 触发词检测。 -- 在设置中编辑唤醒词会调用 `voicewake.set`（通过 Gateway 网关 WS），同时也保持本地唤醒词检测的响应性。 +- 在设置中编辑唤醒词会调用 `voicewake.set`（通过 Gateway 网关 WS），同时也会保持本地唤醒词检测的响应性。 ### Android 节点 -- 语音唤醒当前在 Android 运行时/设置中被禁用。 -- Android 语音使用“语音”标签中的手动麦克风采集，而不是唤醒词触发。 +- 语音唤醒当前在 Android 运行时/设置中处于禁用状态。 +- Android 语音在 Voice 标签中使用手动麦克风采集，而不是唤醒词触发。 -## 相关 +## 相关内容 -- [Talk 模式](/zh-CN/nodes/talk) -- [音频和语音消息](/zh-CN/nodes/audio) +- [对话模式](/zh-CN/nodes/talk) +- [音频和语音笔记](/zh-CN/nodes/audio) - [媒体理解](/zh-CN/nodes/media-understanding) diff --git a/docs/zh-CN/tools/media-overview.md b/docs/zh-CN/tools/media-overview.md index 10264b564..bd861ec4e 100644 --- a/docs/zh-CN/tools/media-overview.md +++ b/docs/zh-CN/tools/media-overview.md @@ -1,85 +1,139 @@ --- read_when: - - 正在查找媒体能力概览 + - 想了解 OpenClaw 的媒体能力概览 - 决定要配置哪个媒体提供商 - 了解异步媒体生成的工作方式 -summary: 用于媒体生成、理解和语音能力的统一落地页 +sidebarTitle: Media overview +summary: 图像、视频、音乐、语音和媒体理解能力一览 title: 媒体概览 x-i18n: - generated_at: "2026-04-26T04:50:05Z" + generated_at: "2026-04-26T05:24:00Z" model: gpt-5.4 provider: openai - source_hash: 964081a900eb674f5fd719940ff129968563b2e9e20d754ac086b2fd1401bd7a + source_hash: 70be8062c01f57bf53ab08aad4f1561e3958adc94e478224821d722fd500e09f source_path: tools/media-overview.md workflow: 15 --- -# 媒体生成与理解 +OpenClaw 可以生成图像、视频和音乐，理解传入媒体 +（图像、音频、视频），并通过文本转语音将回复朗读出来。所有 +媒体能力都由工具驱动：智能体会根据对话决定何时使用它们，而每个工具仅会在至少配置了一个 +底层提供商时出现。 -OpenClaw 可以生成图片、视频和音乐，理解传入的媒体内容（图片、音频、视频），并通过文本转语音将回复朗读出来。所有媒体能力都由工具驱动：智能体会根据对话决定何时使用它们，并且只有在至少配置了一个底层提供商时，相应工具才会出现。 +## 功能 -## 能力一览 - -| 能力 | 工具 | 提供商 | 作用 | -| -------------------- | ---------------- | -------------------------------------------------------------------------------------------- | ------------------------------------------------------- | -| 图片生成 | `image_generate` | ComfyUI、fal、Google、MiniMax、OpenAI、Vydra、xAI | 根据文本提示或参考内容创建或编辑图片 | -| 视频生成 | `video_generate` | Alibaba、BytePlus、ComfyUI、fal、Google、MiniMax、OpenAI、Qwen、Runway、Together、Vydra、xAI | 根据文本、图片或现有视频创建视频 | -| 音乐生成 | `music_generate` | ComfyUI、Google、MiniMax | 根据文本提示创建音乐或音频轨道 | -| 文本转语音（TTS） | `tts` | ElevenLabs、Google、Gradium、Local CLI、Microsoft、MiniMax、OpenAI、Vydra、xAI、Xiaomi MiMo | 将发出的回复转换为语音音频 | -| 媒体理解 | （自动） | 任何支持视觉/音频的模型提供商，外加 CLI 回退方案 | 总结传入的图片、音频和视频 | + + + 通过 `image_generate` 根据文本提示词或参考图像创建和编辑图像。 + 同步 —— 与回复内联完成。 + + + 通过 `video_generate` 实现文生视频、图生视频和视频转视频。 + 异步 —— 在后台运行，并在准备就绪后发布结果。 + + + 通过 `music_generate` 生成音乐或音频轨道。在共享 + 提供商上为异步；ComfyUI 工作流路径为同步运行。 + + + 通过 `tts` 工具以及 + `messages.tts` 配置，将发出的回复转换为语音音频。同步。 + + + 使用具备视觉能力的模型 + 提供商和专用媒体理解插件，对传入的图像、音频和视频进行摘要。 + + + 通过批量 STT 或 Voice Call + 流式 STT 提供商，转录传入的语音消息。 + + ## 提供商能力矩阵 -下表展示了各个提供商在整个平台中支持哪些媒体能力。 - -| 提供商 | 图片 | 视频 | 音乐 | TTS | STT / 转录 | 实时语音 | 媒体理解 | -| ----------- | ----- | ----- | ----- | --- | ------------------- | -------------- | ------------------- | -| Alibaba | | 是 | | | | | | -| BytePlus | | 是 | | | | | | -| ComfyUI | 是 | 是 | 是 | | | | | -| Deepgram | | | | | 是 | 是 | | -| ElevenLabs | | | | 是 | 是 | | | -| fal | 是 | 是 | | | | | | -| Google | 是 | 是 | 是 | 是 | | 是 | 是 | -| Gradium | | | | 是 | | | | -| Local CLI | | | | 是 | | | | -| Microsoft | | | | 是 | | | | -| MiniMax | 是 | 是 | 是 | 是 | | | | -| Mistral | | | | | 是 | | | -| OpenAI | 是 | 是 | | 是 | 是 | 是 | 是 | -| Qwen | | 是 | | | | | | -| Runway | | 是 | | | | | | -| SenseAudio | | | | | 是 | | | -| Together | | 是 | | | | | | -| Vydra | 是 | 是 | | 是 | | | | -| xAI | 是 | 是 | | 是 | 是 | | 是 | -| Xiaomi MiMo | 是 | | | 是 | | | 是 | +| 提供商 | Image | Video | Music | TTS | STT | Realtime voice | Media understanding | +| ----------- | :---: | :---: | :---: | :-: | :-: | :------------: | :-----------------: | +| Alibaba | | ✓ | | | | | | +| BytePlus | | ✓ | | | | | | +| ComfyUI | ✓ | ✓ | ✓ | | | | | +| Deepgram | | | | | ✓ | ✓ | | +| ElevenLabs | | | | ✓ | ✓ | | | +| fal | ✓ | ✓ | | | | | | +| Google | ✓ | ✓ | ✓ | ✓ | | ✓ | ✓ | +| Gradium | | | | ✓ | | | | +| Local CLI | | | | ✓ | | | | +| Microsoft | | | | ✓ | | | | +| MiniMax | ✓ | ✓ | ✓ | ✓ | | | | +| Mistral | | | | | ✓ | | | +| OpenAI | ✓ | ✓ | | ✓ | ✓ | ✓ | ✓ | +| Qwen | | ✓ | | | | | | +| Runway | | ✓ | | | | | | +| SenseAudio | | | | | ✓ | | | +| Together | | ✓ | | | | | | +| Vydra | ✓ | ✓ | | ✓ | | | | +| xAI | ✓ | ✓ | | ✓ | ✓ | | ✓ | +| Xiaomi MiMo | ✓ | | | ✓ | | | ✓ | -媒体理解会使用你在提供商配置中注册的任何支持视觉或音频的模型。上表重点标出了具有专门媒体理解支持的提供商；大多数带有多模态模型的 LLM 提供商（Anthropic、Google、OpenAI 等）在被配置为当前活动回复模型时，也能够理解传入的媒体内容。 +媒体理解会使用在你的提供商配置中注册的任何具备视觉能力或音频能力的模型。 +上面的矩阵列出了具有专用 +媒体理解支持的提供商；大多数多模态 LLM 提供商（Anthropic、Google、 +OpenAI 等）在被配置为当前活动回复模型时，也可以理解传入媒体。 -## 异步生成的工作方式 +## 异步与同步 -视频和音乐生成以后台任务方式运行，因为提供商处理通常需要 30 秒到数分钟。当智能体调用 `video_generate` 或 `music_generate` 时，OpenClaw 会将请求提交给提供商，立即返回任务 ID，并在任务账本中跟踪该任务。任务运行期间，智能体会继续响应其他消息。当提供商完成后，OpenClaw 会唤醒智能体，以便它将完成的媒体内容发布回原始渠道。图片生成和 TTS 是同步的，会随回复内联完成。 +| 能力 | 模式 | 原因 | +| --------------- | ------------ | ------------------------------------------------------------------ | +| 图像 | 同步 | 提供商响应会在几秒内返回；与回复内联完成。 | +| 文本转语音 | 同步 | 提供商响应会在几秒内返回；附加到回复音频。 | +| 视频 | 异步 | 提供商处理需要 30 秒到数分钟。 | +| 音乐（共享） | 异步 | 与视频具有相同的提供商处理特性。 | +| 音乐（ComfyUI） | 同步 | 本地工作流会针对已配置的 ComfyUI 服务器内联运行。 | -在已配置的情况下，Deepgram、ElevenLabs、Mistral、OpenAI、SenseAudio 和 xAI 都可以通过批处理 `tools.media.audio` 路径转录传入音频。 -会为语音留言预检以进行提及门控或命令解析的渠道插件，会在传入上下文中标记已转录的附件，因此共享的媒体理解流程会复用该转录结果，而不会为同一段音频再次发起一次 STT 调用。 -Deepgram、ElevenLabs、Mistral、OpenAI 和 xAI 还会注册 Voice Call 流式 STT 提供商，因此实时电话音频可以直接转发给所选供应商，而无需等待完整录音结束。 +对于异步工具，OpenClaw 会将请求提交给提供商，立即返回任务 +id，并在任务账本中跟踪该作业。作业运行期间，智能体会继续 +响应其他消息。当提供商完成后， +OpenClaw 会唤醒智能体，以便它将完成的媒体发回原始 +渠道。 -Google 映射到 OpenClaw 的图片、视频、音乐、批处理 TTS、后端实时语音和媒体理解能力。OpenAI 映射到 OpenClaw 的图片、视频、批处理 TTS、批处理 STT、Voice Call 流式 STT、后端实时语音和记忆嵌入能力。xAI 当前映射到 OpenClaw 的图片、视频、搜索、代码执行、批处理 TTS、批处理 STT 和 Voice Call 流式 STT 能力。xAI Realtime voice 是上游能力，但在共享的实时语音契约能够表示它之前，它不会在 OpenClaw 中注册。 +## 语音转文本和 Voice Call -## 快速链接 +Deepgram、ElevenLabs、Mistral、OpenAI、SenseAudio 和 xAI 都可以在完成配置后，通过批量 `tools.media.audio` 路径转录 +传入音频。 +对于会在预检语音便笺时执行提及门控或命令解析的渠道插件， +它们会在传入上下文中标记已转录的附件，因此共享的 +媒体理解流程会复用该转录结果，而不会为同一段音频再次发起 +第二次 STT 调用。 -- [图片生成](/zh-CN/tools/image-generation) -- 生成和编辑图片 -- [视频生成](/zh-CN/tools/video-generation) -- 文本生成视频、图片生成视频和视频生成视频 -- [音乐生成](/zh-CN/tools/music-generation) -- 创建音乐和音频轨道 -- [文本转语音](/zh-CN/tools/tts) -- 将回复转换为语音音频 -- [媒体理解](/zh-CN/nodes/media-understanding) -- 理解传入的图片、音频和视频 +Deepgram、ElevenLabs、Mistral、OpenAI 和 xAI 还会注册 Voice Call +流式 STT 提供商，因此实时电话音频可以转发到所选 +供应商，而无需等待录音完成。 + +## 提供商映射（供应商如何划分到不同表面） + + + + 图像、视频、音乐、批量 TTS、后端实时语音，以及 + 媒体理解表面。 + + + 图像、视频、批量 TTS、批量 STT、Voice Call 流式 STT、后端 + 实时语音，以及记忆嵌入表面。 + + + 图像、视频、搜索、代码执行、批量 TTS、批量 STT 和 Voice + Call 流式 STT。xAI Realtime voice 是上游能力，但 + 在共享 realtime-voice 合同能够表示它之前， + 不会在 OpenClaw 中注册。 + + ## 相关内容 -- [图片生成](/zh-CN/tools/image-generation) +- [图像生成](/zh-CN/tools/image-generation) - [视频生成](/zh-CN/tools/video-generation) - [音乐生成](/zh-CN/tools/music-generation) - [文本转语音](/zh-CN/tools/tts) +- [媒体理解](/zh-CN/nodes/media-understanding) +- [音频节点](/zh-CN/nodes/audio)