diff --git a/docs/uk/nodes/voicewake.md b/docs/uk/nodes/voicewake.md index 8cfe91b7f..8ad040e31 100644 --- a/docs/uk/nodes/voicewake.md +++ b/docs/uk/nodes/voicewake.md @@ -1,28 +1,28 @@ --- read_when: - - Зміна поведінки або значень за замовчуванням для слів голосової активації - - Додавання нових платформ Node, яким потрібна синхронізація слів активації -summary: Глобальні слова активації голосу (належать Gateway) і як вони синхронізуються між вузлами + - Зміна поведінки або значень за замовчуванням для слів активації голосом + - Додавання нових платформ вузлів, яким потрібна синхронізація слів активації голосом +summary: Глобальні слова активації голосом (належать Gateway) і як вони синхронізуються між вузлами title: Голосова активація x-i18n: - generated_at: "2026-04-23T23:01:23Z" + generated_at: "2026-04-26T05:24:10Z" model: gpt-5.4 provider: openai - source_hash: 5094c17aaa7f868beb81d04f7dc60565ded1852cc5c835a33de64dbd3da74bb4 + source_hash: ac638cdf89f09404cdf293b416417f6cb3e31865b09f04ef87b9604e436dcbbe source_path: nodes/voicewake.md workflow: 15 --- -OpenClaw розглядає **слова голосової активації як один глобальний список**, яким володіє **Gateway**. +OpenClaw розглядає **слова активації як єдиний глобальний список**, яким керує **Gateway**. - **Немає окремих користувацьких слів активації для кожного Node**. -- **Будь-який UI node/застосунку може редагувати** цей список; зміни зберігаються Gateway і транслюються всім. -- macOS та iOS зберігають локальні перемикачі **увімкнення/вимкнення голосової активації** (локальний UX і дозволи відрізняються). -- На Android голосова активація зараз вимкнена і використовується ручний потік мікрофона у вкладці Voice. +- **Будь-який UI Node/застосунку може редагувати** список; зміни зберігаються Gateway і розсилаються всім. +- macOS та iOS зберігають локальні перемикачі **увімкнення/вимкнення Voice Wake** (локальний UX і дозволи відрізняються). +- Android наразі тримає Voice Wake вимкненим і використовує ручний потік мікрофона на вкладці Voice. ## Зберігання (хост Gateway) -Слова активації зберігаються на машині gateway за адресою: +Слова активації зберігаються на машині gateway тут: - `~/.openclaw/settings/voicewake.json` @@ -41,37 +41,60 @@ OpenClaw розглядає **слова голосової активації Примітки: -- Тригери нормалізуються (обрізаються пробіли, порожні значення відкидаються). Порожні списки повертаються до значень за замовчуванням. -- Для безпеки застосовуються обмеження (ліміти кількості/довжини). +- Тригери нормалізуються (пробіли по краях обрізаються, порожні значення відкидаються). Порожні списки повертаються до значень за замовчуванням. +- Для безпеки застосовуються обмеження (ліміти на кількість/довжину). + +### Методи маршрутизації (тригер → ціль) + +- `voicewake.routing.get` → `{ config: VoiceWakeRoutingConfig }` +- `voicewake.routing.set` з параметрами `{ config: VoiceWakeRoutingConfig }` → `{ config: VoiceWakeRoutingConfig }` + +Структура `VoiceWakeRoutingConfig`: + +```json +{ + "version": 1, + "defaultTarget": { "mode": "current" }, + "routes": [{ "trigger": "robot wake", "target": { "sessionKey": "agent:main:main" } }], + "updatedAtMs": 1730000000000 +} +``` + +Цілі маршруту підтримують рівно один із варіантів: + +- `{ "mode": "current" }` +- `{ "agentId": "main" }` +- `{ "sessionKey": "agent:main:main" }` ### Події -- payload `voicewake.changed` `{ triggers: string[] }` +- `voicewake.changed` з навантаженням `{ triggers: string[] }` +- `voicewake.routing.changed` з навантаженням `{ config: VoiceWakeRoutingConfig }` -Хто її отримує: +Хто це отримує: - Усі клієнти WebSocket (застосунок macOS, WebChat тощо) - Усі підключені Node (iOS/Android), а також під час підключення Node як початкове надсилання “поточного стану”. -## Поведінка клієнтів +## Поведінка клієнта ### Застосунок macOS -- Використовує глобальний список для фільтрації тригерів `VoiceWakeRuntime`. -- Редагування “Trigger words” у налаштуваннях Voice Wake викликає `voicewake.set`, а потім покладається на трансляцію для синхронізації з іншими клієнтами. +- Використовує глобальний список для керування тригерами `VoiceWakeRuntime`. +- Редагування “Trigger words” у налаштуваннях Voice Wake викликає `voicewake.set`, а потім покладається на розсилання, щоб підтримувати синхронізацію інших клієнтів. ### Node iOS - Використовує глобальний список для виявлення тригерів `VoiceWakeManager`. -- Редагування Wake Words у Settings викликає `voicewake.set` (через WS Gateway) і також зберігає локальне виявлення слів активації чутливим до змін. +- Редагування Wake Words у Settings викликає `voicewake.set` (через Gateway WS), а також зберігає локальне виявлення слів активації чутливим до змін. ### Node Android -- Голосова активація зараз вимкнена в середовищі виконання/Settings Android. -- Голос на Android використовує ручне захоплення мікрофона у вкладці Voice замість тригерів слів активації. +- Voice Wake наразі вимкнено в runtime/Settings Android. +- Голосова взаємодія на Android використовує ручне захоплення мікрофона на вкладці Voice замість тригерів слів активації. -## Пов’язано +## Пов’язане -- [Режим Talk](/uk/nodes/talk) +- [Режим розмови](/uk/nodes/talk) - [Аудіо та голосові нотатки](/uk/nodes/audio) - [Розуміння медіа](/uk/nodes/media-understanding) diff --git a/docs/uk/tools/media-overview.md b/docs/uk/tools/media-overview.md index 5159b3215..2c4407632 100644 --- a/docs/uk/tools/media-overview.md +++ b/docs/uk/tools/media-overview.md @@ -1,98 +1,142 @@ --- read_when: - - Шукаєте огляд можливостей медіа - - Вирішуєте, якого постачальника медіа налаштувати - - Розуміння того, як працює асинхронна генерація медіа -summary: Уніфікована цільова сторінка для можливостей генерації медіа, розуміння та мовлення + - Шукаєте огляд медіаможливостей OpenClaw + - Вирішуєте, якого медіапровайдера налаштувати + - Розуміння того, як працює асинхронне генерування медіа +sidebarTitle: Media overview +summary: Можливості розуміння зображень, відео, музики, мовлення та медіа з першого погляду title: Огляд медіа x-i18n: - generated_at: "2026-04-26T04:50:05Z" + generated_at: "2026-04-26T05:24:11Z" model: gpt-5.4 provider: openai - source_hash: 964081a900eb674f5fd719940ff129968563b2e9e20d754ac086b2fd1401bd7a + source_hash: 70be8062c01f57bf53ab08aad4f1561e3958adc94e478224821d722fd500e09f source_path: tools/media-overview.md workflow: 15 --- -# Генерація та розуміння медіа +OpenClaw генерує зображення, відео та музику, розуміє вхідні медіа +(зображення, аудіо, відео) і озвучує відповіді за допомогою синтезу мовлення. Усі +медіаможливості керуються інструментами: агент вирішує, коли їх використовувати, +залежно від розмови, і кожен інструмент з’являється лише тоді, коли налаштовано +принаймні одного базового провайдера. -OpenClaw генерує зображення, відео та музику, розуміє вхідні медіа (зображення, аудіо, відео) і озвучує відповіді за допомогою перетворення тексту на мовлення. Усі медіаможливості керуються через інструменти: агент вирішує, коли їх використовувати, на основі розмови, і кожен інструмент з’являється лише тоді, коли налаштовано щонайменше одного базового постачальника. +## Можливості -## Можливості з першого погляду + + + Створюйте та редагуйте зображення з текстових запитів або еталонних зображень за допомогою + `image_generate`. Синхронно — завершується в межах відповіді. + + + Текст у відео, зображення у відео та відео у відео через `video_generate`. + Асинхронно — виконується у фоновому режимі та публікує результат, коли він готовий. + + + Генеруйте музику або аудіодоріжки через `music_generate`. Асинхронно у спільних + провайдерів; шлях робочого процесу ComfyUI виконується синхронно. + + + Перетворюйте вихідні відповіді на озвучене аудіо за допомогою інструмента `tts` і + конфігурації `messages.tts`. Синхронно. + + + Узагальнюйте вхідні зображення, аудіо та відео за допомогою провайдерів моделей + із підтримкою зору та спеціалізованих Plugin для розуміння медіа. + + + Транскрибуйте вхідні голосові повідомлення через пакетні провайдери STT або + провайдерів потокового STT для Voice Call. + + -| Можливість | Інструмент | Постачальники | Що робить | -| -------------------- | ---------------- | ------------------------------------------------------------------------------------------- | ------------------------------------------------------ | -| Генерація зображень | `image_generate` | ComfyUI, fal, Google, MiniMax, OpenAI, Vydra, xAI | Створює або редагує зображення з текстових запитів чи референсів | -| Генерація відео | `video_generate` | Alibaba, BytePlus, ComfyUI, fal, Google, MiniMax, OpenAI, Qwen, Runway, Together, Vydra, xAI | Створює відео з тексту, зображень або наявних відео | -| Генерація музики | `music_generate` | ComfyUI, Google, MiniMax | Створює музику або аудіодоріжки з текстових запитів | -| Перетворення тексту на мовлення (TTS) | `tts` | ElevenLabs, Google, Gradium, Local CLI, Microsoft, MiniMax, OpenAI, Vydra, xAI, Xiaomi MiMo | Перетворює вихідні відповіді на озвучене аудіо | -| Розуміння медіа | (автоматично) | Будь-який постачальник моделей із підтримкою зору/аудіо, а також резервні CLI-варіанти | Узагальнює вхідні зображення, аудіо та відео | +## Матриця можливостей провайдерів -## Матриця можливостей постачальників - -Ця таблиця показує, які постачальники підтримують ті чи інші медіаможливості на платформі. - -| Постачальник | Зображення | Відео | Музика | TTS | STT / Транскрибування | Голос у реальному часі | Розуміння медіа | -| ------------ | ---------- | ----- | ------ | --- | --------------------- | ---------------------- | --------------- | -| Alibaba | | Yes | | | | | | -| BytePlus | | Yes | | | | | | -| ComfyUI | Yes | Yes | Yes | | | | | -| Deepgram | | | | | Yes | Yes | | -| ElevenLabs | | | | Yes | Yes | | | -| fal | Yes | Yes | | | | | | -| Google | Yes | Yes | Yes | Yes | | Yes | Yes | -| Gradium | | | | Yes | | | | -| Local CLI | | | | Yes | | | | -| Microsoft | | | | Yes | | | | -| MiniMax | Yes | Yes | Yes | Yes | | | | -| Mistral | | | | | Yes | | | -| OpenAI | Yes | Yes | | Yes | Yes | Yes | Yes | -| Qwen | | Yes | | | | | | -| Runway | | Yes | | | | | | -| SenseAudio | | | | | Yes | | | -| Together | | Yes | | | | | | -| Vydra | Yes | Yes | | Yes | | | | -| xAI | Yes | Yes | | Yes | Yes | | Yes | -| Xiaomi MiMo | Yes | | | Yes | | | Yes | +| Provider | Зображення | Відео | Музика | TTS | STT | Голос у реальному часі | Розуміння медіа | +| ----------- | :--------: | :---: | :----: | :-: | :-: | :--------------------: | :-------------: | +| Alibaba | | ✓ | | | | | | +| BytePlus | | ✓ | | | | | | +| ComfyUI | ✓ | ✓ | ✓ | | | | | +| Deepgram | | | | | ✓ | ✓ | | +| ElevenLabs | | | | ✓ | ✓ | | | +| fal | ✓ | ✓ | | | | | | +| Google | ✓ | ✓ | ✓ | ✓ | | ✓ | ✓ | +| Gradium | | | | ✓ | | | | +| Local CLI | | | | ✓ | | | | +| Microsoft | | | | ✓ | | | | +| MiniMax | ✓ | ✓ | ✓ | ✓ | | | | +| Mistral | | | | | ✓ | | | +| OpenAI | ✓ | ✓ | | ✓ | ✓ | ✓ | ✓ | +| Qwen | | ✓ | | | | | | +| Runway | | ✓ | | | | | | +| SenseAudio | | | | | ✓ | | | +| Together | | ✓ | | | | | | +| Vydra | ✓ | ✓ | | ✓ | | | | +| xAI | ✓ | ✓ | | ✓ | ✓ | | ✓ | +| Xiaomi MiMo | ✓ | | | ✓ | | | ✓ | -Розуміння медіа використовує будь-яку модель із підтримкою зору або аудіо, зареєстровану у вашій конфігурації постачальника. У таблиці вище виділено постачальників зі спеціалізованою підтримкою розуміння медіа; більшість постачальників LLM із мультимодальними моделями (Anthropic, Google, OpenAI тощо) також можуть розуміти вхідні медіа, якщо їх налаштовано як активну модель для відповідей. +Розуміння медіа використовує будь-яку модель із підтримкою зору або аудіо, +зареєстровану у конфігурації вашого провайдера. У матриці вище перелічено +провайдерів зі спеціалізованою підтримкою розуміння медіа; більшість +мультимодальних провайдерів LLM (Anthropic, Google, +OpenAI тощо) також можуть розуміти вхідні медіа, якщо їх налаштовано як активну +модель відповіді. -## Як працює асинхронна генерація +## Асинхронно чи синхронно -Генерація відео та музики виконується як фонові завдання, оскільки обробка у постачальників зазвичай триває від 30 секунд до кількох хвилин. Коли агент викликає `video_generate` або `music_generate`, OpenClaw надсилає запит постачальнику, одразу повертає ідентифікатор завдання та відстежує роботу в журналі завдань. Поки завдання виконується, агент продовжує відповідати на інші повідомлення. Коли постачальник завершує обробку, OpenClaw активує агента, щоб він міг опублікувати готове медіа назад у початковий канал. Генерація зображень і TTS є синхронними та завершуються в межах відповіді. +| Можливість | Режим | Чому | +| ---------------- | ------------- | ----------------------------------------------------------------- | +| Зображення | Синхронний | Відповіді провайдера повертаються за секунди; завершується в межах відповіді. | +| Синтез мовлення | Синхронний | Відповіді провайдера повертаються за секунди; додається до аудіо відповіді. | +| Відео | Асинхронний | Обробка провайдером триває від 30 с до кількох хвилин. | +| Музика (спільна) | Асинхронний | Така сама характеристика обробки провайдером, як і у відео. | +| Музика (ComfyUI) | Синхронний | Локальний робочий процес виконується вбудовано на налаштованому сервері ComfyUI. | + +Для асинхронних інструментів OpenClaw надсилає запит провайдеру, одразу повертає +ідентифікатор завдання та відстежує завдання в журналі завдань. Агент продовжує +відповідати на інші повідомлення, поки завдання виконується. Коли провайдер +завершує роботу, OpenClaw пробуджує агента, щоб він міг опублікувати готове +медіа назад в оригінальний канал. + +## Мовлення в текст і Voice Call Deepgram, ElevenLabs, Mistral, OpenAI, SenseAudio та xAI можуть транскрибувати вхідне аудіо через пакетний шлях `tools.media.audio`, якщо їх налаштовано. -Плагіни каналів, які попередньо обробляють голосове повідомлення для -перевірки згадки або розбору команд, позначають транскрибоване вкладення у -вхідному контексті, тому спільний етап розуміння медіа повторно використовує -цю транскрипцію замість виконання другого виклику STT для того самого аудіо. -Deepgram, ElevenLabs, Mistral, OpenAI та xAI також реєструють постачальників -потокового STT для Voice Call, тому живий телефонний аудіопотік можна -передавати вибраному постачальнику без очікування завершення запису. +Channel Plugin, які попередньо перевіряють голосове повідомлення для +відсікання за згадками або розбору команд, позначають транскрибоване вкладення +у вхідному контексті, тому спільний етап розуміння медіа повторно використовує +цю транскрипцію замість повторного виклику STT для того самого аудіо. -Google відповідає поверхням OpenClaw для зображень, відео, музики, пакетного TTS, backend realtime -voice та розуміння медіа. OpenAI відповідає поверхням OpenClaw для зображень, -відео, пакетного TTS, пакетного STT, потокового STT для Voice Call, backend realtime voice -та векторних подань пам’яті. xAI наразі відповідає поверхням OpenClaw для зображень, відео, -пошуку, виконання коду, пакетного TTS, пакетного STT та потокового STT для Voice Call. -Голос xAI Realtime є можливістю на рівні зовнішнього постачальника, але він не -реєструється в OpenClaw, доки спільний контракт голосу в реальному часі не зможе -його відобразити. +Deepgram, ElevenLabs, Mistral, OpenAI та xAI також реєструють провайдерів +потокового STT для Voice Call, тож живе телефонне аудіо можна переспрямувати +вибраному постачальнику без очікування завершення запису. -## Швидкі посилання +## Відображення провайдерів (як постачальники розподіляються між поверхнями) -- [Генерація зображень](/uk/tools/image-generation) -- генерація та редагування зображень -- [Генерація відео](/uk/tools/video-generation) -- текст у відео, зображення у відео та відео у відео -- [Генерація музики](/uk/tools/music-generation) -- створення музики та аудіодоріжок -- [Перетворення тексту на мовлення](/uk/tools/tts) -- перетворення відповідей на озвучене аудіо -- [Розуміння медіа](/uk/nodes/media-understanding) -- розуміння вхідних зображень, аудіо та відео + + + Поверхні зображень, відео, музики, пакетного TTS, backend голосу в реальному часі та + розуміння медіа. + + + Поверхні зображень, відео, пакетного TTS, пакетного STT, потокового STT для Voice Call, backend + голосу в реальному часі та memory-embedding. + + + Зображення, відео, пошук, виконання коду, пакетний TTS, пакетний STT і потоковий + STT для Voice Call. Голос xAI Realtime є можливістю на боці upstream, але + не зареєстрований в OpenClaw, доки спільний контракт realtime-voice не зможе + його представити. + + ## Пов’язане -- [Генерація зображень](/uk/tools/image-generation) -- [Генерація відео](/uk/tools/video-generation) -- [Генерація музики](/uk/tools/music-generation) -- [Перетворення тексту на мовлення](/uk/tools/tts) +- [Генерування зображень](/uk/tools/image-generation) +- [Генерування відео](/uk/tools/video-generation) +- [Генерування музики](/uk/tools/music-generation) +- [Синтез мовлення](/uk/tools/tts) +- [Розуміння медіа](/uk/nodes/media-understanding) +- [Аудіовузли](/uk/nodes/audio)