chore(i18n): refresh uk translations
This commit is contained in:
parent
248c1b148e
commit
d531334e4b
@ -2,54 +2,55 @@
|
||||
read_when:
|
||||
- Проєктування або рефакторинг розуміння медіа
|
||||
- Налаштування попередньої обробки вхідних аудіо/відео/зображень
|
||||
summary: Вхідне розуміння зображень/аудіо/відео (необов’язково) із запасними варіантами для провайдера та CLI
|
||||
summary: Вхідне розуміння зображень/аудіо/відео (необов’язково) з резервними варіантами provider + CLI
|
||||
title: Розуміння медіа
|
||||
x-i18n:
|
||||
generated_at: "2026-04-21T21:37:36Z"
|
||||
generated_at: "2026-04-23T00:07:55Z"
|
||||
model: gpt-5.4
|
||||
provider: openai
|
||||
source_hash: 0d80c9bcd965b521c3c782a76b9dd31eb6e6c635d8a1cc6895b6ccfaf5f9492e
|
||||
source_hash: 5bb2d0eab59d857c2849f329435f8fad3eeff427f7984d011bd5b7d9fd7bf51c
|
||||
source_path: nodes/media-understanding.md
|
||||
workflow: 15
|
||||
---
|
||||
|
||||
# Розуміння медіа — вхідне (2026-01-17)
|
||||
|
||||
OpenClaw може **узагальнювати вхідні медіа** (зображення/аудіо/відео) до запуску конвеєра відповіді. Він автоматично визначає, коли доступні локальні інструменти або ключі провайдера, і може бути вимкнений або налаштований. Якщо розуміння вимкнене, моделі все одно отримують вихідні файли/URL-адреси як зазвичай.
|
||||
OpenClaw може **узагальнювати вхідні медіа** (зображення/аудіо/відео) до запуску конвеєра відповіді. Він автоматично визначає, коли доступні локальні інструменти або ключі provider, і може бути вимкнений або налаштований. Якщо розуміння вимкнено, моделі, як і раніше, отримують оригінальні файли/URL.
|
||||
|
||||
Поведінка медіа, специфічна для постачальника, реєструється через плагіни постачальників, тоді як ядро OpenClaw володіє спільною конфігурацією `tools.media`, порядком запасних варіантів і інтеграцією з конвеєром відповіді.
|
||||
Поведінка медіа, специфічна для постачальника, реєструється plugin постачальника, тоді як
|
||||
ядро OpenClaw відповідає за спільну конфігурацію `tools.media`, порядок резервного вибору та інтеграцію з конвеєром відповіді.
|
||||
|
||||
## Цілі
|
||||
|
||||
- Необов’язково: попередньо зводити вхідні медіа до короткого тексту для швидшої маршрутизації та кращого розбору команд.
|
||||
- Завжди зберігати передавання оригінальних медіа до моделі.
|
||||
- Підтримувати **API провайдерів** і **запасні варіанти через CLI**.
|
||||
- Дозволяти кілька моделей з упорядкованим запасним переходом (помилка/розмір/тайм-аут).
|
||||
- Необов’язково: попередньо перетворювати вхідні медіа на короткий текст для швидшої маршрутизації та кращого розбору команд.
|
||||
- Завжди зберігати доставку оригінальних медіа до моделі.
|
||||
- Підтримувати **API provider** і **резервні варіанти CLI**.
|
||||
- Дозволяти кілька моделей з упорядкованим резервним вибором (помилка/розмір/тайм-аут).
|
||||
|
||||
## Поведінка на високому рівні
|
||||
|
||||
1. Зібрати вхідні вкладення (`MediaPaths`, `MediaUrls`, `MediaTypes`).
|
||||
2. Для кожної ввімкненої можливості (зображення/аудіо/відео) вибрати вкладення згідно з політикою (типово: **перше**).
|
||||
3. Вибрати перший придатний запис моделі (розмір + можливість + автентифікація).
|
||||
4. Якщо модель завершується помилкою або медіа завелике, **перейти до наступного запису**.
|
||||
4. Якщо модель не спрацьовує або медіа завелике, **перейти до наступного запису**.
|
||||
5. У разі успіху:
|
||||
- `Body` стає блоком `[Image]`, `[Audio]` або `[Video]`.
|
||||
- Для аудіо встановлюється `{{Transcript}}`; розбір команд використовує текст підпису, якщо він є, інакше — транскрипт.
|
||||
- Підписи зберігаються як `User text:` усередині блоку.
|
||||
|
||||
Якщо розуміння не вдається або вимкнене, **потік відповіді продовжується** з оригінальним тілом і вкладеннями.
|
||||
Якщо розуміння не вдається або воно вимкнене, **потік відповіді продовжується** з початковим body + вкладеннями.
|
||||
|
||||
## Огляд конфігурації
|
||||
|
||||
`tools.media` підтримує **спільні моделі** та перевизначення для кожної можливості окремо:
|
||||
`tools.media` підтримує **спільні моделі** плюс перевизначення для кожної можливості:
|
||||
|
||||
- `tools.media.models`: спільний список моделей (використовуйте `capabilities` для обмеження).
|
||||
- `tools.media.image` / `tools.media.audio` / `tools.media.video`:
|
||||
- типові значення (`prompt`, `maxChars`, `maxBytes`, `timeoutSeconds`, `language`)
|
||||
- перевизначення провайдера (`baseUrl`, `headers`, `providerOptions`)
|
||||
- параметри Deepgram для аудіо через `tools.media.audio.providerOptions.deepgram`
|
||||
- параметри повторного виведення транскрипту аудіо (`echoTranscript`, типово `false`; `echoFormat`)
|
||||
- необов’язковий **список `models` для окремої можливості** (має пріоритет над спільними моделями)
|
||||
- перевизначення provider (`baseUrl`, `headers`, `providerOptions`)
|
||||
- параметри аудіо Deepgram через `tools.media.audio.providerOptions.deepgram`
|
||||
- керування відлунням аудіотранскрипту (`echoTranscript`, типово `false`; `echoFormat`)
|
||||
- необов’язковий список `models` **для конкретної можливості** (має пріоритет над спільними моделями)
|
||||
- політика `attachments` (`mode`, `maxAttachments`, `prefer`)
|
||||
- `scope` (необов’язкове обмеження за channel/chatType/session key)
|
||||
- `tools.media.concurrency`: максимальна кількість одночасних запусків можливостей (типово **2**).
|
||||
@ -79,7 +80,7 @@ OpenClaw може **узагальнювати вхідні медіа** (зоб
|
||||
|
||||
### Записи моделей
|
||||
|
||||
Кожен запис у `models[]` може бути **provider** або **CLI**:
|
||||
Кожен запис `models[]` може бути **provider** або **CLI**:
|
||||
|
||||
```json5
|
||||
{
|
||||
@ -118,7 +119,7 @@ OpenClaw може **узагальнювати вхідні медіа** (зоб
|
||||
|
||||
- `{{MediaDir}}` (каталог, що містить медіафайл)
|
||||
- `{{OutputDir}}` (тимчасовий каталог, створений для цього запуску)
|
||||
- `{{OutputBase}}` (базовий шлях тимчасового файла, без розширення)
|
||||
- `{{OutputBase}}` (базовий шлях до тимчасового файла без розширення)
|
||||
|
||||
## Типові значення та обмеження
|
||||
|
||||
@ -133,35 +134,41 @@ OpenClaw може **узагальнювати вхідні медіа** (зоб
|
||||
|
||||
Правила:
|
||||
|
||||
- Якщо медіа перевищує `maxBytes`, цю модель пропускають і **пробують наступну модель**.
|
||||
- Аудіофайли менші за **1024 байти** вважаються порожніми/пошкодженими та пропускаються до транскрибування через provider/CLI.
|
||||
- Якщо модель повертає більше ніж `maxChars`, вивід обрізається.
|
||||
- Типове значення `prompt` — просте «Describe the {media}.» плюс вказівка щодо `maxChars` (лише для зображень/відео).
|
||||
- Якщо активна основна модель для зображень уже нативно підтримує vision, OpenClaw пропускає блок зведення `[Image]` і натомість передає оригінальне зображення до моделі.
|
||||
- Явні запити `openclaw infer image describe --model <provider/model>` відрізняються: вони напряму запускають цей provider/model із підтримкою зображень, зокрема посилання Ollama, як-от `ollama/qwen2.5vl:7b`.
|
||||
- Якщо `<capability>.enabled: true`, але моделі не налаштовані, OpenClaw намагається використати **активну модель відповіді**, якщо її провайдер підтримує цю можливість.
|
||||
- Якщо медіа перевищує `maxBytes`, ця модель пропускається і **пробується наступна модель**.
|
||||
- Аудіофайли, менші за **1024 bytes**, вважаються порожніми/пошкодженими й пропускаються до транскрибування через provider/CLI.
|
||||
- Якщо модель повертає більше, ніж `maxChars`, вивід обрізається.
|
||||
- Типове значення `prompt` — просте “Describe the {media}.” плюс вказівка щодо `maxChars` (лише для зображень/відео).
|
||||
- Якщо активна основна модель для зображень уже нативно підтримує vision, OpenClaw
|
||||
пропускає блок підсумку `[Image]` і натомість передає оригінальне зображення в
|
||||
модель.
|
||||
- Явні запити `openclaw infer image describe --model <provider/model>` відрізняються: вони запускають безпосередньо цей provider/model із підтримкою зображень, включно з посиланнями Ollama, такими як `ollama/qwen2.5vl:7b`.
|
||||
- Якщо `<capability>.enabled: true`, але моделі не налаштовані, OpenClaw пробує
|
||||
**активну модель відповіді**, якщо її provider підтримує цю можливість.
|
||||
|
||||
### Автовизначення розуміння медіа (типово)
|
||||
|
||||
Якщо `tools.media.<capability>.enabled` **не** встановлено в `false` і ви не налаштували моделі, OpenClaw автоматично визначає варіант у такому порядку і **зупиняється на першому робочому варіанті**:
|
||||
Якщо `tools.media.<capability>.enabled` **не** встановлено в `false` і ви не налаштували моделі, OpenClaw автовизначає у такому порядку й **зупиняється на першому працездатному варіанті**:
|
||||
|
||||
1. **Активна модель відповіді**, якщо її провайдер підтримує цю можливість.
|
||||
2. Основні/запасні посилання **`agents.defaults.imageModel`** (лише для зображень).
|
||||
3. **Локальні CLI** (лише для аудіо; якщо встановлені)
|
||||
1. **Активна модель відповіді**, якщо її provider підтримує цю можливість.
|
||||
2. Основне/резервне посилання `agents.defaults.imageModel` (лише для зображень).
|
||||
3. **Локальні CLI** (лише аудіо; якщо встановлено)
|
||||
- `sherpa-onnx-offline` (потребує `SHERPA_ONNX_MODEL_DIR` з encoder/decoder/joiner/tokens)
|
||||
- `whisper-cli` (`whisper-cpp`; використовує `WHISPER_CPP_MODEL` або вбудовану tiny-модель)
|
||||
- `whisper-cli` (`whisper-cpp`; використовує `WHISPER_CPP_MODEL` або вбудовану tiny model)
|
||||
- `whisper` (Python CLI; автоматично завантажує моделі)
|
||||
4. **Gemini CLI** (`gemini`) з використанням `read_many_files`
|
||||
5. **Автентифікація провайдера**
|
||||
- Налаштовані записи `models.providers.*`, що підтримують цю можливість, перевіряються раніше за вбудований порядок запасних варіантів.
|
||||
- Провайдери з конфігурації лише для зображень із моделлю, що підтримує зображення, автоматично реєструються для розуміння медіа, навіть якщо вони не є вбудованим плагіном постачальника.
|
||||
- Розуміння зображень Ollama доступне за явного вибору, наприклад через `agents.defaults.imageModel` або `openclaw infer image describe --model ollama/<vision-model>`.
|
||||
- Вбудований порядок запасних варіантів:
|
||||
- Аудіо: OpenAI → Groq → Deepgram → Google → Mistral
|
||||
5. **Автентифікація provider**
|
||||
- Налаштовані записи `models.providers.*`, що підтримують цю можливість,
|
||||
пробуються до вбудованого порядку резервного вибору.
|
||||
- Provider конфігурації лише для зображень із моделлю, що підтримує зображення, автоматично реєструються для
|
||||
розуміння медіа, навіть якщо вони не є вбудованим plugin постачальника.
|
||||
- Розуміння зображень Ollama доступне за явного вибору, наприклад через `agents.defaults.imageModel` або
|
||||
`openclaw infer image describe --model ollama/<vision-model>`.
|
||||
- Вбудований порядок резервного вибору:
|
||||
- Аудіо: OpenAI → Groq → xAI → Deepgram → Google → Mistral
|
||||
- Зображення: OpenAI → Anthropic → Google → MiniMax → MiniMax Portal → Z.AI
|
||||
- Відео: Google → Qwen → Moonshot
|
||||
|
||||
Щоб вимкнути автовизначення, встановіть:
|
||||
Щоб вимкнути автовизначення, установіть:
|
||||
|
||||
```json5
|
||||
{
|
||||
@ -175,23 +182,26 @@ OpenClaw може **узагальнювати вхідні медіа** (зоб
|
||||
}
|
||||
```
|
||||
|
||||
Примітка: виявлення бінарних файлів виконується за принципом best-effort у macOS/Linux/Windows; переконайтеся, що CLI є в `PATH` (ми розгортаємо `~`), або задайте явну CLI-модель із повним шляхом до команди.
|
||||
Примітка: виявлення бінарних файлів виконується за принципом best-effort на macOS/Linux/Windows; переконайтеся, що CLI є в `PATH` (ми розгортаємо `~`), або задайте явну модель CLI з повним шляхом до команди.
|
||||
|
||||
### Підтримка проксі-середовища (provider-моделі)
|
||||
### Підтримка проксі-середовища (моделі provider)
|
||||
|
||||
Коли ввімкнене розуміння медіа **audio** і **video** на основі провайдера, OpenClaw враховує стандартні змінні середовища вихідного проксі для HTTP-викликів до провайдера:
|
||||
Коли ввімкнено розуміння медіа **аудіо** та **відео** на основі provider, OpenClaw
|
||||
враховує стандартні змінні середовища вихідного проксі для HTTP-викликів provider:
|
||||
|
||||
- `HTTPS_PROXY`
|
||||
- `HTTP_PROXY`
|
||||
- `https_proxy`
|
||||
- `http_proxy`
|
||||
|
||||
Якщо змінні середовища проксі не встановлені, розуміння медіа використовує прямий вихід у мережу.
|
||||
Якщо значення проксі некоректно сформоване, OpenClaw записує попередження в журнал і повертається до прямого отримання.
|
||||
Якщо змінні середовища проксі не задані, розуміння медіа використовує прямий вихідний трафік.
|
||||
Якщо значення проксі має неправильний формат, OpenClaw журналює попередження і повертається до прямого
|
||||
отримання.
|
||||
|
||||
## Можливості (необов’язково)
|
||||
|
||||
Якщо ви задаєте `capabilities`, запис запускається лише для цих типів медіа. Для спільних списків OpenClaw може виводити типові значення:
|
||||
Якщо ви задаєте `capabilities`, запис запускається лише для цих типів медіа. Для спільних
|
||||
списків OpenClaw може визначати типові значення:
|
||||
|
||||
- `openai`, `anthropic`, `minimax`: **image**
|
||||
- `minimax-portal`: **image**
|
||||
@ -202,50 +212,62 @@ OpenClaw може **узагальнювати вхідні медіа** (зоб
|
||||
- `mistral`: **audio**
|
||||
- `zai`: **image**
|
||||
- `groq`: **audio**
|
||||
- `xai`: **audio**
|
||||
- `deepgram`: **audio**
|
||||
- Будь-який каталог `models.providers.<id>.models[]` із моделлю, що підтримує зображення: **image**
|
||||
- Будь-який каталог `models.providers.<id>.models[]` з моделлю, що підтримує зображення:
|
||||
**image**
|
||||
|
||||
Для записів CLI **явно задавайте `capabilities`**, щоб уникнути неочікуваних збігів.
|
||||
Якщо `capabilities` не вказано, запис придатний для списку, у якому він з’являється.
|
||||
Для записів CLI **задавайте `capabilities` явно**, щоб уникнути неочікуваних збігів.
|
||||
Якщо ви не задасте `capabilities`, запис придатний для списку, у якому він з’являється.
|
||||
|
||||
## Матриця підтримки провайдерів (інтеграції OpenClaw)
|
||||
## Матриця підтримки provider (інтеграції OpenClaw)
|
||||
|
||||
| Можливість | Інтеграція провайдера | Примітки |
|
||||
| ---------- | ---------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| Зображення | OpenAI, OpenRouter, Anthropic, Google, MiniMax, Moonshot, Qwen, Z.AI, config providers | Плагіни постачальників реєструють підтримку зображень; MiniMax і MiniMax OAuth обидва використовують `MiniMax-VL-01`; config providers із підтримкою зображень реєструються автоматично. |
|
||||
| Аудіо | OpenAI, Groq, Deepgram, Google, Mistral | Транскрибування провайдера (Whisper/Deepgram/Gemini/Voxtral). |
|
||||
| Відео | Google, Qwen, Moonshot | Розуміння відео провайдером через плагіни постачальників; розуміння відео Qwen використовує стандартні кінцеві точки DashScope. |
|
||||
| Можливість | Інтеграція provider | Примітки |
|
||||
| ---------- | -------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| Зображення | OpenAI, OpenRouter, Anthropic, Google, MiniMax, Moonshot, Qwen, Z.AI, config providers | Plugin постачальника реєструють підтримку зображень; MiniMax і MiniMax OAuth обидва використовують `MiniMax-VL-01`; config providers із підтримкою зображень реєструються автоматично. |
|
||||
| Аудіо | OpenAI, Groq, Deepgram, Google, Mistral | Транскрибування provider (Whisper/Deepgram/Gemini/Voxtral). |
|
||||
| Відео | Google, Qwen, Moonshot | Розуміння відео через provider за допомогою plugin постачальника; розуміння відео Qwen використовує стандартні кінцеві точки DashScope. |
|
||||
|
||||
Примітка щодо MiniMax:
|
||||
|
||||
- Розуміння зображень `minimax` і `minimax-portal` походить із медіапровайдера `MiniMax-VL-01`, що належить плагіну.
|
||||
- Вбудований текстовий каталог MiniMax усе ще починається лише з тексту; явні записи `models.providers.minimax` матеріалізують M2.7 chat refs із підтримкою зображень.
|
||||
- Розуміння зображень `minimax` і `minimax-portal` походить від plugin-власного
|
||||
медіа provider `MiniMax-VL-01`.
|
||||
- Вбудований текстовий каталог MiniMax усе ще починається лише з тексту; явні
|
||||
записи `models.providers.minimax` матеріалізують чат-посилання M2.7 із підтримкою зображень.
|
||||
|
||||
## Рекомендації щодо вибору моделі
|
||||
## Настанови щодо вибору моделі
|
||||
|
||||
- Віддавайте перевагу найсильнішій моделі останнього покоління, доступній для кожної медіаможливості, коли важливі якість і безпека.
|
||||
- Для агентів з увімкненими інструментами, які обробляють недовірені вхідні дані, уникайте старіших/слабших медіамоделей.
|
||||
- Тримайте принаймні один запасний варіант для кожної можливості задля доступності (якісна модель + швидша/дешевша модель).
|
||||
- Запасні варіанти CLI (`whisper-cli`, `whisper`, `gemini`) корисні, коли API провайдерів недоступні.
|
||||
- Примітка про `parakeet-mlx`: з `--output-dir` OpenClaw читає `<output-dir>/<media-basename>.txt`, коли формат виводу — `txt` (або не вказаний); формати, відмінні від `txt`, повертаються до stdout.
|
||||
- Для агентів з увімкненими інструментами, які працюють із недовіреними вхідними даними, уникайте старіших/слабших медіамоделей.
|
||||
- Тримайте щонайменше один резервний варіант для кожної можливості заради доступності (якісна модель + швидша/дешевша модель).
|
||||
- Резервні варіанти CLI (`whisper-cli`, `whisper`, `gemini`) корисні, коли API provider недоступні.
|
||||
- Примітка щодо `parakeet-mlx`: з `--output-dir` OpenClaw читає `<output-dir>/<media-basename>.txt`, коли формат виводу — `txt` (або не заданий); формати, відмінні від `txt`, повертаються до stdout.
|
||||
|
||||
## Політика вкладень
|
||||
|
||||
`attachments` для кожної можливості визначає, які вкладення обробляються:
|
||||
`attachments` для кожної можливості керує тим, які вкладення обробляються:
|
||||
|
||||
- `mode`: `first` (типово) або `all`
|
||||
- `maxAttachments`: обмежує кількість оброблюваних елементів (типово **1**)
|
||||
- `maxAttachments`: обмеження кількості оброблюваних вкладень (типово **1**)
|
||||
- `prefer`: `first`, `last`, `path`, `url`
|
||||
|
||||
Коли `mode: "all"`, результати позначаються як `[Image 1/2]`, `[Audio 2/2]` тощо.
|
||||
|
||||
Поведінка вилучення з файлових вкладень:
|
||||
Поведінка вилучення тексту з файлових вкладень:
|
||||
|
||||
- Вилучений текст файла обгортається як **недовірений зовнішній вміст**, перш ніж його буде додано до запиту медіа.
|
||||
- Впроваджений блок використовує явні маркери меж, такі як `<<<EXTERNAL_UNTRUSTED_CONTENT id="...">>>` / `<<<END_EXTERNAL_UNTRUSTED_CONTENT id="...">>>`, і містить рядок метаданих `Source: External`.
|
||||
- Цей шлях вилучення вкладень навмисно не включає довгий банер `SECURITY NOTICE:`, щоб не роздувати запит медіа; маркери меж і метадані все одно зберігаються.
|
||||
- Якщо файл не має тексту, придатного до вилучення, OpenClaw вставляє `[No extractable text]`.
|
||||
- Якщо PDF на цьому шляху повертається до зображень відрендерених сторінок, запит медіа зберігає заповнювач `[PDF content rendered to images; images not forwarded to model]`, оскільки цей крок вилучення вкладень передає текстові блоки, а не відрендерені зображення PDF.
|
||||
- Вилучений текст файла обгортається як **недовірений зовнішній вміст** перед тим, як
|
||||
додається до prompt медіа.
|
||||
- Вставлений блок використовує явні маркери меж на кшталт
|
||||
`<<<EXTERNAL_UNTRUSTED_CONTENT id="...">>>` /
|
||||
`<<<END_EXTERNAL_UNTRUSTED_CONTENT id="...">>>` і містить рядок метаданих
|
||||
`Source: External`.
|
||||
- Цей шлях вилучення вкладень навмисно не містить довгий банер
|
||||
`SECURITY NOTICE:`, щоб не роздувати prompt медіа; маркери меж і
|
||||
метадані при цьому зберігаються.
|
||||
- Якщо файл не має тексту, який можна вилучити, OpenClaw вставляє `[No extractable text]`.
|
||||
- Якщо PDF у цьому шляху повертається до рендерингу сторінок як зображень, prompt медіа зберігає
|
||||
заповнювач `[PDF content rendered to images; images not forwarded to model]`,
|
||||
оскільки цей крок вилучення вкладень передає текстові блоки, а не відрендерені зображення PDF.
|
||||
|
||||
## Приклади конфігурації
|
||||
|
||||
@ -357,7 +379,7 @@ OpenClaw може **узагальнювати вхідні медіа** (зоб
|
||||
}
|
||||
```
|
||||
|
||||
### 4) Один мультимодальний запис (явні можливості)
|
||||
### 4) Одномодальний запис для кількох типів медіа (явні capabilities)
|
||||
|
||||
```json5
|
||||
{
|
||||
@ -397,21 +419,21 @@ OpenClaw може **узагальнювати вхідні медіа** (зоб
|
||||
|
||||
## Вивід статусу
|
||||
|
||||
Коли виконується розуміння медіа, `/status` містить короткий рядок зведення:
|
||||
Коли працює розуміння медіа, `/status` містить короткий рядок підсумку:
|
||||
|
||||
```
|
||||
📎 Media: image ok (openai/gpt-5.4-mini) · audio skipped (maxBytes)
|
||||
```
|
||||
|
||||
Тут показано результат для кожної можливості та вибраний provider/model, якщо застосовно.
|
||||
Тут показано результати для кожної можливості та вибраний provider/model, де це доречно.
|
||||
|
||||
## Примітки
|
||||
|
||||
- Розуміння виконується **за принципом best-effort**. Помилки не блокують відповіді.
|
||||
- Розуміння виконується у режимі **best-effort**. Помилки не блокують відповіді.
|
||||
- Вкладення все одно передаються моделям, навіть коли розуміння вимкнене.
|
||||
- Використовуйте `scope`, щоб обмежити, де запускається розуміння (наприклад, лише в особистих повідомленнях).
|
||||
- Використовуйте `scope`, щоб обмежити, де працює розуміння (наприклад, лише в особистих повідомленнях).
|
||||
|
||||
## Пов’язані документи
|
||||
## Пов’язана документація
|
||||
|
||||
- [Конфігурація](/uk/gateway/configuration)
|
||||
- [Підтримка зображень і медіа](/uk/nodes/images)
|
||||
|
||||
@ -1,14 +1,14 @@
|
||||
---
|
||||
read_when:
|
||||
- Ви хочете вибрати постачальника моделей
|
||||
- Вам потрібен короткий огляд підтримуваних бекендів LLM
|
||||
summary: Постачальники моделей (LLM), що підтримуються OpenClaw
|
||||
- Вам потрібен швидкий огляд підтримуваних бекендів LLM
|
||||
summary: Постачальники моделей (LLM), які підтримуються OpenClaw
|
||||
title: Каталог постачальників
|
||||
x-i18n:
|
||||
generated_at: "2026-04-21T21:27:20Z"
|
||||
generated_at: "2026-04-23T00:07:55Z"
|
||||
model: gpt-5.4
|
||||
provider: openai
|
||||
source_hash: 7d77e5da93d71c48ea97460c6be56fbbe8279d9240a8101e1b35fdafb657737e
|
||||
source_hash: d61873f18fcaef7353620f687afc2043087c62edca62f24568c67339a9c65086
|
||||
source_path: providers/index.md
|
||||
workflow: 15
|
||||
---
|
||||
@ -16,9 +16,9 @@ x-i18n:
|
||||
# Постачальники моделей
|
||||
|
||||
OpenClaw може використовувати багато постачальників LLM. Виберіть постачальника, пройдіть автентифікацію, а потім задайте
|
||||
модель за замовчуванням у форматі `provider/model`.
|
||||
модель за замовчуванням як `provider/model`.
|
||||
|
||||
Шукаєте документацію для чат-каналів (WhatsApp/Telegram/Discord/Slack/Mattermost (plugin)/тощо)? Див. [Channels](/uk/channels).
|
||||
Шукаєте документацію щодо каналів чату (WhatsApp/Telegram/Discord/Slack/Mattermost (plugin)/тощо)? Див. [Канали](/uk/channels).
|
||||
|
||||
## Швидкий старт
|
||||
|
||||
@ -37,7 +37,7 @@ OpenClaw може використовувати багато постачаль
|
||||
- [Amazon Bedrock](/uk/providers/bedrock)
|
||||
- [Anthropic (API + Claude CLI)](/uk/providers/anthropic)
|
||||
- [Arcee AI (моделі Trinity)](/uk/providers/arcee)
|
||||
- [BytePlus (міжнародна версія)](/uk/concepts/model-providers#byteplus-international)
|
||||
- [BytePlus (міжнародний)](/uk/concepts/model-providers#byteplus-international)
|
||||
- [Chutes](/uk/providers/chutes)
|
||||
- [Cloudflare AI Gateway](/uk/providers/cloudflare-ai-gateway)
|
||||
- [ComfyUI](/uk/providers/comfy)
|
||||
@ -51,7 +51,7 @@ OpenClaw може використовувати багато постачаль
|
||||
- [Hugging Face (інференс)](/uk/providers/huggingface)
|
||||
- [inferrs (локальні моделі)](/uk/providers/inferrs)
|
||||
- [Kilocode](/uk/providers/kilocode)
|
||||
- [LiteLLM (уніфікований шлюз)](/uk/providers/litellm)
|
||||
- [LiteLLM (уніфікований Gateway)](/uk/providers/litellm)
|
||||
- [LM Studio (локальні моделі)](/uk/providers/lmstudio)
|
||||
- [MiniMax](/uk/providers/minimax)
|
||||
- [Mistral](/uk/providers/mistral)
|
||||
@ -70,7 +70,7 @@ OpenClaw може використовувати багато постачаль
|
||||
- [StepFun](/uk/providers/stepfun)
|
||||
- [Synthetic](/uk/providers/synthetic)
|
||||
- [Together AI](/uk/providers/together)
|
||||
- [Venice (Venice AI, з акцентом на приватність)](/uk/providers/venice)
|
||||
- [Venice (Venice AI, орієнтований на приватність)](/uk/providers/venice)
|
||||
- [Vercel AI Gateway](/uk/providers/vercel-ai-gateway)
|
||||
- [vLLM (локальні моделі)](/uk/providers/vllm)
|
||||
- [Volcengine (Doubao)](/uk/providers/volcengine)
|
||||
@ -79,9 +79,9 @@ OpenClaw може використовувати багато постачаль
|
||||
- [Xiaomi](/uk/providers/xiaomi)
|
||||
- [Z.AI](/uk/providers/zai)
|
||||
|
||||
## Спільні оглядові сторінки
|
||||
## Спільні сторінки огляду
|
||||
|
||||
- [Додаткові вбудовані варіанти](/uk/providers/models#additional-bundled-provider-variants) - Anthropic Vertex, Copilot Proxy та Gemini CLI OAuth
|
||||
- [Додаткові вбудовані варіанти](/uk/providers/models#additional-bundled-provider-variants) - Anthropic Vertex, Copilot Proxy і Gemini CLI OAuth
|
||||
- [Генерація зображень](/uk/tools/image-generation) - Спільний інструмент `image_generate`, вибір постачальника та failover
|
||||
- [Генерація музики](/uk/tools/music-generation) - Спільний інструмент `music_generate`, вибір постачальника та failover
|
||||
- [Генерація відео](/uk/tools/video-generation) - Спільний інструмент `video_generate`, вибір постачальника та failover
|
||||
@ -89,10 +89,11 @@ OpenClaw може використовувати багато постачаль
|
||||
## Постачальники транскрипції
|
||||
|
||||
- [Deepgram (транскрипція аудіо)](/uk/providers/deepgram)
|
||||
- [xAI](/uk/providers/xai#speech-to-text)
|
||||
|
||||
## Інструменти спільноти
|
||||
|
||||
- [Claude Max API Proxy](/uk/providers/claude-max-api-proxy) - Проксі спільноти для облікових даних підписки Claude (перед використанням перевірте політику/умови Anthropic)
|
||||
|
||||
Щоб переглянути повний каталог постачальників (xAI, Groq, Mistral тощо) і розширену конфігурацію,
|
||||
Для повного каталогу постачальників (xAI, Groq, Mistral тощо) та розширеної конфігурації
|
||||
див. [Постачальники моделей](/uk/concepts/model-providers).
|
||||
|
||||
@ -5,10 +5,10 @@ read_when:
|
||||
summary: Використовуйте моделі xAI Grok в OpenClaw
|
||||
title: xAI
|
||||
x-i18n:
|
||||
generated_at: "2026-04-22T23:11:26Z"
|
||||
generated_at: "2026-04-23T00:07:55Z"
|
||||
model: gpt-5.4
|
||||
provider: openai
|
||||
source_hash: 73e7cf36e43540661fc9519b22258ed7efb156eec8c3eb2f8ae5e62e80456b8a
|
||||
source_hash: fbf4a0eba237a1dfb0d93f2135cd98bae8c3cf21f9cfa1a36bddbbbfca1c4963
|
||||
source_path: providers/xai.md
|
||||
workflow: 15
|
||||
---
|
||||
@ -42,77 +42,79 @@ OpenClaw постачається з вбудованим плагіном пр
|
||||
|
||||
<Note>
|
||||
OpenClaw використовує xAI Responses API як вбудований транспорт xAI. Той самий
|
||||
`XAI_API_KEY` також може використовуватися для Grok-орієнтованого `web_search`, першокласного `x_search`
|
||||
і віддаленого `code_execution`.
|
||||
`XAI_API_KEY` також може забезпечувати Grok-підтримувані `web_search`, нативний `x_search`
|
||||
і віддалене `code_execution`.
|
||||
Якщо ви зберігаєте ключ xAI у `plugins.entries.xai.config.webSearch.apiKey`,
|
||||
вбудований провайдер моделей xAI також повторно використовує цей ключ як резервний варіант.
|
||||
Налаштування `code_execution` розміщені в `plugins.entries.xai.config.codeExecution`.
|
||||
Налаштування `code_execution` розміщено в `plugins.entries.xai.config.codeExecution`.
|
||||
</Note>
|
||||
|
||||
## Каталог вбудованих моделей
|
||||
|
||||
OpenClaw містить ці сімейства моделей xAI з коробки:
|
||||
OpenClaw включає такі сімейства моделей xAI з коробки:
|
||||
|
||||
| Сімейство | Ідентифікатори моделей |
|
||||
| --------------- | ------------------------------------------------------------------------ |
|
||||
| Grok 3 | `grok-3`, `grok-3-fast`, `grok-3-mini`, `grok-3-mini-fast` |
|
||||
| Grok 4 | `grok-4`, `grok-4-0709` |
|
||||
| Grok 4 Fast | `grok-4-fast`, `grok-4-fast-non-reasoning` |
|
||||
| Grok 4.1 Fast | `grok-4-1-fast`, `grok-4-1-fast-non-reasoning` |
|
||||
| Grok 4.20 Beta | `grok-4.20-beta-latest-reasoning`, `grok-4.20-beta-latest-non-reasoning` |
|
||||
| Grok Code | `grok-code-fast-1` |
|
||||
| Сімейство | Ідентифікатори моделей |
|
||||
| -------------- | ------------------------------------------------------------------------ |
|
||||
| Grok 3 | `grok-3`, `grok-3-fast`, `grok-3-mini`, `grok-3-mini-fast` |
|
||||
| Grok 4 | `grok-4`, `grok-4-0709` |
|
||||
| Grok 4 Fast | `grok-4-fast`, `grok-4-fast-non-reasoning` |
|
||||
| Grok 4.1 Fast | `grok-4-1-fast`, `grok-4-1-fast-non-reasoning` |
|
||||
| Grok 4.20 Beta | `grok-4.20-beta-latest-reasoning`, `grok-4.20-beta-latest-non-reasoning` |
|
||||
| Grok Code | `grok-code-fast-1` |
|
||||
|
||||
Плагін також напряму резолвить новіші ідентифікатори `grok-4*` і `grok-code-fast*`, коли
|
||||
Плагін також переспрямовано розв’язує новіші ідентифікатори `grok-4*` і `grok-code-fast*`, коли
|
||||
вони відповідають тій самій формі API.
|
||||
|
||||
<Tip>
|
||||
`grok-4-fast`, `grok-4-1-fast` і варіанти `grok-4.20-beta-*` — це
|
||||
поточні посилання Grok із підтримкою зображень у вбудованому каталозі.
|
||||
поточні посилання Grok з підтримкою зображень у вбудованому каталозі.
|
||||
</Tip>
|
||||
|
||||
## Покриття можливостей OpenClaw
|
||||
|
||||
Вбудований плагін зіставляє поточну публічну поверхню API xAI зі спільними
|
||||
контрактами провайдерів та інструментів OpenClaw там, де така поведінка добре вписується.
|
||||
контрактами провайдера та інструментів OpenClaw там, де така поведінка добре узгоджується.
|
||||
|
||||
| Можливість xAI | Поверхня OpenClaw | Статус |
|
||||
| --------------------------- | -------------------------------------- | ------------------------------------------------------------------- |
|
||||
| Чат / Responses | Провайдер моделей `xai/<model>` | Так |
|
||||
| Пошук в інтернеті на боці сервера | Провайдер `web_search` `grok` | Так |
|
||||
| Пошук у X на боці сервера | Інструмент `x_search` | Так |
|
||||
| Виконання коду на боці сервера | Інструмент `code_execution` | Так |
|
||||
| Зображення | `image_generate` | Так |
|
||||
| Відео | `video_generate` | Так |
|
||||
| Пакетне перетворення тексту на мовлення | `messages.tts.provider: "xai"` / `tts` | Так |
|
||||
| Потокове TTS | — | Не доступно; контракт TTS в OpenClaw повертає завершені аудіобуфери |
|
||||
| Перетворення мовлення на текст | — | Ще не доступно; потрібна поверхня провайдера транскрибування |
|
||||
| Голос у реальному часі | — | Ще не доступно; інший контракт сесії/WebSocket |
|
||||
| Файли / пакети | Лише сумісність із Generic model API | Не є першокласним інструментом OpenClaw |
|
||||
| Можливість xAI | Поверхня OpenClaw | Статус |
|
||||
| -------------------------- | ----------------------------------------- | ------------------------------------------------------------------- |
|
||||
| Чат / Responses | Провайдер моделей `xai/<model>` | Так |
|
||||
| Серверний вебпошук | Провайдер `web_search` `grok` | Так |
|
||||
| Серверний пошук X | Інструмент `x_search` | Так |
|
||||
| Серверне виконання коду | Інструмент `code_execution` | Так |
|
||||
| Зображення | `image_generate` | Так |
|
||||
| Відео | `video_generate` | Так |
|
||||
| Пакетне перетворення тексту в мовлення | `messages.tts.provider: "xai"` / `tts` | Так |
|
||||
| Потокове TTS | — | Не надається; контракт TTS в OpenClaw повертає завершені аудіобуфери |
|
||||
| Пакетне перетворення мовлення в текст | `tools.media.audio` / розуміння медіа | Так |
|
||||
| Потокове перетворення мовлення в текст | — | Не надається; потребує зіставлення контракту потокової транскрипції |
|
||||
| Голос у реальному часі | — | Ще не надається; інший контракт сесії/WebSocket |
|
||||
| Файли / пакети | Лише сумісність із generic model API | Не є першокласним інструментом OpenClaw |
|
||||
|
||||
<Note>
|
||||
OpenClaw використовує REST API xAI для зображень/відео/TTS для генерації медіа та
|
||||
Responses API для моделей, пошуку й інструментів виконання коду. Можливості, які потребують
|
||||
нових контрактів OpenClaw, як-от потокове STT або голосові сесії Realtime,
|
||||
задокументовані тут як можливості апстриму, а не як прихована поведінка плагіна.
|
||||
OpenClaw використовує REST API xAI для зображень/відео/TTS/STT для генерації медіа,
|
||||
мовлення та транскрипції, а Responses API — для моделей, пошуку та
|
||||
інструментів виконання коду. Можливості, що потребують нових контрактів OpenClaw, такі як
|
||||
потокове STT або голосові сесії Realtime, документуються тут як можливості
|
||||
верхнього рівня, а не як прихована поведінка плагіна.
|
||||
</Note>
|
||||
|
||||
### Зіставлення fast mode
|
||||
### Зіставлення швидкого режиму
|
||||
|
||||
`/fast on` або `agents.defaults.models["xai/<model>"].params.fastMode: true`
|
||||
перезаписує нативні запити xAI таким чином:
|
||||
переписує нативні запити xAI так:
|
||||
|
||||
| Вихідна модель | Ціль fast mode |
|
||||
| -------------- | ------------------ |
|
||||
| `grok-3` | `grok-3-fast` |
|
||||
| `grok-3-mini` | `grok-3-mini-fast` |
|
||||
| `grok-4` | `grok-4-fast` |
|
||||
| `grok-4-0709` | `grok-4-fast` |
|
||||
| Вихідна модель | Ціль швидкого режиму |
|
||||
| ------------- | ------------------ |
|
||||
| `grok-3` | `grok-3-fast` |
|
||||
| `grok-3-mini` | `grok-3-mini-fast` |
|
||||
| `grok-4` | `grok-4-fast` |
|
||||
| `grok-4-0709` | `grok-4-fast` |
|
||||
|
||||
### Застарілі аліаси сумісності
|
||||
### Псевдоніми для застарілої сумісності
|
||||
|
||||
Застарілі аліаси все ще нормалізуються до канонічних вбудованих ідентифікаторів:
|
||||
Застарілі псевдоніми все ще нормалізуються до канонічних вбудованих ідентифікаторів:
|
||||
|
||||
| Застарілий аліас | Канонічний ідентифікатор |
|
||||
| Застарілий псевдонім | Канонічний ідентифікатор |
|
||||
| ------------------------- | ------------------------------------- |
|
||||
| `grok-4-fast-reasoning` | `grok-4-fast` |
|
||||
| `grok-4-1-fast-reasoning` | `grok-4-1-fast` |
|
||||
@ -122,8 +124,8 @@ Responses API для моделей, пошуку й інструментів в
|
||||
## Можливості
|
||||
|
||||
<AccordionGroup>
|
||||
<Accordion title="Пошук в інтернеті">
|
||||
Вбудований провайдер вебпошуку `grok` також використовує `XAI_API_KEY`:
|
||||
<Accordion title="Вебпошук">
|
||||
Вбудований провайдер вебпошуку `grok` теж використовує `XAI_API_KEY`:
|
||||
|
||||
```bash
|
||||
openclaw config set tools.web.search.provider grok
|
||||
@ -135,21 +137,22 @@ Responses API для моделей, пошуку й інструментів в
|
||||
Вбудований плагін `xai` реєструє генерацію відео через спільний
|
||||
інструмент `video_generate`.
|
||||
|
||||
- Стандартна модель відео: `xai/grok-imagine-video`
|
||||
- Режими: текст у відео, зображення у відео, віддалене редагування відео та віддалене
|
||||
- Типова модель відео: `xai/grok-imagine-video`
|
||||
- Режими: text-to-video, image-to-video, віддалене редагування відео та віддалене
|
||||
розширення відео
|
||||
- Співвідношення сторін: `1:1`, `16:9`, `9:16`, `4:3`, `3:4`, `3:2`, `2:3`
|
||||
- Роздільні здатності: `480P`, `720P`
|
||||
- Тривалість: 1-15 секунд для генерації/зображення-у-відео, 2-10 секунд для
|
||||
розширення
|
||||
- Тривалість: 1-15 секунд для generation/image-to-video, 2-10 секунд для
|
||||
extension
|
||||
|
||||
<Warning>
|
||||
Локальні відеобуфери не приймаються. Використовуйте віддалені URL `http(s)` для
|
||||
вхідних даних редагування/розширення відео. Режим зображення-у-відео приймає локальні буфери зображень, оскільки
|
||||
OpenClaw може кодувати їх як data URL для xAI.
|
||||
Локальні відеобуфери не підтримуються. Для
|
||||
вхідних даних редагування/розширення відео використовуйте віддалені URL `http(s)`.
|
||||
Image-to-video приймає локальні буфери зображень, оскільки
|
||||
OpenClaw може кодувати їх як URL даних для xAI.
|
||||
</Warning>
|
||||
|
||||
Щоб використовувати xAI як стандартний провайдер відео:
|
||||
Щоб використовувати xAI як типовий провайдер відео:
|
||||
|
||||
```json5
|
||||
{
|
||||
@ -164,8 +167,8 @@ Responses API для моделей, пошуку й інструментів в
|
||||
```
|
||||
|
||||
<Note>
|
||||
Див. [Генерація відео](/uk/tools/video-generation), щоб дізнатися про спільні параметри інструмента,
|
||||
вибір провайдера та поведінку резервного перемикання.
|
||||
Див. [Генерація відео](/uk/tools/video-generation) для спільних параметрів інструмента,
|
||||
вибору провайдера та поведінки перемикання при збоях.
|
||||
</Note>
|
||||
|
||||
</Accordion>
|
||||
@ -174,20 +177,20 @@ Responses API для моделей, пошуку й інструментів в
|
||||
Вбудований плагін `xai` реєструє генерацію зображень через спільний
|
||||
інструмент `image_generate`.
|
||||
|
||||
- Стандартна модель зображень: `xai/grok-imagine-image`
|
||||
- Типова модель зображень: `xai/grok-imagine-image`
|
||||
- Додаткова модель: `xai/grok-imagine-image-pro`
|
||||
- Режими: текст у зображення та редагування еталонного зображення
|
||||
- Еталонні вхідні дані: одне `image` або до п’яти `images`
|
||||
- Режими: text-to-image і редагування reference-image
|
||||
- Вхідні reference-дані: одне `image` або до п’яти `images`
|
||||
- Співвідношення сторін: `1:1`, `16:9`, `9:16`, `4:3`, `3:4`, `2:3`, `3:2`
|
||||
- Роздільні здатності: `1K`, `2K`
|
||||
- Кількість: до 4 зображень
|
||||
|
||||
OpenClaw запитує в xAI відповіді зображень у форматі `b64_json`, щоб згенеровані медіа можна було
|
||||
зберігати та доставляти через звичайний шлях вкладень каналу. Локальні
|
||||
еталонні зображення перетворюються на data URL; віддалені посилання `http(s)`
|
||||
OpenClaw запитує в xAI відповіді зображень у форматі `b64_json`, щоб згенеровані медіа могли
|
||||
зберігатися та доставлятися через звичайний шлях вкладень каналу. Локальні
|
||||
reference-зображення перетворюються на URL даних; віддалені посилання `http(s)`
|
||||
передаються без змін.
|
||||
|
||||
Щоб використовувати xAI як стандартний провайдер зображень:
|
||||
Щоб використовувати xAI як типовий провайдер зображень:
|
||||
|
||||
```json5
|
||||
{
|
||||
@ -203,25 +206,25 @@ Responses API для моделей, пошуку й інструментів в
|
||||
|
||||
<Note>
|
||||
xAI також документує `quality`, `mask`, `user` і додаткові нативні співвідношення
|
||||
сторін, як-от `1:2`, `2:1`, `9:20` і `20:9`. Сьогодні OpenClaw передає лише
|
||||
спільні міжпровайдерні елементи керування зображеннями; непідтримувані суто нативні параметри
|
||||
навмисно не доступні через `image_generate`.
|
||||
сторін, такі як `1:2`, `2:1`, `9:20` і `20:9`. Сьогодні OpenClaw передає лише
|
||||
спільні міжпровайдерні елементи керування зображеннями; непідтримувані
|
||||
нативні параметри навмисно не надаються через `image_generate`.
|
||||
</Note>
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="Перетворення тексту на мовлення">
|
||||
Вбудований плагін `xai` реєструє перетворення тексту на мовлення через спільну поверхню
|
||||
<Accordion title="Перетворення тексту в мовлення">
|
||||
Вбудований плагін `xai` реєструє перетворення тексту в мовлення через спільну поверхню
|
||||
провайдера `tts`.
|
||||
|
||||
- Голоси: `eve`, `ara`, `rex`, `sal`, `leo`, `una`
|
||||
- Стандартний голос: `eve`
|
||||
- Типовий голос: `eve`
|
||||
- Формати: `mp3`, `wav`, `pcm`, `mulaw`, `alaw`
|
||||
- Мова: код BCP-47 або `auto`
|
||||
- Швидкість: нативне перевизначення швидкості провайдера
|
||||
- Нативний формат голосових нотаток Opus не підтримується
|
||||
|
||||
Щоб використовувати xAI як стандартний TTS-провайдер:
|
||||
Щоб використовувати xAI як типовий провайдер TTS:
|
||||
|
||||
```json5
|
||||
{
|
||||
@ -241,22 +244,66 @@ Responses API для моделей, пошуку й інструментів в
|
||||
<Note>
|
||||
OpenClaw використовує пакетний ендпоінт xAI `/v1/tts`. xAI також пропонує потоковий TTS
|
||||
через WebSocket, але контракт провайдера мовлення OpenClaw наразі очікує
|
||||
завершений аудіобуфер перед доставкою відповіді.
|
||||
повний аудіобуфер перед доставкою відповіді.
|
||||
</Note>
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="Перетворення мовлення в текст">
|
||||
Вбудований плагін `xai` реєструє пакетне перетворення мовлення в текст через
|
||||
поверхню транскрипції для розуміння медіа в OpenClaw.
|
||||
|
||||
- Типова модель: `grok-stt`
|
||||
- Ендпоінт: xAI REST `/v1/stt`
|
||||
- Шлях введення: multipart-завантаження аудіофайлу
|
||||
- Підтримується в OpenClaw скрізь, де транскрипція вхідного аудіо використовує
|
||||
`tools.media.audio`, включно з сегментами голосових каналів Discord і
|
||||
аудіовкладеннями каналів
|
||||
|
||||
Щоб примусово використовувати xAI для транскрипції вхідного аудіо:
|
||||
|
||||
```json5
|
||||
{
|
||||
tools: {
|
||||
media: {
|
||||
audio: {
|
||||
models: [
|
||||
{
|
||||
type: "provider",
|
||||
provider: "xai",
|
||||
model: "grok-stt",
|
||||
},
|
||||
],
|
||||
},
|
||||
},
|
||||
},
|
||||
}
|
||||
```
|
||||
|
||||
Мову можна передавати через спільну конфігурацію аудіомедіа або в запиті
|
||||
транскрипції для кожного виклику. Підказки prompt приймаються спільною поверхнею OpenClaw,
|
||||
але інтеграція xAI REST STT передає лише файл, модель і
|
||||
мову, оскільки саме вони добре зіставляються з поточним публічним ендпоінтом xAI.
|
||||
|
||||
<Note>
|
||||
xAI також пропонує потоковий STT через `wss://api.x.ai/v1/stt`. Вбудований
|
||||
плагін xAI в OpenClaw поки що цього не надає; поточний провайдер — це пакетний
|
||||
STT для транскрипції файлів/сегментів.
|
||||
</Note>
|
||||
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="Конфігурація x_search">
|
||||
Вбудований плагін xAI надає `x_search` як інструмент OpenClaw для пошуку
|
||||
вмісту X (раніше Twitter) через Grok.
|
||||
контенту X (раніше Twitter) через Grok.
|
||||
|
||||
Шлях конфігурації: `plugins.entries.xai.config.xSearch`
|
||||
|
||||
| Ключ | Тип | Стандартне значення | Опис |
|
||||
| Ключ | Тип | Типово | Опис |
|
||||
| ------------------ | ------- | ------------------ | ------------------------------------ |
|
||||
| `enabled` | boolean | — | Увімкнути або вимкнути x_search |
|
||||
| `model` | string | `grok-4-1-fast` | Модель для запитів x_search |
|
||||
| `inlineCitations` | boolean | — | Додавати вбудовані цитати в результати |
|
||||
| `model` | string | `grok-4-1-fast` | Модель, що використовується для запитів x_search |
|
||||
| `inlineCitations` | boolean | — | Додавати вбудовані цитування в результати |
|
||||
| `maxTurns` | number | — | Максимальна кількість ходів розмови |
|
||||
| `timeoutSeconds` | number | — | Тайм-аут запиту в секундах |
|
||||
| `cacheTtlMinutes` | number | — | Час життя кешу в хвилинах |
|
||||
@ -283,19 +330,19 @@ Responses API для моделей, пошуку й інструментів в
|
||||
|
||||
<Accordion title="Конфігурація виконання коду">
|
||||
Вбудований плагін xAI надає `code_execution` як інструмент OpenClaw для
|
||||
віддаленого виконання коду в ізольованому середовищі xAI.
|
||||
віддаленого виконання коду в середовищі sandbox xAI.
|
||||
|
||||
Шлях конфігурації: `plugins.entries.xai.config.codeExecution`
|
||||
|
||||
| Ключ | Тип | Стандартне значення | Опис |
|
||||
| ----------------- | ------- | ------------------------- | ----------------------------------------- |
|
||||
| `enabled` | boolean | `true` (якщо ключ доступний) | Увімкнути або вимкнути виконання коду |
|
||||
| `model` | string | `grok-4-1-fast` | Модель для запитів виконання коду |
|
||||
| `maxTurns` | number | — | Максимальна кількість ходів розмови |
|
||||
| `timeoutSeconds` | number | — | Тайм-аут запиту в секундах |
|
||||
| Ключ | Тип | Типово | Опис |
|
||||
| ----------------- | ------- | ------------------------ | ---------------------------------------------- |
|
||||
| `enabled` | boolean | `true` (якщо ключ доступний) | Увімкнути або вимкнути виконання коду |
|
||||
| `model` | string | `grok-4-1-fast` | Модель, що використовується для запитів виконання коду |
|
||||
| `maxTurns` | number | — | Максимальна кількість ходів розмови |
|
||||
| `timeoutSeconds` | number | — | Тайм-аут запиту в секундах |
|
||||
|
||||
<Note>
|
||||
Це віддалене виконання в пісочниці xAI, а не локальний [`exec`](/uk/tools/exec).
|
||||
Це віддалене виконання в sandbox xAI, а не локальний [`exec`](/uk/tools/exec).
|
||||
</Note>
|
||||
|
||||
```json5
|
||||
@ -318,41 +365,41 @@ Responses API для моделей, пошуку й інструментів в
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="Відомі обмеження">
|
||||
- Автентифікація наразі підтримується лише через API-ключ. У
|
||||
OpenClaw поки що немає потоку xAI OAuth або device-code.
|
||||
- Наразі автентифікація підтримує лише API-ключ. Потоків xAI OAuth або device-code в
|
||||
OpenClaw поки що немає.
|
||||
- `grok-4.20-multi-agent-experimental-beta-0304` не підтримується на
|
||||
звичайному шляху провайдера xAI, оскільки для нього потрібна інша апстримна поверхня API,
|
||||
звичайному шляху провайдера xAI, оскільки він потребує іншої верхньорівневої API-поверхні,
|
||||
ніж стандартний транспорт xAI в OpenClaw.
|
||||
- xAI STT і голос Realtime ще не зареєстровані як провайдери OpenClaw.
|
||||
Для них потрібні контракти транскрибування/сесій, а не наявна форма
|
||||
пакетного TTS-провайдера.
|
||||
- `quality` для зображень xAI, `mask` для зображень і додаткові суто нативні співвідношення сторін
|
||||
не доступні, доки спільний інструмент `image_generate` не отримає
|
||||
відповідні міжпровайдерні елементи керування.
|
||||
- Потокові STT і Realtime voice від xAI ще не зареєстровані як провайдери
|
||||
OpenClaw. Пакетний xAI STT зареєстровано через розуміння медіа.
|
||||
Потокові STT і Realtime voice потребують зіставлення контракту WebSocket/сесії.
|
||||
- `quality` зображень xAI, `mask` зображень та додаткові нативні співвідношення сторін
|
||||
не надаються, доки спільний інструмент `image_generate` не отримає відповідні
|
||||
міжпровайдерні елементи керування.
|
||||
</Accordion>
|
||||
|
||||
<Accordion title="Додаткові примітки">
|
||||
- OpenClaw автоматично застосовує специфічні для xAI виправлення сумісності
|
||||
схеми інструментів і викликів інструментів на спільному шляху виконання.
|
||||
- Нативні запити xAI за замовчуванням використовують `tool_stream: true`. Установіть
|
||||
<Accordion title="Розширені примітки">
|
||||
- OpenClaw автоматично застосовує специфічні для xAI виправлення сумісності схем інструментів і викликів інструментів
|
||||
на спільному шляху виконання.
|
||||
- Нативні запити xAI типово використовують `tool_stream: true`. Установіть
|
||||
`agents.defaults.models["xai/<model>"].params.tool_stream` у `false`, щоб
|
||||
вимкнути це.
|
||||
- Вбудована обгортка xAI прибирає непідтримувані строгі прапорці схем інструментів і
|
||||
- Вбудована обгортка xAI видаляє непідтримувані прапорці strict tool-schema і
|
||||
ключі payload reasoning перед надсиланням нативних запитів xAI.
|
||||
- `web_search`, `x_search` і `code_execution` доступні як інструменти OpenClaw.
|
||||
OpenClaw вмикає конкретний вбудований інструмент xAI, який потрібен, у межах кожного
|
||||
запиту інструмента замість додавання всіх нативних інструментів до кожного ходу чату.
|
||||
- `web_search`, `x_search` і `code_execution` надаються як інструменти
|
||||
OpenClaw. OpenClaw вмикає конкретний вбудований механізм xAI, який йому потрібен, у кожному
|
||||
запиті інструмента, замість того щоб додавати всі нативні інструменти до кожного ходу чату.
|
||||
- `x_search` і `code_execution` належать вбудованому плагіну xAI, а не
|
||||
жорстко закодовані в основному runtime моделей.
|
||||
- `code_execution` — це віддалене виконання в пісочниці xAI, а не локальний
|
||||
жорстко вбудовані в основне середовище виконання моделей.
|
||||
- `code_execution` — це віддалене виконання в sandbox xAI, а не локальний
|
||||
[`exec`](/uk/tools/exec).
|
||||
</Accordion>
|
||||
</AccordionGroup>
|
||||
|
||||
## Тестування в реальному середовищі
|
||||
## Живе тестування
|
||||
|
||||
Шляхи xAI для медіа покриті unit-тестами та opt-in live-наборами. Live-команди
|
||||
завантажують секрети з вашої оболонки входу, зокрема з `~/.profile`, перед
|
||||
Шляхи медіа xAI покриваються модульними тестами та живими наборами, що вмикаються за потреби. Живі
|
||||
команди завантажують секрети з вашої оболонки входу, включно з `~/.profile`, перед
|
||||
перевіркою `XAI_API_KEY`.
|
||||
|
||||
```bash
|
||||
@ -361,10 +408,11 @@ OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_TEST_QUIET=1 pnpm test:live -- extensions/xai
|
||||
OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_TEST_QUIET=1 OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS=xai pnpm test:live -- test/image-generation.runtime.live.test.ts
|
||||
```
|
||||
|
||||
Специфічний для провайдера live-файл синтезує звичайний TTS, PCM-дружній до телефонії
|
||||
TTS, генерацію тексту в зображення та редагування еталонного зображення. Спільний live-файл
|
||||
для зображень перевіряє того самого провайдера xAI через вибір runtime OpenClaw,
|
||||
резервне перемикання, нормалізацію та шлях вкладення медіа.
|
||||
Специфічний для провайдера живий файл синтезує звичайний TTS, зручний для телефонії PCM
|
||||
TTS, транскрибує аудіо через xAI STT, генерує результат text-to-image і
|
||||
редагує reference-зображення. Спільний живий файл зображень перевіряє той самий провайдер xAI
|
||||
через вибір середовища виконання OpenClaw, резервне перемикання, нормалізацію та
|
||||
шлях вкладення медіа.
|
||||
|
||||
## Пов’язане
|
||||
|
||||
@ -373,12 +421,12 @@ TTS, генерацію тексту в зображення та редагув
|
||||
Вибір провайдерів, посилань на моделі та поведінки резервного перемикання.
|
||||
</Card>
|
||||
<Card title="Генерація відео" href="/uk/tools/video-generation" icon="video">
|
||||
Параметри спільного інструмента відео та вибір провайдера.
|
||||
Спільні параметри інструмента відео та вибір провайдера.
|
||||
</Card>
|
||||
<Card title="Усі провайдери" href="/uk/providers/index" icon="grid-2">
|
||||
Ширший огляд провайдерів.
|
||||
</Card>
|
||||
<Card title="Усунення несправностей" href="/uk/help/troubleshooting" icon="wrench">
|
||||
Поширені проблеми та способи їх вирішення.
|
||||
Поширені проблеми та способи виправлення.
|
||||
</Card>
|
||||
</CardGroup>
|
||||
|
||||
@ -1,67 +1,67 @@
|
||||
---
|
||||
read_when:
|
||||
- Шукаєте огляд медіаможливостей
|
||||
- Вирішуєте, якого постачальника медіа налаштувати
|
||||
- Вирішуєте, якого провайдера медіа налаштувати
|
||||
- Розумієте, як працює асинхронна генерація медіа
|
||||
summary: Єдина цільова сторінка для можливостей генерації медіа, розуміння та мовлення
|
||||
summary: Уніфікована цільова сторінка для можливостей генерації медіа, розуміння та мовлення
|
||||
title: Огляд медіа
|
||||
x-i18n:
|
||||
generated_at: "2026-04-22T23:11:28Z"
|
||||
generated_at: "2026-04-23T00:07:55Z"
|
||||
model: gpt-5.4
|
||||
provider: openai
|
||||
source_hash: f73028cdcb5f7ab7692253f6b95ccde058cd37af1c93cdab6b01e6d2a0498539
|
||||
source_hash: 9365fe6fd57d08806d91221a7e198dd4df40ec87d81039883b72d9704cd9656f
|
||||
source_path: tools/media-overview.md
|
||||
workflow: 15
|
||||
---
|
||||
|
||||
# Генерація та розуміння медіа
|
||||
|
||||
OpenClaw генерує зображення, відео та музику, розуміє вхідні медіа (зображення, аудіо, відео) і озвучує відповіді за допомогою синтезу мовлення. Усі медіаможливості керуються інструментами: агент вирішує, коли їх використовувати, на основі розмови, і кожен інструмент з’являється лише тоді, коли налаштовано принаймні одного базового постачальника.
|
||||
OpenClaw генерує зображення, відео та музику, розуміє вхідні медіа (зображення, аудіо, відео) і озвучує відповіді за допомогою синтезу мовлення. Усі медіаможливості керуються інструментами: агент вирішує, коли їх використовувати, на основі розмови, а кожен інструмент з’являється лише тоді, коли налаштовано принаймні одного базового провайдера.
|
||||
|
||||
## Можливості з першого погляду
|
||||
|
||||
| Можливість | Інструмент | Постачальники | Що робить |
|
||||
| Можливість | Інструмент | Провайдери | Що робить |
|
||||
| -------------------- | ---------------- | -------------------------------------------------------------------------------------------- | ------------------------------------------------------- |
|
||||
| Генерація зображень | `image_generate` | ComfyUI, fal, Google, MiniMax, OpenAI, Vydra, xAI | Створює або редагує зображення з текстових запитів чи референсів |
|
||||
| Генерація зображень | `image_generate` | ComfyUI, fal, Google, MiniMax, OpenAI, Vydra, xAI | Створює або редагує зображення з текстових запитів чи посилань |
|
||||
| Генерація відео | `video_generate` | Alibaba, BytePlus, ComfyUI, fal, Google, MiniMax, OpenAI, Qwen, Runway, Together, Vydra, xAI | Створює відео з тексту, зображень або наявних відео |
|
||||
| Генерація музики | `music_generate` | ComfyUI, Google, MiniMax | Створює музику або аудіодоріжки з текстових запитів |
|
||||
| Синтез мовлення (TTS) | `tts` | ElevenLabs, Microsoft, MiniMax, OpenAI, xAI | Перетворює вихідні відповіді на озвучене аудіо |
|
||||
| Розуміння медіа | (автоматично) | Будь-який постачальник моделей із підтримкою зору/аудіо, а також резервні варіанти CLI | Узагальнює вхідні зображення, аудіо та відео |
|
||||
| Розуміння медіа | (автоматично) | Будь-який провайдер моделей із підтримкою візуального чи аудіовводу, а також резервні варіанти CLI | Узагальнює вхідні зображення, аудіо та відео |
|
||||
|
||||
## Матриця можливостей постачальників
|
||||
## Матриця можливостей провайдерів
|
||||
|
||||
Ця таблиця показує, які постачальники підтримують які медіаможливості на платформі.
|
||||
Ця таблиця показує, які провайдери підтримують які медіаможливості на платформі.
|
||||
|
||||
| Постачальник | Зображення | Відео | Музика | TTS | STT / Транскрибування | Розуміння медіа |
|
||||
| ------------ | ---------- | ----- | ------ | --- | --------------------- | --------------- |
|
||||
| Alibaba | | Yes | | | | |
|
||||
| BytePlus | | Yes | | | | |
|
||||
| ComfyUI | Yes | Yes | Yes | | | |
|
||||
| Deepgram | | | | | Yes | |
|
||||
| ElevenLabs | | | | Yes | | |
|
||||
| fal | Yes | Yes | | | | |
|
||||
| Google | Yes | Yes | Yes | | | Yes |
|
||||
| Microsoft | | | | Yes | | |
|
||||
| MiniMax | Yes | Yes | Yes | Yes | | |
|
||||
| OpenAI | Yes | Yes | | Yes | Yes | Yes |
|
||||
| Qwen | | Yes | | | | |
|
||||
| Runway | | Yes | | | | |
|
||||
| Together | | Yes | | | | |
|
||||
| Vydra | Yes | Yes | | | | |
|
||||
| xAI | Yes | Yes | | Yes | | |
|
||||
| Провайдер | Зображення | Відео | Музика | TTS | STT / Транскрибування | Розуміння медіа |
|
||||
| ---------- | ----- | ----- | ----- | --- | ------------------- | ------------------- |
|
||||
| Alibaba | | Так | | | | |
|
||||
| BytePlus | | Так | | | | |
|
||||
| ComfyUI | Так | Так | Так | | | |
|
||||
| Deepgram | | | | | Так | |
|
||||
| ElevenLabs | | | | Так | | |
|
||||
| fal | Так | Так | | | | |
|
||||
| Google | Так | Так | Так | | | Так |
|
||||
| Microsoft | | | | Так | | |
|
||||
| MiniMax | Так | Так | Так | Так | | |
|
||||
| OpenAI | Так | Так | | Так | Так | Так |
|
||||
| Qwen | | Так | | | | |
|
||||
| Runway | | Так | | | | |
|
||||
| Together | | Так | | | | |
|
||||
| Vydra | Так | Так | | | | |
|
||||
| xAI | Так | Так | | Так | Так | Так |
|
||||
|
||||
<Note>
|
||||
Для розуміння медіа використовуються будь-які моделі з підтримкою зору або аудіо, зареєстровані у вашій конфігурації постачальників. У таблиці вище виділено постачальників із виділеною підтримкою розуміння медіа; більшість постачальників LLM із мультимодальними моделями (Anthropic, Google, OpenAI тощо) також можуть розуміти вхідні медіа, якщо вони налаштовані як активна модель для відповідей.
|
||||
Для розуміння медіа використовується будь-яка модель із підтримкою візуального або аудіовводу, зареєстрована у вашій конфігурації провайдера. У таблиці вище виділено провайдерів зі спеціальною підтримкою розуміння медіа; більшість провайдерів LLM із мультимодальними моделями (Anthropic, Google, OpenAI тощо) також можуть розуміти вхідні медіа, якщо налаштовані як активна модель для відповідей.
|
||||
</Note>
|
||||
|
||||
## Як працює асинхронна генерація
|
||||
|
||||
Генерація відео та музики виконується як фонові завдання, оскільки обробка у постачальників зазвичай триває від 30 секунд до кількох хвилин. Коли агент викликає `video_generate` або `music_generate`, OpenClaw надсилає запит постачальнику, одразу повертає ID завдання та відстежує роботу в журналі завдань. Агент продовжує відповідати на інші повідомлення, поки завдання виконується. Коли постачальник завершує роботу, OpenClaw активує агента, щоб він міг опублікувати готовий медіафайл назад в оригінальний канал. Генерація зображень і TTS є синхронними та завершуються безпосередньо в межах відповіді.
|
||||
Генерація відео та музики виконується як фонові завдання, оскільки обробка на боці провайдера зазвичай триває від 30 секунд до кількох хвилин. Коли агент викликає `video_generate` або `music_generate`, OpenClaw надсилає запит провайдеру, негайно повертає ідентифікатор завдання та відстежує це завдання в журналі завдань. Агент продовжує відповідати на інші повідомлення, поки завдання виконується. Коли провайдер завершує роботу, OpenClaw пробуджує агента, щоб він міг опублікувати готовий медіарезультат назад у вихідний канал. Генерація зображень і TTS є синхронними та завершуються в межах відповіді.
|
||||
|
||||
xAI наразі зіставляється з поверхнями OpenClaw для зображень, відео, пошуку, виконання коду та
|
||||
пакетного TTS. xAI STT і Realtime voice є можливостями на боці апстриму, але
|
||||
вони не зареєстровані в OpenClaw, доки спільні контракти транскрибування та realtime
|
||||
voice не зможуть їх представляти.
|
||||
xAI наразі зіставляється з поверхнями OpenClaw для зображень, відео, пошуку, виконання коду, пакетного
|
||||
TTS і пакетного STT. Потоковий STT та Realtime voice для xAI є
|
||||
можливостями на боці провайдера, але вони не реєструються в OpenClaw, доки спільні
|
||||
контракти для потокового транскрибування та голосу в реальному часі не зможуть їх подати.
|
||||
|
||||
## Швидкі посилання
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user