openclaw/docs
openclaw/docs
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
c779cfc53c
docs/docs/tr/help/testing.md
openclaw-docs-i18n[bot] c779cfc53c chore(i18n): refresh tr translations
2026-04-16 21:55:19 +00:00

68 KiB
Raw Blame History

read_when summary title x-i18n
Testleri yerel olarak veya CI içinde çalıştırma
Model/sağlayıcı hataları için regresyonlar ekleme
Gateway + aracı davranışında hata ayıklama
Test kiti: unit/e2e/live paketleri, Docker çalıştırıcıları ve her testin neleri kapsadığı Test etme
generated_at model provider source_hash source_path workflow
2026-04-16T21:51:21Z gpt-5.4 openai af2bc0e9b5e08ca3119806d355b517290f6078fda430109e7a0b153586215e34 help/testing.md 15

Test etme

OpenClaw’ın üç Vitest paketi (unit/integration, e2e, live) ve küçük bir Docker çalıştırıcı kümesi vardır.

Bu belge, “nasıl test ediyoruz” kılavuzudur:

  • Her paketin neyi kapsadığı (ve özellikle neyi _kapsamadığı)
  • Yaygın iş akışları için hangi komutların çalıştırılacağı (yerel, push öncesi, hata ayıklama)
  • Live testlerin kimlik bilgilerini nasıl bulduğu ve model/sağlayıcıları nasıl seçtiği
  • Gerçek dünya model/sağlayıcı sorunları için nasıl regresyon ekleneceği

Hızlı başlangıç

Çoğu gün:

  • Tam kapı (push öncesinde beklenen): pnpm build && pnpm check && pnpm test
  • Geniş kaynaklı bir makinede daha hızlı yerel tam paket çalıştırması: pnpm test:max
  • Doğrudan Vitest watch döngüsü: pnpm test:watch
  • Doğrudan dosya hedefleme artık extension/channel yollarını da yönlendirir: pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts
  • Tek bir hata üzerinde yineleme yapıyorsanız önce hedefli çalıştırmaları tercih edin.
  • Docker destekli QA sitesi: pnpm qa:lab:up
  • Linux VM destekli QA hattı: pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

Testlere dokunduğunuzda veya ek güven istediğinizde:

  • Kapsama kapısı: pnpm test:coverage
  • E2E paketi: pnpm test:e2e

Gerçek sağlayıcılar/modeller üzerinde hata ayıklarken (gerçek kimlik bilgileri gerekir):

  • Live paketi (modeller + gateway araç/görüntü probları): pnpm test:live
  • Tek bir live dosyasını sessizce hedefleyin: pnpm test:live -- src/agents/models.profiles.live.test.ts

İpucu: yalnızca tek bir başarısız duruma ihtiyacınız varsa, aşağıda açıklanan allowlist ortam değişkenleriyle live testleri daraltmayı tercih edin.

QA’ye özel çalıştırıcılar

QA-lab gerçekçiliğine ihtiyaç duyduğunuzda bu komutlar ana test paketlerinin yanında yer alır:

  • pnpm openclaw qa suite
    • Depo destekli QA senaryolarını doğrudan ana makinede çalıştırır.
    • Varsayılan olarak seçilen birden çok senaryoyu izole gateway worker’larıyla paralel çalıştırır; en fazla 64 worker veya seçilen senaryo sayısı kullanılır. Worker sayısını ayarlamak için --concurrency <count>, eski seri hat için --concurrency 1 kullanın.
  • pnpm openclaw qa suite --runner multipass
    • Aynı QA paketini tek kullanımlık bir Multipass Linux VM içinde çalıştırır.
    • Ana makinedeki qa suite ile aynı senaryo seçimi davranışını korur.
    • qa suite ile aynı sağlayıcı/model seçim bayraklarını yeniden kullanır.
    • Live çalıştırmalar, misafir sistem için pratik olan desteklenen QA kimlik doğrulama girdilerini iletir: ortam tabanlı sağlayıcı anahtarları, QA live sağlayıcı yapılandırma yolu ve mevcutsa CODEX_HOME.
    • Çıktı dizinleri depo kökü altında kalmalıdır, böylece misafir sistem bağlanmış çalışma alanı üzerinden geri yazabilir.
    • Normal QA raporu + özeti ve ayrıca Multipass günlüklerini .artifacts/qa-e2e/... altına yazar.
  • pnpm qa:lab:up
    • Operatör tarzı QA çalışması için Docker destekli QA sitesini başlatır.
  • pnpm openclaw qa matrix
    • Matrix live QA hattını tek kullanımlık Docker destekli bir Tuwunel homeserver’a karşı çalıştırır.
    • Bu QA ana makinesi şu anda yalnızca repo/geliştirme içindir. Paketlenmiş OpenClaw kurulumları qa-lab içermez, bu yüzden openclaw qa sunmaz.
    • Depo checkout’ları paketlenmiş çalıştırıcıyı doğrudan yükler; ayrı bir Plugin kurulum adımı gerekmez.
    • Üç geçici Matrix kullanıcısı (driver, sut, observer) ve bir özel oda oluşturur, ardından gerçek Matrix Plugin’i SUT taşıması olarak kullanarak bir QA gateway alt süreci başlatır.
    • Varsayılan olarak sabitlenmiş kararlı Tuwunel görüntüsü ghcr.io/matrix-construct/tuwunel:v1.5.1 kullanılır. Farklı bir görüntüyü test etmeniz gerektiğinde OPENCLAW_QA_MATRIX_TUWUNEL_IMAGE ile geçersiz kılın.
    • Matrix, lane geçici kullanıcıları yerel olarak oluşturduğu için paylaşılan kimlik bilgisi kaynağı bayrakları sunmaz.
    • Bir Matrix QA raporu, özet, gözlemlenen olaylar artifaktı ve birleşik stdout/stderr çıktı günlüğünü .artifacts/qa-e2e/... altına yazar.
  • pnpm openclaw qa telegram
    • Telegram live QA hattını, ortamdan alınan driver ve SUT bot token’larıyla gerçek bir özel gruba karşı çalıştırır.
    • OPENCLAW_QA_TELEGRAM_GROUP_ID, OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN ve OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN gerektirir. Grup kimliği sayısal Telegram sohbet kimliği olmalıdır.
    • Paylaşılan havuzlanmış kimlik bilgileri için --credential-source convex desteklenir. Varsayılan olarak env modunu kullanın veya havuzlanmış kiralamalara geçmek için OPENCLAW_QA_CREDENTIAL_SOURCE=convex ayarlayın.
    • Aynı özel grupta iki farklı bot gerektirir ve SUT botunun bir Telegram kullanıcı adı sunması gerekir.
    • Kararlı bottan-bota gözlem için her iki botta da @BotFather içinde Bot-to-Bot Communication Mode’u etkinleştirin ve driver botunun grup bot trafiğini gözlemleyebildiğinden emin olun.
    • Bir Telegram QA raporu, özet ve gözlemlenen mesajlar artifaktını .artifacts/qa-e2e/... altına yazar.

Live taşıma hatları ortak bir standart sözleşmeyi paylaşır; böylece yeni taşımalar sapma göstermez:

qa-channel, geniş sentetik QA paketi olmaya devam eder ve live taşıma kapsama matrisinin parçası değildir.

Hat Canary Mention geçitleme Allowlist engelleme Üst düzey yanıt Yeniden başlatma sonrası sürdürme Thread takibi Thread yalıtımı Reaksiyon gözlemi Help komutu
Matrix x x x x x x x x
Telegram x x

Convex üzerinden paylaşılan Telegram kimlik bilgileri (v1)

openclaw qa telegram için --credential-source convex (veya OPENCLAW_QA_CREDENTIAL_SOURCE=convex) etkin olduğunda, QA lab bir Convex destekli havuzdan özel bir kiralama alır, hat çalışırken bu kiralamaya Heartbeat gönderir ve kapanışta kiralamayı serbest bırakır.

Başvuru Convex proje iskeleti:

  • qa/convex-credential-broker/

Gerekli ortam değişkenleri:

  • OPENCLAW_QA_CONVEX_SITE_URL (örneğin https://your-deployment.convex.site)
  • Seçilen rol için bir gizli değer:
    • maintainer için OPENCLAW_QA_CONVEX_SECRET_MAINTAINER
    • ci için OPENCLAW_QA_CONVEX_SECRET_CI
  • Kimlik bilgisi rolü seçimi:
    • CLI: --credential-role maintainer|ci
    • Varsayılan ortam değişkeni: OPENCLAW_QA_CREDENTIAL_ROLE (varsayılan maintainer)

İsteğe bağlı ortam değişkenleri:

  • OPENCLAW_QA_CREDENTIAL_LEASE_TTL_MS (varsayılan 1200000)
  • OPENCLAW_QA_CREDENTIAL_HEARTBEAT_INTERVAL_MS (varsayılan 30000)
  • OPENCLAW_QA_CREDENTIAL_ACQUIRE_TIMEOUT_MS (varsayılan 90000)
  • OPENCLAW_QA_CREDENTIAL_HTTP_TIMEOUT_MS (varsayılan 15000)
  • OPENCLAW_QA_CONVEX_ENDPOINT_PREFIX (varsayılan /qa-credentials/v1)
  • OPENCLAW_QA_CREDENTIAL_OWNER_ID (isteğe bağlı izleme kimliği)
  • OPENCLAW_QA_ALLOW_INSECURE_HTTP=1, yalnızca yerel geliştirme için loopback http:// Convex URL’lerine izin verir.

OPENCLAW_QA_CONVEX_SITE_URL, normal çalışmada https:// kullanmalıdır.

Maintainer yönetici komutları (havuz ekle/kaldır/listele) özellikle OPENCLAW_QA_CONVEX_SECRET_MAINTAINER gerektirir.

Maintainer’lar için CLI yardımcıları:

pnpm openclaw qa credentials add --kind telegram --payload-file qa/telegram-credential.json
pnpm openclaw qa credentials list --kind telegram
pnpm openclaw qa credentials remove --credential-id <credential-id>

Betiklerde ve CI yardımcı araçlarında makine tarafından okunabilir çıktı için --json kullanın.

Varsayılan endpoint sözleşmesi (OPENCLAW_QA_CONVEX_SITE_URL + /qa-credentials/v1):

  • POST /acquire
    • İstek: { kind, ownerId, actorRole, leaseTtlMs, heartbeatIntervalMs }
    • Başarı: { status: "ok", credentialId, leaseToken, payload, leaseTtlMs?, heartbeatIntervalMs? }
    • Tükenmiş/yeniden denenebilir: { status: "error", code: "POOL_EXHAUSTED" | "NO_CREDENTIAL_AVAILABLE", ... }
  • POST /heartbeat
    • İstek: { kind, ownerId, actorRole, credentialId, leaseToken, leaseTtlMs }
    • Başarı: { status: "ok" } (veya boş 2xx)
  • POST /release
    • İstek: { kind, ownerId, actorRole, credentialId, leaseToken }
    • Başarı: { status: "ok" } (veya boş 2xx)
  • POST /admin/add (yalnızca maintainer gizli değeri)
    • İstek: { kind, actorId, payload, note?, status? }
    • Başarı: { status: "ok", credential }
  • POST /admin/remove (yalnızca maintainer gizli değeri)
    • İstek: { credentialId, actorId }
    • Başarı: { status: "ok", changed, credential }
    • Etkin kiralama koruması: { status: "error", code: "LEASE_ACTIVE", ... }
  • POST /admin/list (yalnızca maintainer gizli değeri)
    • İstek: { kind?, status?, includePayload?, limit? }
    • Başarı: { status: "ok", credentials, count }

Telegram türü için payload şekli:

  • { groupId: string, driverToken: string, sutToken: string }
  • groupId, sayısal bir Telegram sohbet kimliği dizesi olmalıdır.
  • admin/add, kind: "telegram" için bu şekli doğrular ve hatalı biçimli payload’ları reddeder.

QA’ye bir kanal ekleme

Markdown QA sistemine bir kanal eklemek tam olarak iki şey gerektirir:

  1. Kanal için bir taşıma adaptörü.
  2. Kanal sözleşmesini çalıştıran bir senaryo paketi.

Paylaşılan qa-lab ana makinesi akışı sahiplenebiliyorsa yeni bir üst düzey QA komut kökü eklemeyin.

qa-lab, paylaşılan ana makine mekaniklerinin sahibidir:

  • openclaw qa komut kökü
  • paket başlatma ve kapatma
  • worker eşzamanlılığı
  • artifakt yazımı
  • rapor oluşturma
  • senaryo yürütme
  • eski qa-channel senaryoları için uyumluluk takma adları

Çalıştırıcı Plugin’leri taşıma sözleşmesinin sahibidir:

  • openclaw qa <runner> biçiminde paylaşılan qa kökü altına nasıl bağlandığı
  • Gateway’in bu taşıma için nasıl yapılandırıldığı
  • hazır oluşun nasıl kontrol edildiği
  • gelen olayların nasıl enjekte edildiği
  • giden mesajların nasıl gözlemlendiği
  • dökümler ve normalleştirilmiş taşıma durumunun nasıl açığa çıkarıldığı
  • taşıma destekli eylemlerin nasıl yürütüldüğü
  • taşıma özelindeki sıfırlama veya temizliğin nasıl ele alındığı

Yeni bir kanal için minimum benimseme eşiği:

  1. Paylaşılan qa kökünün sahibi olarak qa-lab’ı koruyun.
  2. Taşıma çalıştırıcısını paylaşılan qa-lab ana makine sınırında uygulayın.
  3. Taşıma özelindeki mekanikleri çalıştırıcı Plugin’inde veya kanal harness’inde tutun.
  4. Rakip bir kök komut kaydetmek yerine çalıştırıcıyı openclaw qa <runner> olarak bağlayın. Çalıştırıcı Plugin’leri openclaw.plugin.json içinde qaRunners bildirmeli ve runtime-api.ts içinden eşleşen bir qaRunnerCliRegistrations dizisi dışa aktarmalıdır. runtime-api.ts dosyasını hafif tutun; lazy CLI ve çalıştırıcı yürütmesi ayrı giriş noktalarının arkasında kalmalıdır.
  5. qa/scenarios/ altında markdown senaryoları yazın veya uyarlayın.
  6. Yeni senaryolar için genel senaryo yardımcılarını kullanın.
  7. Depoda kasıtlı bir geçiş yapılmıyorsa mevcut uyumluluk takma adlarını çalışır durumda tutun.

Karar kuralı katıdır:

  • Davranış qa-lab içinde bir kez ifade edilebiliyorsa, onu qa-lab içine koyun.
  • Davranış tek bir kanal taşımasına bağlıysa, onu o çalıştırıcı Plugin’inde veya Plugin harness’inde tutun.
  • Bir senaryo birden fazla kanalın kullanabileceği yeni bir yetenek gerektiriyorsa, suite.ts içine kanala özel bir dal eklemek yerine genel bir yardımcı ekleyin.
  • Bir davranış yalnızca tek bir taşıma için anlamlıysa, senaryoyu taşıma özelinde tutun ve bunu senaryo sözleşmesinde açıkça belirtin.

Yeni senaryolar için tercih edilen genel yardımcı adları:

  • waitForTransportReady
  • waitForChannelReady
  • injectInboundMessage
  • injectOutboundMessage
  • waitForTransportOutboundMessage
  • waitForChannelOutboundMessage
  • waitForNoTransportOutbound
  • getTransportSnapshot
  • readTransportMessage
  • readTransportTranscript
  • formatTransportTranscript
  • resetTransport

Mevcut senaryolar için uyumluluk takma adları kullanılmaya devam eder; bunlar arasında şunlar vardır:

  • waitForQaChannelReady
  • waitForOutboundMessage
  • waitForNoOutbound
  • formatConversationTranscript
  • resetBus

Yeni kanal çalışmaları genel yardımcı adlarını kullanmalıdır. Uyumluluk takma adları, bayrak günü tarzı bir geçişi önlemek içindir; yeni senaryo yazımı için model olarak değil.

Test paketleri (hangisi nerede çalışır)

Paketleri “artan gerçekçilik” (ve artan oynaklık/maliyet) olarak düşünün:

Unit / integration (varsayılan)

  • Komut: pnpm test
  • Yapılandırma: mevcut kapsamlı Vitest projeleri üzerinde on adet sıralı shard çalıştırması (vitest.full-*.config.ts)
  • Dosyalar: src/**/*.test.ts, packages/**/*.test.ts, test/**/*.test.ts altındaki çekirdek/unit envanterleri ve vitest.unit.config.ts kapsamındaki allowlist’e alınmış ui node testleri
  • Kapsam:
    • Saf unit testleri
    • Süreç içi entegrasyon testleri (gateway auth, yönlendirme, araç kullanımı, ayrıştırma, yapılandırma)
    • Bilinen hatalar için deterministik regresyonlar
  • Beklentiler:
    • CI içinde çalışır
    • Gerçek anahtarlar gerekmez
    • Hızlı ve kararlı olmalıdır
  • Projects notu:
    • Hedef belirtilmemiş pnpm test artık tek bir devasa yerel root-project süreci yerine on bir daha küçük shard yapılandırması (core-unit-src, core-unit-security, core-unit-ui, core-unit-support, core-support-boundary, core-contracts, core-bundled, core-runtime, agentic, auto-reply, extensions) çalıştırır. Bu, yüklü makinelerde en yüksek RSS’i azaltır ve auto-reply/extension işlerinin ilgisiz paketleri aç bırakmasını önler.
    • pnpm test --watch hâlâ yerel root vitest.config.ts proje grafiğini kullanır, çünkü çok parçalı bir watch döngüsü pratik değildir.
    • pnpm test, pnpm test:watch ve pnpm test:perf:imports, açık dosya/dizin hedeflerini önce kapsamlı hatlar üzerinden yönlendirir; böylece pnpm test extensions/discord/src/monitor/message-handler.preflight.test.ts tam root proje başlangıç maliyetini ödemez.
    • pnpm test:changed, fark yalnızca yönlendirilebilir kaynak/test dosyalarına dokunuyorsa değişen git yollarını aynı kapsamlı hatlara genişletir; config/setup düzenlemeleri ise yine geniş root-project yeniden çalıştırmasına düşer.
    • Agents, commands, plugins, auto-reply yardımcıları, plugin-sdk ve benzeri saf yardımcı alanlardaki import yükü hafif unit testleri, test/setup-openclaw-runtime.ts dosyasını atlayan unit-fast hattı üzerinden yönlendirilir; durum bilgili/runtime yükü ağır dosyalar mevcut hatlarda kalır.
    • Seçilmiş plugin-sdk ve commands yardımcı kaynak dosyaları da changed-mode çalıştırmalarını bu hafif hatlardaki açık kardeş testlere eşler; böylece yardımcı düzenlemeleri o dizin için tüm ağır paketi yeniden çalıştırmaktan kaçınır.
    • auto-reply artık üç özel kovaya sahiptir: üst düzey çekirdek yardımcılar, üst düzey reply.* entegrasyon testleri ve src/auto-reply/reply/** alt ağacı. Bu, en ağır reply harness işini ucuz status/chunk/token testlerinden uzak tutar.
  • Embedded runner notu:
    • Message-tool keşif girdilerini veya Compaction runtime bağlamını değiştirdiğinizde, iki kapsama düzeyini de koruyun.
    • Saf yönlendirme/normalleştirme sınırları için odaklı yardımcı regresyonları ekleyin.
    • Ayrıca embedded runner entegrasyon paketlerini de sağlıklı tutun: src/agents/pi-embedded-runner/compact.hooks.test.ts, src/agents/pi-embedded-runner/run.overflow-compaction.test.ts ve src/agents/pi-embedded-runner/run.overflow-compaction.loop.test.ts.
    • Bu paketler, kapsamlı kimliklerin ve Compaction davranışının gerçek run.ts / compact.ts yolları üzerinden akmaya devam ettiğini doğrular; yalnızca yardımcı testleri bu entegrasyon yolları için yeterli bir ikame değildir.
  • Pool notu:
    • Temel Vitest yapılandırması artık varsayılan olarak threads kullanır.
    • Paylaşılan Vitest yapılandırması ayrıca isolate: false ayarlar ve root projects, e2e ve live yapılandırmaları boyunca yalıtılmamış çalıştırıcıyı kullanır.
    • Root UI hattı jsdom setup ve optimizer’ını korur, ancak artık paylaşılan yalıtılmamış çalıştırıcı üzerinde çalışır.
    • Her pnpm test shard’ı, paylaşılan Vitest yapılandırmasından aynı threads + isolate: false varsayılanlarını devralır.
    • Paylaşılan scripts/run-vitest.mjs başlatıcısı artık büyük yerel çalıştırmalarda V8 derleme dalgalanmasını azaltmak için Vitest alt Node süreçlerine varsayılan olarak --no-maglev de ekler. Stok V8 davranışıyla karşılaştırmanız gerekiyorsa OPENCLAW_VITEST_ENABLE_MAGLEV=1 ayarlayın.
  • Hızlı yerel yineleme notu:
    • pnpm test:changed, değişen yollar daha küçük bir pakete temiz biçimde eşleniyorsa kapsamlı hatlar üzerinden yönlendirilir.
    • pnpm test:max ve pnpm test:changed:max aynı yönlendirme davranışını korur; yalnızca daha yüksek worker sınırıyla çalışır.
    • Yerel worker otomatik ölçekleme artık kasıtlı olarak daha muhafazakârdır ve ana makine yük ortalaması zaten yüksek olduğunda da geri çekilir; böylece birden fazla eşzamanlı Vitest çalıştırması varsayılan olarak daha az zarar verir.
    • Temel Vitest yapılandırması, changed-mode yeniden çalıştırmalarının test bağlantılandırması değiştiğinde doğru kalması için projects/config dosyalarını forceRerunTriggers olarak işaretler.
    • Yapılandırma, desteklenen ana makinelerde OPENCLAW_VITEST_FS_MODULE_CACHE özelliğini etkin tutar; doğrudan profilleme için tek bir açık önbellek konumu istiyorsanız OPENCLAW_VITEST_FS_MODULE_CACHE_PATH=/abs/path ayarlayın.
  • Perf-debug notu:
    • pnpm test:perf:imports, Vitest import-süresi raporlamasını ve import-breakdown çıktısını etkinleştirir.
    • pnpm test:perf:imports:changed, aynı profilleme görünümünü origin/main sonrasındaki değişen dosyalara daraltır.
  • pnpm test:perf:changed:bench -- --ref <git-ref>, yönlendirilmiş test:changed ile yerel root-project yolunu o commit edilmiş fark için karşılaştırır ve duvar saati süresi ile macOS en yüksek RSS değerini yazdırır.
  • pnpm test:perf:changed:bench -- --worktree, değişen dosya listesini scripts/test-projects.mjs ve root Vitest yapılandırması üzerinden yönlendirerek mevcut kirli ağacı kıyaslar.
    • pnpm test:perf:profile:main, Vitest/Vite başlangıcı ve dönüşüm yükü için ana iş parçacığı CPU profili yazar.
    • pnpm test:perf:profile:runner, dosya paralelliği devre dışıyken unit paketi için çalıştırıcı CPU+heap profilleri yazar.

E2E (gateway smoke)

  • Komut: pnpm test:e2e
  • Yapılandırma: vitest.e2e.config.ts
  • Dosyalar: src/**/*.e2e.test.ts, test/**/*.e2e.test.ts
  • Runtime varsayılanları:
    • Deponun geri kalanıyla uyumlu şekilde Vitest threads ve isolate: false kullanır.
    • Uyarlanabilir worker’lar kullanır (CI: en fazla 2, yerel: varsayılan 1).
    • Konsol G/Ç yükünü azaltmak için varsayılan olarak sessiz modda çalışır.
  • Yararlı geçersiz kılmalar:
    • Worker sayısını zorlamak için OPENCLAW_E2E_WORKERS=<n> (üst sınır 16).
    • Ayrıntılı konsol çıktısını yeniden etkinleştirmek için OPENCLAW_E2E_VERBOSE=1.
  • Kapsam:
    • Çok örnekli gateway uçtan uca davranışı
    • WebSocket/HTTP yüzeyleri, Node eşleştirme ve daha ağır ağ işlemleri
  • Beklentiler:
    • CI içinde çalışır (boru hattında etkinleştirildiğinde)
    • Gerçek anahtarlar gerekmez
    • Unit testlerinden daha fazla hareketli parça içerir (daha yavaş olabilir)

E2E: OpenShell backend smoke

  • Komut: pnpm test:e2e:openshell
  • Dosya: test/openshell-sandbox.e2e.test.ts
  • Kapsam:
    • Ana makinede Docker üzerinden izole bir OpenShell gateway başlatır
    • Geçici bir yerel Dockerfile’dan bir sandbox oluşturur
    • OpenClaw’ın OpenShell backend’ini gerçek sandbox ssh-config + SSH exec üzerinden çalıştırır
    • Sandbox fs bridge üzerinden remote-canonical dosya sistemi davranışını doğrular
  • Beklentiler:
    • Yalnızca isteğe bağlıdır; varsayılan pnpm test:e2e çalıştırmasının parçası değildir
    • Yerel bir openshell CLI ve çalışan bir Docker daemon gerektirir
    • İzole HOME / XDG_CONFIG_HOME kullanır, ardından test gateway’i ve sandbox’ı yok eder
  • Yararlı geçersiz kılmalar:
    • Geniş e2e paketini elle çalıştırırken testi etkinleştirmek için OPENCLAW_E2E_OPENSHELL=1
    • Varsayılan olmayan bir CLI ikilisine veya sarmalayıcı betiğe işaret etmek için OPENCLAW_E2E_OPENSHELL_COMMAND=/path/to/openshell

Live (gerçek sağlayıcılar + gerçek modeller)

  • Komut: pnpm test:live
  • Yapılandırma: vitest.live.config.ts
  • Dosyalar: src/**/*.live.test.ts
  • Varsayılan: pnpm test:live tarafından etkinleştirilir (OPENCLAW_LIVE_TEST=1 ayarlar)
  • Kapsam:
    • “Bu sağlayıcı/model bugün gerçekten çalışıyor mu, gerçek kimlik bilgileriyle?”
    • Sağlayıcı biçim değişikliklerini, tool-calling tuhaflıklarını, auth sorunlarını ve rate limit davranışını yakalar
  • Beklentiler:
    • Tasarım gereği CI açısından kararlı değildir (gerçek ağlar, gerçek sağlayıcı politikaları, kotalar, kesintiler)
    • Para harcar / rate limit kullanır
    • “Her şeyi” çalıştırmak yerine daraltılmış alt kümeler çalıştırmayı tercih edin
  • Live çalıştırmaları, eksik API anahtarlarını almak için ~/.profile kaynağını kullanır.
  • Varsayılan olarak live çalıştırmaları yine de HOME dizinini izole eder ve config/auth materyalini geçici bir test home’una kopyalar; böylece unit fixture’ları gerçek ~/.openclaw dizininizi değiştiremez.
  • Live testlerinin gerçek home dizininizi kullanmasını özellikle istediğinizde yalnızca OPENCLAW_LIVE_USE_REAL_HOME=1 ayarlayın.
  • pnpm test:live artık varsayılan olarak daha sessiz bir mod kullanır: [live] ... ilerleme çıktısını korur, ancak ek ~/.profile bildirimini bastırır ve gateway bootstrap günlükleri/Bonjour gürültüsünü susturur. Tam başlangıç günlüklerini geri istiyorsanız OPENCLAW_LIVE_TEST_QUIET=0 ayarlayın.
  • API anahtarı rotasyonu (sağlayıcıya özel): virgül/noktalı virgül biçiminde *_API_KEYS veya *_API_KEY_1, *_API_KEY_2 ayarlayın (örneğin OPENAI_API_KEYS, ANTHROPIC_API_KEYS, GEMINI_API_KEYS) ya da live özel geçersiz kılma olarak OPENCLAW_LIVE_*_KEY kullanın; testler rate limit yanıtlarında yeniden dener.
  • İlerleme/Heartbeat çıktısı:
    • Live paketleri artık ilerleme satırlarını stderr’e yazar; böylece uzun sağlayıcı çağrıları, Vitest konsol yakalaması sessiz olsa bile görünür biçimde etkin kalır.
    • vitest.live.config.ts, sağlayıcı/gateway ilerleme satırlarının live çalıştırmalar sırasında anında akması için Vitest konsol yakalamasını devre dışı bırakır.
    • Doğrudan model Heartbeat’lerini OPENCLAW_LIVE_HEARTBEAT_MS ile ayarlayın.
    • Gateway/probe Heartbeat’lerini OPENCLAW_LIVE_GATEWAY_HEARTBEAT_MS ile ayarlayın.

Hangi paketi çalıştırmalıyım?

Bu karar tablosunu kullanın:

  • Mantık/test düzenliyorsanız: pnpm test çalıştırın (ve çok değişiklik yaptıysanız pnpm test:coverage)
  • Gateway ağ iletişimi / WS protokolü / eşleştirmeye dokunuyorsanız: pnpm test:e2e ekleyin
  • “Botum çalışmıyor” / sağlayıcıya özel hatalar / tool calling üzerinde hata ayıklıyorsanız: daraltılmış bir pnpm test:live çalıştırın

Live: Android Node yetenek taraması

  • Test: src/gateway/android-node.capabilities.live.test.ts
  • Betik: pnpm android:test:integration
  • Amaç: bağlı bir Android Node tarafından şu anda ilan edilen her komutu çağırmak ve komut sözleşmesi davranışını doğrulamak.
  • Kapsam:
    • Ön koşullu/elle kurulum (paket uygulamayı kurmaz/çalıştırmaz/eşleştirmez).
    • Seçilen Android Node için komut bazında gateway node.invoke doğrulaması.
  • Gerekli ön kurulum:
    • Android uygulaması zaten gateway’e bağlı ve eşleştirilmiş olmalıdır.
    • Uygulama ön planda tutulmalıdır.
    • Başarılı olmasını beklediğiniz yetenekler için izinler/yakalama onayı verilmiş olmalıdır.
  • İsteğe bağlı hedef geçersiz kılmaları:
    • OPENCLAW_ANDROID_NODE_ID veya OPENCLAW_ANDROID_NODE_NAME.
    • OPENCLAW_ANDROID_GATEWAY_URL / OPENCLAW_ANDROID_GATEWAY_TOKEN / OPENCLAW_ANDROID_GATEWAY_PASSWORD.
  • Tam Android kurulum ayrıntıları: Android App

Live: model smoke (profile anahtarları)

Live testleri, hataları izole edebilmek için iki katmana ayrılmıştır:

  • “Direct model”, sağlayıcının/modelin verilen anahtarla gerçekten yanıt verip veremediğini söyler.
  • “Gateway smoke”, tam gateway+agent hattının o model için çalıştığını söyler (oturumlar, geçmiş, araçlar, sandbox politikası vb.).

Katman 1: Direct model completion (gateway yok)

  • Test: src/agents/models.profiles.live.test.ts
  • Amaç:
    • Keşfedilen modelleri numaralandırmak
    • Kimlik bilgilerinizin bulunduğu modelleri seçmek için getApiKeyForModel kullanmak
    • Model başına küçük bir completion çalıştırmak (ve gerektiğinde hedeflenmiş regresyonlar)
  • Nasıl etkinleştirilir:
    • pnpm test:live (veya Vitest’i doğrudan çağırıyorsanız OPENCLAW_LIVE_TEST=1)
  • Bu paketi gerçekten çalıştırmak için OPENCLAW_LIVE_MODELS=modern (veya all, modern için takma ad) ayarlayın; aksi halde pnpm test:live odaklı olarak gateway smoke üzerinde kalsın diye atlanır
  • Modeller nasıl seçilir:
    • Modern allowlist’i çalıştırmak için OPENCLAW_LIVE_MODELS=modern (Opus/Sonnet 4.6+, GPT-5.x + Codex, Gemini 3, GLM 4.7, MiniMax M2.7, Grok 4)
    • OPENCLAW_LIVE_MODELS=all, modern allowlist için bir takma addır
    • veya OPENCLAW_LIVE_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,..." (virgülle ayrılmış allowlist)
    • Modern/all taramaları varsayılan olarak özenle seçilmiş yüksek sinyalli bir üst sınır kullanır; kapsamlı bir modern tarama için OPENCLAW_LIVE_MAX_MODELS=0, daha küçük bir sınır için pozitif bir sayı ayarlayın.
  • Sağlayıcılar nasıl seçilir:
    • OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli" (virgülle ayrılmış allowlist)
  • Anahtarlar nereden gelir:
    • Varsayılan olarak: profile deposu ve ortam geri dönüşleri
    • Yalnızca profile deposunu zorunlu kılmak için OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 ayarlayın
  • Bunun var olma nedeni:
    • “Sağlayıcı API bozuk / anahtar geçersiz” ile “gateway agent hattı bozuk” durumlarını ayırır
    • Küçük, izole regresyonlar içerir (örnek: OpenAI Responses/Codex Responses reasoning replay + tool-call akışları)

Katman 2: Gateway + geliştirme agent smoke (@openclaw’ın gerçekten yaptığı şey)

  • Test: src/gateway/gateway-models.profiles.live.test.ts
  • Amaç:
    • Süreç içi bir gateway başlatmak
    • Bir agent:dev:* oturumu oluşturmak/yamamak (çalıştırma başına model geçersiz kılma)
    • Anahtarlı modeller üzerinde yineleyip şunları doğrulamak:
      • “anlamlı” yanıt (araç yok)
      • gerçek bir araç çağrısının çalışması (read probe)
      • isteğe bağlı ek araç probları (exec+read probe)
      • OpenAI regresyon yollarının (yalnızca tool-call → takip) çalışmaya devam etmesi
  • Probe ayrıntıları (böylece hataları hızlıca açıklayabilirsiniz):
    • read probe: test çalışma alanına bir nonce dosyası yazar ve agent’tan bunu read etmesini ve nonce’u geri yankılamasını ister.
    • exec+read probe: test agent’tan bir nonce’u geçici bir dosyaya exec ile yazmasını, ardından geri read etmesini ister.
    • image probe: test oluşturulmuş bir PNG’yi (kedi + rastgele kod) ekler ve modelin cat <CODE> döndürmesini bekler.
    • Uygulama başvurusu: src/gateway/gateway-models.profiles.live.test.ts ve src/gateway/live-image-probe.ts.
  • Nasıl etkinleştirilir:
    • pnpm test:live (veya Vitest’i doğrudan çağırıyorsanız OPENCLAW_LIVE_TEST=1)
  • Modeller nasıl seçilir:
    • Varsayılan: modern allowlist (Opus/Sonnet 4.6+, GPT-5.x + Codex, Gemini 3, GLM 4.7, MiniMax M2.7, Grok 4)
    • OPENCLAW_LIVE_GATEWAY_MODELS=all, modern allowlist için bir takma addır
    • Ya da daraltmak için OPENCLAW_LIVE_GATEWAY_MODELS="provider/model" (veya virgülle ayrılmış liste) ayarlayın
    • Modern/all gateway taramaları varsayılan olarak özenle seçilmiş yüksek sinyalli bir üst sınır kullanır; kapsamlı bir modern tarama için OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0, daha küçük bir üst sınır için pozitif bir sayı ayarlayın.
  • Sağlayıcılar nasıl seçilir (“OpenRouter her şeyi”nden kaçının):
    • OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax" (virgülle ayrılmış allowlist)
  • Tool + image probları bu live testte her zaman açıktır:
    • read probe + exec+read probe (araç stresi)
    • image probe, model image input desteği ilan ettiğinde çalışır
    • Akış (üst düzey):
      • Test, “CAT” + rastgele kod içeren küçük bir PNG üretir (src/gateway/live-image-probe.ts)
      • Bunu agent üzerinden attachments: [{ mimeType: "image/png", content: "<base64>" }] ile gönderir
      • Gateway, ekleri images[] içine ayrıştırır (src/gateway/server-methods/agent.ts + src/gateway/chat-attachments.ts)
      • Embedded agent, modele çok kipli bir kullanıcı mesajı iletir
      • Doğrulama: yanıt cat + kodu içerir (OCR toleransı: küçük hatalara izin verilir)

İpucu: makinenizde neleri test edebileceğinizi (ve tam provider/model kimliklerini) görmek için şunu çalıştırın:

openclaw models list
openclaw models list --json

Live: CLI backend smoke (Claude, Codex, Gemini veya diğer yerel CLI’lar)

  • Test: src/gateway/gateway-cli-backend.live.test.ts
  • Amaç: varsayılan yapılandırmanıza dokunmadan, Gateway + agent hattını yerel bir CLI backend kullanarak doğrulamak.
  • Backend’e özgü smoke varsayılanları, sahibi olan extension’ın cli-backend.ts tanımıyla birlikte bulunur.
  • Etkinleştirme:
    • pnpm test:live (veya Vitest’i doğrudan çağırıyorsanız OPENCLAW_LIVE_TEST=1)
    • OPENCLAW_LIVE_CLI_BACKEND=1
  • Varsayılanlar:
    • Varsayılan sağlayıcı/model: claude-cli/claude-sonnet-4-6
    • Komut/argüman/image davranışı, sahibi olan CLI backend Plugin metadata’sından gelir.
  • Geçersiz kılmalar (isteğe bağlı):
    • OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.4"
    • OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"
    • OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'
    • Gerçek bir image eki göndermek için OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1 (yollar prompt içine enjekte edilir).
    • Image dosya yollarını prompt enjeksiyonu yerine CLI argümanları olarak geçirmek için OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image".
    • IMAGE_ARG ayarlı olduğunda image argümanlarının nasıl geçirileceğini denetlemek için OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat" (veya "list").
    • İkinci bir tur gönderip resume akışını doğrulamak için OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1.
    • Varsayılan Claude Sonnet -> Opus aynı-oturum devamlılık probe’unu devre dışı bırakmak için OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=0 (seçilen model bir geçiş hedefini destekliyorsa zorla açmak için 1 ayarlayın).

Örnek:

OPENCLAW_LIVE_CLI_BACKEND=1 \
  OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.4" \
  pnpm test:live src/gateway/gateway-cli-backend.live.test.ts

Docker tarifi:

pnpm test:docker:live-cli-backend

Tek sağlayıcılı Docker tarifleri:

pnpm test:docker:live-cli-backend:claude
pnpm test:docker:live-cli-backend:claude-subscription
pnpm test:docker:live-cli-backend:codex
pnpm test:docker:live-cli-backend:gemini

Notlar:

  • Docker çalıştırıcısı scripts/test-live-cli-backend-docker.sh konumundadır.
  • Live CLI-backend smoke testini depo Docker image’ı içinde root olmayan node kullanıcısı olarak çalıştırır.
  • Sahibi olan extension’dan CLI smoke metadata’sını çözer, ardından eşleşen Linux CLI paketini (@anthropic-ai/claude-code, @openai/codex veya @google/gemini-cli) önbelleğe alınmış yazılabilir bir öneke, OPENCLAW_DOCKER_CLI_TOOLS_DIR içine kurar (varsayılan: ~/.cache/openclaw/docker-cli-tools).
  • pnpm test:docker:live-cli-backend:claude-subscription, taşınabilir Claude Code abonelik OAuth’u gerektirir; bunun için ya claudeAiOauth.subscriptionType içeren ~/.claude/.credentials.json ya da claude setup-token içinden CLAUDE_CODE_OAUTH_TOKEN kullanılmalıdır. Önce Docker içinde doğrudan claude -p komutunu kanıtlar, ardından Anthropic API key ortam değişkenlerini korumadan iki Gateway CLI-backend turu çalıştırır. Bu subscription hattı, Claude şu anda üçüncü taraf uygulama kullanımını normal abonelik planı sınırları yerine ek kullanım faturalandırması üzerinden yönlendirdiği için varsayılan olarak Claude MCP/tool ve image problarını devre dışı bırakır.
  • Live CLI-backend smoke artık Claude, Codex ve Gemini için aynı uçtan uca akışı çalıştırır: metin turu, image sınıflandırma turu, ardından gateway CLI üzerinden doğrulanan MCP cron araç çağrısı.
  • Claude’un varsayılan smoke testi ayrıca oturumu Sonnet’ten Opus’a yamalar ve devam ettirilen oturumun önceki bir notu hâlâ hatırladığını doğrular.

Live: ACP bind smoke (/acp spawn ... --bind here)

  • Test: src/gateway/gateway-acp-bind.live.test.ts
  • Amaç: gerçek ACP konuşma-bind akışını canlı bir ACP agent ile doğrulamak:
    • /acp spawn <agent> --bind here gönder
    • sentetik bir message-channel konuşmasını yerinde bağla
    • aynı konuşmada normal bir takip mesajı gönder
    • takibin bağlı ACP oturum dökümüne düştüğünü doğrula
  • Etkinleştirme:
    • pnpm test:live src/gateway/gateway-acp-bind.live.test.ts
    • OPENCLAW_LIVE_ACP_BIND=1
  • Varsayılanlar:
    • Docker içindeki ACP agent’ları: claude,codex,gemini
    • Doğrudan pnpm test:live ... için ACP agent’ı: claude
    • Sentetik kanal: Slack DM tarzı konuşma bağlamı
    • ACP backend: acpx
  • Geçersiz kılmalar:
    • OPENCLAW_LIVE_ACP_BIND_AGENT=claude
    • OPENCLAW_LIVE_ACP_BIND_AGENT=codex
    • OPENCLAW_LIVE_ACP_BIND_AGENT=gemini
    • OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini
    • OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@<version>'
  • Notlar:
    • Bu hat, testlerin dışarıya gerçekten teslim ediyormuş gibi yapmadan message-channel bağlamı ekleyebilmesi için yöneticiye özel sentetik originating-route alanlarıyla gateway chat.send yüzeyini kullanır.
    • OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND ayarlı değilse test, seçilen ACP harness agent için embedded acpx Plugin’inin yerleşik agent kayıt defterini kullanır.

Örnek:

OPENCLAW_LIVE_ACP_BIND=1 \
  OPENCLAW_LIVE_ACP_BIND_AGENT=claude \
  pnpm test:live src/gateway/gateway-acp-bind.live.test.ts

Docker tarifi:

pnpm test:docker:live-acp-bind

Tek agent’lı Docker tarifleri:

pnpm test:docker:live-acp-bind:claude
pnpm test:docker:live-acp-bind:codex
pnpm test:docker:live-acp-bind:gemini

Docker notları:

  • Docker çalıştırıcısı scripts/test-live-acp-bind-docker.sh konumundadır.
  • Varsayılan olarak ACP bind smoke testini desteklenen tüm live CLI agent’larına sırayla çalıştırır: claude, codex, ardından gemini.
  • Matrisi daraltmak için OPENCLAW_LIVE_ACP_BIND_AGENTS=claude, OPENCLAW_LIVE_ACP_BIND_AGENTS=codex veya OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini kullanın.
  • ~/.profile kaynağını alır, eşleşen CLI auth materyalini container içine yerleştirir, yazılabilir bir npm önekine acpx kurar, sonra istenen live CLI’yı (@anthropic-ai/claude-code, @openai/codex veya @google/gemini-cli) eksikse kurar.
  • Docker içinde çalıştırıcı OPENCLAW_LIVE_ACP_BIND_ACPX_COMMAND=$HOME/.npm-global/bin/acpx ayarlar; böylece acpx, kaynağı alınmış profildeki sağlayıcı ortam değişkenlerini alt harness CLI için kullanılabilir tutar.

Live: Codex app-server harness smoke

  • Amaç: Plugin sahibi Codex harness’ini normal gateway agent yöntemi üzerinden doğrulamak:
    • paketlenmiş codex Plugin’ini yükle
    • OPENCLAW_AGENT_RUNTIME=codex seç
    • codex/gpt-5.4 için ilk gateway agent turunu gönder
    • aynı OpenClaw oturumuna ikinci bir tur gönder ve app-server thread’inin devam ettirilebildiğini doğrula
    • aynı gateway komut yolu üzerinden /codex status ve /codex models komutlarını çalıştır
  • Test: src/gateway/gateway-codex-harness.live.test.ts
  • Etkinleştirme: OPENCLAW_LIVE_CODEX_HARNESS=1
  • Varsayılan model: codex/gpt-5.4
  • İsteğe bağlı image probe: OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1
  • İsteğe bağlı MCP/tool probe: OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1
  • Smoke testi OPENCLAW_AGENT_HARNESS_FALLBACK=none ayarlar; böylece bozuk bir Codex harness sessizce PI’a geri düşerek başarılı görünemez.
  • Auth: shell/profile içinden OPENAI_API_KEY, ayrıca isteğe bağlı olarak kopyalanmış ~/.codex/auth.json ve ~/.codex/config.toml

Yerel tarif:

source ~/.profile
OPENCLAW_LIVE_CODEX_HARNESS=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_MODEL=codex/gpt-5.4 \
  pnpm test:live -- src/gateway/gateway-codex-harness.live.test.ts

Docker tarifi:

source ~/.profile
pnpm test:docker:live-codex-harness

Docker notları:

  • Docker çalıştırıcısı scripts/test-live-codex-harness-docker.sh konumundadır.
  • Bağlanmış ~/.profile kaynağını alır, OPENAI_API_KEY geçirir, mevcutsa Codex CLI auth dosyalarını kopyalar, @openai/codex paketini yazılabilir bağlanmış bir npm önekine kurar, kaynak ağacını hazırlar ve yalnızca Codex-harness live testini çalıştırır.
  • Docker varsayılan olarak image ve MCP/tool problarını etkinleştirir. Daha dar bir hata ayıklama çalıştırması gerektiğinde OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0 veya OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0 ayarlayın.
  • Docker ayrıca OPENCLAW_AGENT_HARNESS_FALLBACK=none dışa aktarır; bu da live test yapılandırmasıyla eşleşir, böylece openai-codex/* veya PI fallback bir Codex harness regresyonunu gizleyemez.

Önerilen live tarifleri

Dar ve açık allowlist’ler en hızlı ve en az oynak olanlardır:

  • Tek model, doğrudan (gateway yok):

    • OPENCLAW_LIVE_MODELS="openai/gpt-5.4" pnpm test:live src/agents/models.profiles.live.test.ts

  • Tek model, gateway smoke:

    • OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

  • Birden fazla sağlayıcıda tool calling:

    • OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

  • Google odağı (Gemini API anahtarı + Antigravity):

    • Gemini (API anahtarı): OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
    • Antigravity (OAuth): OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

Notlar:

  • google/..., Gemini API’yi kullanır (API anahtarı).
  • google-antigravity/..., Antigravity OAuth köprüsünü kullanır (Cloud Code Assist tarzı agent endpoint’i).
  • google-gemini-cli/..., makinenizdeki yerel Gemini CLI’ı kullanır (ayrı auth + araç kullanımı tuhaflıkları).
  • Gemini API ile Gemini CLI karşılaştırması:
    • API: OpenClaw, Google’ın barındırılan Gemini API’sini HTTP üzerinden çağırır (API anahtarı / profile auth); çoğu kullanıcının “Gemini” derken kastettiği budur.
    • CLI: OpenClaw, yerel bir gemini ikilisini shell üzerinden çalıştırır; bunun kendi auth yapısı vardır ve farklı davranabilir (streaming/tool desteği/sürüm kayması).

Live: model matrisi (ne kapsıyoruz)

Sabit bir “CI model listesi” yoktur (live isteğe bağlıdır), ancak bunlar anahtarları olan bir geliştirme makinesinde düzenli olarak kapsanması önerilen modellerdir.

Modern smoke kümesi (tool calling + image)

Çalışır durumda kalmasını beklediğimiz “yaygın modeller” çalıştırması budur:

  • OpenAI (Codex dışı): openai/gpt-5.4 (isteğe bağlı: openai/gpt-5.4-mini)
  • OpenAI Codex: openai-codex/gpt-5.4
  • Anthropic: anthropic/claude-opus-4-6 (veya anthropic/claude-sonnet-4-6)
  • Google (Gemini API): google/gemini-3.1-pro-preview ve google/gemini-3-flash-preview (eski Gemini 2.x modellerinden kaçının)
  • Google (Antigravity): google-antigravity/claude-opus-4-6-thinking ve google-antigravity/gemini-3-flash
  • Z.AI (GLM): zai/glm-4.7
  • MiniMax: minimax/MiniMax-M2.7

Araçlar + image ile gateway smoke çalıştırın: OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.4,openai-codex/gpt-5.4,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,zai/glm-4.7,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

Temel seviye: tool calling (Read + isteğe bağlı Exec)

Her sağlayıcı ailesi için en az bir tane seçin:

  • OpenAI: openai/gpt-5.4 (veya openai/gpt-5.4-mini)
  • Anthropic: anthropic/claude-opus-4-6 (veya anthropic/claude-sonnet-4-6)
  • Google: google/gemini-3-flash-preview (veya google/gemini-3.1-pro-preview)
  • Z.AI (GLM): zai/glm-4.7
  • MiniMax: minimax/MiniMax-M2.7

İsteğe bağlı ek kapsama (olsa iyi olur):

  • xAI: xai/grok-4 (veya mevcut en yeni sürüm)
  • Mistral: mistral/… (etkinleştirdiğiniz araç destekli bir model seçin)
  • Cerebras: cerebras/… (erişiminiz varsa)
  • LM Studio: lmstudio/… (yerel; tool calling API moduna bağlıdır)

Vision: image gönderimi (ek → çok kipli mesaj)

Image probe’unu çalıştırmak için OPENCLAW_LIVE_GATEWAY_MODELS içine en az bir image özellikli model ekleyin (Claude/Gemini/OpenAI vision özellikli varyantları vb.).

Toplayıcılar / alternatif gateway’ler

Anahtarlarınız etkinse, şu yollar üzerinden test de desteklenir:

  • OpenRouter: openrouter/... (yüzlerce model; tool+image özellikli adayları bulmak için openclaw models scan kullanın)
  • OpenCode: Zen için opencode/..., Go için opencode-go/... (OPENCODE_API_KEY / OPENCODE_ZEN_API_KEY ile auth)

Live matrisine ekleyebileceğiniz daha fazla sağlayıcı (kimlik bilgileriniz/yapılandırmanız varsa):

  • Yerleşik: openai, openai-codex, anthropic, google, google-vertex, google-antigravity, google-gemini-cli, zai, openrouter, opencode, opencode-go, xai, groq, cerebras, mistral, github-copilot
  • models.providers üzerinden (özel endpoint’ler): minimax (cloud/API) ve ayrıca her türlü OpenAI/Anthropic uyumlu proxy (LM Studio, vLLM, LiteLLM vb.)

İpucu: belgelerde “tüm modelleri” sabit kodlamaya çalışmayın. Yetkili liste, makinenizde discoverModels(...) ne döndürüyorsa ve hangi anahtarlar mevcutsa odur.

Kimlik bilgileri (asla commit etmeyin)

Live testler kimlik bilgilerini CLI ile aynı şekilde keşfeder. Pratik sonuçları:

  • CLI çalışıyorsa, live testler de aynı anahtarları bulabilmelidir.

  • Bir live test “kimlik bilgisi yok” diyorsa, bunu openclaw models list / model seçimini hata ayıklarken yaptığınız gibi hata ayıklayın.

  • Agent başına auth profilleri: ~/.openclaw/agents/<agentId>/agent/auth-profiles.json (live testlerde “profile anahtarları” denince kastedilen budur)

  • Yapılandırma: ~/.openclaw/openclaw.json (veya OPENCLAW_CONFIG_PATH)

  • Eski durum dizini: ~/.openclaw/credentials/ (varsa hazırlanan live home’a kopyalanır, ancak ana profile-key deposu değildir)

  • Live yerel çalıştırmalar varsayılan olarak etkin yapılandırmayı, agent başına auth-profiles.json dosyalarını, eski credentials/ dizinini ve desteklenen harici CLI auth dizinlerini geçici bir test home’una kopyalar; hazırlanan live home’lar workspace/ ve sandboxes/ dizinlerini atlar ve agents.*.workspace / agentDir yol geçersiz kılmaları kaldırılır, böylece probe’lar gerçek ana makine çalışma alanınızın dışında kalır.

Ortam anahtarlarına güvenmek istiyorsanız (ör. ~/.profile içinde dışa aktarılmışlarsa), yerel testleri source ~/.profile sonrasında çalıştırın veya aşağıdaki Docker çalıştırıcılarını kullanın (bunlar ~/.profile dosyasını container içine bağlayabilir).

Deepgram live (ses dökümü)

  • Test: src/media-understanding/providers/deepgram/audio.live.test.ts
  • Etkinleştirme: DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live src/media-understanding/providers/deepgram/audio.live.test.ts

BytePlus coding plan live

  • Test: src/agents/byteplus.live.test.ts
  • Etkinleştirme: BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live src/agents/byteplus.live.test.ts
  • İsteğe bağlı model geçersiz kılması: BYTEPLUS_CODING_MODEL=ark-code-latest

ComfyUI workflow media live

  • Test: extensions/comfy/comfy.live.test.ts
  • Etkinleştirme: OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
  • Kapsam:
    • Paketlenmiş comfy image, video ve music_generate yollarını çalıştırır
    • models.providers.comfy.<capability> yapılandırılmadıkça her yeteneği atlar
    • Comfy workflow gönderimi, polling, indirmeler veya Plugin kaydı değiştirildikten sonra yararlıdır

Image generation live

  • Test: src/image-generation/runtime.live.test.ts
  • Komut: pnpm test:live src/image-generation/runtime.live.test.ts
  • Harness: pnpm test:live:media image
  • Kapsam:
    • Kayıtlı her image-generation sağlayıcı Plugin’ini numaralandırır
    • Probe’dan önce eksik sağlayıcı ortam değişkenlerini login shell’inizden (~/.profile) yükler
    • Varsayılan olarak canlı/env API anahtarlarını kayıtlı auth profillerinin önünde kullanır; böylece auth-profiles.json içindeki eski test anahtarları gerçek shell kimlik bilgilerini maskelemez
    • Kullanılabilir auth/profile/model olmayan sağlayıcıları atlar
    • Paylaşılan runtime yeteneği üzerinden standart image-generation varyantlarını çalıştırır:
      • google:flash-generate
      • google:pro-generate
      • google:pro-edit
      • openai:default-generate
  • Şu anda kapsanan paketlenmiş sağlayıcılar:
    • openai
    • google
  • İsteğe bağlı daraltma:
    • OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="openai,google"
    • OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-1,google/gemini-3.1-flash-image-preview"
    • OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit"
  • İsteğe bağlı auth davranışı:
    • Yalnızca profile deposu auth’unu zorlamak ve yalnızca env geçersiz kılmalarını yok saymak için OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1

Music generation live

  • Test: extensions/music-generation-providers.live.test.ts
  • Etkinleştirme: OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
  • Harness: pnpm test:live:media music
  • Kapsam:
    • Paylaşılan paketlenmiş music-generation sağlayıcı yolunu çalıştırır
    • Şu anda Google ve MiniMax’ı kapsar
    • Probe’dan önce sağlayıcı ortam değişkenlerini login shell’inizden (~/.profile) yükler
    • Varsayılan olarak canlı/env API anahtarlarını kayıtlı auth profillerinin önünde kullanır; böylece auth-profiles.json içindeki eski test anahtarları gerçek shell kimlik bilgilerini maskelemez
    • Kullanılabilir auth/profile/model olmayan sağlayıcıları atlar
    • Mevcut olduğunda bildirilen iki runtime modunu da çalıştırır:
      • Yalnızca prompt girdisiyle generate
      • Sağlayıcı capabilities.edit.enabled bildiriyorsa edit
    • Geçerli paylaşılan hat kapsaması:
      • google: generate, edit
      • minimax: generate
      • comfy: ayrı Comfy live dosyası, bu paylaşılan tarama değil
  • İsteğe bağlı daraltma:
    • OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"
    • OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.5+"
  • İsteğe bağlı auth davranışı:
    • Yalnızca profile deposu auth’unu zorlamak ve yalnızca env geçersiz kılmalarını yok saymak için OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1

Video generation live

  • Test: extensions/video-generation-providers.live.test.ts
  • Etkinleştirme: OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts
  • Harness: pnpm test:live:media video
  • Kapsam:
    • Paylaşılan paketlenmiş video-generation sağlayıcı yolunu çalıştırır
    • Varsayılan olarak sürüm güvenli smoke yolunu kullanır: FAL dışı sağlayıcılar, sağlayıcı başına bir text-to-video isteği, bir saniyelik lobster prompt’u ve OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS üzerinden sağlayıcı başına işlem üst sınırı (varsayılan 180000)
    • Sağlayıcı tarafı kuyruk gecikmesi sürüm süresine baskın çıkabildiği için FAL varsayılan olarak atlanır; açıkça çalıştırmak için --video-providers fal veya OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal" geçin
    • Probe’dan önce sağlayıcı ortam değişkenlerini login shell’inizden (~/.profile) yükler
    • Varsayılan olarak canlı/env API anahtarlarını kayıtlı auth profillerinin önünde kullanır; böylece auth-profiles.json içindeki eski test anahtarları gerçek shell kimlik bilgilerini maskelemez
    • Kullanılabilir auth/profile/model olmayan sağlayıcıları atlar
    • Varsayılan olarak yalnızca generate çalıştırır
    • Mevcut olduğunda bildirilen dönüşüm modlarını da çalıştırmak için OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 ayarlayın:
      • Sağlayıcı capabilities.imageToVideo.enabled bildiriyorsa ve seçilen sağlayıcı/model paylaşılan taramada tampon destekli yerel image girdisini kabul ediyorsa imageToVideo
      • Sağlayıcı capabilities.videoToVideo.enabled bildiriyorsa ve seçilen sağlayıcı/model paylaşılan taramada tampon destekli yerel video girdisini kabul ediyorsa videoToVideo
    • Paylaşılan taramada şu anda bildirilmiş ama atlanan imageToVideo sağlayıcıları:
      • vydra, çünkü paketlenmiş veo3 yalnızca metindir ve paketlenmiş kling uzak bir image URL’si gerektirir
    • Sağlayıcıya özel Vydra kapsaması:
      • OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts
      • bu dosya varsayılan olarak uzak bir image URL fixture’ı kullanan kling hattıyla birlikte veo3 text-to-video çalıştırır
    • Geçerli videoToVideo live kapsaması:
      • yalnızca seçilen model runway/gen4_aleph olduğunda runway
    • Paylaşılan taramada şu anda bildirilmiş ama atlanan videoToVideo sağlayıcıları:
      • alibaba, qwen, xai, çünkü bu yollar şu anda uzak http(s) / MP4 referans URL’leri gerektiriyor
      • google, çünkü mevcut paylaşılan Gemini/Veo hattı yerel tampon destekli girdi kullanıyor ve bu yol paylaşılan taramada kabul edilmiyor
      • openai, çünkü mevcut paylaşılan hatta kuruma özel video inpaint/remix erişim garantileri yok
  • İsteğe bağlı daraltma:
    • OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="google,openai,runway"
    • OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"
    • Varsayılan taramadaki FAL dahil tüm sağlayıcıları eklemek için OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS=""
    • Agresif bir smoke çalıştırması için sağlayıcı başına işlem üst sınırını azaltmak üzere OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000
  • İsteğe bağlı auth davranışı:
    • Yalnızca profile deposu auth’unu zorlamak ve yalnızca env geçersiz kılmalarını yok saymak için OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1

Media live harness

  • Komut: pnpm test:live:media
  • Amaç:
    • Paylaşılan image, music ve video live paketlerini repo’ya özgü tek bir giriş noktası üzerinden çalıştırır
    • Eksik sağlayıcı ortam değişkenlerini ~/.profile içinden otomatik yükler
    • Varsayılan olarak her paketi şu anda kullanılabilir auth’u olan sağlayıcılara otomatik olarak daraltır
    • scripts/test-live.mjs dosyasını yeniden kullanır; böylece Heartbeat ve sessiz mod davranışı tutarlı kalır
  • Örnekler:
    • pnpm test:live:media
    • pnpm test:live:media image video --providers openai,google,minimax
    • pnpm test:live:media video --video-providers openai,runway --all-providers
    • pnpm test:live:media music --quiet

Docker çalıştırıcıları (isteğe bağlı “Linux’ta çalışıyor” kontrolleri)

Bu Docker çalıştırıcıları iki kovaya ayrılır:

  • Live model çalıştırıcıları: test:docker:live-models ve test:docker:live-gateway, depo Docker image’ı içinde yalnızca eşleşen profile-key live dosyasını çalıştırır (src/agents/models.profiles.live.test.ts ve src/gateway/gateway-models.profiles.live.test.ts); yerel config dizininizi ve çalışma alanınızı bağlar (ve bağlanmışsa ~/.profile kaynağını alır). Eşleşen yerel giriş noktaları test:live:models-profiles ve test:live:gateway-profiles’tır.
  • Docker live çalıştırıcıları varsayılan olarak daha küçük bir smoke üst sınırı kullanır, böylece tam bir Docker taraması pratik kalır: test:docker:live-models varsayılan olarak OPENCLAW_LIVE_MAX_MODELS=12, ve test:docker:live-gateway varsayılan olarak OPENCLAW_LIVE_GATEWAY_SMOKE=1, OPENCLAW_LIVE_GATEWAY_MAX_MODELS=8, OPENCLAW_LIVE_GATEWAY_STEP_TIMEOUT_MS=45000 ve OPENCLAW_LIVE_GATEWAY_MODEL_TIMEOUT_MS=90000 kullanır. Daha büyük ve kapsamlı taramayı özellikle istediğinizde bu ortam değişkenlerini geçersiz kılın.
  • test:docker:all, live Docker image’ını bir kez test:docker:live-build ile oluşturur, ardından bunu iki live Docker hattında yeniden kullanır.
  • Container smoke çalıştırıcıları: test:docker:openwebui, test:docker:onboard, test:docker:gateway-network, test:docker:mcp-channels ve test:docker:plugins, bir veya daha fazla gerçek container başlatır ve daha üst düzey entegrasyon yollarını doğrular.

Live-model Docker çalıştırıcıları ayrıca yalnızca gerekli CLI auth home dizinlerini bağlayarak monte eder (veya çalıştırma daraltılmamışsa desteklenenlerin tümünü), ardından dış CLI OAuth’unun ana makine auth deposunu değiştirmeden token’ları yenileyebilmesi için çalıştırma öncesinde bunları container home’una kopyalar:

  • Doğrudan modeller: pnpm test:docker:live-models (betik: scripts/test-live-models-docker.sh)
  • ACP bind smoke: pnpm test:docker:live-acp-bind (betik: scripts/test-live-acp-bind-docker.sh)
  • CLI backend smoke: pnpm test:docker:live-cli-backend (betik: scripts/test-live-cli-backend-docker.sh)
  • Codex app-server harness smoke: pnpm test:docker:live-codex-harness (betik: scripts/test-live-codex-harness-docker.sh)
  • Gateway + geliştirme agent’ı: pnpm test:docker:live-gateway (betik: scripts/test-live-gateway-models-docker.sh)
  • Open WebUI live smoke: pnpm test:docker:openwebui (betik: scripts/e2e/openwebui-docker.sh)
  • Onboarding wizard’ı (TTY, tam iskele): pnpm test:docker:onboard (betik: scripts/e2e/onboard-docker.sh)
  • Gateway ağ iletişimi (iki container, WS auth + health): pnpm test:docker:gateway-network (betik: scripts/e2e/gateway-network-docker.sh)
  • MCP channel bridge (tohumlanmış Gateway + stdio bridge + ham Claude notification-frame smoke): pnpm test:docker:mcp-channels (betik: scripts/e2e/mcp-channels-docker.sh)
  • Plugins (kurulum smoke + /plugin takma adı + Claude bundle yeniden başlatma semantiği): pnpm test:docker:plugins (betik: scripts/e2e/plugins-docker.sh)

Live-model Docker çalıştırıcıları ayrıca mevcut checkout’u salt okunur olarak bağlayıp container içinde geçici bir workdir içine hazırlar. Bu, runtime image’ını ince tutarken yine de Vitest’i tam yerel kaynak/yapılandırmanız üzerinde çalıştırmayı sağlar. Hazırlama adımı .pnpm-store, .worktrees, __openclaw_vitest__ ve uygulamaya özgü .build veya Gradle çıktı dizinleri gibi büyük yalnızca-yerel önbellekleri ve uygulama derleme çıktılarını atlar; böylece Docker live çalıştırmaları makineye özgü artifaktları kopyalamak için dakikalar harcamaz. Ayrıca OPENCLAW_SKIP_CHANNELS=1 ayarlarlar; böylece gateway live probları container içinde gerçek Telegram/Discord vb. kanal worker’larını başlatmaz. test:docker:live-models yine de pnpm test:live çalıştırır; bu nedenle bu Docker hattında gateway live kapsamını daraltmanız veya hariç tutmanız gerektiğinde OPENCLAW_LIVE_GATEWAY_* değerlerini de geçirin. test:docker:openwebui, daha üst düzey bir uyumluluk smoke testidir: OpenAI uyumlu HTTP endpoint’leri etkinleştirilmiş bir OpenClaw gateway container’ı başlatır, bu gateway’e karşı sabitlenmiş bir Open WebUI container’ı başlatır, Open WebUI üzerinden oturum açar, /api/models içinde openclaw/default gösterildiğini doğrular, ardından Open WebUI’nin /api/chat/completions proxy’si üzerinden gerçek bir sohbet isteği gönderir. İlk çalıştırma gözle görülür biçimde daha yavaş olabilir; çünkü Docker’ın Open WebUI image’ını çekmesi gerekebilir ve Open WebUI’nin kendi soğuk başlangıç kurulumunu tamamlaması gerekebilir. Bu hat kullanılabilir bir live model anahtarı bekler ve Docker ileştirilmiş çalıştırmalarda bunu sağlamak için birincil yol OPENCLAW_PROFILE_FILE’dır (varsayılan olarak ~/.profile). Başarılı çalıştırmalar { "ok": true, "model": "openclaw/default", ... } gibi küçük bir JSON payload yazdırır. test:docker:mcp-channels kasıtlı olarak deterministiktir ve gerçek bir Telegram, Discord veya iMessage hesabına ihtiyaç duymaz. Tohumlanmış bir Gateway container’ı başlatır, ardından openclaw mcp serve oluşturan ikinci bir container başlatır; sonra yönlendirilmiş konuşma keşfini, döküm okumalarını, ek metadata’sını, live olay kuyruğu davranışını, giden gönderim yönlendirmesini ve Claude tarzı kanal + izin bildirimlerini gerçek stdio MCP bridge üzerinden doğrular. Bildirim kontrolü, ham stdio MCP frame’lerini doğrudan inceler; böylece smoke testi yalnızca belirli bir istemci SDK’sının açığa çıkardığını değil, bridge’in gerçekten ne yaydığını doğrular.

Elle ACP düz dil thread smoke testi (CI değil):

  • bun scripts/dev/discord-acp-plain-language-smoke.ts --channel <discord-channel-id> ...
  • Bu betiği regresyon/hata ayıklama iş akışları için koruyun. ACP thread yönlendirme doğrulaması için tekrar gerekebilir, bu yüzden silmeyin.

Yararlı ortam değişkenleri:

  • OPENCLAW_CONFIG_DIR=... (varsayılan: ~/.openclaw), /home/node/.openclaw altına bağlanır
  • OPENCLAW_WORKSPACE_DIR=... (varsayılan: ~/.openclaw/workspace), /home/node/.openclaw/workspace altına bağlanır
  • OPENCLAW_PROFILE_FILE=... (varsayılan: ~/.profile), /home/node/.profile altına bağlanır ve testler çalışmadan önce kaynağı alınır
  • OPENCLAW_DOCKER_PROFILE_ENV_ONLY=1, OPENCLAW_PROFILE_FILE içinden alınan yalnızca ortam değişkenlerini doğrulamak için; geçici config/workspace dizinleri ve harici CLI auth bağlamaları olmadan kullanılır
  • OPENCLAW_DOCKER_CLI_TOOLS_DIR=... (varsayılan: ~/.cache/openclaw/docker-cli-tools), Docker içinde önbellekli CLI kurulumları için /home/node/.npm-global altına bağlanır
  • $HOME altındaki harici CLI auth dizinleri/dosyaları, /host-auth... altına salt okunur bağlanır, sonra testler başlamadan önce /home/node/... altına kopyalanır
    • Varsayılan dizinler: .minimax
    • Varsayılan dosyalar: ~/.codex/auth.json, ~/.codex/config.toml, .claude.json, ~/.claude/.credentials.json, ~/.claude/settings.json, ~/.claude/settings.local.json
    • Daraltılmış sağlayıcı çalıştırmaları, yalnızca OPENCLAW_LIVE_PROVIDERS / OPENCLAW_LIVE_GATEWAY_PROVIDERS üzerinden çıkarılan gerekli dizinleri/dosyaları bağlar
    • Elle geçersiz kılmak için OPENCLAW_DOCKER_AUTH_DIRS=all, OPENCLAW_DOCKER_AUTH_DIRS=none veya OPENCLAW_DOCKER_AUTH_DIRS=.claude,.codex gibi virgülle ayrılmış bir liste kullanın
  • Çalıştırmayı daraltmak için OPENCLAW_LIVE_GATEWAY_MODELS=... / OPENCLAW_LIVE_MODELS=...
  • Container içindeki sağlayıcıları filtrelemek için OPENCLAW_LIVE_GATEWAY_PROVIDERS=... / OPENCLAW_LIVE_PROVIDERS=...
  • Yeniden derleme gerekmeyen tekrar çalıştırmalarda mevcut openclaw:local-live image’ını yeniden kullanmak için OPENCLAW_SKIP_DOCKER_BUILD=1
  • Kimlik bilgilerinin env’den değil profile deposundan gelmesini sağlamak için OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1
  • Open WebUI smoke testi için gateway’in sunduğu modeli seçmek üzere OPENCLAW_OPENWEBUI_MODEL=...
  • Open WebUI smoke testinde kullanılan nonce kontrol prompt’unu geçersiz kılmak için OPENCLAW_OPENWEBUI_PROMPT=...
  • Sabitlenmiş Open WebUI image etiketini geçersiz kılmak için OPENWEBUI_IMAGE=...

Belge tutarlılığı

Belge düzenlemelerinden sonra docs kontrollerini çalıştırın: pnpm check:docs. Sayfa içi başlık kontrollerine de ihtiyaç duyduğunuzda tam Mintlify anchor doğrulamasını çalıştırın: pnpm docs:check-links:anchors.

Çevrimdışı regresyon (CI için güvenli)

Bunlar gerçek sağlayıcılar olmadan “gerçek hat” regresyonlarıdır:

  • Gateway tool calling (sahte OpenAI, gerçek gateway + agent döngüsü): src/gateway/gateway.test.ts (durum: "runs a mock OpenAI tool call end-to-end via gateway agent loop")
  • Gateway wizard (WS wizard.start/wizard.next, config + auth enforced yazımı): src/gateway/gateway.test.ts (durum: "runs wizard over ws and writes auth token config")

Agent güvenilirlik değerlendirmeleri (Skills)

Zaten “agent güvenilirlik değerlendirmeleri” gibi davranan birkaç CI için güvenli testimiz var:

  • Gerçek gateway + agent döngüsü üzerinden sahte tool-calling (src/gateway/gateway.test.ts).
  • Oturum bağlantılandırmasını ve yapılandırma etkilerini doğrulayan uçtan uca wizard akışları (src/gateway/gateway.test.ts).

Skills için hâlâ eksik olanlar (bkz. Skills):

  • Karar verme: Skills prompt içinde listelendiğinde agent doğru Skill’i seçiyor mu (veya ilgisiz olanlardan kaçınıyor mu)?
  • Uyumluluk: agent kullanımdan önce SKILL.md okuyor ve gerekli adımları/argümanları izliyor mu?
  • İş akışı sözleşmeleri: araç sırasını, oturum geçmişi taşınmasını ve sandbox sınırlarını doğrulayan çok turlu senaryolar.

Gelecekteki değerlendirmeler önce deterministik kalmalıdır:

  • Araç çağrılarını + sıralarını, Skill dosyası okumalarını ve oturum bağlantılandırmasını doğrulamak için sahte sağlayıcılar kullanan bir senaryo çalıştırıcısı.
  • Skill odaklı küçük bir senaryo paketi (kullan vs kaçın, geçitleme, prompt injection).
  • Yalnızca CI için güvenli paket yerleştiğinde isteğe bağlı live değerlendirmeler (env ile geçitlenen).

Sözleşme testleri (Plugin ve kanal şekli)

Sözleşme testleri, kayıtlı her Plugin ve kanalın kendi arayüz sözleşmesine uyduğunu doğrular. Keşfedilen tüm Plugin’ler üzerinde yineleme yapar ve şekil ile davranış doğrulamalarından oluşan bir paket çalıştırır. Varsayılan pnpm test unit hattı bu paylaşılan seam ve smoke dosyalarını özellikle atlar; paylaşılan kanal veya sağlayıcı yüzeylerine dokunduğunuzda sözleşme komutlarını açıkça çalıştırın.

Komutlar

  • Tüm sözleşmeler: pnpm test:contracts
  • Yalnızca kanal sözleşmeleri: pnpm test:contracts:channels
  • Yalnızca sağlayıcı sözleşmeleri: pnpm test:contracts:plugins

Kanal sözleşmeleri

src/channels/plugins/contracts/*.contract.test.ts içinde bulunur:

  • plugin - Temel Plugin şekli (id, name, capabilities)
  • setup - Kurulum wizard’ı sözleşmesi
  • session-binding - Oturum bağlama davranışı
  • outbound-payload - Mesaj payload yapısı
  • inbound - Gelen mesaj işleme
  • actions - Kanal eylem işleyicileri
  • threading - Thread ID işleme
  • directory - Dizin/roster API
  • group-policy - Grup ilkesi uygulaması

Sağlayıcı durum sözleşmeleri

src/plugins/contracts/*.contract.test.ts içinde bulunur.

  • status - Kanal durum probları
  • registry - Plugin kayıt defteri şekli

Sağlayıcı sözleşmeleri

src/plugins/contracts/*.contract.test.ts içinde bulunur:

  • auth - Auth akışı sözleşmesi
  • auth-choice - Auth seçimi/seçim mantığı
  • catalog - Model kataloğu API
  • discovery - Plugin keşfi
  • loader - Plugin yükleme
  • runtime - Sağlayıcı runtime’ı
  • shape - Plugin şekli/arayüzü
  • wizard - Kurulum wizard’ı

Ne zaman çalıştırılmalı

  • Plugin SDK dışa aktarımlarını veya alt yollarını değiştirdikten sonra
  • Bir kanal veya sağlayıcı Plugin’i ekledikten ya da değiştirdikten sonra
  • Plugin kaydı veya keşfini yeniden düzenledikten sonra

Sözleşme testleri CI içinde çalışır ve gerçek API anahtarları gerektirmez.

Regresyon ekleme (kılavuz)

Live ortamda keşfedilen bir sağlayıcı/model sorununu düzelttiğinizde:

  • Mümkünse CI için güvenli bir regresyon ekleyin (sahte/stub sağlayıcı veya tam istek-şekli dönüşümünü yakalayın)
  • Sorun doğası gereği yalnızca live ise (rate limit, auth politikaları), live testini dar ve env değişkenleriyle isteğe bağlı tutun
  • Hatayı yakalayan en küçük katmanı hedeflemeyi tercih edin:
    • sağlayıcı istek dönüştürme/replay hatası → doğrudan model testi
    • gateway oturumu/geçmiş/araç hattı hatası → gateway live smoke veya CI için güvenli gateway mock testi
  • SecretRef traversal guardrail:
    • src/secrets/exec-secret-ref-id-parity.test.ts, kayıt defteri metadata’sından (listSecretTargetRegistryEntries()) SecretRef sınıfı başına örnek bir hedef türetir, ardından traversal segment exec kimliklerinin reddedildiğini doğrular.
    • src/secrets/target-registry-data.ts içine yeni bir includeInPlan SecretRef hedef ailesi eklerseniz, bu testte classifyTargetClass değerini güncelleyin. Test, sınıflandırılmamış hedef kimliklerinde bilerek başarısız olur; böylece yeni sınıflar sessizce atlanamaz.