Eşlik Eden Uygulamalar

Eşlik Eden Uygulamalar Nedir?

Eşlik eden uygulamalar, Gateway'e düğüm olarak bağlanan iOS, Android ve macOS için yerel uygulamalardır. Düğümler, cihaz yeteneklerini, kamera, tuval, ekran kaydı, konum, ses ve sistem yürütme, ajanlarınıza açar.

Bunu şöyle düşünün: Gateway beyin, eşlik eden uygulamalar ise cihazlarınızdaki eller ve gözlerdir.

Düğümler Nasıl Çalışır?

1. Bağlan, Eşlik eden uygulama, Gateway'e WebSocket üzerinden bağlanır
2. Eşleştir, Yeni cihazlar eşleştirme onay sürecinden geçer
3. Yetenekleri kaydet, Uygulama, Gateway'e neler yapabileceğini bildirir (kamera, tuval, konum vb.)
4. Ajanlar çağırır, Konuşmalar sırasında ajanlar, düğümden fotoğraf çekmesini, ekranı kaydetmesini, bir tuval oluşturmasını ve daha fazlasını isteyebilir

Düğümler Gateway değildir, kendi yapay zekalarını çalıştırmazlar. Ajanlarınızın yapabileceklerini genişleten çevresel cihazlardır.

macOS Eşlik Eden Uygulaması

macOS uygulaması menü çubuğunuzda yaşar ve hem eşlik eden düğüm hem de gateway yöneticisi olarak hizmet eder.

Yetenekler

• Tuval, Yerel pencerede etkileşimli web içeriği oluşturma
• Kamera, Fotoğraf ve video klipler çekme (ön/arka)
• Ekran Kaydı, Tam ekran veya uygulama başına kayıt
• Sistem Yürütme, Mac'te kabuk komutlarını çalıştırma (yürütme onaylarıyla kısıtlı)
• Bildirimler, Öncelik seçenekleriyle yerel macOS bildirimleri gönderme
• Konum, Mevcut olduğunda GPS

Ek Özellikler

• Gateway Yönetimi, Gateway'i başlatın, durdurun ve izleyin
• İzin Sahipliği, macOS TCC izinlerini yönetir (Bildirimler, Erişilebilirlik, Ekran Kaydı, Mikrofon, Konuşma Tanıma, AppleScript)
• Derin Bağlantılar, Parametrelerle ajanları başlatmak için neotask:// URL şeması
• CLI Kurulumu, neotask komut satırı aracını kurar

iOS Uygulaması

iOS uygulaması, Gateway'e bir düğüm olarak bağlanır ve mobil yetenekleri ajanlarınıza getirir.

Yetenekler

• Tuval, SwiftUI tabanlı etkileşimli içerik oluşturma
• Kamera, Fotoğraflar ve video klipler (ön/arka kameralar)
• Ses Kaydı, Mikrofon yakalama
• Konum, Doğruluk seçimiyle GPS
• Bildirimler, Yerel iOS push bildirimleri

Özellikler

• Keşif, Gateway'i Bonjour (LAN), Tailscale (VPN) veya manuel giriş aracılığıyla bulur
• Eşleştirme, Gateway'den onay ile güvenli cihaz eşleştirme
• Ses Uyandırma, Eller serbest etkileşim için uyandırma kelimesi aktivasyonu
• Konuşma Modu, Sürekli ses konuşması
• Paylaşım Uzantısı, Diğer uygulamalardan doğrudan ajanınıza içerik paylaşın
• A2UI, Cihaz tuvalinde ajan güdümlü kullanıcı arayüzü oluşturma

Sınırlamalar

• Ön plan öncelikli tasarım (iOS arka planda WebSocket bağlantılarını askıya alır)
• Katı arka plan komut kısıtlamaları
• Şu anda dahili önizlemede

Android Uygulaması

Android uygulaması, iOS'a benzer yeteneklerle bir düğüm olarak bağlanır.

Yetenekler

• Tuval, Jetpack Compose tabanlı kullanıcı arayüzü oluşturma
• Kamera, Fotoğraflar ve video (ön/arka, izin korumalı)
• Ekran Kaydı, Sistem ekran yakalama (Android 10+)
• Konum, Doğruluk modlarıyla GPS
• SMS Gönderme, Telefonlu desteğe sahip cihazlarda
• Sohbet ve Geçmiş, Cihazda konuşma geçmişini görüntüleme

Özellikler

• Ön Plan Hizmeti, Kalıcı bildirim bağlantıyı canlı tutar
• Paylaşılan Oturumlar, Tüm bağlı düğümler arasında aynı oturum
• Modern Android, Android 12+ gerektirir (API 31)

Başsız Düğüm Ana Bilgisayarı

Herhangi bir kullanıcı arayüzü olmadan bir düğüm çalıştırın, derleme sunucuları, uzak makineler veya başsız Linux kutuları için idealdir.

Yetenekler

• Sistem Yürütme, Düğüm ana bilgisayarında komutları çalıştırın
• Komut İzin Listesi, Düğümün hangi komutları yürüteceğini yapılandırın
• Kalıcı Hizmet, launchd/systemd hizmeti olarak kurun

Kullanım Senaryoları

• CI/CD derleme ajanları, Yapay zeka ajanınızın uzak sunucuda derlemeleri tetiklemesine izin verin
• Ev laboratuvarı otomasyonu, Raspberry Pi veya ev sunucusunda komutları çalıştırın
• Çok makine düzenlemesi, Birden fazla makine arasında görevleri koordine edin

Cihaz Eşleştirme

Eşleştirme Akışı

1. Eşlik eden uygulama, cihaz kimliğini (parmak izi + açık anahtar) sunar
2. Gateway, eşleştirme onay isteği gönderir
3. Cihazı masaüstü uygulama veya gösterge paneli üzerinden onaylarsınız
4. Gateway, gelecekteki bağlantılar için bir cihaz token'ı verir

Güven Modeli

• Yerel cihazlar (geri döngü) kolaylık için otomatik olarak onaylanır
• Yerel olmayan cihazlar açık onay gerektirir
• Cihaz token'ları yerel olarak depolanır ve yeniden bağlanmada yeniden kullanılır

Yürütme Onayları

Sistem komutları çalıştırabilen düğümler için (macOS, başsız ana bilgisayarlar), yürütme onayları neyin izinli olduğunu kontrol eder:

• İzin listesi modu, Yalnızca önceden onaylanmış komutlar yürütülebilir
• Sor modu, Bilinmeyen komutlar onay için sizi uyarır
• Tam mod, Kısıtlama yok (dikkatli kullanın)

Her cihazın ne yapabileceğini tam olarak kontrol etmek için düğüm başına izin listelerini yapılandırın.