Araçlar ve Yetenekler

Genel Bakış

Araçlar, ajanlarınızın konuşmalar sırasında gerçekleştirebileceği eylemlerdir. Bir ajan web'e göz atması, komut çalıştırması, dosya okuması veya cihaz kontrolü yapması gerektiğinde araçları kullanır.

Neotask, dosya yönetimi, kod yürütme, tarayıcı otomasyonu, cihaz kontrolü, mesajlaşma, web araması ve daha fazlasını kapsayan zengin bir yerleşik araç seti sağlar.

Dosya İşlemleri

Ajanlar, çalışma alanlarındaki dosyaları okuyabilir, yazabilir ve düzenleyebilir:

• Oku, Dosya içeriğini oku
• Yaz, Dosyalar oluştur veya üzerine yaz
• Düzenle, Bir dosyanın belirli bölümlerinde hedefli düzenlemeler yap
• Yama Uygula, Karmaşık dosya değişiklikleri için çok yığınlı birleşik farklar uygula

Kod Yürütme

Ajanlar, yapılandırılabilir yalıtımla kabuk komutları çalıştırabilir:

• Gateway yürütmesi, Komutları doğrudan Gateway'i barındıran makinede çalıştır
• Korumalı alan yürütmesi, Komutları, kaynak limitleriyle yalıtılmış Docker konteynerlerinde çalıştır
• Düğüm yürütmesi, Bağlı eşlik eden cihazlarda (macOS, Linux düğümleri) komutları çalıştır

Yürütme Özellikleri

• Yapılandırılabilir zaman aşımları (varsayılan 30 dakika)
• Arka plan iş yönetimi (listeleme, yoklama, sonlandırma, temizleme)
• Uzun süreli komutlar için otomatik arka plan işlemi
• Etkileşimli programlar için TTY desteği
• Ayrıcalıklı işlemler için yükseltilmiş mod (yalnızca gateway ana bilgisayarı)

Onay İş Akışları

Hassas komutlar yürütmeden önce kullanıcı onayı gerektirebilir:

• İzin listesi, Yalnızca önceden onaylanmış komutlar yürütülür
• Sor, Bilinmeyen komutlar onay için uyarır
• Tam, Kısıtlama yok

Tarayıcı Otomasyonu

Ajanlar tam Chromium tabanlı tarayıcıyı (Chrome, Brave veya Edge) kontrol eder:

Eylemler

• Gezin, URL'leri açın ve sayfalar arasında gezinin
• Etkileşim, Tıklayın, yazın, üzerinde durun, sürükleyin, seçin, formları doldurun
• Yakalayın, Ekran görüntüsü alın, PDF'leri dışa aktarın
• İnceleyin, DOM'un veya erişilebilirlik ağacının anlık görüntüsünü alın
• Yürütün, Sayfa bağlamında JavaScript çalıştırın
• Yükleyin, Web formlarına dosya yükleyin
• Yönetin, İletişim kutularını (uyarılar, onaylar) yönetin, konsol çıktısını okuyun

Tarayıcı Profilleri

Hesapları ayırmak için birden fazla yalıtılmış tarayıcı profili:

• Her profilin kendi çerezleri, depolaması ve geçmişi vardır
• Programatik kontrol için otomatik atanmış CDP portları
• Uzak tarayıcı desteği (diğer makinelerdeki tarayıcılara bağlan)

Tuval ve A2UI

Ajan-Kullanıcı Arayüzü (A2UI) sistemi, ajanların bağlı cihazlarda etkileşimli görsel içerik oluşturmasına olanak tanır:

• Sunum, Cihazın tuvalinde web sayfaları veya özel içerik görüntüleyin
• Gezin, Tuval penceresinde nelerin gösterildiğini kontrol edin
• Değerlendirin, Tuval bağlamında JavaScript çalıştırın
• Anlık Görüntü, Şu anda görüntülenenin görüntüsünü alın
• A2UI İletimi, Tuvale yapılandırılmış kullanıcı arayüzü güncellemeleri (JSONL yükleri) gönderin
• A2UI Sıfırlama, Tuval durumunu temizleyin

Tuval oluşturma macOS (WebKit), iOS (SwiftUI), Android (Jetpack Compose) ve web (WebChat) üzerinde mevcuttur.

Düğüm Cihaz Yetenekleri

Bağlı eşlik eden uygulamalar aracılığıyla ajanlar şunları yapabilir:

Kamera

• Anlık Görüntü, Fotoğraf çekin (ön veya arka kamera)
• Klip, Yapılandırılabilir süre ve FPS ile video klipleri kaydedin

Ekran

• Kaydın, Yapılandırılabilir süre ve kaliteyle ekran kayıtları alın

Konum

• Al, Doğruluk seçimiyle GPS koordinatlarını alın

Bildirimler

• Bildir, Başlık, gövde ve öncelikle yerel işletim sistemi bildirimleri gönderin

Sistem Komutları

• Çalıştır, Düğüm cihazında kabuk komutlarını yürütün
• Hangi, Düğümde bir komutun kullanılabilir olup olmadığını kontrol edin

Mesajlaşma

Ajanlar, bağlı kanallar arasında mesajlar gönderebilir ve yönetebilir:

• Gönder, Herhangi bir bağlı kanala/alıcıya mesaj gönderin
• Düzenle, Önceden gönderilen mesajları düzenleyin
• Tepki ver, Mesajlara tepkiler ekleyin
• Konu, Konular oluşturun ve bunların içinde yanıt verin
• Anket, Desteklenen platformlarda anketler oluşturun
• Ses, Ses kanalı durumunu kontrol edin (Discord)

Web

• Arama, Brave Search API üzerinden web araması
• Al, Web sayfalarını alın ve HTML'yi markdown/metne dönüştürün

Bellek ve Bağlam

• Bellek Araması, Ajan bellek dosyaları üzerinde vektör benzerlik araması
• Bellek Alımı, Belirli bellek dosyalarını ada göre alın

Oturum Yönetimi

• Oturumları Listele, Ajanlar genelinde etkin oturumları görüntüleyin
• Oturum Geçmişi, Herhangi bir oturum için dökümü getirin
• Oturuma Gönder, Diğer ajan oturumlarına mesaj gönderin
• Alt Ajan Oluştur, Yalıtılmış alt ajan çalışmaları başlatın
• Ajanları Listele, Kullanılabilir ajanları görüntüleyin

Otomasyon

• Cron, Zamanlanmış işler oluşturun, düzenleyin, çalıştırın ve yönetin
• Gateway, Gateway'i yeniden başlatın, yapılandırma değişikliklerini uygulayın, güncellemeleri çalıştırın

Görüntü Analizi

Ajanlar, yapılandırılmış vizyon modellerini kullanarak görüntüleri analiz edebilir, içeriği tanımlayın, metin çıkarın, nesneleri tanımlayın ve görsel içerik hakkındaki soruları yanıtlayın.

Araç Grupları

Araçlar, kolay izin yönetimi için gruplara düzenlenmiştir: