الأدوات والإمكانيات
نظرة عامة
الأدوات هي الإجراءات التي يمكن لوكلائك اتخاذها أثناء المحادثات. عندما يحتاج الوكيل إلى تصفح الويب أو تشغيل أمر أو قراءة ملف أو التحكم في جهاز، فإنه يستخدم الأدوات.
يوفر Neotask مجموعة غنية من الأدوات المدمجة تغطي إدارة الملفات وتنفيذ الكود وأتمتة المتصفح والتحكم في الجهاز والرسائل والبحث على الويب والمزيد.
عمليات الملفات
يمكن للوكلاء قراءة وكتابة وتحرير الملفات في مساحة عملهم:
- قراءة, قراءة محتويات الملف
- كتابة, إنشاء أو استبدال الملفات
- تحرير, إجراء تعديلات موجهة على أجزاء محددة من ملف
- تطبيق تصحيح, تطبيق فروق موحدة متعددة المقاطع لتعديلات ملفات معقدة
تنفيذ الكود
يمكن للوكلاء تشغيل أوامر الطرفية بعزل قابل للتكوين:
- تنفيذ البوابة, تشغيل الأوامر مباشرة على الآلة التي تستضيف البوابة
- تنفيذ البيئة المعزولة, تشغيل الأوامر في حاويات Docker معزولة بحدود موارد
- تنفيذ العقدة, تشغيل الأوامر على الأجهزة المرافقة المتصلة (عقد macOS وLinux)
ميزات التنفيذ
- مهل قابلة للتكوين (30 دقيقة افتراضياً)
- إدارة المهام الخلفية (قائمة واستطلاع وإيقاف ومسح)
- خلفية تلقائية للأوامر طويلة الأمد
- دعم TTY للبرامج التفاعلية
- الوضع المرتفع للعمليات المميزة (مضيف البوابة فقط)
سير عمل الموافقة
يمكن للأوامر الحساسة أن تتطلب موافقة المستخدم قبل التنفيذ:
- قائمة السماح, الأوامر المعتمدة مسبقاً فقط تنفّذ
- الطلب, الأوامر غير المعروفة تطلب الموافقة
- كامل, بدون قيود
أتمتة المتصفح
يتحكم الوكلاء في متصفح مبني على Chromium كامل (Chrome أو Brave أو Edge):
الإجراءات
- التنقل, فتح عناوين URL والتنقل بين الصفحات
- التفاعل, النقر والكتابة والتحريك والسحب والاختيار وملء النماذج
- الالتقاط, التقاط لقطات الشاشة وتصدير ملفات PDF
- الفحص, لقطة من DOM أو شجرة إمكانية الوصول
- التنفيذ, تشغيل JavaScript في سياق الصفحة
- الرفع, رفع الملفات إلى نماذج الويب
- الإدارة, التعامل مع مربعات الحوار (تنبيهات وتأكيدات) وقراءة مخرجات وحدة التحكم
ملفات تعريف المتصفح
ملفات تعريف متصفح معزولة متعددة لفصل الحسابات:
- كل ملف تعريف له ملفات تعريف الارتباط والتخزين والسجل الخاصة به
- منافذ CDP معيّنة تلقائياً للتحكم البرمجي
- دعم المتصفح عن بُعد (الاتصال بالمتصفحات على الآلات الأخرى)
الشاشة التفاعلية وA2UI
نظام Agent-to-UI (A2UI) يتيح للوكلاء عرض محتوى مرئي تفاعلي على الأجهزة المتصلة:
- تقديم, عرض صفحات ويب أو محتوى مخصص على شاشة الجهاز التفاعلية
- التنقل, التحكم في المعروض في نافذة الشاشة التفاعلية
- التقييم, تنفيذ JavaScript في سياق الشاشة التفاعلية
- لقطة, التقاط ما يُعرض حالياً
- A2UI Push, إرسال تحديثات واجهة مستخدم منظمة (حمولات JSONL) إلى الشاشة التفاعلية
- A2UI Reset, مسح حالة الشاشة التفاعلية
يتوفر عرض الشاشة التفاعلية على macOS (WebKit) وiOS (SwiftUI) وAndroid (Jetpack Compose) والويب (WebChat).
إمكانيات جهاز العقدة
من خلال التطبيقات المرافقة المتصلة، يمكن للوكلاء:
الكاميرا
- لقطة, التقاط صور (كاميرا أمامية أو خلفية)
- مقطع, تسجيل مقاطع فيديو بمدة وإطارات في الثانية قابلة للتكوين
الشاشة
- تسجيل, التقاط تسجيلات الشاشة بمدة وجودة قابلتين للتكوين
الموقع
- الحصول, استرداد إحداثيات GPS مع اختيار الدقة
الإشعارات
- إخطار, إرسال إشعارات نظام التشغيل الأصلية مع عنوان وجسم وأولوية
أوامر النظام
- تشغيل, تنفيذ أوامر الطرفية على جهاز العقدة
- البحث, التحقق من توفر أمر على العقدة
الرسائل
يمكن للوكلاء إرسال وإدارة الرسائل عبر القنوات المتصلة:
- إرسال, إرسال رسائل إلى أي قناة/مستقبل متصل
- تحرير, تحرير الرسائل المرسلة مسبقاً
- رد فعل, إضافة ردود فعل على الرسائل
- خيط, إنشاء خيوط والرد داخلها
- استطلاع, إنشاء استطلاعات على المنصات المدعومة
- صوت, التحقق من حالة قناة الصوت (Discord)
الويب
- بحث, البحث على الويب عبر Brave Search API
- جلب, استرداد صفحات الويب وتحويل HTML إلى markdown/نص
الذاكرة والسياق
- بحث الذاكرة, البحث بالتشابه المتجهي في ملفات ذاكرة الوكيل
- الحصول على الذاكرة, استرداد ملفات ذاكرة محددة بالاسم
إدارة الجلسة
- قائمة الجلسات, عرض الجلسات النشطة عبر الوكلاء
- سجل الجلسة, جلب نص لأي جلسة
- الإرسال إلى الجلسة, إرسال رسائل إلى جلسات وكلاء أخرى
- إنشاء وكيل فرعي, بدء تشغيلات وكيل فرعي معزولة
- قائمة الوكلاء, عرض الوكلاء المتاحين
الأتمتة
- Cron, إنشاء وتحرير وتشغيل وإدارة المهام المجدولة
- البوابة, إعادة تشغيل البوابة وتطبيق تغييرات الإعداد وتشغيل التحديثات
تحليل الصور
يمكن للوكلاء تحليل الصور باستخدام نماذج الرؤية المكوّنة, وصف المحتوى واستخراج النص وتحديد الكائنات والإجابة على أسئلة حول المحتوى المرئي.
مجموعات الأدوات
تُنظَّم الأدوات في مجموعات لإدارة الأذونات بسهولة:
| المجموعة | الأدوات |
|---|---|
| runtime | exec وbash وprocess |
| fs | read وwrite وedit وapply_patch |
| sessions | sessions_list وsessions_history وsessions_send وsessions_spawn وsession_status |
| memory | memory_search وmemory_get |
| web | web_search وweb_fetch |
| ui | browser وcanvas |
| automation | cron وgateway |
| messaging | message |
| nodes | nodes |