Công cụ & Khả năng

Tổng quan

Công cụ là các hành động mà tác nhân của bạn có thể thực hiện trong các cuộc trò chuyện. Khi tác nhân cần duyệt web, chạy lệnh, đọc tệp hoặc điều khiển thiết bị, nó sử dụng công cụ.

Neotask cung cấp một bộ công cụ tích hợp phong phú bao gồm quản lý tệp, thực thi mã, tự động hóa trình duyệt, điều khiển thiết bị, nhắn tin, tìm kiếm web và nhiều hơn nữa.

Thao tác tệp

Các tác nhân có thể đọc, ghi và chỉnh sửa tệp trong không gian làm việc của họ:

• Đọc, Đọc nội dung tệp
• Ghi, Tạo hoặc ghi đè tệp
• Chỉnh sửa, Thực hiện các chỉnh sửa có mục tiêu đến các phần cụ thể của tệp
• Áp dụng patch, Áp dụng các diff hợp nhất đa hunk cho các sửa đổi tệp phức tạp

Thực thi mã

Các tác nhân có thể chạy lệnh shell với cô lập có thể cấu hình:

• Thực thi Gateway, Chạy lệnh trực tiếp trên máy lưu trữ Gateway
• Thực thi hộp cát, Chạy lệnh trong các container Docker cô lập với giới hạn tài nguyên
• Thực thi node, Chạy lệnh trên các thiết bị đồng hành kết nối (macOS, node Linux)

Tính năng thực thi

• Thời gian chờ có thể cấu hình (mặc định 30 phút)
• Quản lý công việc nền (liệt kê, thăm dò, hủy, xóa)
• Tự động chuyển sang nền cho các lệnh chạy lâu
• Hỗ trợ TTY cho các chương trình tương tác
• Chế độ nâng cao cho các hoạt động đặc quyền (chỉ trên máy chủ gateway)

Quy trình phê duyệt

Các lệnh nhạy cảm có thể yêu cầu phê duyệt người dùng trước khi thực thi:

• Danh sách cho phép, Chỉ các lệnh được phê duyệt trước mới thực thi
• Hỏi, Các lệnh không xác định nhắc phê duyệt
• Đầy đủ, Không có hạn chế

Tự động hóa trình duyệt

Các tác nhân điều khiển trình duyệt dựa trên Chromium đầy đủ (Chrome, Brave hoặc Edge):

Hành động

• Điều hướng, Mở URL và điều hướng giữa các trang
• Tương tác, Nhấp, gõ, di chuột, kéo, chọn, điền biểu mẫu
• Chụp, Chụp ảnh màn hình, xuất PDF
• Kiểm tra, Chụp ảnh nhanh DOM hoặc cây trợ năng
• Thực thi, Chạy JavaScript trong ngữ cảnh trang
• Tải lên, Tải tệp lên các biểu mẫu web
• Quản lý, Xử lý hộp thoại (cảnh báo, xác nhận), đọc đầu ra console

Hồ sơ trình duyệt

Nhiều hồ sơ trình duyệt cô lập để tách biệt các tài khoản:

• Mỗi hồ sơ có cookie, bộ nhớ và lịch sử riêng
• Cổng CDP được tự động gán để kiểm soát lập trình
• Hỗ trợ trình duyệt từ xa (kết nối với trình duyệt trên các máy khác)

Canvas & A2UI

Hệ thống Agent-to-UI (A2UI) cho phép tác nhân kết xuất nội dung trực quan tương tác trên các thiết bị kết nối:

• Trình bày, Hiển thị các trang web hoặc nội dung tùy chỉnh trên canvas của thiết bị
• Điều hướng, Kiểm soát những gì được hiển thị trong cửa sổ canvas
• Đánh giá, Thực thi JavaScript trong ngữ cảnh canvas
• Chụp ảnh nhanh, Chụp những gì đang được hiển thị
• A2UI Push, Gửi các cập nhật giao diện người dùng có cấu trúc (payload JSONL) đến canvas
• A2UI Reset, Xóa trạng thái canvas

Kết xuất canvas có sẵn trên macOS (WebKit), iOS (SwiftUI), Android (Jetpack Compose) và web (WebChat).

Khả năng thiết bị node

Qua các ứng dụng đồng hành kết nối, tác nhân có thể:

Camera

• Chụp, Chụp ảnh (camera trước hoặc sau)
• Clip, Ghi video clip với thời gian và FPS có thể cấu hình

Màn hình

• Ghi, Chụp ghi màn hình với thời gian và chất lượng có thể cấu hình

Vị trí

• Lấy, Truy xuất tọa độ GPS với lựa chọn độ chính xác

Thông báo

• Thông báo, Gửi thông báo OS gốc với tiêu đề, nội dung và mức độ ưu tiên

Lệnh hệ thống

• Chạy, Thực thi lệnh shell trên thiết bị node
• Which, Kiểm tra xem một lệnh có sẵn trên node không

Nhắn tin

Các tác nhân có thể gửi và quản lý tin nhắn trên các kênh kết nối:

• Gửi, Gửi tin nhắn đến bất kỳ kênh/người nhận kết nối nào
• Chỉnh sửa, Chỉnh sửa các tin nhắn đã gửi trước đó
• Phản ứng, Thêm phản ứng vào tin nhắn
• Chủ đề, Tạo chủ đề và trả lời trong đó
• Thăm dò, Tạo thăm dò trên các nền tảng được hỗ trợ
• Giọng nói, Kiểm tra trạng thái kênh giọng nói (Discord)

Web

• Tìm kiếm, Tìm kiếm web qua Brave Search API
• Tải, Truy xuất các trang web và chuyển đổi HTML sang markdown/văn bản

Bộ nhớ & Ngữ cảnh

• Tìm kiếm bộ nhớ, Tìm kiếm độ tương tự vector trên các tệp bộ nhớ tác nhân
• Lấy bộ nhớ, Truy xuất các tệp bộ nhớ cụ thể theo tên

Quản lý phiên

• Liệt kê phiên, Xem các phiên hoạt động trên các tác nhân
• Lịch sử phiên, Lấy bản ghi cho bất kỳ phiên nào
• Gửi đến phiên, Gửi tin nhắn đến các phiên tác nhân khác
• Tạo tác nhân phụ, Bắt đầu các lần chạy tác nhân phụ cô lập
• Liệt kê tác nhân, Xem các tác nhân có sẵn

Tự động hóa

• Cron, Tạo, chỉnh sửa, chạy và quản lý các công việc theo lịch
• Gateway, Khởi động lại gateway, áp dụng các thay đổi cấu hình, chạy cập nhật

Phân tích hình ảnh

Các tác nhân có thể phân tích hình ảnh bằng các mô hình thị giác được cấu hình, mô tả nội dung, trích xuất văn bản, xác định đối tượng và trả lời câu hỏi về nội dung trực quan.

Nhóm công cụ

Các công cụ được tổ chức thành các nhóm để quản lý quyền dễ dàng: