工具與功能

概述

工具是您的代理程式在對話期間可以採取的動作。當代理程式需要瀏覽網頁、執行命令、讀取檔案或控制裝置時，它使用工具。

Neotask 提供豐富的內建工具集，涵蓋檔案管理、程式碼執行、瀏覽器自動化、裝置控制、訊息傳送、網頁搜尋等。

檔案操作

代理程式可以讀取、寫入和編輯其工作空間中的檔案：

• Read, 讀取檔案內容
• Write, 建立或覆蓋檔案
• Edit, 對檔案的特定部分進行有目標的編輯
• Apply Patch, 套用多區塊統一差異以進行複雜的檔案修改

程式碼執行

代理程式可以執行具有可設定隔離的 shell 命令：

• Gateway 執行, 直接在託管 Gateway 的機器上執行命令
• 沙盒執行, 在具有資源限制的隔離 Docker 容器中執行命令
• 節點執行, 在已連接的伴侶裝置（macOS、Linux 節點）上執行命令

執行功能

• 可設定的超時（預設 30 分鐘）
• 背景工作管理（列表、輪詢、終止、清除）
• 長時間執行命令自動轉至背景
• 互動式程式的 TTY 支援
• 特權操作的提升模式（僅限 Gateway 主機）

核准工作流程

敏感命令在執行前可能需要使用者核准：

• Allowlist, 只有預先核准的命令才能執行
• Ask, 未知命令提示核准
• Full, 無限制

瀏覽器自動化

代理程式控制基於 Chromium 的完整瀏覽器（Chrome、Brave 或 Edge）：

動作

• Navigate, 開啟 URL 並在頁面間導覽
• Interact, 點擊、輸入、懸停、拖曳、選擇、填寫表單
• Capture, 截圖、匯出 PDF
• Inspect, 擷取 DOM 或無障礙樹快照
• Execute, 在頁面上下文中執行 JavaScript
• Upload, 上傳檔案至網頁表單
• Manage, 處理對話框（警告、確認）、讀取主控台輸出

瀏覽器設定檔

多個隔離的瀏覽器設定檔用於分隔帳戶：

• 每個設定檔都有自己的 Cookie、儲存空間和歷史
• 自動分配 CDP 連接埠以進行程式化控制
• 遠端瀏覽器支援（連接至其他機器上的瀏覽器）

畫布與 A2UI

代理程式到 UI（A2UI）系統讓代理程式在已連接裝置上渲染互動式視覺內容：

• Present, 在裝置畫布上顯示網頁或自訂內容
• Navigate, 控制畫布視窗中顯示的內容
• Evaluate, 在畫布上下文中執行 JavaScript
• Snapshot, 擷取當前顯示的內容
• A2UI Push, 將結構化 UI 更新（JSONL 有效負載）傳送至畫布
• A2UI Reset, 清除畫布狀態

畫布渲染可在 macOS（WebKit）、iOS（SwiftUI）、Android（Jetpack Compose）和網頁（WebChat）上使用。

節點裝置功能

透過已連接的伴侶應用程式，代理程式可以：

相機

• Snap, 拍照（前置或後置相機）
• Clip, 錄製具有可設定時間長度和幀率的影片片段

螢幕

• Record, 擷取具有可設定時間長度和品質的螢幕錄影

位置

• Get, 擷取具有精確度選擇的 GPS 座標

通知

• Notify, 傳送具有標題、正文和優先級的原生作業系統通知

系統命令

• Run, 在節點裝置上執行 shell 命令
• Which, 檢查節點上是否有可用命令

訊息傳送

代理程式可以透過已連接的頻道傳送和管理訊息：

• Send, 向任何已連接的頻道/收件人傳送訊息
• Edit, 編輯之前傳送的訊息
• React, 為訊息添加回應
• Thread, 建立討論串並在其中回覆
• Poll, 在支援的平台上建立投票
• Voice, 檢查語音頻道狀態（Discord）

網頁

• Search, 透過 Brave Search API 進行網頁搜尋
• Fetch, 擷取網頁並將 HTML 轉換為 Markdown/文字

記憶體與上下文

• Memory Search, 對代理程式記憶體檔案進行向量相似性搜尋
• Memory Get, 按名稱擷取特定記憶體檔案

工作階段管理

• List Sessions, 查看跨代理程式的活躍工作階段
• Session History, 獲取任何工作階段的轉錄
• Send to Session, 向其他代理程式工作階段傳送訊息
• Spawn Sub-Agent, 啟動隔離的子代理程式執行
• List Agents, 查看可用的代理程式

自動化

• Cron, 建立、編輯、執行和管理排程工作
• Gateway, 重新啟動 Gateway、套用設定更改、執行更新

圖像分析

代理程式可以使用設定的視覺模型分析圖像, , 描述內容、提取文字、識別物件，以及回答關於視覺內容的問題。

工具群組

工具按群組組織，以便輕鬆進行權限管理：