ツールと機能

概要

ツールとは、会話中にエージェントが実行できるアクションです。エージェントがWebを閲覧したり、コマンドを実行したり、ファイルを読んだり、デバイスを制御したりする必要がある場合、ツールを使用します。

Neotaskはファイル管理、コード実行、ブラウザ自動化、デバイス制御、メッセージング、Web検索などをカバーする豊富な組み込みツールセットを提供しています。

ファイル操作

エージェントはワークスペース内のファイルを読み取り、書き込み、編集できます：

• 読み取り, ファイルの内容を読む
• 書き込み, ファイルを作成または上書き
• 編集, ファイルの特定の部分に対象を絞った編集を行う
• パッチ適用, 複雑なファイル変更のためのマルチハンクの統合差分を適用

コード実行

エージェントは設定可能な分離でシェルコマンドを実行できます：

• Gateway実行, Gatewayをホストするマシンで直接コマンドを実行
• サンドボックス実行, リソース制限付きの分離されたDockerコンテナでコマンドを実行
• ノード実行, 接続されたコンパニオンデバイス（macOS、Linuxノード）でコマンドを実行

実行機能

• 設定可能なタイムアウト（デフォルト30分）
• バックグラウンドジョブ管理（リスト、ポーリング、強制終了、クリア）
• 長時間実行コマンドの自動バックグラウンド化
• インタラクティブなプログラムのためのTTYサポート
• 特権操作のためのエレベーテッドモード（Gatewayホストのみ）

承認ワークフロー

機密性の高いコマンドは実行前にユーザーの承認が必要な場合があります：

• 許可リスト, 事前承認されたコマンドのみ実行
• 質問, 不明なコマンドは承認を求める
• フル, 制限なし

ブラウザ自動化

エージェントはChromiumベースの完全なブラウザ（Chrome、Brave、またはEdge）を制御します：

アクション

• ナビゲート, URLを開いてページ間を移動
• インタラクト, クリック、入力、ホバー、ドラッグ、選択、フォーム入力
• キャプチャ, スクリーンショットを撮影、PDFにエクスポート
• 検査, DOMまたはアクセシビリティツリーのスナップショット
• 実行, ページコンテキストでJavaScriptを実行
• アップロード, Webフォームにファイルをアップロード
• 管理, ダイアログ（アラート、確認）の処理、コンソール出力の読み取り

ブラウザプロファイル

アカウントを分離するための複数の独立したブラウザプロファイル：

• 各プロファイルは独自のCookie、ストレージ、履歴を持つ
• プログラム制御のための自動割り当てCDPポート
• リモートブラウザサポート（他のマシンのブラウザに接続）

キャンバスとA2UI

Agent-to-UI（A2UI）システムにより、エージェントは接続されたデバイスにインタラクティブなビジュアルコンテンツをレンダリングできます：

• 表示, デバイスのキャンバスにWebページまたはカスタムコンテンツを表示
• ナビゲート, キャンバスウィンドウに表示されるものを制御
• 評価, キャンバスコンテキストでJavaScriptを実行
• スナップショット, 現在表示されているものをキャプチャ
• A2UIプッシュ, 構造化されたUI更新（JSONLペイロード）をキャンバスに送信
• A2UIリセット, キャンバス状態をクリア

キャンバスのレンダリングはmacOS（WebKit）、iOS（SwiftUI）、Android（Jetpack Compose）、Web（WebChat）で利用できます。

ノードデバイスの機能

接続されたコンパニオンアプリを通じて、エージェントは：

カメラ

• スナップ, 写真を撮影（前面または背面カメラ）
• クリップ, 設定可能な時間とFPSで動画クリップを録画

画面

• 録画, 設定可能な時間と品質で画面録画をキャプチャ

位置情報

• 取得, 精度選択付きのGPS座標を取得

通知

• 通知, タイトル、本文、優先度付きのネイティブOS通知を送信

システムコマンド

• 実行, ノードデバイスでシェルコマンドを実行
• 確認, ノードでコマンドが利用可能かどうかを確認

メッセージング

エージェントは接続されたチャンネル間でメッセージを送受信・管理できます：

• 送信, 接続されたチャンネル/受信者にメッセージを送信
• 編集, 以前に送信したメッセージを編集
• リアクト, メッセージにリアクションを追加
• スレッド, スレッドを作成してその中で返信
• 投票, サポートされているプラットフォームで投票を作成
• 音声, 音声チャンネルの状態を確認（Discord）

Web

• 検索, Brave Search APIを通じたWeb検索
• フェッチ, WebページをHTMLからmarkdown/テキストに変換して取得

メモリとコンテキスト

• メモリ検索, エージェントメモリファイルに対するベクター類似検索
• メモリ取得, 名前でメモリファイルを取得

セッション管理

• セッションリスト, エージェント間のアクティブなセッションを表示
• セッション履歴, 任意のセッションのトランスクリプトを取得
• セッションに送信, 他のエージェントセッションにメッセージを送信
• サブエージェントスポーン, 分離されたサブエージェント実行を開始
• エージェントリスト, 利用可能なエージェントを表示

自動化

• Cron, スケジュールされたジョブを作成、編集、実行、管理
• Gateway, Gatewayを再起動、設定変更を適用、アップデートを実行

画像分析

エージェントは設定されたビジョンモデルを使用して画像を分析できます, , コンテンツの説明、テキストの抽出、オブジェクトの識別、ビジュアルコンテンツに関する質問への回答。

ツールグループ

ツールは簡単な権限管理のためにグループに整理されています：