도구 및 기능

개요

도구는 에이전트가 대화 중에 수행할 수 있는 작업입니다. 에이전트가 웹을 검색하거나, 명령을 실행하거나, 파일을 읽거나, 기기를 제어해야 할 때 도구를 사용합니다.

Neotask는 파일 관리, 코드 실행, 브라우저 자동화, 기기 제어, 메시지, 웹 검색 등을 다루는 풍부한 내장 도구 세트를 제공합니다.

파일 작업

에이전트는 워크스페이스의 파일을 읽고, 쓰고, 편집할 수 있습니다:

• 읽기, 파일 내용 읽기
• 쓰기, 파일 생성 또는 덮어쓰기
• 편집, 파일의 특정 부분에 대한 타겟 편집
• 패치 적용, 복잡한 파일 수정을 위한 멀티 헝크 통합 diff 적용

코드 실행

에이전트는 구성 가능한 격리 수준으로 셸 명령을 실행할 수 있습니다:

• 게이트웨이 실행, 게이트웨이를 호스팅하는 머신에서 직접 명령 실행
• 샌드박스 실행, 리소스 제한이 있는 격리된 Docker 컨테이너에서 명령 실행
• 노드 실행, 연결된 컴패니언 기기(macOS, Linux 노드)에서 명령 실행

실행 기능

• 구성 가능한 타임아웃 (기본값 30분)
• 백그라운드 작업 관리 (목록, 폴링, 종료, 지우기)
• 장기 실행 명령의 자동 백그라운드 처리
• 인터랙티브 프로그램을 위한 TTY 지원
• 권한이 필요한 작업을 위한 상승 모드 (게이트웨이 호스트 전용)

승인 워크플로

민감한 명령은 실행 전 사용자 승인이 필요할 수 있습니다:

• 허용 목록, 사전 승인된 명령만 실행
• 요청, 알 수 없는 명령은 승인 프롬프트 표시
• 전체, 제한 없음

브라우저 자동화

에이전트는 완전한 Chromium 기반 브라우저(Chrome, Brave, 또는 Edge)를 제어합니다:

작업

• 탐색, URL 열기 및 페이지 간 탐색
• 상호작용, 클릭, 타이핑, 호버, 드래그, 선택, 폼 채우기
• 캡처, 스크린샷 촬영, PDF 내보내기
• 검사, DOM 또는 접근성 트리 스냅샷
• 실행, 페이지 컨텍스트에서 JavaScript 실행
• 업로드, 웹 폼에 파일 업로드
• 관리, 다이얼로그 처리(알림, 확인), 콘솔 출력 읽기

브라우저 프로필

계정 분리를 위한 여러 격리된 브라우저 프로필:

• 각 프로필에는 자체 쿠키, 스토리지, 히스토리가 있음
• 프로그래밍 방식 제어를 위한 자동 할당 CDP 포트
• 원격 브라우저 지원 (다른 머신의 브라우저에 연결)

캔버스 및 A2UI

에이전트-UI(A2UI) 시스템은 에이전트가 연결된 기기에서 인터랙티브 시각 콘텐츠를 렌더링할 수 있게 합니다:

• 표시, 기기 캔버스에 웹 페이지 또는 커스텀 콘텐츠 표시
• 탐색, 캔버스 창에 표시되는 내용 제어
• 평가, 캔버스 컨텍스트에서 JavaScript 실행
• 스냅샷, 현재 표시되는 내용 캡처
• A2UI 푸시, 캔버스에 구조화된 UI 업데이트 전송 (JSONL 페이로드)
• A2UI 초기화, 캔버스 상태 지우기

캔버스 렌더링은 macOS(WebKit), iOS(SwiftUI), Android(Jetpack Compose), 웹(WebChat)에서 사용 가능합니다.

노드 기기 기능

연결된 컴패니언 앱을 통해 에이전트는 다음을 수행할 수 있습니다:

카메라

• 스냅, 사진 촬영 (전면 또는 후면 카메라)
• 클립, 구성 가능한 지속 시간 및 FPS로 비디오 클립 녹화

화면

• 녹화, 구성 가능한 지속 시간 및 품질로 화면 녹화 캡처

위치

• 가져오기, 정확도 선택으로 GPS 좌표 검색

알림

• 알림, 제목, 본문, 우선순위가 포함된 기본 OS 알림 전송

시스템 명령

• 실행, 노드 기기에서 셸 명령 실행
• 확인, 노드에서 명령 사용 가능 여부 확인

메시지

에이전트는 연결된 채널에서 메시지를 보내고 관리할 수 있습니다:

• 보내기, 연결된 채널/수신자에게 메시지 보내기
• 편집, 이전에 보낸 메시지 편집
• 반응, 메시지에 반응 추가
• 스레드, 스레드 생성 및 그 안에서 답장
• 투표, 지원되는 플랫폼에서 투표 생성
• 음성, 음성 채널 상태 확인 (Discord)

웹

• 검색, Brave Search API를 통한 웹 검색
• 가져오기, 웹 페이지 검색 및 HTML을 마크다운/텍스트로 변환

메모리 및 컨텍스트

• 메모리 검색, 에이전트 메모리 파일에 대한 벡터 유사도 검색
• 메모리 가져오기, 이름으로 특정 메모리 파일 검색

세션 관리

• 세션 목록, 에이전트 전체의 활성 세션 보기
• 세션 히스토리, 모든 세션의 기록 가져오기
• 세션으로 보내기, 다른 에이전트 세션에 메시지 보내기
• 서브 에이전트 생성, 격리된 서브 에이전트 실행 시작
• 에이전트 목록, 사용 가능한 에이전트 보기

자동화

• 크론, 예약 작업 생성, 편집, 실행 및 관리
• 게이트웨이, 게이트웨이 재시작, 구성 변경 적용, 업데이트 실행

이미지 분석

에이전트는 구성된 비전 모델을 사용하여 이미지를 분석할 수 있습니다, 콘텐츠 설명, 텍스트 추출, 객체 식별, 시각 콘텐츠에 대한 질문 답변.

도구 그룹

도구는 쉬운 권한 관리를 위해 그룹으로 구성됩니다: