Tools en mogelijkheden

Overzicht

Tools zijn de acties die uw agents kunnen uitvoeren tijdens gesprekken. Wanneer een agent het web moet browsen, een opdracht moet uitvoeren, een bestand moet lezen of een apparaat moet bedienen, gebruikt het tools.

Neotask biedt een uitgebreide set ingebouwde tools voor bestandsbeheer, codeuitvoering, browserautomatisering, apparaatbeheer, berichten, webzoeken en meer.

Bestandsbewerkingen

Agents kunnen bestanden in hun werkruimte lezen, schrijven en bewerken:

• Lezen, Bestandsinhoud lezen
• Schrijven, Bestanden aanmaken of overschrijven
• Bewerken, Gerichte bewerkingen uitvoeren op specifieke delen van een bestand
• Patch toepassen, Multi-hunk unified diffs toepassen voor complexe bestandswijzigingen

Codeuitvoering

Agents kunnen shellopdrachten uitvoeren met configureerbare isolatie:

• Gateway-uitvoering, Opdrachten rechtstreeks uitvoeren op de machine die de Gateway host
• Sandbox-uitvoering, Opdrachten uitvoeren in geïsoleerde Docker-containers met resourcelimieten
• Node-uitvoering, Opdrachten uitvoeren op verbonden companion-apparaten (macOS, Linux-nodes)

Uitvoeringsfuncties

• Configureerbare time-outs (standaard 30 minuten)
• Achtergrondtaakbeheer (weergeven, pollen, stoppen, wissen)
• Automatisch naar achtergrond voor langlopende opdrachten
• TTY-ondersteuning voor interactieve programma's
• Verhoogde modus voor geprivilegieerde bewerkingen (alleen gateway-host)

Goedkeuringsworkflows

Gevoelige opdrachten kunnen gebruikersgoedkeuring vereisen vóór uitvoering:

• Toegestane lijst, Alleen vooraf goedgekeurde opdrachten worden uitgevoerd
• Vraag, Onbekende opdrachten vragen om goedkeuring
• Volledig, Geen beperkingen

Browserautomatisering

Agents besturen een volledig Chromium-gebaseerde browser (Chrome, Brave of Edge):

Acties

• Navigeren, URL's openen en tussen pagina's navigeren
• Interacteren, Klikken, typen, hoveren, slepen, selecteren, formulieren invullen
• Vastleggen, Screenshots nemen, PDF's exporteren
• Inspecteren, Momentopname van de DOM of toegankelijkheidsstructuur
• Uitvoeren, JavaScript uitvoeren in de paginacontext
• Uploaden, Bestanden uploaden naar webformulieren
• Beheren, Dialoogvensters afhandelen (waarschuwingen, bevestigingen), console-uitvoer lezen

Browserprofielen

Meerdere geïsoleerde browserprofielen voor het scheiden van accounts:

• Elk profiel heeft zijn eigen cookies, opslag en geschiedenis
• Automatisch toegewezen CDP-poorten voor programmatische besturing
• Ondersteuning voor externe browsers (verbinding maken met browsers op andere machines)

Canvas en A2UI

Het Agent-to-UI (A2UI)-systeem laat agents interactieve visuele inhoud renderen op verbonden apparaten:

• Presenteren, Webpagina's of aangepaste inhoud weergeven op het canvas van een apparaat
• Navigeren, Beheren wat wordt weergegeven in het canvas-venster
• Evalueren, JavaScript uitvoeren in de canvascontext
• Momentopname, Vastleggen wat er momenteel wordt weergegeven
• A2UI Push, Gestructureerde UI-updates (JSONL-payloads) naar het canvas sturen
• A2UI Reset, De canvastoestand wissen

Canvas-rendering is beschikbaar op macOS (WebKit), iOS (SwiftUI), Android (Jetpack Compose) en web (WebChat).

Node-apparaatmogelijkheden

Via verbonden companion-apps kunnen agents:

Camera

• Snap, Foto's nemen (voor- of achtercamera)
• Clip, Videoclips opnemen met configureerbare duur en FPS

Scherm

• Opnemen, Schermopnames vastleggen met configureerbare duur en kwaliteit

Locatie

• Ophalen, GPS-coördinaten ophalen met nauwkeurigheidsselectie

Meldingen

• Melden, Native OS-meldingen verzenden met titel, tekst en prioriteit

Systeemopdrachten

• Uitvoeren, Shellopdrachten uitvoeren op het node-apparaat
• Welke, Controleren of een opdracht beschikbaar is op de node

Berichten

Agents kunnen berichten verzenden en beheren over verbonden kanalen:

• Verzenden, Berichten sturen naar elk verbonden kanaal/ontvanger
• Bewerken, Eerder verzonden berichten bewerken
• Reageren, Reacties toevoegen aan berichten
• Thread, Threads aanmaken en daarbinnen antwoorden
• Peiling, Peilingen aanmaken op ondersteunde platforms
• Spraak, Spraakkanaalstatus controleren (Discord)

Web

• Zoeken, Webzoeken via Brave Search API
• Ophalen, Webpagina's ophalen en HTML naar markdown/tekst converteren

Geheugen en context

• Geheugenzoeken, Vectorgelijkenis-zoeken over agentgeheugenbestanden
• Geheugen ophalen, Specifieke geheugenbestanden ophalen op naam

Sessiebeheer

• Sessies weergeven, Actieve sessies over agents bekijken
• Sessiegeschiedenis, Transcript ophalen voor elke sessie
• Naar sessie sturen, Berichten sturen naar andere agentsessies
• Sub-agent aanmaken, Geïsoleerde sub-agentuitvoeringen starten
• Agents weergeven, Beschikbare agents bekijken

Automatisering

• Cron, Geplande taken aanmaken, bewerken, uitvoeren en beheren
• Gateway, Gateway herstarten, configuratiewijzigingen toepassen, updates uitvoeren

Beeldanalyse

Agents kunnen afbeeldingen analyseren met geconfigureerde visiemodellen, inhoud beschrijven, tekst extraheren, objecten identificeren en vragen beantwoorden over visuele inhoud.

Toolgroepen

Tools zijn georganiseerd in groepen voor eenvoudig rechtenbeheer: