Begleit-Apps

Was sind Begleit-Apps?

Begleit-Apps sind native Anwendungen fuer iOS, Android und macOS, die sich als Nodes mit Ihrem Gateway verbinden. Nodes stellen Geratefaehigkeiten bereit -- Kamera, Canvas, Bildschirmaufnahme, Standort, Sprache und Systemausfuehrung -- fuer Ihre Agenten.

Stellen Sie es sich so vor: Das Gateway ist das Gehirn, und Begleit-Apps sind die Haende und Augen auf Ihren Geraeten.

Wie Nodes funktionieren

1. Verbinden -- Die Begleit-App verbindet sich ueber WebSocket mit Ihrem Gateway
2. Koppeln -- Neue Geraete durchlaufen einen Kopplungs-Genehmigungsprozess
3. Faehigkeiten registrieren -- Die App teilt dem Gateway mit, was sie kann (Kamera, Canvas, Standort usw.)
4. Agenten rufen auf -- Waehrend Gespraechen koennen Agenten den Node bitten, ein Foto zu machen, den Bildschirm aufzunehmen, ein Canvas zu rendern und mehr

Nodes sind keine Gateways -- sie fuehren keine eigene KI aus. Sie sind Peripheriegeraete, die erweitern, was Ihre Agenten tun koennen.

macOS-Begleit-App

Die macOS-App befindet sich in Ihrer Menueleiste und dient sowohl als Begleit-Node als auch als Gateway-Manager.

Faehigkeiten

• Canvas -- Interaktive Webinhalte in einem nativen Fenster rendern
• Kamera -- Fotos und Videoclips aufnehmen (Front/Rueckkamera)
• Bildschirmaufnahme -- Vollbild- oder Pro-App-Aufnahme
• Systemausfuehrung -- Shell-Befehle auf dem Mac ausfuehren (durch Exec-Genehmigungen eingeschraenkt)
• Benachrichtigungen -- Native macOS-Benachrichtigungen mit Prioritaetsoptionen senden
• Standort -- GPS wenn verfuegbar

Zusaetzliche Funktionen

• Gateway-Verwaltung -- Gateway starten, stoppen und ueberwachen
• Berechtigungsverwaltung -- Verwaltet macOS-TCC-Berechtigungen (Benachrichtigungen, Bedienungshilfen, Bildschirmaufnahme, Mikrofon, Spracherkennung, AppleScript)
• Deep Links -- neotask:// URL-Schema zum Starten von Agenten mit Parametern
• CLI-Installation -- Installiert das neotask-Befehlszeilentool

iOS-App

Die iOS-App verbindet sich als Node mit Ihrem Gateway und bringt mobile Faehigkeiten zu Ihren Agenten.

Faehigkeiten

• Canvas -- SwiftUI-basiertes interaktives Content-Rendering
• Kamera -- Fotos und Videoclips (Front-/Rueckkamera)
• Audioaufnahme -- Mikrofon-Aufzeichnung
• Standort -- GPS mit Genauigkeitsauswahl
• Benachrichtigungen -- Native iOS-Push-Benachrichtigungen

Funktionen

• Erkennung -- Findet Ihr Gateway ueber Bonjour (LAN), Tailscale (VPN) oder manuelle Eingabe
• Kopplung -- Sichere Geraetekopplung mit Genehmigung vom Gateway
• Sprach-Wake -- Aktivierungswort-Aktivierung fuer freihaendige Interaktion
• Talk-Modus -- Kontinuierliche Sprachkonversation
• Teilen-Erweiterung -- Inhalte aus anderen Apps direkt an Ihren Agenten teilen
• A2UI -- Agenten-gesteuertes UI-Rendering auf dem Geraete-Canvas

Einschraenkungen

• Vordergrund-zuerst-Design (iOS unterbricht WebSocket-Verbindungen im Hintergrund)
• Strenge Hintergrund-Befehlsbeschraenkungen
• Derzeit in interner Vorschau

Android-App

Die Android-App verbindet sich als Node mit aehnlichen Faehigkeiten wie iOS.

Faehigkeiten

• Canvas -- Jetpack Compose-basiertes UI-Rendering
• Kamera -- Fotos und Video (Front/Rueck, berechtigungsgesteuert)
• Bildschirmaufnahme -- System-Bildschirmaufzeichnung (Android 10+)
• Standort -- GPS mit Genauigkeitsmodi
• SMS-Versand -- Auf Geraeten mit Telefonie-Unterstuetzung
• Chat & Verlauf -- Konversationsverlauf auf dem Geraet anzeigen

Funktionen

• Vordergrund-Service -- Persistente Benachrichtigung haelt die Verbindung aufrecht
• Geteilte Sessions -- Gleiche Session ueber alle verbundenen Nodes
• Modernes Android -- Erfordert Android 12+ (API 31)

Headless Node Host

Betreiben Sie einen Node ohne Benutzeroberflaeche -- ideal fuer Build-Server, Remote-Maschinen oder kopflose Linux-Boxen.

Faehigkeiten

• Systemausfuehrung -- Befehle auf dem Node-Host ausfuehren
• Befehls-Allowlist -- Konfigurieren, welche Befehle der Node ausfuehren kann
• Persistenter Service -- Als launchd/systemd-Dienst installieren

Anwendungsfaelle

• CI/CD-Build-Agents -- Lassen Sie Ihren KI-Agenten Builds auf einem Remote-Server ausloesen
• Heimlabor-Automatisierung -- Befehle auf einem Raspberry Pi oder Home-Server ausfuehren
• Multi-Maschinen-Orchestrierung -- Aufgaben ueber mehrere Maschinen koordinieren

Geraetekopplung

Kopplungsablauf

1. Begleit-App praesentiert ihre Geraeteidentitaet (Fingerprint + oeffentlicher Schluessel)
2. Gateway sendet eine Kopplungs-Genehmigungsanfrage
3. Sie genehmigen das Geraet ueber die Desktop-App oder das Dashboard
4. Gateway stellt ein Geraete-Token fuer zukuenftige Verbindungen aus

Vertrauensmodell

• Lokale Geraete (Loopback) werden der Bequemlichkeit halber automatisch genehmigt
• Nicht-lokale Geraete erfordern explizite Genehmigung
• Geraete-Tokens werden lokal gespeichert und bei Wiederverbindung wiederverwendet

Exec-Genehmigungen

Fuer Nodes, die Systembefehle ausfuehren koennen (macOS, Headless-Hosts), steuern Exec-Genehmigungen, was erlaubt ist:

• Allowlist-Modus -- Nur vorab genehmigte Befehle koennen ausgefuehrt werden
• Ask-Modus -- Unbekannte Befehle erfordern Ihre Genehmigung
• Full-Modus -- Keine Einschraenkungen (mit Vorsicht verwenden)

Konfigurieren Sie pro-Node-Allowlists, um praezise zu steuern, was jedes Geraet tun kann.