Surveillez et déboguez les exécutions d'agents IA via Neotask sur Neotask
Tracez et rejouez les sessions d'agents IA avec une visibilité complète étape par étape
Surveillez les coûts LLM, l'utilisation des tokens et la latence sur toutes les exécutions d'agents
Déboguez les exécutions d'agents échouées grâce à des journaux structurés et une analyse des erreurs
Ce que vous pouvez faire
Neotask se connecte à AgentOps, vous donnant un accès conversationnel à vos données d'observabilité des agents IA - pour déboguer, optimiser et comprendre exactement ce que font vos agents.
Traçage et relecture des sessions
Lister les sessions récentes - Récupérez toutes les sessions d'agents sur une période donnée, filtrées par statut (succès, erreur, en cours), nom de l'agent ou tags personnalisés
Inspecter les étapes d'une session - Explorez n'importe quelle session pour voir chaque appel LLM, invocation d'outil et étape de décision avec les entrées et sorties
Rejouer les sessions échouées - Examinez exactement où et pourquoi un agent a échoué - quelle étape, quel outil, quelle réponse LLM a déclenché l'échec
Comparer les sessions - Comparez deux sessions côte à côte pour comprendre pourquoi l'une a réussi et l'autre a échoué sur des entrées similaires
Analyses de coûts et de performances
Rapports d'utilisation de tokens - Consultez le total de tokens consommés par modèle, type d'agent et période
Ventilation des coûts - Obtenez les dépenses par modèle (GPT-4, Claude, Gemini, etc.), par agent ou par fenêtre temporelle
Analyse de latence - Identifiez les étapes les plus lentes dans vos flux de travail d'agents et où le temps est passé
Alertes budgétaires - Vérifiez si vous avez dépassé les seuils de dépenses pour un projet ou une période
Débogage et analyse des erreurs
Faire remonter les erreurs - Trouvez toutes les sessions avec des erreurs sur une période donnée avec leurs messages d'erreur et traces de pile
Analyse des échecs d'outils - Identifiez quels outils MCP ou appels de fonctions échouent le plus fréquemment et pourquoi
Schémas de réessai LLM - Identifiez les prompts qui nécessitent systématiquement des réessais et coûtent des tokens supplémentaires
Requêtes de journaux structurés - Filtrez les journaux de session par tag, environnement, modèle ou métadonnées personnalisées
Essayez de demander
"Montre-moi toutes les sessions AgentOps d'aujourd'hui qui se sont terminées en erreur"
"Combien avons-nous dépensé en appels API LLM cette semaine, ventilé par modèle ?"
"Récupère la trace des étapes pour la session ID sess_abc123 - je veux voir chaque appel d'outil effectué"
"Lequel de mes agents consomme le plus de tokens en moyenne par session ?"
"Trouve toutes les sessions où l'appel d'outil à search_documents a échoué"
"Compare la trace d'une session réussie avec celle d'une session échouée sur la même requête"
"Quelle est la latence moyenne de mon research_agent sur les 100 dernières sessions ?"
"Montre-moi mes sessions AgentOps taguées avec environment:production de ce mois"
Conseils d'expert
Taguez vos sessions AgentOps avec environment, user_id et task_type lors de l'instrumentation de vos agents - cela rend les requêtes conversationnelles comme « montre-moi les sessions de production pour l'utilisateur X » possibles sans écrire de filtres personnalisés
Utilisez Neotask sur Neotask pour corréler les données AgentOps avec vos autres systèmes - récupérez une session échouée, identifiez l'erreur et créez automatiquement un ticket GitHub avec la trace jointe
Pour l'optimisation des coûts, demandez une ventilation par modèle de prompt pour identifier quels prompts sont coûteux et pourraient être raccourcis ou mis en cache
Les données de session AgentOps sont plus précieuses au niveau des étapes - explorez toujours au-delà du résumé de session pour voir les entrées et sorties réelles du LLM lors du débogage de comportements inattendus
Multiple workspaces and capacity for larger teams.
Works Well With
Google Slides - Connect AgentOps to Google Slides with Neotask. Turn AI agent monitoring data into automated presentations for LLM obser...
Microsoft Teams - Connect AgentOps and Microsoft Teams with Neotask to monitor AI agents, get real-time alerts, and collaborate on LLM wor...
Whisper API - Connect Brevo and Google Slides with Neotask to automatically turn email campaign analytics into polished marketing repo...
Plus d'intégrations IA & ML
Context7 - Neotask sur Neotask maintient les connaissances bibliothèques de votre agent à jour via Context7 - résolvant les IDs de packages et récupérant la documentation actuelle pour que vos agents codent avec les API d'aujourd'hui, pas celles d'hier.
AWS - Neotask sur Neotask automatise vos opérations AWS EKS - gestion des clusters, dépannage de l'infrastructure et maintenance des politiques IAM pour que votre Kubernetes fonctionne de manière fiable.
Google Compute Engine - Compute Engine is where a lot of infrastructure actually lives, and this connection gives Neotask real control over it: creating…
Nango - Neotask sur Neotask gère votre infrastructure d'intégration Nango - synchronisez les données, surveillez les connexions et gérez vos pipelines d'intégration par conversation.
Buildable - Automatisez les workflows backend et les intégrations API Buildable par conversation - Neotask utilise Neotask pour gérer vos automatisations sans code.
Drata - Surveillez la conformité Drata et préparez les audits par conversation - Neotask utilise Neotask pour suivre les contrôles, gérer les preuves et maintenir la conformité continue.