Сесії та пам'ять

Сесії

Як працюють сесії

Кожна розмова з агентом відбувається в сесії. Сесії ідентифікуються ключами, що кодують контекст, який агент, який канал, який чат.

Сесії підтримують повний транскрипт (лише додавання JSONL) всіх повідомлень, викликів інструментів та результатів. Цей транскрипт дає агентам контекст поточної розмови.

Ключі сесій

Сесії маршрутизуються автоматично на основі контексту:

Шаблон Значення
agent:main:main Основна пряма розмова
agent:<id>:<channel>:group:<id> Груповий чат на конкретному каналі
agent:<id>:<channel>:channel:<id> Розмова в каналі/кімнаті
cron:<jobId> Виконання запланованого завдання
hook:<uuid> Виконання, ініційоване вебхуком

Життєвий цикл сесії

Відстеження токенів

Сесії відстежують накопичене використання токенів (вхідні, вихідні, читання кешу, запис кешу) для моніторингу витрат та управління контекстним вікном.


Ущільнення

Що таке ущільнення?

Коли розмова наближається до ліміту контекстного вікна моделі, Neotask ущільнює її, підсумовуючи старіші повідомлення в конденсований огляд та починаючи нову сесію з цим резюме плюс останні повідомлення.

Як це працює

  1. Виявлення, Моніторинг використання контексту (стандартний тригер: 80% контекстного вікна)
  2. Підсумування, Старіші повідомлення підсумовуються в запис ущільнення
  3. Нова сесія, Починається свіжа сесія з резюме, вставленим на початку
  4. Збереження, Старі транскрипти зберігаються для перегляду історії, але більше не завантажуються в контекст

Конфігурація

Ручне ущільнення

Ви можете ініціювати ущільнення вручну в будь-який час командою /compact. Це корисно, коли ви хочете скинути контекст без втрати важливої інформації.


Пам'ять

Пам'ять агента

Кожен агент має систему пам'яті для зберігання важливої інформації між сесіями:

Векторний пошук

Neotask підтримує векторний пошук за схожістю в пам'яті агента:

  1. Індексування, Файли пам'яті індексуються за допомогою embeddings
  2. Пошук, Агенти запитують пам'ять природною мовою («Що користувач говорив про свої вподобання щодо API?»)
  3. Відтворення, Відповідні спогади повертаються відсортованими за схожістю

Плагін пам'яті (LanceDB)

Плагін пам'яті LanceDB забезпечує розширене векторне сховище:

Автоматичне відтворення

На початку сесії відповідні спогади можуть автоматично відтворюватися та вставлятися в контекст агента. Це забезпечує безперервність агентів між сесіями без завантаження цілих історій розмов.


Збереження сесій

Всі дані сесій зберігаються локально:

Очищення