Голосовое управление
Neotask включает полнофункциональную систему голосового управления, которая позволяет взаимодействовать с вашими ИИ-агентами исключительно с помощью речи. Вы можете активировать агентов, отдавать команды, перемещаться по интерфейсу и получать голосовые ответы, полностью без рук.
Обзор
Способы активации
Существует два способа активации голосового ввода:
- Постоянное прослушивание с ключевым словом, произнесите фразу-триггер (например, «Hey Neotask»), и приложение начнёт прослушивание. Не нужно нажимать никаких клавиш.
- Сочетание клавиш, нажмите комбинацию клавиш, чтобы включить голосовой ввод по требованию.
Предпочтительный метод можно выбрать в Настройках > Режим пробуждения.
Процесс голосового взаимодействия
Каждое голосовое взаимодействие следует этому циклу:
- Пробуждение, активация с помощью ключевого слова или сочетания клавиш.
- Прослушивание, Neotask слушает ваш голосовой ввод.
- Транскрибирование, речь преобразуется в текст в режиме реального времени.
- Обработка, ИИ обрабатывает ваш запрос и определяет соответствующие действия.
- Озвучивание, ответ произносится вслух с использованием естественного синтеза речи.
- Прослушивание, система возвращается к ожиданию вашей следующей команды, поддерживая непрерывный разговор.
Активация по ключевому слову
Ключевое слово по умолчанию
Ключевое слово по умолчанию:
«Hey Neotask»
Просто произнесите эту фразу, и Neotask начнёт прослушивать вашу команду.
Пользовательские ключевые слова
Вы можете задать пользовательское ключевое слово в Настройках > Ключевое слово. Выберите любую короткую, отчётливую фразу, которую вам удобно произносить и которая вряд ли встретится в обычном разговоре.
Производительность
Обнаружение ключевого слова работает полностью на вашем локальном компьютере, никакие аудиоданные не отправляются в облако для обработки ключевого слова. Механизм обнаружения оптимизирован для минимального потребления ресурсов процессора, поэтому он может оставаться активным в фоновом режиме, не влияя на производительность системы.
Чувствительность
Чувствительность обнаружения ключевого слова настраивается. Если ключевое слово срабатывает слишком легко (ложные срабатывания) или недостаточно часто (пропуски активации), отрегулируйте ползунок чувствительности в Настройках > Ключевое слово > Чувствительность.
Активация сочетанием клавиш
Сочетания клавиш по умолчанию
| Платформа | Сочетание клавиш |
|---|---|
| macOS | Cmd + Shift + Space |
| Windows / Linux | Ctrl + Shift + Space |
Настройка
Сочетание клавиш полностью настраивается. Перейдите в Настройки > Режим пробуждения > Сочетание клавиш, чтобы задать предпочтительную комбинацию клавиш.
Голосовые функции
Распознавание речи
Neotask использует Deepgram для транскрибирования речи в текст в режиме реального времени. Ваши произнесённые слова появляются в виде текста в разговоре по мере того, как вы говорите, с минимальной задержкой.
Синтез речи
Ответы озвучиваются с использованием технологии естественного синтеза речи ElevenLabs. Библиотека голосов включает 100+ голосов с широким диапазоном стилей.
Выбор голоса
Выберите предпочтительный голос в Настройках > Голос. Вы можете фильтровать голоса по:
- Полу, мужской, женский или нейтральный.
- Акценту, американский, британский, австралийский и многие другие.
- Возрасту, молодой, средний возраст или зрелый.
Рядом с каждым голосом доступна кнопка предварительного прослушивания, чтобы вы могли прослушать образец перед выбором.
Управление разговором
- Пауза, приостановите голосовой разговор в любое время. ИИ перестанет слушать и говорить до возобновления.
- Возобновление, продолжите разговор с того места, где остановились.
Вложения файлов
Вы можете прикреплять файлы во время голосовой сессии. Например, скажите «Я хочу поделиться файлом» и воспользуйтесь диалогом вложения, или перетащите файл в окно разговора, пока активен голосовой режим. Затем ИИ сможет обращаться к прикреплённому файлу и работать с ним.
Голосовые команды
Neotask понимает широкий спектр команд на естественном языке. Ниже приведены распространённые категории с примерами.
Открытие веб-сайтов
| Пример команды |
|---|
| «Open YouTube» |
| «Go to github.com» |
| «Open the Neotask documentation» |
Поиск в интернете
| Пример команды |
|---|
| «Search for Python tutorials on Google» |
| «Look up the weather in San Francisco» |
| «Search Stack Overflow for React hooks» |
Запуск приложений
| Пример команды |
|---|
| «Open Safari» |
| «Launch Finder» |
| «Open Visual Studio Code» |
| «Start Terminal» |
Управление браузером
| Пример команды |
|---|
| «Scroll down» |
| «Go back» |
| «Refresh the page» |
| «Scroll to the top» |
Операции с агентами
| Пример команды |
|---|
| «Create an agent called Research Assistant» |
| «Start the agent» |
| «Stop the agent» |
| «Show me agent status» |
Цепочки нескольких команд
Вы можете объединять несколько инструкций в одну голосовую команду:
| Пример команды |
|---|
| «Create an agent called Data Analyzer, enable voice, and start it» |
| «Open YouTube and search for machine learning tutorials» |
| «Stop the agent and show me the session log» |
Выполнение инструментов во время голосового взаимодействия
Когда ваша голосовая команда запускает инструмент или действие, Neotask обеспечивает голосовую обратную связь в режиме реального времени, чтобы вы знали, что происходит:
- «I'm opening the file editor...»
- «Running the shell command now...»
- «Fetching the web page...»
Поддерживаемые действия инструментов
Инструменты, которые можно активировать голосом, включают:
- Команды оболочки, выполнение терминальных команд на вашей машине.
- Операции с файлами, создание, чтение, редактирование и организация файлов.
- Веб-запросы, получение данных с URL-адресов и API.
Процесс подтверждения
Когда включён Безопасный режим (включён по умолчанию), чувствительные действия требуют вашего явного голосового или кликового подтверждения перед выполнением. Чувствительные действия включают:
- Удаление файлов или директорий
- Деплой кода или сервисов
- Отправка сообщений или электронных писем от вашего имени
ИИ опишет действие и попросит подтверждение перед продолжением.
Режим обучения математике
Neotask включает специализированный режим обучения математике, сочетающий голосовые инструкции с анимированными визуализациями.
Как это работает
- Задайте математическую тему, например, «Teach me about the unit circle.»
- ИИ создаёт план урока, адаптированный к теме.
- Анимированные визуализации отрисовываются с помощью Manim (движка математической анимации).
- Урок проводится раздел за разделом с голосовыми пояснениями, синхронизированными с визуальным рядом.
Шаблоны визуализаций
Следующие встроенные шаблоны доступны для мгновенных анимированных уроков:
| Шаблон | Описание |
|---|---|
| Единичная окружность | Визуальный обзор единичной окружности с обозначениями углов и координат. |
| Теорема Пифагора | Анимация геометрического доказательства с обозначенными квадратами на сторонах треугольника. |
| Ряд Тейлора | Пошаговое разложение, показывающее сходимость полиномиального приближения. |
| Квадратная формула | Вывод и графическая интерпретация корней. |
| Синус/косинус волны | Анимированные графики волн с аннотациями амплитуды, периода и фазы. |
| Производные | Анимация касательной линии, иллюстрирующая мгновенную скорость изменения. |
| Интегралы | Анимация площади под кривой с прогрессией суммы Римана. |
| Построение функций | Построение любой функции с обозначенными осями, пересечениями и ключевыми характеристиками. |
Прогрессивное обучение
Уроки разбиты на разделы. После каждого раздела ИИ делает паузу и спрашивает, готовы ли вы продолжить, хотите ли повторить материал или у вас есть вопросы. Это позволяет вам учиться в своём темпе.
Поддерживаемые языки
Neotask поддерживает голосовое взаимодействие на 21 языке:
| Язык | Код |
|---|---|
| English | en |
| Spanish | es |
| French | fr |
| German | de |
| Italian | it |
| Portuguese | pt |
| Dutch | nl |
| Russian | ru |
| Chinese (Mandarin) | zh |
| Japanese | ja |
| Korean | ko |
| Arabic | ar |
| Hindi | hi |
| Turkish | tr |
| Polish | pl |
| Swedish | sv |
| Danish | da |
| Norwegian | no |
| Finnish | fi |
| Czech | cs |
| Romanian | ro |
Вы можете изменить язык голоса в любое время в Настройках > Язык. Распознавание речи и синтез речи переключатся на выбранный язык.
Голосовые промпты
Голосовые промпты управляют поведением и реакциями ИИ-ассистента во время голосовых разговоров. Оба промпта редактируются в Настройках > Голосовые промпты.
Системный промпт
Системный промпт определяет общую личность и поведение голосового ассистента. Он задаёт тон, уровень экспертизы и стиль взаимодействия. Например, вы можете дать ассистенту инструкцию быть лаконичным и техническим или дружелюбным и разговорным.
Промпт ответа
Промпт ответа настраивает то, как ассистент форматирует и доставляет свои голосовые ответы. Используйте его для управления длиной ответа, уровнем детализации, использованием аналогий ассистентом и другими стилистическими предпочтениями.
Оба промпта принимают произвольный текст и вступают в силу немедленно для всех последующих голосовых взаимодействий.