Sterowanie głosem
Neotask zawiera w pełni funkcjonalny system sterowania głosem, który pozwala wchodzić w interakcje z agentami AI całkowicie za pomocą mowy. Możesz aktywować agentów, wydawać polecenia, nawigować po interfejsie i otrzymywać odpowiedzi mówione -- wszystko bez użycia rąk.
Przegląd
Metody aktywacji
Istnieją dwa sposoby aktywacji wejścia głosowego:
- Zawsze nasłuchujące słowo aktywacyjne -- Wypowiedz frazę wyzwalającą (np. „Hey Neotask"), a aplikacja zacznie słuchać. Nie trzeba naciskać żadnych klawiszy.
- Skrót klawiszowy -- Naciśnij kombinację klawiszy, aby uruchomić wejście głosowe na żądanie.
Możesz wybrać preferowaną metodę w Ustawienia > Tryb budzenia.
Przepływ interakcji głosowej
Każda interakcja głosowa przebiega według tego cyklu:
- Przebudzenie -- Aktywacja przez słowo aktywacyjne lub skrót klawiszowy.
- Słuchanie -- Neotask nasłuchuje Twojego mówionego wejścia.
- Transkrypcja -- Mowa jest konwertowana na tekst w czasie rzeczywistym.
- Myślenie -- AI przetwarza Twoje żądanie i określa odpowiednie działania.
- Mówienie -- Odpowiedź jest do Ciebie mówiona za pomocą naturalnej zamiany tekstu na mowę.
- Słuchanie -- System wraca do nasłuchiwania Twojego następnego polecenia, utrzymując płynność rozmowy.
Aktywacja słowem aktywacyjnym
Domyślne słowo aktywacyjne
Domyślne słowo aktywacyjne to:
„Hey Neotask"
Po prostu wypowiedz tę frazę, a Neotask zacznie nasłuchiwać Twojego polecenia.
Niestandardowe słowa aktywacyjne
Możesz ustawić niestandardowe słowo aktywacyjne w Ustawienia > Słowo aktywacyjne. Wybierz dowolną krótką, wyraźną frazę, którą łatwo możesz powiedzieć i która raczej nie pojawi się w normalnej rozmowie.
Wydajność
Wykrywanie słowa aktywacyjnego działa całkowicie na Twoim lokalnym komputerze -- żadne audio nie jest wysyłane do chmury do przetwarzania słów aktywacyjnych. Silnik wykrywania jest zoptymalizowany pod kątem ultraniskiego użycia procesora, więc może pozostawać aktywny w tle bez wpływu na wydajność systemu.
Czułość
Czułość słowa aktywacyjnego jest konfigurowalna. Jeśli uważasz, że słowo aktywacyjne wyzwala się zbyt łatwo (fałszywe pozytywne) lub zbyt rzadko (pominięte aktywacje), dostosuj suwak czułości w Ustawienia > Słowo aktywacyjne > Czułość.
Aktywacja skrótem klawiszowym
Domyślne skróty
| Platforma | Skrót |
|---|---|
| macOS | Cmd + Shift + Space |
| Windows / Linux | Ctrl + Shift + Space |
Dostosowywanie
Skrót klawiszowy jest w pełni konfigurowalny. Przejdź do Ustawienia > Tryb budzenia > Skrót klawiszowy, aby ustawić preferowaną kombinację klawiszy.
Funkcje głosowe
Mowa na tekst
Neotask używa Deepgram do transkrypcji mowy na tekst w czasie rzeczywistym. Twoje mówione słowa pojawiają się jako tekst w rozmowie, gdy mówisz, z minimalnym opóźnieniem.
Tekst na mowę
Odpowiedzi są mówione na głos za pomocą naturalnej technologii zamiany tekstu na mowę ElevenLabs. Biblioteka głosów zawiera ponad 100 głosów obejmujących szeroką gamę stylów.
Wybór głosu
Wybierz preferowany głos w Ustawienia > Głos. Możesz filtrować głosy według:
- Płci -- Męski, żeński lub neutralny.
- Akcentu -- Amerykański, brytyjski, australijski i wiele innych.
- Wieku -- Młody, w średnim wieku lub dojrzały.
Przycisk podglądu głosu jest dostępny obok każdego głosu, dzięki czemu możesz usłyszeć próbkę przed dokonaniem wyboru.
Kontrole rozmowy
- Wstrzymaj -- Wstrzymaj rozmowę głosową w dowolnym momencie. AI przestanie słuchać i mówić do momentu wznowienia.
- Wznów -- Kontynuuj rozmowę od miejsca, w którym ją przerwałeś.
Załączniki plików
Możesz dołączać pliki podczas sesji głosowej. Na przykład powiedz „Chcę udostępnić plik" i użyj okna dialogowego załącznika, lub przeciągnij i upuść plik do okna rozmowy, gdy tryb głosowy jest aktywny. AI może następnie odwoływać się do załączonego pliku i z nim pracować.
Polecenia głosowe
Neotask rozumie szeroki zakres poleceń w języku naturalnym. Poniżej znajdują się typowe kategorie z przykładami.
Otwieranie stron internetowych
| Przykładowe polecenie |
|---|
| „Otwórz YouTube" |
| „Przejdź do github.com" |
| „Otwórz dokumentację Neotask" |
Wyszukiwanie w sieci
| Przykładowe polecenie |
|---|
| „Wyszukaj tutoriale Python w Google" |
| „Sprawdź pogodę w Warszawie" |
| „Wyszukaj Stack Overflow dla React hooks" |
Uruchamianie aplikacji
| Przykładowe polecenie |
|---|
| „Otwórz Safari" |
| „Uruchom Finder" |
| „Otwórz Visual Studio Code" |
| „Uruchom Terminal" |
Sterowanie przeglądarką
| Przykładowe polecenie |
|---|
| „Przewiń w dół" |
| „Wróć" |
| „Odśwież stronę" |
| „Przewiń na górę" |
Operacje agenta
| Przykładowe polecenie |
|---|
| „Utwórz agenta o nazwie Asystent badań" |
| „Uruchom agenta" |
| „Zatrzymaj agenta" |
| „Pokaż mi status agenta" |
Łańcuchy wielu poleceń
Możesz łączyć wiele instrukcji w jednym mówionym poleceniu:
| Przykładowe polecenie |
|---|
| „Utwórz agenta o nazwie Analityk danych, włącz głos i uruchom go" |
| „Otwórz YouTube i wyszukaj tutoriale uczenia maszynowego" |
| „Zatrzymaj agenta i pokaż mi log sesji" |
Wykonywanie narzędzi podczas głosu
Gdy Twoje polecenie głosowe wyzwala narzędzie lub akcję, Neotask zapewnia mówioną informację zwrotną w czasie rzeczywistym, abyś wiedział, co się dzieje:
- „Otwieram edytor pliku..."
- „Teraz uruchamiam polecenie powłoki..."
- „Pobieranie strony internetowej..."
Obsługiwane akcje narzędzi
Narzędzia, które można wyzwolić głosem, obejmują:
- Polecenia powłoki -- Wykonuj polecenia terminala na swoim komputerze.
- Operacje na plikach -- Twórz, czytaj, edytuj i organizuj pliki.
- Żądania sieciowe -- Pobieraj dane z adresów URL i API.
Przepływ zatwierdzania
Gdy Tryb bezpieczny jest włączony (domyślnie włączony), wrażliwe akcje wymagają Twojego wyraźnego mówionego lub klikniętego zatwierdzenia przed wykonaniem. Wrażliwe akcje obejmują:
- Usuwanie plików lub katalogów
- Wdrażanie kodu lub usług
- Wysyłanie wiadomości lub wiadomości e-mail w Twoim imieniu
AI opisze akcję i poprosi o potwierdzenie przed kontynuowaniem.
Tryb korepetycji matematycznych
Neotask zawiera specjalistyczny tryb korepetycji matematycznych, który łączy instrukcje głosowe z animowanymi wizualizacjami.
Jak to działa
- Zapytaj o temat matematyczny -- na przykład „Naucz mnie o okręgu jednostkowym."
- AI generuje plan lekcji dostosowany do tematu.
- Animowane wizualizacje są renderowane za pomocą Manim (silnika animacji matematycznych).
- Lekcja jest dostarczana sekcja po sekcji, z mówionymi wyjaśnieniami zsynchronizowanymi z wizualizacjami.
Szablony wizualizacji
Następujące wbudowane szablony są dostępne dla natychmiastowych animowanych lekcji:
| Szablon | Opis |
|---|---|
| Okrąg jednostkowy | Wizualne przejście przez okrąg jednostkowy z etykietami kątów i współrzędnych. |
| Twierdzenie Pitagorasa | Animacja geometrycznego dowodu z oznaczonymi kwadratami na bokach trójkąta. |
| Szereg Taylora | Krok po kroku rozwinięcie pokazujące zbieżność aproksymacji wielomianowej. |
| Wzór kwadratowy | Wyprowadzenie i graficzna interpretacja pierwiastków. |
| Fale sinus/cosinus | Animowane wykresy fal z adnotacjami amplitudy, okresu i fazy. |
| Pochodne | Animacja stycznej ilustrująca chwilową szybkość zmiany. |
| Całki | Animacja pola pod krzywą z progresją sum Riemanna. |
| Wykresy funkcji | Wykreślaj dowolną funkcję z oznaczonymi osiami, przecięciami i kluczowymi cechami. |
Progresywne nauczanie
Lekcje są podzielone na sekcje. Po każdej sekcji AI zatrzymuje się i pyta, czy jesteś gotowy kontynuować, chcesz dokonać przeglądu lub masz pytania. Dzięki temu uczysz się we własnym tempie.
Obsługiwane języki
Neotask obsługuje interakcje głosowe w 21 językach:
| Język | Kod |
|---|---|
| Angielski | en |
| Hiszpański | es |
| Francuski | fr |
| Niemiecki | de |
| Włoski | it |
| Portugalski | pt |
| Holenderski | nl |
| Rosyjski | ru |
| Chiński (mandaryński) | zh |
| Japoński | ja |
| Koreański | ko |
| Arabski | ar |
| Hindi | hi |
| Turecki | tr |
| Polski | pl |
| Szwedzki | sv |
| Duński | da |
| Norweski | no |
| Fiński | fi |
| Czeski | cs |
| Rumuński | ro |
Możesz zmienić język głosowy w dowolnym momencie w Ustawienia > Język. Zarówno rozpoznawanie mowy, jak i zamiana tekstu na mowę przełączą się na wybrany język.
Prompty głosowe
Prompty głosowe kontrolują zachowanie i odpowiedzi asystenta AI podczas rozmów głosowych. Oba są edytowalne w Ustawienia > Prompty głosowe.
Prompt systemowy
Prompt systemowy definiuje ogólną osobowość i zachowanie asystenta głosowego. Ustawia ton, poziom wiedzy specjalistycznej i styl interakcji. Na przykład możesz poinstruować asystenta, aby był zwięzły i techniczny, lub przyjazny i konwersacyjny.
Prompt odpowiedzi
Prompt odpowiedzi dostosowuje sposób, w jaki asystent formatuje i dostarcza swoje mówione odpowiedzi. Użyj go, aby kontrolować długość odpowiedzi, poziom szczegółowości, czy asystent używa analogii i inne preferencje stylistyczne.
Oba prompty akceptują dowolny tekst i wchodzą w życie natychmiast dla wszystkich kolejnych interakcji głosowych.