Голосовой ассистент для windows 11

Хотя голосовые ассистенты уже давно не новость (они умеют управлять умным домом, колонками и даже автомобилями), на ПК функция находится в зачаточном состоянии уже много лет подряд и практически не развивается ни гигантами вроде Microsoft, ни сторонними разработчиками. Это странно, так как возможность управлять компьютером посредством голоса многим бы упростила жизнь, но, вероятно расширить голосовое управление на ПК или просто сделать его более глубоким слишком сложно. С другой стороны, при желании некоторые функции голосом выполнять всё же можно — нужно лишь немного потрудиться и скачать софт.

Алиса — полноценный ассистент с базовыми функциями

Алиса от Яндекса сама по себе очень умная и удобная в использовании — русский язык понимает отлично, может отвечать на вопросы, советовать фильмы и так далее. При желании это всё можно интегрировать в систему поиска Windows, дабы получать ответы в более удобном формате. Впрочем, стоит сразу отметить, что в 98% случаев Алиса на ПК предоставляет тот же набор функций, что и в браузере или мобильном приложении, тогда как на непосредственное управление ПК отведено всего 2% возможностей. Собственно, управление непосредственно компьютером сводится к возможности выключить систему, отправить её в сон или перезагрузить ПК.

Также пользователь может открыть Проводник, запросить быстрый доступ к какому-либо сайту (например, можно сказать «Алиса, открой Википедию»), просмотреть историю браузера (для браузера Яндекс) или включить/выключить звук. В теории, ассистент должен уметь открывать и приложения вроде Word или других офисных компонентов, но на текущий момент это не работает и помощник просто отправляет в поисковую выдачу. Естественно, в связке с умной колонкой функций будет гораздо больше, но все они завязаны на возможностях самой колонки, а не функциях компьютера.

Laitis — пожалуй, самый гибкий софт на рынке

Приложение Laitis не выделяется особо привлекательным интерфейсом, но при желании этот софт может существенно упростить вам множество процессов. Дело в том, что программа позволяет создавать специальные команды, выполнение которых активируется посредством голоса. Например, вы можете создать правило на закрытие окна или запуск приложения, после чего продиктовать голосом команду, чтобы софт распознал голос, и потом закрывать приложения короткой фразой «закрой Google Chrome» без мышки или клавиатуры. И таких функций у приложения огромное множество — оно даже умеет запускать .bat-файлы или JS-скрипты.

Список поддерживаемых функций на самом деле просто огромен — можно запускать любые приложения на ПК, отправлять курсор по нужным координатам, отображать окно поверх всех остальных, планировать события и многое другое. Но отдельно стоит упомянуть возможность взаимодействовать с веб-сайтами посредством голоса — например, направлять функцию фокуса на отдельный CSS-селектор или кликать по необходимому элементу на странице. Это очень удобно для людей с ограниченными возможностями, под нужды которых разработчики сайтов не спешат настраивать доступность.

Typle — динозавр, который до сих пор работает

Хотя софт, безусловно, достаточно старый (я его успешно протестирован на Windows 10), он всё равно способен выполнять поставленные перед ним задачи. Для этого достаточно создать пользователя и указать ему нужную базовую команду (например, «Открыть»), после чего перейти непосредственно к доступным командам для записи. В списке есть все установленные на компьютере приложения, также можно открывать системные утилиты, сайты и гибко настраивать параметры по отдельным параметрам. И после того, как команда сформирована и предварительные фразы записаны, можно приступать к управлению голосом — достаточно нажать на кнопку прослушивания и проговорить необходимую команду.

Для тех, кто часто запускает какие-либо приложения или открывает одни и те же сайты (на работе, к примеру), это очень удобное приложение, потому что можно назначить сразу несколько команд, после чего проговорить их, и все нужные ссылки будут открыты без лишних действий. Правда, нужно очень чётко проговаривать слова при первой записи и стараться потом при диктовке тоже проговаривать каждый звук, иначе программа собъётся и не поймёт, что вы хотели. И, конечно, основной недостаток софта в том, что из фона он не работает — нужно каждый раз открывать окно, нажимать на кнопку и проговаривать команду.

Встроенные голосовые команды Windows 11 — шикарный и недоступный инструмент

Пожалуй, наибольшей глубиной взаимодействия с функциями компьютера посредством голосовых команд может похвастаться операционная система Windows 11, которая в этом плане на три головы выше предшественника. Встроенные инструменты распознавания голоса, которые работают даже без подключения к интернету, позволяют переводить систему в сон или выключать её, открывать и закрывать приложения, создавать и переименовывать файлы или папки, открывать страницы в браузере и многое другое. Разработчики операционной системы действительно потрудились над этим вопросом и в Windows 11 компьютером можно полностью (практически) управлять только за счёт голоса.

Более того, встроенными же инструментами можно даже набирать текст — операционная система умеет правильно распознавать слова и ставить знаки препинания на основе интонации даже на русском языке, хотя, конечно, ошибки тоже встречаются и очень часто. Единственная проблема голосовых команд в Windows 11 заключается в том, что поддерживается исключительно английский язык — команды на русском не работают. Это не совсем удобно при полном отсутствии познаний в английском, но, с другой стороны, не нужно быть знатоком языков, чтобы сказать «open google chrome» или «close window».

Всеми любимый виртуальный помощник «Google Ассистент», присутствующий на устройствах с Android, теперь доступен для любой операционной системы Windows, Mac и Linux (неофициально). Ассистент умеет разговаривать на русском языке и сможет вас развлечь, а также оказать информационную помощь.

Спасибо пользователю Мелвин за неофициальный клиент, который использует API-интерфейс ассистента, и позволяет работать Ассистенту Google на вашем компьютере или ноутбуке с Windows 11 или Windows 10.

Ранее мы уже публиковали руководство по установке Google Ассистента в Windows 10 без графического интерфейса и взаимодействием с помощью Командной строки или PowerShell.

Все изменилось, теперь вы можете относительно легко установить и получить практически оригинальный графический интерфейс Ассистента на своем компьютере с Windows, что действительно потрясающе, вам обязательно стоит установить его на ПК.

Итак, если вы готовы установить Google Ассистент на русском языке в Windows 11 \ 10, начнем!

1. Загрузка приложения Google Ассистент
2. Регистрация устройства 
3. Настроить экран согласия
4. Установка приложения Google Ассистент
5. Настройка аутентификации в приложении
6. Как использовать Google Assistant в Windows 11 \ 10

Загрузка приложения Google Ассистент

Прежде чем начать, перейдите на страницу GitHub, и загрузите приложение «Google-Assistant-Unofficial-Desktop-Client» основанный на SDK Google Assistant, клиент доступен для Windows, Linux и Mac. Всегда скачивайте последнюю сборку. Поскольку данное руководство написано для Windows 11 или 10, загрузите файл с расширением «.exe».

После загрузки приложение сразу устанавливать не надо, мы описали весь процесс и вы не пропустите установку если будете последовательно выполнять каждый из этапов.

(Этап настройки ассистента, часть 1 из 4)

Регистрация устройства 

Следуйте инструкциям ниже для получения ключа аутентификации учетных данных OAuth 2.0. Для этого вам потребуется: Аккаунт Google, другими словами учетная запись для почты Gmail, чтобы создать / зарегистрировать проект. Если у вас появилась мысль, что вы не справитесь, не сомневайтесь, поверьте, это совсем не сложно, просто выполните по порядку все перечисленные шаги в данном руководстве. 

Шаг 1: Перейдите по ссылке в Консоль действий, чтобы выполнить первый этап настройки ассистента.  

Console.actions.google.com —  платформа для разработчиков, позволяющая расширить возможности Google Assistant.

Шаг 2: На странице нажмите кнопку «New project».

Шаг 3: В следующем окне примите условия предоставления услуг выбрав «Да», выберите свою страну и нажмите кнопку «Согласен и продолжить».

Шаг 4: Должно появиться всплывающее окно, введите любое имя для названия вашего проекта, в примере мы используем имя «My Google Assistant». Заполните другие параметры, такие как язык и страна \ регион, нажмите кнопку «Create project» чтобы создать проект.

Шаг 5: Прокрутите экран вниз, в нижней части страницы вы найдете сообщение «Are you looking for device registration» нажмите ссылку «Click here», чтобы продолжить регистрацию устройства.

Будьте терпеливы настройка firebase займет несколько секунд.

Шаг 6: Вы попадете на страницу «Device registration» (Регистрация устройства), здесь нажмите кнопку «Register Model» (Зарегистрировать модель).

Шаг 7: Вы увидите всплывающее окно, здесь введите любое имя, компанию и выберите в выпадающем меню тип устройства, например: «light». После чего, нажмите кнопку «Register Model».

Шаг 8: Теперь, когда вы создали модель, вам будет предложено загрузить учетные данные идентификатора клиента OAuth 2.0. Нажмите кнопку «Download OAuth 2.0 credentials». После чего на ваше устройство будет загружен файл «client_secret_хххххххх-ххххххххххххх.apps.googleusercontent.com.json», который нам понадобится позже.

Шаг 9: Нажмите кнопку «Next».

Шаг 10: В следующем окне кнопку «Skip», это позволит пропустить настройки, которые нам не важны.

Все прошло без ошибок? Замечательно, вы закончили процесс регистрации. Но для аутентификации вам необходимо «Настроить экран согласия».

(Этап настройки, часть 2 из 4)

Настройка экрана согласия

После того как вы закончили процесс регистрации, теперь для аутентификации вам необходимо «Настроить экран согласия».

Шаг 1: Перейдите по ссылке, на страницу Cloud Console.

Шаг 2: На панели навигации рядом с логотипом, найдите и выберите только что созданный проект.

Шаг 3: Теперь в левом углу нажмите на гамбургер-меню и выберите «APIs & Services» → «Dashboard». Вы попадете на страницу панели инструментов.

Шаг 4: Здесь вверху страницы нажмите элемент «+ ENABLE APIS AND SERVICES».

Шаг 5: На новой странице откроются библиотеки API, где вы сможете найти нужный нам API и включать его.

Шаг 6: Введите в строку поиска «Google Assistant», нажмите появившейся результат «Google Assistant API», чтобы перейти на следующую страницу

Шаг 7: Нажмите кнопку «ENABLE» чтобы подключить библиотеку.

Шаг 8: Теперь с помощью гамбургер меню перейдите на экран «Credentials» чтобы настроить учетные данные.

Шаг 9: Нажмите элемент «CONFIGURE CONSENT SCREEN» чтобы настроить экран согласия.

Шаг 10: На экране согласия OAuth в разделе «User Type» (Тип пользователя) выберите «External». Затем нажмите кнопку «CREATE».

Шаг 11: На следующей странице в разделе Регистрации приложения, выберите свой адрес электронной почты в строке «User Support email», прокрутите страницу вниз и введите этот же адрес электронной почты в поле «Developer Contact Information», сразу после этого нажмите «SAVE AND CONTINUE» чтобы сохранить изменения.

Шаг 12: В следующем шаге на экране «SCOPES», нажмите кнопку «SAVE AND CONTINUE».

Шаг 13: В окне «Optional info» еще раз нажмите «SAVE AND CONTINUE», после чего нажмите кнопку «Back to Dashboard».

Шаг 14: Теперь в разделе «Test user» нажмите кнопку «+  ADD USERS», чтобы добавить нового пользователя который сможет подключатся к приложению.

Шаг 15: Во всплывающем окне в разделе «ADD USERS» введите адрес электронной почты учетной записи Gmail, которую вы будете использовать для подключения к ассистенту (желательно, чтобы ваша текущая учетная запись Gmail), вы можете добавить несколько учетных записей через запятую, после чего, нажмите кнопку «Save» чтобы сохранить настройки.

(Этап настройки, часть 3 из 4)

Установка приложения Google Ассистент

Шаг 1: Откройте проводник Windows, перейдите в папку «Загрузки» и установите ранее загруженный клиент Ассистента Google с помощью файла «Google_Assistant-Setup-1.0.0-rc.2.exe».

Шаг 2: Если увидите предупреждение в Windows 11 нажмите «Все равно продолжить» чтобы запустить установщик.

Шаг 3: В мастере установки google ассистента, выберите, смогут ли другие пользователи вашего ПК использовать приложение и нажмите кнопку «Далее».

Шаг 4: В следующем окне нажмите «Установить».

Шаг 5: По завершении установки нажмите кнопку «Готово».

Приложение доступно как в светлом, так и в темном режиме, переключить тему можно в настройках приложения.

(Этап настройки, часть 4 из 4)

Настройка аутентификации в приложении

Шаг 1: После установки откройте приложение «Google Assistant» с помощью значка в системном трее (меню переполнения угла панели задач) или сочетанием клавиш Win Shift A.

Шаг 2: В открывшемся приложении в левом верхнем углу нажмите кнопку с изображением шестеренки (см. скрин).

Шаг 3: В разделе «Аутентификация» необходимо добавить файл к файлу «client_secret_хххххххх-ххххххххххххх.apps.googleusercontent.com.json» который мы получили в «Шаге 8:» первого этапа настройки, для этого кликните кнопку «Browse» в окне проводника перейдите в папку «Загрузки» и выберите файл и нажмите кнопку «Открыть».

Шаг 4: Оставьте поле «Path to Saved Tokens» пустым и нажмите кнопку «Save» чтобы сохранить настройки.

Шаг 5: Вам будет предложено автоматически создать путь для «Path to Saved Tokens», нажмите «→ Automatically set a path» чтобы автоматически установить путь.

Шаг 6: Теперь необходимо перезагрузить приложение Ассистент. Нажмите кнопку «Relaunch Required».

Шаг 7: После перезапуска приложение покажет экран «Get Token!». В вашем браузере по умолчанию, откроется страница аутентификации, выберите свой Google аккаунт который будет получать доступ к приложению.

Шаг 8: Вам нужно войти в систему с учетной записью Gmail, где вы увидите предупреждение, что Google не проверил это приложение, но, поскольку вы создали это приложение, можно безопасно продолжить. Нажмите «Продолжить».

Шаг 9: Теперь предоставьте проекту права доступа к вашему аккаунту, установив соответствующий флажок и нажав кнопку «Продолжить».

Шаг 10: В итоге на экране вам будет представлен код авторизации. Нажмите на кнопку копирования, чтобы поместить код в буфер обмена.

Шаг 11: Перейдите в приложение и вставьте код в соответствующее поле и нажмите кнопку «Submint».

Шаг 12: Снова перезапустите приложение кликнув кнопку «Relaunch Required».

Вы справились! Теперь вы можете в Windows использовать неофициальный клиент Google Assistant с графическим интерфейсом.

Как использовать Google Assistant в Windows 11 \ 10

Шаг 1: Запустите приложение «Google Assistant» с помощью ярлыка на рабочем столе, вы можете развернуть его после запуска с помощью клавиш WIN  SHIFT  A и начать давать команды ассистенту.

Шаг 2: Кликните значок микрофона в правом нижнем углу, чтобы поговорить с Google Ассистентом. На мой взгляд, это работает так же, как оригинальный Google Assistant на любом устройстве Android.

Примечание: Важно отметить, что вы можете управлять своими умными устройствами подключенными к Google Home с помощью компьютера с Windows 11 \ 10.

Google Assistant ответит практически на любой ваш вопрос в отличие от помощника Cortana.

Ограничения:

• Открывать приложения в Windows с помощью ассистента на данный момент не получится.
• Некоторые команды, которые работают на устройствах Android, могут работать не так, как ожидалось.

Итог

Реализация внешнего вида очень похоже на интеграцию с Ассистентом, уже имеющуюся в Chrome OS.

Одним из ключевых преимуществ этого неофициального клиента Google Ассистент является то, что вы можете контролировать все технологии своего умного дома прямо со своего ноутбука или настольного ПК. Единственный недостаток, который мы видим на данный момент, заключается в том, что пользовательский интерфейс может быть немного неправильно отрисован. Это может создать проблемы с определенными устройствами умного дома, но в любом случае это любительский подход к интеграции сервиса.

Общие команды работают довольно хорошо. Следите за своим расписанием, решайте повседневные задачи, управляйте устройствами умного дома, развлекайтесь и делайте многое другое.  Мы искренне надеемся, что у Google появятся какие-либо идеи для создания собственной официальной версии ассистента для Windows 11.

Время на прочтение
2 мин

Количество просмотров 5.6K

Компания Microsoft начала реализовывать свой план по остановке поддержки голосового помощника Cortana в отдельном приложении для Windows 11. Недавнее обновление приложения в Microsoft Store, вместо добавления новых функциональностей, делает так, что Cortana перестает работать в последней актуальной ОС от Microsoft. По всей видимости, теперь компания будет полностью сфокусирована на своем новом продукте, основанном на искусственном интеллекте, Windows Copilot.

Как подчеркивает специализированный ресурс WindowsLatest, ссылаясь на знакомого с планами компании источник, отключение Cortana в Windows 10 может произойти в течение нескольких дней или ближайшей недели.

Cortana была голосовым помощником времен Windows Phone и впервые появилась на настольных компьютерах с выходом Windows 10. Это приложение было ответом Microsoft на Siri в 2014 году, и компания даже выпустила несколько рекламных роликов, направленных на критику аналогичного продукта от Apple.

За все время своего существования Cortana так и не смогла завоевать достаточную популярность на рынке, при этом развитие систем голосового ввода в том же Android банально лишило Cortana основной ниши применения — за отсутствием собственной мобильной операционной системы ее было некуда внедрять, в отличие от Siri.

Окончательную точку в истории как Cortana, так и Siri поставили нейросети, в частности GPT-3 и GPT-4. Microsoft почти сразу после начала своего сотрудничества с OpenAI начала работу над проектом Copilot, который был призван стать по-настоящему «умным» помощником, в отличие от «поисковых» Cortana и Siri.

Широкий релиз Copilot, который призван заменить Cortana, планируется осенью вместе с большим пакетом обновлений Windows 11 23H2. Также Copilot внедряет в корпоративные и бизнес-решения Office 365, но его использование там будет доступно за отдельную плату.

---

On this page you can find links to accessibility help articles that are written for people who use Windows voice access to control their PC and author text using their voice.

Voice access in Windows 11 is a new experience that enables everyone, including people with mobility disabilities, to control their PC and author text using their voice. For example, you can open and switch between apps, browse the web, and read and author emails using your voice. Voice access uses modern, on-device speech recognition to accurately recognize speech and works without an internet connection.

You can submit your feedback and suggestions in Feedback Hub (Windows logo key+F) under Accessibility > Voice access. You can find the link to the Feedback Hub on the voice access help menu as well—use the voice commands «Open voice access help» > «Click Give feedback» to get there.

Voice access is available in Windows 11, version 22H2 and later. For more information on Windows 11 22H2 new features, and how to get the update, see What’s new in recent Windows updates. Not sure which version of Windows you have? See: Find Windows version.

Get started with voice access

• Set up voice access

• Get started with voice access

• Voice access command list

• Voice access Frequently Asked Questions

Navigate & interact with your PC

• Use voice to work with Windows and apps

• Use voice to interact with items on the screen

• Use the keyboard with voice

• Use the mouse with voice

• Use voice access to set up and log in to your PC

Author text with voice

• Dictate text with voice

• Select text with voice

• Edit text with voice

• Navigate text with voice

• Correct text with voice

What’s new 

Voice access is now available to use in more areas on Windows.  

Set up your PC with voice access 

Users can now use voice access to set up their PC and navigate through the Out-Of-Box-Experience (OOBE) to customize their new device. 

To enable voice access, click on the accessibility flyout menu at the bottom left corner of the first OOBE screen and select Voice access.   

Note: Make sure you are connected to the internet while setting up your PC to enable language model download and set up voice access.

Sign in to your PC with voice access 

You can now use voice access to log in to your PC and access other areas on the Lock screen.

To turn on voice access, select Voice access in Accessibility flyout on the Lock screen.

Notes: 

• If you have never tried voice access, it is recommended to search for voice access in search on the taskbar and complete the initial set up before trying it for the first time on the Lock screen.

• To automatically have voice access on every time, select Settings > Accessibility > Speech in the Start menu and check Start voice access before sign-in.

Follow the instructions on the voice access bar to bring focus to the password field and use your voice to dictate your password or PIN.

Alternatively, you can say «Show keyboard” to open the touch keyboard with number labels on it.

You can say the numbers on the keys to enter the letters associated with it. This will mask the actual password you are entering from being heard by anyone in your vicinity.

For more information, refer to the article Use voice to set up and log in to your PC.

Use voice access on apps running Microsoft Defender Application Guard (MDAG)

Voice access now works for apps running with Microsoft Defender Application Guard.

New text authoring experiences in voice access 

We have added two new experiences to make text authoring easy with voice access.  Users can now use “correction” commands to correct words that are misrecognized by voice access.  

To correct a specific text or last dictated text, say “Correct <text>” or “Correct that”. ​​​Voice access opens a correction window with a list of alternative text suggestions labeled with numbers.

To select any alternative text suggestion from the list, say “Click <number>”. The original text selected in the text box will be replaced by this alternative text. To learn more about correction commands, refer to Correct text with voice.

To dictate the correct spelling of the text, say “Spell that” or “Click <number>” associated with the “Spell that” option in the list.

In this spelling window, you can dictate letters, numbers, symbols, the phonetic alphabet, and more. You will also get suggestions as you spell out the text. You can say “click 1” to enter the text you spelled out or say “click <number>” to pick a suggestion (if any).

Notes: 

• All words and phrases dictated using the spelling experience are added to Windows dictionary and will show up as suggestions when you try to spell them the next time.

• To learn more about using the “Spell that” command, refer to Spell non-standard words in Dictate text with voice.

To do this	Say this
Correct a specific word or text	“Correct <text>”
Correct selected text or last dictated text	“Correct that”
Spell out text letter by letter	“Spell out”
Spell out selected text or last dictated text letter by letter	“Spell that”

Technical support for customers with disabilities

Microsoft wants to provide the best possible experience for all our customers. If you have a disability or questions related to accessibility, please contact the Microsoft Disability Answer Desk for technical assistance. The Disability Answer Desk support team is trained in using many popular assistive technologies and can offer assistance in English, Spanish, French, and American Sign Language. Please go to the Microsoft Disability Answer Desk site to find out the contact details for your region.

If you are a government, commercial, or enterprise user, please contact the enterprise Disability Answer Desk.