Кейс · Типовое решение
Модуль голосового помощника
Модуль голосового помощника — продукт ITLabs: голосовой ввод и поиск для интерактивных терминалов.
Коротко о проекте
Коротко о проекте
Модуль голосового помощника — проект ITLabs. Модуль голосового помощника — продукт ITLabs: голосовой ввод и поиск для интерактивных терминалов. Посетитель произносит запрос вслух, модуль распознаёт речь прямо на киоске и передаёт текст в поиск приложения. Софт мы пишем сами, поэтому сценарий и оформление собираются под конкретный объект.
Описание проекта
Как устроено решение
Модуль голосового помощника проверяют на живой речи. На столе у монитора стоит настольный USB-микрофон, а окно консоли выводит распознавание фраза за фразой: сначала промежуточный вариант, который уточняется по ходу речи, затем итоговый текст запроса. Тестовые фразы взяты из сценария навигации по территории — «как пройти к павильону „Космос“», «покажи дорогу до фонтана „Дружбы“», «где находится павильон „Робостанция“». Это вопросы вида «где» и «как пройти», которые посетитель задаёт киоску-навигатору вместо набора на экранной клавиатуре.
Консоль показывает две строки на каждую фразу. Первая — промежуточное распознавание: слова дописываются, пока человек говорит, и последняя фраза видна внизу окна ещё до её завершения. Вторая — итог: готовая строка, которая уходит в поиск приложения. Фразы разной длины обрабатываются одинаково — от короткого названия объекта до полного вопроса из шести-семи слов, произнесённого обычным темпом. Такой вывод удобен при настройке: сразу видно, в какой момент модуль начал слышать фразу и когда закончил.
В режиме наладки инженер видит на экране всё, что услышал модуль, и подбирает параметры под микрофон и помещение ещё до установки в корпус киоска. Проверка ведётся на русской речи без заранее заданного списка команд: любые формулировки приходят в консоль как текст. Ошибки распознавания на таком выводе видны сразу, поэтому итоговую строку удобно сверять с базой объектов приложения.
Что сделали
Как работает голосовой модуль
Посетитель произносит запрос вслух, модуль распознаёт речь прямо на киоске и передаёт текст в поиск приложения.
Сценарий посетителя
- Голосовой ввод вопроса
- Короткий запрос — основной сценарий: посетитель называет объект и сразу попадает в карточку
- Ответ сопровождается подбором изображений
Как это устроено
- Распознавание офлайн — на самом терминале, звук наружу не уходит
- Работает на обычном процессоре киоска, без отдельной видеокарты
- Два режима распознавания: пакетный для точности и потоковый для мгновенной реакции
- Настройка под встроенный микрофон в корпусе и шум зала
- Встраивается как дополнительный модуль в программную оболочку терминала
Что ещё в решении
- Промежуточный результат распознавания во время речи
- Итоговая фраза как готовый поисковый запрос
- Вопросы «где находится…» и «как пройти к…» как основной сценарий
- Консоль наладки с потоком распознанных фраз
- Проверка с внешним USB-микрофоном на стенде
- Русская речь без списка заранее заданных команд
- Фразы разной длины: от названия объекта до полного вопроса
- Названия павильонов и фонтанов как запрос к навигации
Видео
Как это работает
Вопросы и ответы
Частые вопросы о проекте
Что делает модуль голосового помощника?
Даёт терминалу голосовой ввод и поиск: посетитель произносит запрос вслух, модуль распознаёт речь прямо на киоске и передаёт текст в поиск приложения. Ответ дополняется подобранными изображениями.
Уходит ли записанная речь в облако?
Нет. Распознавание работает офлайн, на самом терминале, звук наружу не отправляется. Это важно там, где интернет нестабилен или передавать голос посетителей во внешние сервисы нежелательно.
Нужно ли мощное железо под голосовой ввод?
Нет, модуль рассчитан на обычный процессор киоска, без отдельной видеокарты. Он встраивается в уже работающую программную оболочку терминала как дополнительный компонент, менять начинку устройства не требуется.
Как добиваются точности в шумном зале?
Настройкой под встроенный в корпус микрофон и под шум конкретного помещения. Есть два режима распознавания: пакетный даёт точность, потоковый — мгновенную реакцию, выбор зависит от сценария площадки.
Для каких запросов модуль подходит лучше всего?
Для коротких: посетитель называет объект и сразу попадает в его карточку. Это основной сценарий — голос заменяет набор на экранной клавиатуре, а не ведёт с посетителем длинный диалог.
Можно ли добавить голосовой ввод к уже работающему терминалу?
Да, это отдельный модуль, который встраивается в уже работающее приложение киоска. Переписывать приложение не нужно: подключается распознавание, настраивается микрофон, и запрос уходит в существующий поиск терминала.
Какие вопросы можно задавать голосовому помощнику в киоске?
Любые формулировки на русском без заранее заданного списка команд: короткое название объекта или полный вопрос. Основной сценарий — навигационный, например «как пройти к павильону» или «покажи дорогу до фонтана»; ответом служит карточка или маршрут в приложении.
Нужен ли особый микрофон для модуля голосового помощника?
Нет: на стенде модуль проверяют с обычным настольным USB-микрофоном, а в готовом киоске используется микрофон, встроенный в корпус. Параметры подбирают под конкретный микрофон и уровень шума в зале на этапе наладки.
Как проверить качество распознавания до установки модуля?
Через консоль наладки: в ней видны промежуточные и итоговые строки для каждой произнесённой фразы. Инженер произносит типовые запросы, сверяет текст с ожидаемым и подбирает настройки под микрофон и помещение.
Похожие проекты
Смотрите также
Мероприятия и форумыАгроном Сад: регистрация и рассадка гостейПрограммное обеспечение для регистрации гостей и автоматической рассадки на мероприятии в Ташкенте, проведённом под названием «Агроном Сад».Смотреть кейс 
Платформы и интеграцииРасчерчиватель карт для интерактивной навигацииРасчерчиватель карт — инструмент ITLabs: настольное приложение, в котором карта объекта превращается в данные для навигационного киоска. Специалист…Смотреть кейс 
Промышленные предприятияЗакрытый браузер Директум и расписаниеЗакрытый браузер — решение ITLabs: оболочка, которая пускает терминал только в одну систему и никуда больше. Сотрудник работает с Директумом и…Смотреть кейс Продукты и направление из этого проекта
Платформы и интеграции — обсудим ваш проект?
Расскажите про объект и задачу — предложим состав решения и покажем похожие внедрения.