Amazon Alexa зможе розпізнавати мову жестів

Проект Сінгха використовує систему на основі камери для виявлення та розпізнавання жестів та їх конвертації у текст, повідомляє Depo.ua з посиланням на BBC.

Останні кілька років спостерігається зростання популярності голосових помічників, що працюють на Amazon, Google і Apple. Але для глухих людей майбутнє, де пристрої все більше контролюються голосом, створює незручності. Проект Сінгха пропонує рішення - запрограмувати Amazon's Alexa так, щоб асистент відповідав у текстовій формі на мову жестів.

Розробник використав платформу для машинного навчання Tensorflow, яка фіксує неодноразові рухи перед веб-камерою, щоб навчити систему основи мови жестів. Коли система змогла відповісти на рухи рук, він з'єднав її з програмним забезпеченням Google для текстового мовлення.

Втім, експерти не надто оптимістичні в оцінках "мовних можливостей" техніки. Так, Джефрі Бігман, експерт зі взаємодії людини з комп'ютером з Університету Карнегі-Меллона, зауважує, що "систему, яка повністю здатна розпізнавати мову жестів, буде важко розробляти, оскільки вона вимагає як комп'ютерного бачення, так і розуміння мови".