Новости / Пензенская область

Целью разработки является повышение качества жизни людей с ОВЗ. Научная новизна проекта заключается в интерпретации результата нейросетевой обработки жестов, записи жестов с помощью фронтальной камеры и выводе информации впервые с помощью 3D-анимированной модели с жестовым переводом. На данный момент на рынке не существует решения для распознавания жестов глухонемых людей, связано это со сложностью обучения нейронной сети и отсутствием базы данных жестов. Команда Софьи намерена совершить прорыв в данном направлении.

 Актуальность разработки обусловлена тем, что на данный момент в России насчитывается более 13 миллионов людей с нарушением слуха. По данным Всероссийского общества глухих, численность глухих, которые являются носителями жестового языка, – более 300 тысяч человек. К сожалению, среда для людей с нарушением слуха очень ограничена. Решение возникшей проблемы молодая исследовательница видит в разработке приложения для сурдоперевода, которое будет использоваться в компаниях,  напрямую работающих с клиентами (банки, МФЦ, социальные службы, магазины).

Предполагается, что мобильное устройство с помощью фотокамеры будет захватывать видеопоток, анализировать его и с помощью предварительно обученной нейросети переводить жесты в текстовой или аудио формат. Для такой нейросети требуется на один жест около 50 000 фотографий.

«Для создания базы данных жестов, мы будем использовать Unreal Engine, чтобы с помощью созданного нами ПО автоматизировать процесс создания фотографий. Это даст возможность ускорить процесс разработки, так как не придётся делать фотографии и их обработку вручную. После процесса обучения необходимо провести  тестирование нейронной сети  и сбор статистики, которая должна включать в себя потребляемые нейронной сетью ресурсы и ее точность распознавания. Если нейронная сеть не покажет требуемых результатов, то архитектура нейронной сети будет изменена и подход к обучению в целом. Следующим этапом будет разработка мобильного приложения, с помощью которого решение будет распространяться в виде приложения.  Далее идет разработка облачной платформы,  при  помощи которой  продукт будет распространяться на компании. Облачная платформа нам нужна для упрощения интеграции», - пояснила суть своей разработки Софья.