Китайский стартап Limitless Mind разрабатывает систему перевода между устной речью и языком жестов. Компактная модель предназначена для умных гаджетов, включая очки и смартфоны, чтобы обеспечить коммуникацию между глухими и слышащими без необходимости специального обучения. На данный момент проект находится на этапе разработки прототипа и активно ищет финансирование.
Несмотря на наличие технологий для преобразования речи в текст, многие люди с нарушениями слуха не обладают навыками чтения. Для них жестовый язык является естественным и понятным способом общения. Жесты могут варьироваться даже в пределах одной страны, как диалекты языка. Для понимания важны не только движения рук, но и выражение лица, наклон головы и скорость жестов.
Исследователи собрали около 12 тысяч размеченных видеозаписей, охватывающих различные «диалекты». В этих видеозаписях зафиксированы 3D-координаты движений рук, тела и мимики. Модель была обучена на основе предоставленных данных для распознавания жестов на видео и их преобразования в текст, а также для обратного преобразования текста или речи в жесты виртуального трёхмерного аватара.
Существуют и другие системы искусственного интеллекта для сурдоперевода, помимо Limitless Mind. Например, китайские компании Baidu и Alibaba уже разработали свои облачные решения в этой области. Для американского языка жестов компания Google выпустила модель SignGemma.
Источник
