Амбассадор конкурса «Цифровой прорыв» создал Онлайн-словарь языка жестов.

Мы уже не раз рассказывали истории об успехах наших амбассадоров, говорили о том, что конкурс «Цифровой прорыв» действительно меняет жизни людей. Впереди онлайн-хакатоны и онлайн-чемпионат, а затем и очные этапы второго сезона проекта. И пока вы готовитесь к напряженной борьбе, мы хотим поделиться историей, которая не смогла оставить нас равнодушными, историей финалиста прошлого сезона конкурса «Цифровой прорыв» из Новосибирска Алексея Приходько.

Ограничения по здоровью не помешали Алексею стать программистом, окончить магистратуру в обычной группе, стать мастером спорта по волейболу, выступить перед президентом и разработать систему распознавания жестов.

Алексей принял участие во всероссийском конкурсе «Цифровой прорыв» в 2019 году, не попал в число призеров, но ему  удалось пройти сначала в полуфинал, а затем в финал. Организаторы конкурса пригласили  Алексея на  итоговой проектной сессии проекта «Россия — страна возможностей» в Сочи, где у Алексея была возможность встретится с президентом Российской Федерации Владимиром Путиным. 

Встреча состоялась на заседании Наблюдательного совета платформы «Россия — страна возможностей» в Сочи. Здесь из всех участников отобрали молодых ученых, которым нужно было рассказать Владимиру Путину о своих проектах. Алексей Приходько попал в их число.

Сейчас Алексей Приходько работает сразу над несколькими проектами, все так или иначе связаны с русским жестовым языком: программа по распознаванию и переводу жестового языка на письменный, программа распознавания индийского жестового, очень важный для Алексея образовательный проект для глухих детей «Математика в тишине» — онлайн-платформа, которая поможет школьникам готовиться к ЕГЭ по математике.

Алексей может общаться на четырех жестовых языках — немецком, американском, русском, освоил он и общение по международной жестовой системе, позволяющей обсуждать несложные темы.

О проектах

В работе у Приходько три проекта. Один связан с распознаванием индийского жестового, в этом проекте, который поддержал Российский фонд фундаментальных исследований, он исполнитель, работает под научным руководством профессора НГТУ НЭТИ Михаила Грифа.

Активно ведется работа и над проектом по распознаванию и переводу жестового русского языка на письменный. Тут у Алексея тоже есть поддержка — президентский грант. 

Благодаря разрабатываемой системе глухим людям станет намного проще общаться — сейчас программа может распознавать отдельные жесты и переводить их на письменный язык. Можно работать на компьютере без помощи мыши — настроить яркость, громкость, управлять курсором.

Чтобы испытать систему, достаточно иметь веб-камеру, также подойдет камера мобильного телефона. "Человек перед веб-камерой показывает отдельные жесты. Этот видеопоток отправляется на сервер, и там работают алгоритмы распознавания отдельных элементов жеста — лицо, руки, пальцы. Определяется начало жеста, конец жеста. Представленные жесты сравниваются с базой жестов. В случае значительного сходства на экране появляется письменное толкование жеста", — объясняет Приходько.

Пока система направлена на распознавание отдельных жестов, а не жестовой речи, это будет следующим этапом. Сейчас Алексей проводит фонологический анализ русского жестового языка (РЖЯ), собирает видео на РЖЯ из видеословаря, создает фонологический датасет (размеченные наборы данных) РЖЯ для машинного обучения.

"Моя цель в проекте от Фонда президентских грантов — создание онлайн-словаря с русского жестового языка на русский язык и другие функции по поддержке РЖЯ. Есть много словарей с русского языка на РЖЯ, а обратного перевода нет", — поясняет Приходько. 

В перспективе Алексей планирует вернуться к проекту по подготовке глухих школьников к ЕГЭ.

"Проект пока приостановлен, но сама площадка, платформа онлайн доступна. Школьники сейчас по ней занимаются, мы работали над этим проектом в течение года командой волонтеров в рамках гранта, совместно с коллегой Дмитрием Кручининым из Томска. Я планирую продолжать этот проект, это могут быть и другие школьные предметы — физика, химия", — говорит он.

Образовательные проекты для Алексея особенно важны.
 

"Я всю жизнь учился в школе для глухих, я помню то не очень качественное обучение, которое у нас было, и понимаю, как глухим детям тяжело учиться. Дело в том, что есть дефектологи, которые занимаются с глухими детьми только устной речью и не используют жестовый язык. Малое количество использования жестового языка в образовательном процессе, на мой взгляд, затрудняет освоение знаний. Поэтому мои проекты все сделаны на жестовом языке", — говорит Приходько.

Полное интервью с Алексеем можно прочитать в материале ТАСС: https://tass.ru/v-strane/836292


21.05.2020