Розробники ШІ-застосунку ConnectAbility, який навчає людей із порушенням слуху мови жестів, хочуть додати підтримку англійської мови та озвучення перекладу

Хто створив ConnectAbility

«Десь у середині січня через соціальні мережі побачив оголошення про проведення національного етапу міжнародного хакатону Teens in AI. Довго не роздумуючи, зібрав команду зі своїх учнів», — розповів dev.ua Іван Комаров, вчитель Політехнічного ліцею «КПІ» міста Києва, який виступив ментором команди.

До PL of KPI Igor Sikorsky складу увійшли учні 10 класу: Олександра Кротова, Софія Столяр, Марія Лябах, Аріна Хмелюк, Євгеній Шифф, а також учень 11 класу Володимир Руських.

За словами наставника, всі учасники — це переможці різних олімпіад з навчальних предметів, конкурсів Малої академії наук України, а також інших конкурсів Всеукраїнського та міжнародного рівнів, таких як — Sikorsky Challenge, Inventor UA, «ЕкоТехно», Genius Olympiad, Infomatrix та інші. «Досвіду мають достатньо», — каже Іван Комаров.

Як виникла ідея застосунку

Іван Комаров розповів, що учасники команди подали заявку на участь, «розписавши всі наші сильні сторони, можливості та вміння». У середині лютого вони отримали лист з повідомленням, що їх відібрали у десятку кращих команд України. Після цього розпочалась підготовка до самого хакатону. Два тижні PL of KPI Igor Sikorsky відвідували різні міжнародні воркшопи, а потім ще тиждень українські воркшопи від організаторів заходу.

«Після оголошення тем хакатону ми почали їх досліджувати та генерувати ідеї, які б могли бути втілені з використанням штучного інтелекту. Зупинились ми на темі якісної освіти та вирішили її адаптувати для людей з порушеннями слуху. В ході дослідження проблеми дізнались, що в Україні є велика кількість людей саме з порушеннями слуху, тому ще раз впевнились що майбутня наша робота зможе принести користь людям», — говорить Іван Комаров.

За словами ментора, для реалізації ідеї у команди було неповних два дні. Щоб визначитись з ідеєю самого застосунку, розробники вирішили звернутись до Інституту корекційної педагогіки Національного педагогічного університету ім. М. П. Драгоманова.

«Поспілкувавшись із викладачами та студентами, ми вирішили розробити мобільний застосунок, який би міг перекладати мову жестів у звуковий формат за допомогою камери смартфона, використовуючи штучний інтелект, а також розробити в ньому розділ з вивченням самої мови жестів», — пояснює ментор.

Як працює ConnectAbility

Для проєкту розробники записали відео всього дактилю та найбільш вживані слова показані жестами для навчання своєї мережі й почали працювати над створенням програми.

«За допомогою mediapipe виявляються ключові точки на руках людини. Координати цих точок зберігаються у вигляді векторів. На основі цих точок виконується аналіз за допомогою нашої моделі ШІ. Нейронна мережа написана на Tensorflow та використовує алгоритм класифікації», — роз’яснює Іван Комаров.

Наразі проєкт знаходиться у стадії прототипу, тому  скористатись ним ще не можна.

Що планують розробники 

Зараз команда ConnectAbility готується до виступу на фінальному етапі хакатону, де буде представляти свою ідею від України. Учасники готують всю відповідну документацію та перекладають її англійською мовою.  Міжнародний фінал Teens in AI відбудеться наприкінці квітня.

«Надалі хочемо продовжити розвиток цього проєкту. Плануємо збільшити dataset для підвищення точності розпізнавання жестів та додати озвучку під час перекладу. Також хотіли б додати можливість вивчення не тільки української мови, а й інших мов. Через те, що в Україні зараз є проблема з вивченням жестів, наприклад, тієї самої англійської мови», — вважає ментор команди Іван Комаров.

Розробники сподіваються, що їхній проєкт зможе «допомогти людям подолати бар’єри в спілкуванні» та на нього звернуть увагу різні соціальні служби та відповідні державні органи, які допоможуть втілити розробку.

Читайте головні IT-новини країни в нашому Telegram

По темi

Читайте головні IT-новини країни в нашому Telegram

Команда з ліцею КПІ створила ШІ-застосунок ConnectAbility, який навчає дітей мови жестів

По темi

Команда з ліцею КПІ створила ШІ-застосунок ConnectAbility, який навчає дітей мови жестів

Відтепер люди з порушенням слуху можуть викликати екстрені служби через застосунок «Перекладач ЖМ». Як це зробити

По темi

Відтепер люди з порушенням слуху можуть викликати екстрені служби через застосунок «Перекладач ЖМ». Як це зробити

Нові AirPods Pro потенційно зможуть виявляти проблеми зі слухом і вимірювати температуру

По темi

Нові AirPods Pro потенційно зможуть виявляти проблеми зі слухом і вимірювати температуру