🥃 Збираєшся в бар з друзями, а все в крипті? Не проблема, є рішення 👉

Розробники ШІ-застосунку ConnectAbility, який навчає людей із порушенням слуху мови жестів, хочуть додати підтримку англійської мови та озвучення перекладу

Команда ліцею Київського політехнічного інституту ім. Ігоря Сікорського, яка створила застосунок ConnectAbility, що переміг на українському етапі міжнародного хакатону Teens in AI, планує продовжити розвиток цього проєкту. dev.ua поспілкувався з ментором команди PL of KPI Igor Sikorsky і дізнався, як працює ШІ застосунок, що може перекладати мову жестів у звуковий формат за допомогою камери смартфона.

Залишити коментар
Розробники ШІ-застосунку ConnectAbility, який навчає людей із порушенням слуху мови жестів, хочуть додати підтримку англійської мови та озвучення перекладу

Команда ліцею Київського політехнічного інституту ім. Ігоря Сікорського, яка створила застосунок ConnectAbility, що переміг на українському етапі міжнародного хакатону Teens in AI, планує продовжити розвиток цього проєкту. dev.ua поспілкувався з ментором команди PL of KPI Igor Sikorsky і дізнався, як працює ШІ застосунок, що може перекладати мову жестів у звуковий формат за допомогою камери смартфона.

Хто створив ConnectAbility

«Десь у середині січня через соціальні мережі побачив оголошення про проведення національного етапу міжнародного хакатону Teens in AI. Довго не роздумуючи, зібрав команду зі своїх учнів», — розповів dev.ua Іван Комаров, вчитель Політехнічного ліцею «КПІ» міста Києва, який виступив ментором команди.

До PL of KPI Igor Sikorsky складу увійшли учні 10 класу: Олександра Кротова, Софія Столяр, Марія Лябах, Аріна Хмелюк, Євгеній Шифф, а також учень 11 класу Володимир Руських.

За словами наставника, всі учасники — це переможці різних олімпіад з навчальних предметів, конкурсів Малої академії наук України, а також інших конкурсів Всеукраїнського та міжнародного рівнів, таких як — Sikorsky Challenge, Inventor UA, «ЕкоТехно», Genius Olympiad, Infomatrix та інші. «Досвіду мають достатньо», — каже Іван Комаров.

Команда проєкту ConnectAbility. Фото: Іван Комаров

Як виникла ідея застосунку

Іван Комаров розповів, що учасники команди подали заявку на участь, «розписавши всі наші сильні сторони, можливості та вміння». У середині лютого вони отримали лист з повідомленням, що їх відібрали у десятку кращих команд України. Після цього розпочалась підготовка до самого хакатону. Два тижні PL of KPI Igor Sikorsky відвідували різні міжнародні воркшопи, а потім ще тиждень українські воркшопи від організаторів заходу.

«Після оголошення тем хакатону ми почали їх досліджувати та генерувати ідеї, які б могли бути втілені з використанням штучного інтелекту. Зупинились ми на темі якісної освіти та вирішили її адаптувати для людей з порушеннями слуху. В ході дослідження проблеми дізнались, що в Україні є велика кількість людей саме з порушеннями слуху, тому ще раз впевнились що майбутня наша робота зможе принести користь людям», — говорить Іван Комаров.

За словами ментора, для реалізації ідеї у команди було неповних два дні. Щоб визначитись з ідеєю самого застосунку, розробники вирішили звернутись до Інституту корекційної педагогіки Національного педагогічного університету ім. М. П. Драгоманова.

«Поспілкувавшись із викладачами та студентами, ми вирішили розробити мобільний застосунок, який би міг перекладати мову жестів у звуковий формат за допомогою камери смартфона, використовуючи штучний інтелект, а також розробити в ньому розділ з вивченням самої мови жестів», — пояснює ментор.

Як працює ConnectAbility

Для проєкту розробники записали відео всього дактилю та найбільш вживані слова показані жестами для навчання своєї мережі й почали працювати над створенням програми.

«За допомогою mediapipe виявляються ключові точки на руках людини. Координати цих точок зберігаються у вигляді векторів. На основі цих точок виконується аналіз за допомогою нашої моделі ШІ. Нейронна мережа написана на Tensorflow та використовує алгоритм класифікації», — роз’яснює Іван Комаров.

Наразі проєкт знаходиться у стадії прототипу, тому  скористатись ним ще не можна.

Що планують розробники 

Зараз команда ConnectAbility готується до виступу на фінальному етапі хакатону, де буде представляти свою ідею від України. Учасники готують всю відповідну документацію та перекладають її англійською мовою.  Міжнародний фінал Teens in AI відбудеться наприкінці квітня.

«Надалі хочемо продовжити розвиток цього проєкту. Плануємо збільшити dataset для підвищення точності розпізнавання жестів та додати озвучку під час перекладу. Також хотіли б додати можливість вивчення не тільки української мови, а й інших мов. Через те, що в Україні зараз є проблема з вивченням жестів, наприклад, тієї самої англійської мови», — вважає ментор команди Іван Комаров.

Розробники сподіваються, що їхній проєкт зможе «допомогти людям подолати бар’єри в спілкуванні» та на нього звернуть увагу різні соціальні служби та відповідні державні органи, які допоможуть втілити розробку.

Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
По темi
Читайте головні IT-новини країни в нашому Telegram
Команда з ліцею КПІ створила ШІ-застосунок ConnectAbility який навчає дітей мови жестів
Команда з ліцею КПІ створила ШІ-застосунок ConnectAbility, який навчає дітей мови жестів
По темi
Команда з ліцею КПІ створила ШІ-застосунок ConnectAbility, який навчає дітей мови жестів
Відтепер люди з порушенням слуху можуть викликати екстрені служби через застосунок «Перекладач ЖМ». Як це зробити
Відтепер люди з порушенням слуху можуть викликати екстрені служби через застосунок «Перекладач ЖМ». Як це зробити
По темi
Відтепер люди з порушенням слуху можуть викликати екстрені служби через застосунок «Перекладач ЖМ». Як це зробити
Нові AirPods Pro потенційно зможуть виявляти проблеми зі слухом і вимірювати температуру
Нові AirPods Pro потенційно зможуть виявляти проблеми зі слухом і вимірювати температуру
По темi
Нові AirPods Pro потенційно зможуть виявляти проблеми зі слухом і вимірювати температуру
УЧАСТЬ В АЗАРТНИХ ІГРАХ МОЖЕ ВИКЛИКАТИ ІГРОВУ ЗАЛЕЖНІСТЬ. ДОТРИМУЙТЕСЯ ПРАВИЛ (ПРИНЦИПІВ) ВІДПОВІДАЛЬНОЇ ГРИ.
Ліцензія видана ТОВ "СЛОТС Ю.ЕЙ." на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 15.09.23 (рішення КРАІЛ №245 від 31.08.2023); ТОВ "СЛОТС Ю.ЕЙ." – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 26.04.2021 (рішення КРАІЛ №150 від 12.04.2021); ТОВ «СПЕЙСИКС» – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 08.02.2021 (рішення КРАІЛ №34 від 02.02.2021); ТОВ «ГЕЙМДЕВ» – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 16.02.2021 (рішення № 47 від 10.02.2021).
Читайте також
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Студент розробив 3D-мапу укриттів КПІ, щоб можна було «безпечно почілити»
Студент розробив 3D-мапу укриттів КПІ, щоб можна було «безпечно почілити»
Студент розробив 3D-мапу укриттів КПІ, щоб можна було «безпечно почілити»
В Україні з'явилося видавництво OLEAN, яке спеціалізується на електронних книгах. Його відкрили випускниці КПІ
В Україні з'явилося видавництво OLEAN, яке спеціалізується на електронних книгах. Його відкрили випускниці КПІ
В Україні з'явилося видавництво OLEAN, яке спеціалізується на електронних книгах. Його відкрили випускниці КПІ
Розробник протеза руки, який переміг у SC-2020, заморозив проєкт через війну та готується до магістратури в Японії. Що буде?
Розробник протеза руки, який переміг у SC-2020, заморозив проєкт через війну та готується до магістратури в Японії. Що буде?
Розробник протеза руки, який переміг у SC-2020, заморозив проєкт через війну та готується до магістратури в Японії. Що буде?
КПІ-шник Антон Тихоненко, випускник-бакалавр, інженер-конструктор, переміг у конкурсі стартапів Sikorsky Challenge 2020. Через війну він заморозив своє розроблення, що може покращити якість життя людей, які мають вади розвитку або втратили кінцівку. Про це, а також свої плани він днями розповів у проєкті CAMPUS каналу «КПІмедіа». Ми обрали найцікавіше. 

Хочете повідомити важливу новину? Пишіть у Telegram-бот

Головні події та корисні посилання в нашому Telegram-каналі

Обговорення
Коментарів поки немає.