👁️👁️ 300 000 криптанів встановили собі Trustee Plus - гаманець з криптокарткою. Чого чекаєш ти? 👉
Олександр КузьменкоШІ (ai)
18 марта 2024, 13:50
2024-03-18
Разработчики ИИ-приложения ConnectAbility, обучающего людей с нарушением слуха языка жестов, хотят добавить поддержку английского языка и озвучивание перевода
Команда лицея Киевского политехнического института им. Игоря Сикорского, которая создала приложение ConnectAbility, победившее на украинском этапе международного хакатона Teens in AI, планирует продолжить развитие этого проекта. dev.ua пообщался с ментором команды PL of KPI Igor Sikorsky и узнал, как работает ИИ приложение, которое может переводить язык жестов в звуковой формат с помощью камеры смартфона.
Команда лицея Киевского политехнического института им. Игоря Сикорского, которая создала приложение ConnectAbility, победившее на украинском этапе международного хакатона Teens in AI, планирует продолжить развитие этого проекта. dev.ua пообщался с ментором команды PL of KPI Igor Sikorsky и узнал, как работает ИИ приложение, которое может переводить язык жестов в звуковой формат с помощью камеры смартфона.
Кто создал ConnectAbility
Где-то в середине января через социальные сети увидел объявление о проведении национального этапа международного хакатона Teens in AI. Долго не раздумывая, собрал команду из своих учеников», — рассказал Иван Комаров, учитель Политехнического лицея «КПИ» города Киева, выступивший ментором команды.
В PL of KPI Igor Sikorsky состав вошли учащиеся 10-го класса: Александра Кротова, София Столяр, Мария Лябах, Арина Хмелюк, Евгений Шифф, а также учащийся 11 класса Владимир Русских.
По словам наставника, все участники — победители различных олимпиад по учебным предметам, конкурсов Малой академии наук Украины, а также других конкурсов Всеукраинского и международного уровней, таких как Sikorsky Challenge, Inventor UA, «ЭкоТехно», Genius Olympiad, Infomatrix и другие. «Опыта имеют достаточно», — говорит Иван Комаров.
Команда проекта ConnectAbility. Фото: Иван Комаров
Как возникла идея применения
Иван Комаров рассказал, что участники команды подали заявку на участие «расписав все наши сильные стороны, возможности и умения». В середине февраля они получили письмо с сообщением, что их отобрали в десятку лучших команд Украины. После этого началась подготовка к самому хакатону. Две недели PL of KPI Igor Sikorsky посещали разные международные воркшопы, а затем еще неделю украинские воркшопы от организаторов мероприятия.
«После объявления тем хакатона мы начали их исследовать и генерировать идеи, которые могли бы быть воплощены с использованием искусственного интеллекта. Остановились на теме качественного образования и решили его адаптировать для людей с нарушениями слуха. В ходе исследования проблемы узнали, что в Украине большое количество людей именно с нарушениями слуха, поэтому еще раз убедились, что будущая наша работа сможет принести пользу людям», — говорит Иван Комаров.
По словам ментора, для реализации идеи у команды было неполных два дня. Чтобы определиться с идеей самого применения, разработчики решили обратиться в Институт коррекционной педагогики Национального педагогического университета им. М. П. Драгоманова.
«Пообщавшись с преподавателями и студентами, мы решили разработать мобильное приложение, которое могло бы переводить язык жестов в звуковой формат с помощью камеры смартфона, используя искусственный интеллект, а также разработать в нем раздел с изучением самого языка жестов», — объясняет ментор.
Как работает ConnectAbility
Для проекта разработчики записали видео всего дактиля и наиболее употребительные слова показаны жестами для обучения своей сети и начали работать над созданием программы.
«Посредством mediapipe обнаруживаются ключевые точки на руках человека. Координаты этих точек сохраняются посредством векторов. На основе этих точек выполняется анализ с помощью нашей модели ИИ. Нейронная сеть написана на Tensorflow и использует алгоритм классификации», — объясняет Иван Комаров.
Пока проект находится в стадии прототипа, поэтому воспользоваться им еще нельзя.
Что планируют разработчики
На данный момент команда ConnectAbility готовится к выступлению на финальном этапе хакатона, где будет представлять свою идею от Украины. Участники готовят всю соответствующую документацию и переводят ее на английский язык. Международный финал Teens in AI состоится в конце апреля.
«В дальнейшем хотим продолжить развитие этого проекта. Планируем увеличить dataset для повышения точности распознавания жестов и добавить озвучку при переводе. Также хотели бы добавить возможность изучения не только украинского языка, но и других языков. Из-за того, что в Украине сейчас есть проблема с изучением жестов, например, того же английского языка», — считает ментор команды Иван Комаров.
Разработчики надеются, что их проект сможет «помочь людям преодолеть барьеры в общении» и на него обратят внимание разные социальные службы и соответствующие государственные органы, которые помогут реализовать разработку.
Новые AirPods Pro потенциально смогут выявлять проблемы со слухом и измерять температуру
УЧАСТЬ В АЗАРТНИХ ІГРАХ МОЖЕ ВИКЛИКАТИ ІГРОВУ ЗАЛЕЖНІСТЬ. ДОТРИМУЙТЕСЯ ПРАВИЛ (ПРИНЦИПІВ) ВІДПОВІДАЛЬНОЇ ГРИ.
Ліцензія видана ТОВ "СЛОТС Ю.ЕЙ." на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 15.09.23 (рішення КРАІЛ №245 від 31.08.2023); ТОВ "СЛОТС Ю.ЕЙ." – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 26.04.2021 (рішення КРАІЛ №150 від 12.04.2021); ТОВ «СПЕЙСИКС» – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 08.02.2021 (рішення КРАІЛ №34 від 02.02.2021); ТОВ «ГЕЙМДЕВ» – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 16.02.2021 (рішення № 47 від 10.02.2021).
Не только Unity и Unreal Engine. Подборка игровых движков для разработчиков
Еще лет десять назад разработка игр была практически диким полем, разобраться в котором могли лишь избранные. Сегодня же у начинающих геймдевелоперов есть огромное количество ресурсов, способных помочь сделать первый проект. Развитие коснулось и игровых движков, которые значительно облегчают процесс освоения нюансов игровой индустрии.
Именно популярным движкам и посвящена эта подборка. В ней вы найдете не только известные имена вроде Unity и Unreal Engine, но и более специфичные вещи, которые наверняка удовлетворят ваши отдельные запросы.
ТОП-5 удивительных разработок, которые показали на CES 2022
С 5 по 8 января 2022 года в американском Лас-Вегасе проходит ежегодное Consumer Electronic Show, в рамках которого представляют миру технологические новшества различные компании. Обзор єтого форума представил wired и сайт einnews. dev.ua выбрал ТОП-5 любопытных разработок CES 2022.
