«І почалася лавина трешу». Історія про факап від Head of AI в ЛУН і Bird
Head of AI в ЛУН і Bird Володимир Кубицький розповів про помилку в його кар'єрі, яка була фатальною та доленосною одночасно.
Head of AI в ЛУН і Bird Володимир Кубицький розповів про помилку в його кар'єрі, яка була фатальною та доленосною одночасно.
Це сталося приблизно наприкінці 2014 — на початку 2015 років. Уже півтора року Володимир Кубицький працював у ЛУН і був джуном-аналітиком.
«У процесі вивчення продукту, я почав конвертуватися в початківця ML-інженера, щоб не тільки аналізувати проблему, а ще мати можливість їх вирішувати», — розповів Head of AI в ЛУН і Bird Володимир Кубицький під час інтерв’ю для DOU.
Передісторія
У той час люди хотіли мати можливість обирати нерухомість без посередників, а в ЛУН можна було відфільтрувати оголошення, які надійшли саме від власника.
Тож Кубицький почав розробляти алгоритм визначення власників. Для цього потрібно було за поведінкою оголошення побудувати систему, яка зможе визначити чи воно від власника, чи посередника.
Робилося це на основі того, скільки оголошень надходить від одного пристрою, також за манерою написання тексту та інших ознак. З цього складався набір даних.
Слід зауважити, що в той час мало хто використовував ML у продуктах, віддававши перевагу big data, тому алгоритмічні задачі вирішували backend розробники.
«І от я такий амбіційний джун-аналітик, який вважає, що ML зробить усе краще, взявся за цю задачу. І на той час у мене не було команди розмітки даних. За тиждень мені вдалося розмітити десь 1000 оголошень, на базі яких збудував алгоритм параметрів. Тестування показало рівень визначення власника на 70–75%».
Вирішивши змінити підхід і застувати техніку data augmentation, Володимиру зрештою вдалося отримати оцінку якості 99%. І відправили в продукт.
«І почалася лавина трешу»
В оголошеннях рієлтор почав отримувати відмітку «власник». І користувачі, які хотіли знайти пропозицію саме від власника, бачили купу таких оголошень, які не відповідали дійсності.
«Тобто десь відбувся факап, але я не міг зрозуміти де. Почав детально розбиратися ззаду наперед», — говорить Володимир.
І ось, що трапилось.
«Дані зазвичай розбиваються на трейнову та тестову вибірки: на першій — вчимося, на другій — перевіряємо. І зробив це роздублювання до train test split, тобто дані потрапили й у train, і в test, тому система і показала 99%.
У чому сором і краса цієї історії
Звісно, стався факап для джуна, який хотів довести керівництву переваги ML. Але водночас, як би не помилкова висока оцінка якості в 99%, то, найімовірніше, продукт не побачив би реальності.
«Попри цей момент, усе-таки були хороші результати. Щоб оцінку вивести з 85% до 95%, потрібно було трохи посидіти та зібрати більше даних. Через те, що вже в прод вилили, сформулювали очікування і пішов ефект, у мене і з’явилися ці додаткові тижні, щоб усе пофіксити», — підсумував Володимир Кубицький.
