«И началась лавина треша». История о факапе от Head of AI в ЛУН и Bird
Head of AI в ЛУН и Bird Владимир Кубицкий рассказал об ошибке в его карьере, которая была роковой и судьбоносной одновременно.
Head of AI в ЛУН и Bird Владимир Кубицкий рассказал об ошибке в его карьере, которая была роковой и судьбоносной одновременно.
Это произошло примерно в конце 2014 – начале 2015 годов. Уже полтора года Владимир Кубицкий работал в ЛУН и был джуном-аналитиком.
«В процессе изучения продукта, я начал конвертироваться в начинающего ML-инженера, чтобы не только анализировать проблему, но и иметь возможность их решать», — рассказал Head of AI в ЛУН и Bird Владимир Кубицкий во время интервью для DOU.
Предыстория
В то время люди хотели иметь возможность выбирать недвижимость без посредников, а в ЛУН можно было отфильтровать поступившие именно от владельца объявления.
Кубицкий начал разрабатывать алгоритм определения владельцев. Для этого нужно было по поведению объявления построить систему, которая сможет определить от владельца или посредника.
Делалось это на основе того, сколько объявлений поступает от одного устройства, а также по манере написания текста и других признаков. Из этого состоял набор данных.
Следует заметить, что в то время мало кто использовал ML в продуктах, предпочитая big data, поэтому алгоритмические задачи решали разработчики backend.
«И вот я такой амбициозный джун-аналитик, считающий, что ML сделает все лучше, взялся за эту задачу. И в то время у меня не было команды разметки данных. За неделю мне удалось разметить около 1000 объявлений, на базе которых построил алгоритм параметров. Тестирование показало уровень определения собственника на 70–75%».
Решив изменить подход и заставать технику data augmentation, Владимиру удалось получить оценку качества 99%. И отправили в продукт.
«И началась лавина треша»
В объявлениях риелтор стал получать отметку «владелец». И пользователи, которые хотели найти предложение именно от владельца, видели кучу таких объявлений, не соответствовавших действительности.
«То есть где-то произошел факап, но я не мог понять где. Начал детально разбираться сзади вперед», – говорит Владимир.
И вот что случилось.
«Данные обычно разбиваются на трейновую и тестовую выборки: на первой – учимся, на второй – проверяем. И сделал это раздубливание в train test split, то есть данные попали и в train, и в test, поэтому система и показала 99%.
В чем стыд и красота этой истории
Конечно, произошел факап для джуна, который хотел доказать руководству преимущества ML. Но в то же время, как бы ни ошибочна высокая оценка качества в 99%, то, вероятнее всего, продукт не увидел бы реальности.
«Вопреки этому моменту все-таки были хорошие результаты. Чтобы оценку вывести с 85 до 95%, нужно было немного посидеть и собрать больше данных. Из-за того, что уже в прод вылили, сформулировали ожидания и пошел эффект, у меня и появились эти дополнительные недели, чтобы все пофиксить», — подытожил Владимир Кубицкий.
