Нестандартные ситуации, факапы и фейлы на работе — привычная вещь для айтишников. Однако не всегда о них любят говорить открыто.
На форум и DOU айтишники делятся своими факапами. Мы выбрали 10 самых интересных историй.
Нестандартные ситуации, факапы и фейлы на работе — привычная вещь для айтишников. Однако не всегда о них любят говорить открыто.
На форум и DOU айтишники делятся своими факапами. Мы выбрали 10 самых интересных историй.
Когда-то работал на одном немецком банке. Тогда была проблема, что пару недель не проходили рекуринг платежи, поэтому мне поручили найти людей, имевших в этот период запланированные платежи, и провести их (написать скрипт). Это было срочно, потому что, может, кто-то пропустил какой-то важный платеж. Это была пятница. Сделал я этот скрипт, низложил тимледцы своей, она говорит:
— Все гудит рань на проде.Я говорю:
— Ну, это вечер пятницы, а мне еще через час на поезд идти, может, в понедельник утром, еще раз все пересмотрим.
— Нет-нет, это очень критично, давай.Ну чувствуя, что там точно что-то не так (потому что это вечер пятницы), я заранил и пошел на поезд. В понедельник к моему удивлению все было ок. Прошло несколько недель, и возникла проблема, что у некоторых людей рекуринг платеж в одном месяце прошел дважды.
Оказалось, что мой скрипт не учитывал выходные и праздники.
Но там не очень много людей зааффектилось, потому что у большинства не было денег достаточно на счету, они им эти деньги вернули и сказали быть осторожнее мне на второй раз.
Еще однажды уже на другом проекте писали код, чтобы отправлять SMS-напоминания о визите к врачу. Мы тот код написали, поставили под фичу тогл и забыли за него на год. Потом пришлось включить его, перед тем QA что-то тестировали, крутили, там на самом деле была немного логика отсылок тех нотификейшенов и была проблема, что для этого нужно иметь номер в США и эти номера тяжело доставались.
Ну вроде бы все ок, включили и увидели, что все SMS на один номер идут, исключили. Оказалось, что класс, который отсылал SMS, сначала отсылал это для одного номера, а затем его переделали, чтобы он перебирал всех, кому нужно отправить, но мемоизация в извлекаемом номере телефона осталась, поэтому первый номер в списке кэшировался, и на него все SMS уходили.
Когда-то у нас заглючил на проде скрипт, который отсылает мейлы юзерам, и некоторым юзерам он пару дней слал мейлы каждые 30 минут. Один из тех пользователей потом разозлился и настроил какие-то свои скрипты, чтобы они спамили мейлами с эротикой нашему руководству еще долго.
Работал в интернет провайдера в поддержке еще в 2013 году, в то время компания еще предоставляла услуги в Севастополе. Обычно были свечи на 24 порта, если не ошибаюсь, последние были транковые, объединявшие сеть в кольцо. Был абонент вроде как на 12 порту — решил пробыть и положил половину района. Оказалось, что было другое оборудование и 12 порт соединился с другими свечами.
К счастью, инженер был неподалеку и через час смог перезапустить железо локально. Поскольку конфиг не был сохранен, сеть поднялась.
Вложила прод одного немецкого банка на три часа в бизнес время. Бекап разворачивался три часа. Заодно и протестировала время развертывания бекапа прода.
Тестировали платежные системы на проде, потеряли несколько тысяч долларов из-за неправильно настроенных лимитов на реальной карте клиента.
Когда-то на одной из старых работ несколько сайтов «синянул» по FTP с пустыми папками. Хорошо, что бекапы были утренние. Но с тех пор не доверяю автоматизации процессов на проде.
А когда-то запушил фикс без тестов, просто на «я знаю что делаю», и тем самым сделал другой баг, еще более критичный. Слово quickfix полностью исчезло из моего словаря.
Много лет назад во время демо на всю команду мне пришло сообщение от менеджера об увольнении части команды и перечень увольняемых людей. Проблема в том, что команда была не в курсе увольнений, а я в тот момент делала демо и шарила весь экран на всех. Теперь отключаю все мессенджеры во время любых митингов.
Перед началом колла, пока все собирались, передразнивали зарубежного скраммастера, который с сильным акцентом всегда говорил, когда кто-то присоединяется к коллу: «hello, who just joined». А микрофон оказался не замючерным. Надеюсь, он не обиделся.
Решил не работать многое в тот день. Сменил одну цифру в коде, комит, пуш, прод. Следующее утро звонок от босса — компания потеряла $120 000.
Как-то тестер написала мне, что процесс работает чуть-чуть не так, как ожидается. Я поспешил и сразу исправил его (это коррезоид, там сразу production). На следующий день менеджер объяснила нам, как должен работать этот процесс, и я вернул все как было. Хорошо, что этот процесс редко используется, поэтому на неправильную работу никто не жаловался.
А еще мне другой разработчик рассказывал, как возложил процессы банка, когда разбирался, как работает коррезоид.
Перед миграцией БД совершил бекап в папку с настроенным клинапом. Через пять дней бекап удалился, а через неделю понадобился (и поздно).
