Під час виконання робочого завдання інженер міжнародної компанії Softjourn, яка має великий офіс в Івано-Франківську, звернувся до ШІ-агента за рекомендацією пакета для типової задачі. ШІ запропонував бібліотеку з цілком правдоподібною назвою, схожою на вже відомі рішення.
Під час виконання робочого завдання інженер міжнародної компанії Softjourn, яка має великий офіс в Івано-Франківську, звернувся до ШІ-агента за рекомендацією пакета для типової задачі. ШІ запропонував бібліотеку з цілком правдоподібною назвою, схожою на вже відомі рішення.
Зазвичай розробники просто завантажують і встановлюють рекомендований інструмент. Проте в Softjourn діє сувора політика обов’язкової перевірки будь-яких програмних порад від ШІ. Інженер переглянув вихідний код пакета на GitHub і помітив тривожні сигнали: мінімальну кількість завантажень та дату створення лише кілька днів тому.
Сергій Фіцак, керуючий та технічний директор Softjourn, розповів інтернет-виданню The Register, що зловмисники навчилися використовувати галюцинації ШІ-моделей.
«Проблема в тому, що ШІ іноді вигадує назви пакетів, які звучать переконливо, але насправді не існують. Дослідники безпеки називають це „slopsquatting“. Нападники відстежують такі вигадані назви й реєструють під ними реальні шкідливі пакети, розраховуючи, що розробник у поспіху встановить їх без перевірки», — зазначив Сергій Фіцак.
Якби не внутрішні правила безпеки, компанія ризикувала встановити шкідливий код, який міг дати зловмисникам доступ до системи або призвести до витоку даних.
«Ми уникнули загрози лише тому, що маємо звичку перевіряти кількість завантажень та вихідний код на GitHub перед встановленням будь-чого, що радить ШІ. Це займає кілька додаткових хвилин, але ігнорування цього кроку може коштувати компанії безпеки всього ланцюга постачання», — підкреслив Фіцак.
Головний висновок із цієї історії простий: не варто сліпо довіряти назвам пакетів від ШІ-агентів. Будь-який зовнішній код перед інтеграцією в проєкт має проходити обов’язкову перевірку людиною.
