Блог

Чому ми перестали перевіряти рішення, які приймає ШІ

У жовтні, в межах Місяця кібербезпеки, у Levi9 традиційно проходив Secure9 (щорічний внутрішній проєкт, під час якого ми разом досліджуємо, як кібербезпека впливає на нашу роботу, співпрацю, комунікацію та взаємодію зі світом, що стає дедалі цифровішим). Цього року однією з тем стало використання штучного інтелекту в розробці та пов’язані з цим ризики. Під час свого виступу я зосередився на проблемі, яку дедалі частіше помічаю в роботі з ШІ: ми починаємо довіряти його відповідям швидше, ніж встигаємо перевірити їхню правильність. І справа тут не лише в технологіях, а й в особливостях нашого мислення.

Існує цікава особливість людського мислення: ми схильні більше довіряти інформації, яка виглядає знайомою, навіть якщо ніколи її не перевіряли. Це називають ефектом когнітивної легкості. Коли щось не важко читається, логічно звучить і не викликає внутрішнього опору, мозок сприймає це як правду. Замість «це правильно» ми вловлюємо «це переконливо» й надто легко ставимо між ними знак рівності. Саме тому відповіді ШІ справляють таке сильне враження. Вони добре структуровані та гарно написані, і майже завжди виглядають логічними. Навіть коли система помиляється, помилка рідко виглядає як помилка.

І саме тут ховається головний ризик використання ШІ в розробці. Когнітивна легкість перетворюється на когнітивну пастку. ШІ вже помітно пришвидшив генерацію коду, дебагінг, документацію, перебір варіантів дизайну. Пул-реквест чистий. Запропонований фікс звучить розумно. Підсумок виглядає повним. І рев’юер зупиняється, так і не діставшись до головного питання: а воно взагалі правильне саме в контексті цієї системи?

ШІ не вирішує проблеми замість нас. Це інструмент, який підсилює те, як ми вже працюємо. Якщо ваш робочий процес якісно вибудуваний — ШІ його підсилює. Якщо поверхневий — примножує помилки.

Чому перевірка ШІ-рішень відходить на другий план

По-перше, не тому, що команди стали недбалими. Просто кілька різних чинників водночас тиснуть:

Переконлива форма створює ілюзію якості. Сучасні моделі генерують код зі знайомою структурою, осмисленими назвами та логічними поясненнями. Колись відшліфований результат був сигналом компетентності, бо за ним стояла людська робота. ШІ стер межу між тим, що виглядає професійно, і тим, що є правильним.

Швидкість непомітно знецінює перевірку. Коли команда звикає, що ШІ стискає години у хвилини, самостійна перевірка починає дратувати — вона здається зайвою. Компроміс простий і неприємний: або довіряєте більше й рухаєтесь швидше, або перевіряєте все, жертвуючи часом. Під тиском дедлайнів цей вибір роблять мовчки і майже завжди на користь швидкості.

Людська увага не встигає за швидкістю генерації. Коду, тестів, документації, ідей і фіксів тепер можна згенерувати стільки, скільки раніше й не снилося. Проте увага — це обмежений ресурс. Тому дедалі частіше ми не перевіряємо відповідь глибше — лише швидко пробігаємо її очима.

І нарешті — упередження автоматизації (automation bias). Дослідники людських факторів описали його ще до появи великих мовних моделей: люди схильні приймати підказку автоматизованої системи навіть тоді, коли її варто було б поставити під сумнів. ШІ цей ефект лише посилює, бо не просто видає відповідь — він супроводжує її дуже адекватним поясненням. «Він же пояснив, чому так зробив» сприймається як підтвердження навіть тоді, коли пояснення кругове або неповне.

Що ми отримуємо і чим ризикуємо

ШІ допомагає швидше зрушити з місця, перебрати більше варіантів, позбутися шаблонного коду, розібратися в незнайомій темі, взятися за роботу, яка раніше здавалася надто кропіткою. Це повноцінний інструмент для продуктивності, якщо використовувати його з розумом.

Проблема в тому, що більшість серйозних помилок у коді пов’язані не з синтаксисом. Це порушені припущення про те, як працює система: застарілі правила, непродумані граничні випадки, рішення, які усувають симптом, а не причину. Саме такі помилки найважче побачити без розуміння контексту. І це наслідок того, як працюють сучасні моделі. Вони добре розв’язують конкретне завдання, але не бачать продукт цілісно. Тобто більше згенерованого коду не завжди означає більше цінності для продукту. Іноді це просто більше того, що доведеться розплутувати.

Тут варто згадати ще пару ідей:

Ілюзія глибини розуміння (illusion of explanatory depth): люди схильні вважати, що розуміють складну систему краще, ніж насправді. ШІ лише підсилює цей ефект. ШІ створює відчуття, ніби ми зрозуміли рішення, хоча насправді ми лише впізнали знайому структуру.

Відповідальність за рішення. Ми відповідаємо за рішення, логіку яких дедалі гірше можемо пояснити. Формально за ухвалене рішення відповідають людина і команда. Але ця відповідальність стає розмитою, якщо через півроку ніхто не може пояснити, чому обрали саме цей підхід і які припущення мовчки потрапили в код разом із відповіддю моделі. Поки все працює — це нікого не турбує. А коли ламається — відповідальна людина часто не здатна пояснити, що пішло не так, бо ніколи до кінця й не розуміла, що саме схвалила.

Це вже видно в даних, а не лише у відчуттях

Можна було б списати це на суб'єктивні враження, якби не дослідження останніх років. Аналіз понад 302 тисяч ШІ-комітів у майже 6300 репозиторіях показав: технічний борг від згенерованого коду не зникає, а накопичується. Інше дослідження виявило знайомий сценарій: розробники відкладають перевірку «на потім», залишаючи собі TODO. Але до цих TODO рідко повертаються.

Саме тому недостатньо просто нагадувати, що ШІ може помилятися. Проблема не в знаннях, а в поведінці. Якщо перевірка залишається необов’язковою, під тиском фактору часу її майже завжди відкладають.

ШІ не замінює мислення

Калькулятор не звільняє від потреби розуміти математику. Дриль не звільняє від потреби знати, де саме свердлити. Асистент для коду не звільняє від потреби розуміти, що означає «правильно» саме у вашій системі.

Сильні команди не питають, скільки роботи можна перекласти на ШІ. Вони питають інше: де він безпечно нас пришвидшує; де людське судження має залишатися несучою конструкцією; які рішення потребують записаного обґрунтування; що треба перевіряти щоразу, навіть якщо результат має ідеальний вигляд.

Як виглядає грамотне використання ШІ

Кілька робочих звичок дають більше, ніж розлогий документ із політиками — але лише за умови, що вони обов’язкові. Це не поради на кшталт «бути уважними», а примусові функції (дія, яку не можна оминути).

Спершу інваріант, потім генерація. Перш ніж просити ШІ щось спроєктувати, сформулюйте головне обмеження. Що ніколи не повинно статися? Що ми, власне, захищаємо? Яку властивість система має зберігати завжди? Якщо ви не можете назвати інваріант — ви ще не готові оцінювати те, що ШІ видасть.

Пояснення власними словами. Перевірка, яка працює напрочуд добре: чи можу я пояснити, чому це правильно, не переказуючи пояснення моделі?

Асиметрія в дебагінгу. ШІ чудово звужує простір пошуку, тож хай допомагає з локалізацією, логами й гіпотезами. Але останній крок за вами: перш ніж прийняти фікс, складіть власну версію того, яке припущення зламалося.

Фіксуйте логіку одразу. Якщо ШІ вплинув на архітектурне чи безпекове рішення, зафіксуйте покроково: чому саме цей підхід, що він захищає, що зламається, якщо його змінити. 

Тут варто згадати ідею, яку ми в Levi9 обговорювали на Hack9 — нашому внутрішньому технічному хакатоні: знання про те, як працювати з системою, має жити не в головах окремих інженерів, а у спільних, версіонованих артефактах. «Чому»-коментар, скіл, зафіксоване рішення — це документація, яку прочитає наступна сесія агента. Один із наших інженерів сформулював це так: проєктуйте систему під той ШІ, який її читатиме завтра, бо завтра код читатиме радше агент, ніж ви.

Практичний кейс 

У наших командах в Levi9 — і в щоденній розробці, і коли йдеться про безпеку ШІ — раз у раз спливає той самий висновок, що й у цій статті: організація, що ідеалізує штучний інтелект і через нього пропускає звичні інженерні процеси, стає власною найбільшою загрозою. 

Ми бачимо по роботі інженерів, що модель тепер залучена у весь процес розробки. І як тільки вона стає компонентом системи, її варто сприймати радше як частину команди. Виглядає це так: даєш запит — отримуєш відповідь. Колега точно здатний на більше, але він потребує контексту, меж і перевірки. Ви ж не дозволите не штучному колезі залити код у прод без рев’ю? З агентом логіка та сама: валідуйте вивід, додавайте запобіжники, лишайте запасний варіант для критичних потоків. Коли система стає частиною вашого процесу чи продукту, ви берете на себе відповідальність за її поведінку.

Найкраще баланс швидкості й контролю вловлює одна метафора, яка часто звучить у наших внутрішніх розмовах про безпеку. Навіщо в машині гальма? Щоб зупинятися? Але насправді, щоб дозволити їхати швидко. Якщо у вас правильний набір гальм — спостережуваність, моніторинг, зрілі контролі — їдьте так швидко, як вони дозволяють. Це рівно те, що ми вище назвали примусовими функціями: контроль не гальма для швидкості, а те, що робить швидкість безпечною. Команда без зрілого рев’ю, тестів і зафіксованого наміру не «обережна» — вона їде без гальм.

В одному з наших внутрішніх проєктів ми перебудували весь цикл розробки так, щоб запобіжники (безпека, тести, рев’ю) були інтегровані в процес. Різницю показав пентест: та сама команда й ті самі стандарти, але стара версія застосунку повернула звіт на 30 сторінок із 40 проблемами, серед них кілька критичних, а перебудована повернула 5 сторінок і 5 проблем, жодної критичної. Швидкість при цьому зросла приблизно в чотири рази. У тому ж проєкті склад команди змінювався тричі за три місяці, і кожен новачок ставав продуктивним за дні, а не тижні, бо нічого критичного не жило лише в чиїйсь голові — намір і контекст були винесені в зовнішню базу знань і в сам процес.

Звідси й важлива пересторога щодо запобіжників. Захисні механізми, які дає вендор моделі, — загальні: вони покривають усереднений ризик постачальника, але ніколи не опишуть обмеження саме вашого застосунку. Це робота ваших архітекторів, продакт-оунерів і команди з управління ризиками. Те саме і з кодом: модель не знає інваріантів вашої системи. І там, і там бракує одного — знання, що означає «правильно» саме у вашому контексті. Це знання людське і воно не делегується.

Ширший висновок, якого ми дотримуємося: безпека — це не чиясь конкретна зона відповідальності, а спосіб мислення. Те саме і з перевіркою. Критичне ставлення до згенерованого є частиною робочого процесу за замовчуванням.

Висновок: критичне мислення — це інфраструктура

Найбільша помилка в розмовах про штучний інтелект — недооцінка того, що все одно залишається за людиною.

ШІ не скасовує судження, не несе відповідальності й не замінює ті ментальні моделі, без яких неможливо відрізнити правдоподібну відповідь від правильної. Якщо його поява щось і змінює — то лише те, що ці навички стають ще більш критичними, а не менш, бо бар'єр для генерації впав, а бар'єр для розуміння залишився той самий.

Справжня перевага — не в тому, щоб використовувати цю технологію більше, а в тому, щоб використовувати її так, аби швидкість не підміняла розуміння, а автоматизація — професійне судження.

В епоху штучного інтелекту критичне мислення — це вже не soft skill. Це інфраструктура якісних рішень.