Помилки в коді від ШІ виявилися серйознішими за ті, що допускають люди-програмісти — дослідження

У звіті зазначається, ШІ-генеровані пул-реквести (PR) мають у середньому 10,83 проблемні місця проти 6,45 у «людських» проєктах. Залучення ШІ збільшує кількість помилок майже в 1,7 раза, що суттєво затягує процес перевірки коду та створює додаткові ризики для якості програмного забезпечення, пише The Register.

Проблеми, спричинені пулл-реквестами (PR) від ШІ, зазвичай є серйознішими, ніж помилки, допущені людьми. Згідно зі звітом, PR, створені штучним інтелектом, містять у середньому в 1,4 раза більше критичних проблем і в 1,7 раза більше серйозних помилок, ніж написані людьми.

Отже, код, створений машиною, вимагає від рев’юерів опрацювання великого обсягу проблем, які до того ж є серйознішими за ті, що зустрічаються в коді, написаному людиною.

Також у звіті говориться, що код, створений ШІ, поступається коду, написаному людьми, за всіма основними категоріями проблем:

• логіка та коректність — більше у 1,75 раза;
• помилки якості та підтримка коду — більше у 1,64 раза;
• недоліки безпеки — у 1,57 раза;
• проблеми з продуктивністю — у 1,42 раза.

Крім того, це стосується й конкретних проблем безпеки:

• у 1,88 раза частіше містив неналежну обробку паролів;
• у 1,91 раза частіше мав небезпечні посилання на об’єкти;
• у 2,74 раза частіше додавав XSS-вразливості;
• у 1,82 раза частіше реалізував небезпечну десеріалізацію.

Водночас ШІ показав кращі результати в орфографії та тестуванні:

• орфографічні помилки траплялися в 1,76 раза частіше в PR, створених людьми;
• також код, створений людиною, мав у 1,32 раза більше проблем з тестуванням.

«Ці результати підтверджують те, що багато інженерних команд відчували протягом усього 2025 року», — зазначив у своїй заяві Девід Локер, директор з питань ШІ у CodeRabbit. «Інструменти ШІ для кодування суттєво збільшують продуктивність, проте вони також вносять прогнозовані та вимірювані слабкі місця, на усунення яких компанії мають спрямувати активні зусилля».

«Новачки вчаться збирати щось „на колінці“ й вважають це нормою». Досвідчений інженер розповів, у чому ключові небезпеки вайбкодингу й чому вже нині досвід, структура та чистота коду стають валютою

По темi

«Новачки вчаться збирати щось „на колінці“ й вважають це нормою». Досвідчений інженер розповів, у чому ключові небезпеки вайбкодингу й чому вже нині досвід, структура та чистота коду стають валютою

Шведський стартап для вайб-кодингу Lovable заявив про значне зростання кількості користувачів — утричі більше, ніж влітку

По темi

Шведський стартап для вайб-кодингу Lovable заявив про значне зростання кількості користувачів — утричі більше, ніж влітку

32% senior-розробників стверджують, що половина їхнього коду написана за допомогою ШІ — це вдвічі більше, ніж у джунів

По темi

32% senior-розробників стверджують, що половина їхнього коду написана за допомогою ШІ — це вдвічі більше, ніж у джунів

Дослідження Stack Overflow показало, що розробники розчаровані інструментами ШІ-кодування, і ось чому

По темi

Дослідження Stack Overflow показало, що розробники розчаровані інструментами ШІ-кодування, і ось чому

Читайте головні IT-новини країни в нашому Telegram

По темi

Читайте головні IT-новини країни в нашому Telegram