Реклама партнера — Название партнёра
UNIT.City — місце, де люди працюють... КРАЩЕ! Обирай свій простір просто зараз 👉

AI code errors are more serious than those made by human programmers, study finds

CodeRabbit, an AI-powered code analysis platform, has released the State of the AI ​​vs. Human Code Generation Report, a study of 470 open source pull requests that found AI-generated code significantly outperforms human-generated code in terms of logic, security, performance, and maintainability.

Leave a comment
AI code errors are more serious than those made by human programmers, study finds

CodeRabbit, an AI-powered code analysis platform, has released the State of the AI ​​vs. Human Code Generation Report, a study of 470 open source pull requests that found AI-generated code significantly outperforms human-generated code in terms of logic, security, performance, and maintainability.

The report notes that AI-generated pull requests (PRs) have an average of 10.83 issues, compared to 6.45 in “human” projects. The use of AI increases the number of errors by almost 1.7 times, which significantly delays the code review process and creates additional risks to software quality, The Register writes .

Issues caused by AI-generated pull requests (PRs) are typically more serious than errors made by humans. According to the report, AI-generated PRs contain, on average, 1.4 times more critical issues and 1.7 times more serious errors than those written by humans.

Therefore, machine-generated code requires reviewers to address a large number of issues, which are also more serious than those found in human-written code.

The report also says that AI-generated code outperforms human-written code across all major problem categories:

  • logic and correctness — 1.75 times more;
  • quality errors and code support — 1.64 times more;
  • security flaws — 1.57 times;
  • productivity problems — 1.42 times.

In addition, this also applies to specific security issues:

  • 1.88 times more likely to contain improper password handling;
  • 1.91 times more likely to have dangerous links to objects;
  • added XSS vulnerabilities 2.74 times more often;
  • implemented unsafe deserialization 1.82 times more often.

At the same time, AI showed better results in spelling and testing:

  • spelling errors occurred 1.76 times more often in PRs created by humans;
  • also, human-generated code had 1.32 times more testing problems.

“These results confirm what many engineering teams have been experiencing throughout 2025,” David Locker, Director of AI at CodeRabbit, said in a statement. “AI tools for coding are dramatically increasing productivity, but they also introduce predictable and measurable weaknesses that companies must actively address.”

"Beginners learn to assemble something 'on their knees' and consider it the norm." An experienced engineer explained the key dangers of vibecoding and why experience, structure and code cleanliness are already becoming currency
“Beginners learn to assemble something ‘on their knees’ and consider it the norm.” An experienced engineer explained the key dangers of vibecoding and why experience, structure, and code purity are already becoming currency
On the topic
“Beginners learn to assemble something ‘on their knees’ and consider it the norm.” An experienced engineer explained the key dangers of vibecoding and why experience, structure, and code purity are already becoming currency
Swedish vibe-coding startup Lovable reports significant user growth — three times more than in the summer
Swedish vibe-coding startup Lovable reports significant user growth — three times more than in the summer
On the topic
Swedish vibe-coding startup Lovable reports significant user growth — three times more than in the summer
32% of senior developers say half of their code is written with AI — twice as many as juniors
32% of senior developers say half of their code is written with AI — twice as many as juniors
On the topic
32% of senior developers say half of their code is written with AI — twice as many as juniors
Stack Overflow study shows developers are frustrated with AI coding tools and here's why
Stack Overflow study shows developers are frustrated with AI coding tools, and here's why
On the topic
Stack Overflow study shows developers are frustrated with AI coding tools, and here's why
Read the country's main IT news in our Telegram
Read the country's main IT news in our Telegram
On the topic
Read the country's main IT news in our Telegram
Also Read
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Нейронні мережі для генерації зображень бачать світ по-своєму, їхню логіку зрозуміти часом зовсім неможливо. Але таки хочеться. На честь Дня Незалежності України редакція dev.ua вирішила провести невеликий експеримент. Ми задали чотирьом різним нейронним мережам п’ять однакових запитів: «прапор України», «День Незалежності України», «український Крим», «перемога України» та «українці». Отриманими результатами ми ділимося з вами нижче.
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok з’явилася нова функція «Розумний фон». З її допомогою як фон для тіктоків можна підставляти згенеровані нейромережею зображення. Редакція dev.ua протестувала цю технологію і ділиться своїми враженнями.
1 comment
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака

Have important news to share? Message our Telegram bot

Key events and useful links in our Telegram channel

Discussion
No comments yet.