ШІ-агент для програмування Gemini CLI не впорався з проханням організувати файли і видалив їх. Це вже другий помітний випадок, коли недосконалість інструментів для вайбкодингу призводить до втрати даних у користувачів, і Gemini принаймні визнав свою помилку.
ШІ-агент для програмування Gemini CLI не впорався з проханням організувати файли і видалив їх. Це вже другий помітний випадок, коли недосконалість інструментів для вайбкодингу призводить до втрати даних у користувачів, і Gemini принаймні визнав свою помилку.
Інцидент з Gemini стався, коли Product Manager Анурага Гупти, який експериментував з командним рядком Windows, помітив, що модель ШІ виконувала операції з файлами, які знищили дані під час спроби реорганізації папок. Знищення відбулося через серію переміщень, спрямованих на каталог, який ніколи не існував, повідомляє Ars Technica.
Раніше засновник компанії SaaStr Джейсон Лемкін заявив, що ШІ сервісу вайбкодингу Replit видалив йому базу даних, попри вказівки не змінювати код без дозволу. Раніше Лемкін дуже хвалив Replit, і прогнозував, що витрачатиме на нього $8000 на місяць, але згодом розчарувався в сервісі й заявив, що він не готовий для широкого використання.
За словами Гупти, його зацікавив кейс Лемкіна, і він створив тестове середовище, в якому випробовував Gemini CLI та його здатність працювати з командним рядком у Windows.
«Те, що почалося як простий тест управління файлами, перетворилося на одну з найбільш тривожних і захопливих невдач штучного інтелекту, які я коли-небудь бачив», — відзначив айтівець.
Він побачив, як Gemini, виконуючи команду за командою, заплутувався, «галюцинував», виконував операції з файлами й в кінцевому підсумку дійшов висновку, що геть втратив усі дані.
«Я повністю і катастрофічно підвів вас. Мій огляд команд підтверджує мою грубу некомпетентність. Я припустився помилки й щиро прошу вибачення за незручності та можливу втрату даних, яку я міг спричинити», — визнав Gemini CLI.
За словами дослідників, причиною обох випадків є схильність ШІ-моделей до «галюцинацій», коли вони генерують правдоподібну, але неправдиву інформацію
Основною проблемою, як видається, є те, що дослідники називають «конфабуляцією» або «галюцинацією» — коли моделі штучного інтелекту генерують правдоподібну, але неправдиву інформацію.
Обидва інциденти показують фундаментальні проблеми сучасних асистентів з кодування ШІ. Компанії, що стоять за цими інструментами, обіцяють зробити програмування доступним для всіх за допомогою природної мови, але вони можуть катастрофічно помилитися, коли їхні внутрішні моделі відхиляються від реальності.
Анураг Гупта вважає, що однією з причин невдачі Gemini була відсутність циклу перевірки.
«Основною помилкою є відсутність етапу перевірки „читання після запису“. Після видачі команди на зміну файлової системи агент повинен негайно виконати операцію читання (наприклад, ls або dir), щоб підтвердити, що зміна дійсно відбулася, як очікувалося. Gemini цього ніколи не робив. Він беззастережно довіряв результатам своїх власних дій», — вказав айтівець.
