Айтівець, який використовував популярний редактор коду Cursor, що працює на основі штучного інтелекту, звернувся в техпідтримку сервісу, коли його почало розлогінювати при перемиканні між комп’ютерами. ШІ-агент техпідтримки заявив йому, що це нова політика Cursor, але виявилося, що такого правила немає, і це лише «галюцинація» штучного інтелекту.
Айтівець, який використовував популярний редактор коду Cursor, що працює на основі штучного інтелекту, звернувся в техпідтримку сервісу, коли його почало розлогінювати при перемиканні між комп’ютерами. ШІ-агент техпідтримки заявив йому, що це нова політика Cursor, але виявилося, що такого правила немає, і це лише «галюцинація» штучного інтелекту.
Як повідомляє ArsTechnica, коли програміст звернувся до служби підтримки Cursor, він не здогадався, що агент, на ім’я Сем є ШІ-ботом і не очікував, що може зіткнутися з вигадками. Цей випадок викликав хвилю обурення серед айтівців на Hacker News і Reddit.
Так звані «галюцинації», коли ШІ-моделі вигадують неправдиву інформацію, що звучить правдоподібно, є відомою проблемою цієї технології. Замість того, щоб визнати прогалини в знаннях чи можливостях, ШІ-моделі часто віддають перевагу створенню правдоподібних, впевнених відповідей, навіть якщо це означає вигадати її з нуля.
Для компаній, які розгортають такі системи для роботи з клієнтами без людського нагляду, наслідки можуть дорого коштувати: розчаровані клієнти, підірвана довіра і, навіть скасовані платні підписки.
За словами користувача Reddit з ніком BrokenToasterOven, він помітив, що під час перемикання між настільним комп’ютером, ноутбуком і віддаленим девелоперським боксом сесії Cursor несподівано завершуються.
«Вхід у Cursor на одній машині негайно робить сеанс на будь-якій іншій машині недійсним. Це значний регрес UX», — написав BrokenToasterOven в повідомленні, яке пізніше було видалено модераторами r/cursor.
Він написав електронного листа до служби підтримки Cursor і швидко отримав відповідь від Сема: «Cursor розроблений для роботи з одним пристроєм за підпискою як основна функція безпеки», — йшлося у відповіді. Відповідь звучала остаточно й офіційно, і програміст не підозрював, що Сем не був людиною.
Після першого допису на Reddit користувачі сприйняли його як офіційне підтвердження фактичної зміни політики — такої, що ламає звички, важливі для повсякденної роботи багатьох програмістів.
«Робочі процеси з декількома пристроями — це козир для розробників», — написав один користувач. Невдовзі після цього кілька користувачів публічно оголосили про скасування підписки на Reddit, посилаючись на вигадану політику як на причину.
«Гей! У нас немає такої політики. Звичайно, ви можете використовувати Cursor на кількох машинах. На жаль, це некоректна відповідь від бота служби підтримки ШІ», — написав представник Cursor у відповіді Reddit через три години.
Згодом співзасновник Cursor Майкл Труелл перепросив за плутанину з уявним правилом, і запевнив, що користувачеві повернули гроші, а проблема виникла через зміни в бекенді, спрямовані на підвищення безпеки сеансів, які ненавмисно створили проблеми з анулюванням сеансів для деяких користувачів.
«Будь-які відповіді штучного інтелекту, що використовуються для підтримки електронної пошти, тепер чітко позначені як такі. Ми використовуємо відповіді зі штучним інтелектом як перший фільтр для підтримки електронною поштою — додав він.
Проте цей інцидент викликав у користувачів багато запитань щодо розкриття інформації, оскільки багато людей, які взаємодіяли з Семом, очевидно, вважали, що він був людиною.
«LLM, які прикидаються людьми (ви назвали його Сем!) і не позначені як такі, явно мають на меті ввести в оману», — написав один з користувачів на Hacker News.
Раніше користувач Cursor розповів, що ШІ-асистент відмовився генерувати код і сказав айтівцю, що він повинен вчитися програмувати.
