UNIT.City — місце, де люди працюють... КРАЩЕ! Обирай свій простір просто зараз 👉

Cursor AI tech support bot fooled a user who contacted it with a problem — instead of helping, it came up with new rules for using the service

A user of the popular AI-powered code editor Cursor contacted the service’s support when he started getting logged out when switching between computers. The support AI agent told him that this was a new Cursor policy, but it turned out that there was no such rule and that it was just an «hallucination» of the AI.

Leave a comment
Cursor AI tech support bot fooled a user who contacted it with a problem — instead of helping, it came up with new rules for using the service

A user of the popular AI-powered code editor Cursor contacted the service’s support when he started getting logged out when switching between computers. The support AI agent told him that this was a new Cursor policy, but it turned out that there was no such rule and that it was just an «hallucination» of the AI.

According to ArsTechnica, when the programmer contacted Cursor support, he had no idea that the agent, named Sam, was an AI bot and did not expect to encounter fabrications. The incident caused a wave of outrage among IT professionals on Hacker News and Reddit.

So-called «hallucinations», where AI models invent false information that sounds believable, are a known problem with the technology. Rather than acknowledge gaps in knowledge or capabilities, AI models often prefer to create plausible, confident answers, even if that means inventing them from scratch.

For companies that deploy such systems to work with customers without human supervision, the consequences can be costly: disappointed customers, undermined trust, and even canceled paid subscriptions.

How AI tech support forced Cursor CEO to apologize

According to Reddit user BrokenToasterOven, he noticed that when switching between a desktop, laptop, and a remote development box, Cursor sessions were unexpectedly terminating.

«Logging into Cursor on one machine immediately invalidates the session on any other machine. This is a significant UX regression,» BrokenToasterOven wrote in a post that was later deleted by r/cursor moderators.

He emailed Cursor support and quickly received a response from Sam: «Cursor is designed to work with a single device per subscription as a primary security feature,» the response read. The answer sounded final and official, and the programmer had no idea that Sam wasn’t human.

After the initial post on Reddit, users took it as official confirmation of an actual policy change — one that breaks habits that are important to many programmers' daily work.

«Multi-device workflows are a trump card for developers,» one user wrote. Shortly after, several users publicly announced their unsubscriptions on Reddit, citing the fabricated policy as the reason.

«Hey! We don’t have that policy. Of course, you can use Cursor on multiple machines. Unfortunately, this is an incorrect response from an AI support bot», — a Cursor representative wrote in a Reddit reply three hours later.

Cursor co-founder Michael Truell later apologized for the confusion over the supposed rule, and assured that the user had been refunded, and that the issue was due to backend changes aimed at improving session security, which inadvertently created session cancellation issues for some users.

«Any AI responses used for email support are now clearly labeled as such. We use AI responses as the first filter for email support,» he added.

However, this incident raised many questions among users regarding disclosure, as many people who interacted with Sam apparently believed he was human.

«LLMs pretending to be humans (you called him Sam!) and not labeled as such are clearly intended to mislead», — one user wrote on Hacker News.

Previously, user Cursor said that the AI ​​assistant refused to generate code and told the IT guy that he should learn to program.

Read the country's main IT news in our Telegram
Read the country’s main IT news in our Telegram
On the topic
Read the country’s main IT news in our Telegram
Cursor AI, an AI assistant tasked with speeding up the coding process, told a developer to learn to code and refused to do the work for him
Cursor AI, an AI assistant tasked with speeding up the coding process, told a developer to learn to code and refused to do the work for him.
On the topic
Cursor AI, an AI assistant tasked with speeding up the coding process, told a developer to learn to code and refused to do the work for him.
Uber CEO says training in using AI agents for coding “will become an absolute necessity for the company within the year”
Uber CEO says training in using AI agents for coding will «become an absolute necessity for the company within the year»
On the topic
Uber CEO says training in using AI agents for coding will «become an absolute necessity for the company within the year»
Sam Altman revealed how much the “thank you” and “please” messages sent by ChatGPT users cost companies
Sam Altman revealed how much the «thank you» and «please» written by ChatGPT users cost companies
On the topic
Sam Altman revealed how much the «thank you» and «please» written by ChatGPT users cost companies
Also Read
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Нейронні мережі для генерації зображень бачать світ по-своєму, їхню логіку зрозуміти часом зовсім неможливо. Але таки хочеться. На честь Дня Незалежності України редакція dev.ua вирішила провести невеликий експеримент. Ми задали чотирьом різним нейронним мережам п’ять однакових запитів: «прапор України», «День Незалежності України», «український Крим», «перемога України» та «українці». Отриманими результатами ми ділимося з вами нижче.
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok з’явилася нова функція «Розумний фон». З її допомогою як фон для тіктоків можна підставляти згенеровані нейромережею зображення. Редакція dev.ua протестувала цю технологію і ділиться своїми враженнями.
1 comment
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака

Have important news to share? Message our Telegram bot

Key events and useful links in our Telegram channel

Discussion
No comments yet.