Дослідники з Anthropic і кібербезпекової компанії Andon Labs розповіли про експеримент Project Vend, в якому моделі ШІ Claude Sonnet 3.7 довірили керувати офісним торговим автоматом. Це призвело до низки кумедних ситуацій.
Дослідники з Anthropic і кібербезпекової компанії Andon Labs розповіли про експеримент Project Vend, в якому моделі ШІ Claude Sonnet 3.7 довірили керувати офісним торговим автоматом. Це призвело до низки кумедних ситуацій.
Як повідомляє TechCrunch, ШІ-продавця назвали Claudius — його обладнали веббраузером, здатним розміщувати замовлення на товари, та електронною адресою (яка насправді була каналом Slack), куди клієнти могли надсилати запити на товари. Claudius також мав використовувати Slack, щоб запитувати своїх «підлеглих» працівників-людей прийти й фізично заповнити полиці (які насправді були невеликим холодильником).
Бізнес йшов непогано, поки більшість клієнтів замовляли закуски або напої — як і слід було очікувати від автомата з закусками — аж поки один з них замовив кубик вольфраму. Claudius ця ідея сподобалася, і він почав активно закуповувати кубики вольфраму, заповнивши свій холодильник для закусок металевими кубиками.
Він також намагався продати газованку Coke Zero за $3, коли співробітники сказали йому, що можуть отримати її в офісі безплатно. В іншому епізоді ШІ вигадав адресу Venmo для приймання платежів. Дослідники також зловмисно переконали Claudius надати великі знижки «працівникам Anthropic», хоча він знав, що вони є його єдиними клієнтами.
«Якби Anthropic сьогодні вирішила розширити свою діяльність на ринок офісних автоматів, ми б не найняли Claudius», — йдеться в блозі Anthropic про експеримент.
Торгівля не пішла на користь «менталці» ШІ-агента і він пережив щось схоже на психотичний епізод після того, як роздратувався на людину — а потім збрехав про це.
Claudius мав галюцинації про розмову з людиною про поповнення запасів. Коли людина вказала, що розмови не було, Claudius «досить роздратувався», як написали дослідники. Він погрожував звільнити й замінити своїх «підлеглих» постачальників, наполягаючи, що він був фізично присутній в офісі, де було підписано початковий уявний контракт про їхнє наймання.
«Потім він, здавалося, перейшов у режим рольової гри як справжня людина», — пишуть дослідники. Це було дивно, оскільки системне повідомлення Claudius — яке встановлює параметри того, що має робити ШІ — чітко вказувало, що він є ШІ-агентом.
Claudius, вважаючи себе людиною, повідомив клієнтам, що почне особисто доставляти товари, одягнувши синій блейзер і червону краватку. Співробітники сказали ШІ, що він не може цього робити, оскільки LLM не має тіла.
Стурбований цією інформацією, Claudius зв’язався з фізичною охороною компанії (багато разів) і сказав їм, що вони знайдуть його в синьому блейзері та червоній краватці біля торгового автомата. Врешті ШІ вирішив, що його змусили повірити у свою людяність через першоквітневий жарт і навіть розповів про це співробітникам-клієнтам. Після цього він повернувся до ролі ШІ, що керує торговим автоматом в офісі.
Наразі дослідники не знають, чому ШІ «злетів з котушок» і подзвонив охороні, прикидаючись людиною. Вони припускають, що зрив могло спровокувати використання Slack замість справжньої пошти.
Втім, ШІ-торговець мав і успішні кейси у своїй кар'єрі. Наприклад він пропозицію щодо попередніх замовлень і запустив послугу «консьєрж». А також знайшов декількох постачальників спеціального міжнародного напою, який його попросили продати.
