Mazda CX90
Хочете будувати кар’єру в Data Science та AI? Vodafone Big Data Lab відкриває новий набір —>

Genshin Impact developer creates AI that can play games by looking at the screen

Chinese studio miHoYo (known for the hit Genshin Impact) has unveiled an AI model called Gamer that can play video games on its own. The developers trained the algorithm to fight enemies, solve puzzles, and complete quests in another of the company's popular games, Honkai: Star Rail.

Leave a comment
Add to Google
Genshin Impact developer creates AI that can play games by looking at the screen

Chinese studio miHoYo (known for the hit Genshin Impact) has unveiled an AI model called Gamer that can play video games on its own. The developers trained the algorithm to fight enemies, solve puzzles, and complete quests in another of the company's popular games, Honkai: Star Rail.

During the video demonstration, the AI ​​freely explored game locations, engaged in battles with opponents, and even managed to defeat the boss, Dexerto reports .

How the technology works

Unlike traditional game bots that interact directly with the game's internal code, Gamer behaves like a regular player.

The system takes screenshots of the screen to understand what is happening in the game, then issues standard commands using the mouse and keyboard.

The researchers combined gameplay recordings with text instructions, explanations of key decisions, and brief memory summaries. This allows the AI ​​to keep current goals in mind, freely control the character, rotate the camera, navigate menus, and interact with the environment.

First test results

To test Gamer's skills, the developers put him through two Honkai side quests: Star Rail — Opportunity Makes the Thief (Part I) and Bestial Ferocity. They require movement between locations, dialogue with characters, combat, and basic task solving. The AI ​​successfully completed 80% and 83.6% of the objectives in these quests, respectively.

At the same time, the model did not cope with puzzles so evenly - the average success rate was 49.7% on 40 tasks in seven types of minigames:

  • in Navigation Compass puzzles, the AI ​​achieved 95.8% success;

  • in more complex Abacus Circuitry tasks, the result dropped to 22.2%.

Why these studios?

miHoYo notes that the technology is not being created to replace gamers, but to automate game testing. The ability of AI to independently explore locations and complete missions will help developers identify bugs, verify the correct operation of quests, and reproduce errors before updates hit the main servers. This will significantly reduce development and quality control (QA) costs.

The number of new games on the itch.io marketplace has doubled. The service sadly hints that the reason is generative AI
The number of new games on the itch.io marketplace has doubled. The service sadly hints that the reason is generative AI
On the topic
The number of new games on the itch.io marketplace has doubled. The service sadly hints that the reason is generative AI
"Slopecolypse Festival." What Ukrainian indie developers think about the influx of AI games on Steam
"Slopecolypse Festival." What Ukrainian indie developers think about the influx of AI games on Steam
On the topic
"Slopecolypse Festival." What Ukrainian indie developers think about the influx of AI games on Steam
Gamers complain that Steam Next Fest is filled with gaming AI slop
Gamers complain that Steam Next Fest is filled with gaming AI slop
On the topic
Gamers complain that Steam Next Fest is filled with gaming AI slop
Read the country's main IT news in our Telegram
Read the country's main IT news in our Telegram
On the topic
Read the country's main IT news in our Telegram
Also Read
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Нейронні мережі для генерації зображень бачать світ по-своєму, їхню логіку зрозуміти часом зовсім неможливо. Але таки хочеться. На честь Дня Незалежності України редакція dev.ua вирішила провести невеликий експеримент. Ми задали чотирьом різним нейронним мережам п’ять однакових запитів: «прапор України», «День Незалежності України», «український Крим», «перемога України» та «українці». Отриманими результатами ми ділимося з вами нижче.
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok з’явилася нова функція «Розумний фон». З її допомогою як фон для тіктоків можна підставляти згенеровані нейромережею зображення. Редакція dev.ua протестувала цю технологію і ділиться своїми враженнями.
1 comment
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака
Які IT-спеціальності будуть потрібні в найближчі п'ять років? Ми з'ясували у голови американського стартапу ADAM Дениса Гурака

Have important news to share? Message our Telegram bot

Key events and useful links in our Telegram channel

Discussion
No comments yet.