Компания Nvidia представила Chat with RTX, позволяющий владельцам видеокарт GeForce RTX 30 и 40 серий запускать чат-бота на основе ИИ в автономном режиме на ПК с Windows.
Компания Nvidia представила Chat with RTX, позволяющий владельцам видеокарт GeForce RTX 30 и 40 серий запускать чат-бота на основе ИИ в автономном режиме на ПК с Windows.
«Вместо того чтобы искать в заметках или сохраненном содержимом, пользователи могут просто вводить запросы», — пишет Nvidia в блоге. «Например, можно спросить: «Какой ресторан рекомендовал мой партнер во время пребывания в Лас-Вегасе?», и Chat with RTX просканирует локальные файлы, на которые указывает пользователь, и ответит с контекстом».
Chat with RTX использует Mistral, а также Llama 2 от Meta, Nvidia предупреждает, что скачивание всех необходимых файлов сможет занять от 50 до 100 ГБ памяти, пишет TechCrunch.
Сейчас Chat with RTX работает с текстовыми форматами, PDF, .doc, .docx и .xml. Также можно получить ответы на основе информации из YouTube.
Nvidia признает, что на релевантность ответов программы может влиять целый ряд факторов, в том числе формулировка вопроса, производительность выбранной модели и размер набора данных для точной настройки.
Также существует целый ряд известных проблем и ограничений. Например, попытка проиндексировать с помощью Chat with RTX папку из 25 000 документов привела к сбою программы, требовавшей сброса всех настроек для восстановления работоспособности.
То есть Chat with RTX пока больше напоминает раннюю демоверсию для разработчиков и компьютерных энтузиастов.
