Компанія Nvidia представила інструмент Chat with RTX, який дозволяє власникам відеокарт GeForce RTX 30 і 40 серій запускати чат-бота на основі ШІ в автономному режимі на ПК з Windows.
Компанія Nvidia представила інструмент Chat with RTX, який дозволяє власникам відеокарт GeForce RTX 30 і 40 серій запускати чат-бота на основі ШІ в автономному режимі на ПК з Windows.
«Замість того, щоб шукати в нотатках або збереженому вмісті, користувачі можуть просто вводити запити», — пише Nvidia в блозі. «Наприклад, можна запитати: „Який ресторан рекомендував мій партнер під час перебування в Лас-Вегасі?“, і Chat with RTX просканує локальні файли, на які вказує користувач, і надасть відповідь із контекстом».
Chat with RTX використовує Mistral, а також Llama 2 від Meta, Nvidia попереджає, що завантаження всіх необхідних файлів зможе зайняти від 50 до 100 ГБ пам’яті, пише TechCrunch.
Зараз Chat with RTX працює з текстовими форматами, PDF, .doc, .docx і .xml. Також можна отримати відповіді на основі інформації з YouTube.
Nvidia визнає, що на релевантність відповідей програми може впливати цілий ряд факторів, зокрема формулювання запитання, продуктивність вибраної моделі та розмір набору даних для точного налаштування.
Також існує ціла низка відомих проблем та обмежень. Наприклад, спроба проіндексувати за допомогою Chat with RTX теку з 25 000 документів призвела до збою програми, що вимагала скидання всіх налаштувань для відновлення працездатності.
Тобто Chat with RTX поки більше нагадує ранню демоверсію для розробників та комп’ютерних ентузіастів.
