Компанія Stability AI запустила Stable Diffusion XL Turbo — модель штучного інтелекту, яка може швидко генерувати зображення на основі письмового запиту. Настільки швидко, що компанія називає це «генерацією зображень у режимі реального часу».
Компанія Stability AI запустила Stable Diffusion XL Turbo — модель штучного інтелекту, яка може швидко генерувати зображення на основі письмового запиту. Настільки швидко, що компанія називає це «генерацією зображень у режимі реального часу».
Основна інновація SDXL Turbo полягає в її здатності створювати вихідні зображення за один крок, що значно менше порівняно з 20–50 кроками, необхідними для попередніх моделей. Stability пояснює цей стрибок в ефективності технологією, яку вона називає «змагальною дифузійною дистиляцією» (Adversarial Diffusion Distillation, ADD). Про це повідомляє Ars Technica.
ADD використовує дистиляцію оцінок, де модель навчається на основі наявних моделей синтезу зображень, і змагальний програш, який покращує здатність моделі розрізняти реальні та згенеровані зображення, підвищуючи реалістичність результатів. Однією з переваг SDXL Turbo називають її подібність до генеративних змагальних мереж (Generative Adversarial Networks, GAN), особливо у створенні однокрокових зображень.
Водночас зображення Turbo-версії не такі детальні, як зображення звичайної Stable Diffusion XL, які отримані з більшою кількістю кроків, тому їх не можна вважати заміною попередньої моделі. Але з огляду на економію швидкості — результати вражають.
Stability AI стверджує, що на Nvidia A100 (потужному графічному процесорі з підтримкою ШІ) модель може генерувати зображення 512×512 за 207 мс, включаючи кодування, один крок шумозаглушення та декодування. Така швидкість може призвести до генерації відеофільтрів зі штучним інтелектом у реальному часі або експериментальної генерації графіки для відеоігор, якщо вдасться розв’язати проблеми когерентності (збереження одного й того ж об'єкта між кількома кадрами або поколіннями).
Наразі SDXL Turbo доступний за некомерційною дослідницькою ліцензією, що обмежує його використання особистими некомерційними цілями. Цей крок вже розкритикували користувачі Stable Diffusion, але Stability AI заявила про відкритість до комерційних застосувань і запрошує зацікавлені сторони зв’язатися для отримання додаткової інформації.
Stability AI пропонує бета-демонстрацію можливостей SDXL Turbo на своїй платформі для редагування зображень Clipdrop. Також можна безплатно поекспериментувати з неофіційним live demo на Hugging Face.
Раніше Stability AI показала роботу Stable Video Diffusion, який здатний перетворити статичну картинку у відео.
