Компания Stability AI запустила Stable Diffusion XL Turbo — модель искусственного интеллекта, которая может быстро генерировать изображение на основе письменного запроса. Так быстро, что компания называет это «генерацией изображений в режиме реального времени».
Компания Stability AI запустила Stable Diffusion XL Turbo — модель искусственного интеллекта, которая может быстро генерировать изображение на основе письменного запроса. Так быстро, что компания называет это «генерацией изображений в режиме реального времени».
Основная инновация SDXL Turbo заключается в ее способности создавать исходные изображения за один шаг, что значительно меньше по сравнению с 20-50 шагами, необходимыми для предыдущих моделей. Stability объясняет этот скачок в эффективности технологией, которую она называет соревновательной диффузионной дистилляцией (Adversarial Diffusion Distillation, ADD). Об этом сообщает Ars Technica.
ADD использует дистилляцию оценок, где модель учится на основе имеющихся моделей синтеза изображений, и соревновательный проигрыш, улучшающий способность модели различать реальные и сгенерированные изображения, повышая реалистичность результатов. Одним из преимуществ SDXL Turbo называют ее сходство с генеративными соревновательными сетями (Generative Adversarial Networks, GAN), особенно в создании одношаговых изображений.
В то же время изображения Turbo-версии не так подробны, как изображения обычной Stable Diffusion XL, которые получены с большим количеством шагов, поэтому их нельзя считать заменой предыдущей модели. Но, учитывая экономию скорости, результаты впечатляют.
Stability AI утверждает, что на Nvidia A100 (мощном графическом процессоре с поддержкой ИИ) модель может генерировать изображение 512×512 за 207 мс, включая кодировку, один шаг шумоподавления и декодирования. Такая скорость может привести к генерации видеофильтров с искусственным интеллектом в реальном времени или экспериментальной генерации графики для видеоигр, если удастся решить проблемы когерентности (сохранение одного и того же объекта между несколькими кадрами или поколениями).
SDXL Turbo доступен по некоммерческой исследовательской лицензии, ограничивающей его использование личными некоммерческими целями. Этот шаг уже раскритиковали пользователи Stable Diffusion, но Stability AI заявила об открытости коммерческих приложений и приглашает заинтересованные стороны связаться для получения дополнительной информации.
Stability AI предлагает бета-демонстрацию возможностей SDXL Turbo на своей платформе для редактирования изображений Clipdrop. Также можно бесплатно поэкспериментировать с неофициальным live demo на Hugging Face.
Ранее Stability AI показала работу Stable Video Diffusion, способный превратить статическую картинку в видео.
