Google представила нейросеть Lumiere для создания реалистичных видео
Фото: snob.ru/Omer Bar-Tal/arXiv.org (кадр из роликов,сгенерированных нейросетью Lumiere)
Компания Google представила нейросеть Lumiere, которая может создавать реалистичные видеоролики на основе текстовых подсказок. Новая технология использует архитектуру пространственно-временной диффузии, которая позволяет просчитывать не отдельные изображения, а весь ролик целиком. Это позволяет создавать более плавные и естественные движения, чем в случае с традиционными методами генерации видео. Об этом сообщает snob.ru со ссылкой на сайт проекта.
Lumiere может создавать ролики длиной до пяти секунд. Она также умеет переводить статические изображения в динамические, копировать стиль других видео и редактировать существующие ролики.
Нейросеть, обученная на 30 миллионов видеороликов, пока недоступна для публики. Однако, по мнению журналистов портала VentureBeat, полноценный запуск Lumiere позволит Google конкурировать с другими нейросетями, создающими видео, такими как Runway, Pika и Stability AI.