Lumiere создаёт ролики по текстовому запросу, «оживляет» изображения или использует их как референс визуального стиля. При этом итоговое качество поражает.
В отличие от традиционных моделей, которые генерируют удаленные ключевые кадры с последующим временным сверхразрешением, Lumiere генерирует всю временную длительность видео за один проход. Такой подход обеспечивает глобальную временную согласованность и позволяет решать различные задачи по созданию контента и редактированию видео.
Ключевые особенности:
Преобразование изображений в видео: Преобразование неподвижных изображений в видео на основе заданных подсказок.
Стилизованная генерация: Использование одного опорного изображения для создания видео в заданном стиле.
Стилизация видео: Применение текстовых методов редактирования изображений для последовательного редактирования видео.
Синемаграфы: Анимация содержимого в заданной пользователем области изображения.
Инкрустация видео: Редактирует видео, маскируя и заменяя части видеокадра.
Разработанный командой исследователей и стажеров Google Research, Lumiere демонстрирует самые современные возможности создания видео на основе текста ?
Релиз в этом году. Учитывая объёмы информации, доступные Google для обучения ИИ, должно получиться нечто.
