Continuum | Платформа для людей, которые создают образы будущего

Поставленные задачи

Работа с персонажем достаточно сильно отличается от работы с предметом.

Цели:

Максимально повторить движения камеры, а так же персонажа в кадре.

Синхронизировать при анимации и монтаже движения губ и звук из оригинальной аудиодорожки.

Ход работы

Переходя к анимации в этот раз я разработала для себя новый пайплайн, который подразумевал монтаж сразу для более плавных переходов между кадрами.

Внимательно изучив ролик Сберкота я поняла, что все движения как будто переходят друг в друга и не получится создать одно видео для каждого отдельного фрагмента ролика.

Исходный размер 1920x1080

Генерация

Для кадров с простым движением достаточно было одного кадра, но сложность заключалась в том, чтобы движения губ зайки точно совпадали с аудиодорожкой оригинального видео.

В этом отлично справилась нейросеть Grok.

Промпт:

Зайка рассказывает что-то увлеченно, а затем показывает пальчиками знак мир.

Генерации

Для более сложных движений, которые трудно описать, а так же для сохранения содержимого в кадрах я использовала 2 изображения как начальное и конечное.

Но даже это не помогло, очень тяжело было описать как именно должен пролетать стаканчик и чтобы при этом зайчик еще и говорил.

Исходный размер 677x375

Генерация

Большинство попыток выходили неподходящими под необходимое действие, но очень эмоциональными.

Видео, которое в итоге было отобрано для монтажа.

Видео из veo слишком длинное и медленное, чтобы сохранить динамику и полное движение видео обрезалось и ускорялось в несколько раз.

Основная проблема создания этого кадра — это его продолжительность. В финальный ролик должна пойти 1 секунда, а все нейросети генерят минимум по 5 секунд.

В итоге мы получаем очень долгое и медленное движение, которое будет ускоряться на монтаже.

Исходный размер 1498x843

Генерация

В этом коротком кусочке 3 разных видео генерации:

2 секунды для того, чтобы осветить зайку вырезаются из полученной 5-секундной генерации.*

*В этот момент необходимо было сразу монтировать видео, чтобы максимально стыковать движения в роликах.

Последний кадр из двух секунд идет как ключевой кадр для бесшовного стыка.

Генерация

При монтаже при этом стараемся подобрать первый кадр новой генерации выбрать так, чтобы он немного, но отличался от последнего кадра в прошлом видео, чтобы избежать эффекта залипания анимации. (неважно, что он не очень красивый, при быстрой анимации этого не будет заметно)

Режем и ускоряем полученные кадры таким образом:

— 10 кадров на присед (ускорение в 7 раз) — 8 кадров на зум и опускание ушек (ускорение в 4 раза)

Разница в ускорении необходима для лучшего и более плавного восприятия анимации. Таким образом получается создать ощущение подготовки к прыжку.

В части где зайка выпрыгивает проделан тот же пайплайн, что и в пункте 2.

Генерации

Для плавного перехода на монтаже так же необходимо было подобрать кадры так, чтобы голограмма была как бы на 1 кадр дальше по движению, чем предыдущий в кофейне.

Сравнение движений на итоговых кадрах