«Крокодил Гена, Чебурашка и зоопарк» — серия изображений, сгенерированных с помощью нейросети Stable Diffusion, обученной скриншотами из мультсериал «Крокодил Гена»
Идея проекта
Кукольный мультипликационный фильм «Крокодил Гена» поставлен Романом Качановым по мотивам книги Эдуарда Успенского «Крокодил Гена и его друзья». Картина выпущена киностудией «Союзмультфильм».
Мультфильм обладает уникальным визуальным стилем, мне показалось хорошей идеей обучить генеративную нейросеть по скриншотам из «Крокодила Гены». Такой проект будет полезен для фанатов, желающих увидеть новые пути развития вселенной, и художников, которые будут создавать новые концепты в духе мультсериала. Основная идея — пофантазировать на тему того, какие еще персонажи могли бы быть в этой вселенной.
Исходные изображения для обучения
Процесс обучения
Я обучала модель Stable Diffusion XL с использованием техники LoRA (Low-Rank Adaptation). Сначала я проверила доступность GPU и установила необходимые зависимости, затем создала директорию для датасета и загрузила туда нужные изображения. Датасет — серия кадров из мульсериала «Крокодил Гена». При помощи функции image_grid отобразила несколько первых изображений из датасета, чтобы убедиться, что данные загружены корректно. Дальше генерировала описания для каждого изображения с помощью модели BLIP (Bootstrapped Language-Image Pretraining) для обучения модели с использованием текстовых подсказок. Потом создала файл metadata.jsonl, который содержит пути к изображениям и соответствующие подписи. После удалила модель BLIP, чтобы освободить память. Затем настроила и запустила обучение модели Stable Diffusion XL. После обучения сохранила модель на Hugging Face Hub.
При помощи обученной модели приступила к генерации серии изображений. Несколько раз заканчивалось бесплатное время GPU в Google Colab, помогал перезапуск модели в разных ноутбуках с разных аккаунтов. Поэтому прикреплены 2 ссылки.
Итог
Сначала генерировала город, окружение и персонажей в определенной среде, которая получалась похожей на ту, что в мультфильме.
Сначала модель создавала изображения плохого качества, чтобы детализировать кадры я добавляла в конец промпта «ultra-detailed, 8K, HDR, intricate details»
Далее генерировала картины и сюжеты, непохожие на мультфильм.
Ссылки на google collab
Ссылка на модель
