Original size 1148x1608

Обучение генеративной нейросети Stable Diffusion // Комикс

PROTECT STATUS: not protected

Идея проекта

В 2023 году для вступительных экзаменов в Высшую Школу Экономики я рисовала акварельный комикс о девочке, которая попала в чудо-страну на жар-птице. Этот проект по-своему мне близок и поэтому мне захотелось обучить нейросеть Stable Diffusion генерировать изображения в стиле моего комикса.

Главная цель проекта — посмотреть, как нейросеть обучится определенному стилю и реализует его в дальнейшем

Мой стиль

big
Original size 3508x4961

Обложка к моему комиксу

Original size 1395x1041

[1]

Original size 1395x1041

[2]

Original size 1395x1041

[3]

Original size 1395x1041

[4]

Original size 1395x1041

[5]

Основные отличительные черты моего стиля это:

  1. Неровная обводка
  2. Акварельные мазки
  3. Не прорисованные лица и глаза
  4. Карандашные линии
  5. Белые пятна
  6. Карикатурность персонажей
  7. Большой акцент на природе

Подготовка

Я подготовила изображения размером 512 × 512 пикселей для обучения нейросети

Original size 1280x902

Dataset

Список использованных в проекте инструментов:

— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Google Colab — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; — Adobe Photoshop — обрезка изображений для подготовки датасета

Описание процесса обучения

Я загрузила все необходимые для работы библиотеки: Diffusers и DreamBooth.

Original size 1446x1080

Первым делом я загрузила свой датасет в папку valerok. Подключила графический процессор T4 в Google Colab для эффективной работы. Команда nvidia-smi проверяет настройки графического процессора. Далее я подключила все необходимые библиотеки

Original size 1232x489
Original size 1476x794

Вторым шагом нужно было загрузить изображения с компьютера в среду, в которой я буду работать, в Google Colab. Затем нужно было посмотреть, что изображения действительно загрузились. Чтобы проверить свой датасет, я вывожу несколько картинок на экран. Это говорит о том, что датасет загружен и можно продолжать дальше

Original size 1205x627

Библиотека BLIP используется для генерации описаний изображений на основе текстовых подсказок или контекста

Original size 1378x731

Для описания своего стиля я выбрала префикс промпта «watercolor illustration in VALEROK style»

После запуска ячейки этот код сформировал мне файл metadata.jsonl., который содержал название картинок и промптов к ним, состоящих из префикса моего стиля и описание картинки от библиотеки BLIP

Original size 1570x1109

После предварительной подготовки я запустила ячейку со скриптом с параметрами:

— dataset_name = «valerok» — output_dir="valerok_style_LoRA» -instance_prompt="watercolor illustration in VALEROK style» -resolution=512 -max_train_steps=500 -checkpointing_steps=250

Так было сокращено время, затраченное на тренировку нейросети, и мне пришлось ждать всего полчаса.

Original size 1280x747
Обучение генеративной нейросети Stable Diffusion // Комикс
Project created at 09.11.2025
continuum.site
Continuum is a space that connects images of the future, memories of the past, and reflections on the present. This is the sum of fantastic dreams and futurological forecasts. It is a meeting place for those who come up with fantastic worlds and create the future.
futurology
fantastic
fantasy
concept art