Обучение генеративной нейросети под стиль художницы Мины Сандберг
Идея проекта
Художница Мина Сандберг из Финляндии, она автор комикса про скандинавскую мифологию «Замри.Замолчи»
Для своего проекта я вдохновлялась акварельным стилем этого комикса, в нем много живописных пейзажей и интересных персонажей. Поэтому я создала серию из пейзажей и портретов
Изображения для обучения
Фрагменты из комикса «Замри. Замолчи»
Итоговые картинки
Пейзажи
Портреты
1 art in Sunberg comic style, a cartoon scene of a boat in the water 2 art in Sunberg comic style, a drawing of a sky with birds 3 art in Sunberg comic style, Winter mountains, snow-covered peaks, serene landscape, clear blue sky with sunlight filtering through clouds
1 art in Sunberg comic style, a drawing of a girl with huge wings, 8k 2 art in Sunberg comic style, portrait of a beautiful elf-woman, 8k 3 art in Sunberg comic style, Nordic goddess, white background
Комментарий
Нейросеть поняла многие аспекты стиля этого комикса но по разному.
Пейзажи получились лучше, живописные детализацированые, акварельные и с карандашом поверх. А портреты получились не слишком похожие на персонажей в комиксе, генерации более детализированые, но общий стиль считывается.
Думаю это связано с тем что пейзажи легче считываются ИИ, а персонажи комикса были нарисованы слишком просто.
Описание применения генеративной модели
В данном проекте искусственный интеллект применялся для автоматизированного создания пейзажей и портретов в стиле художницы Мины Сандберг для этого нужно копирование ее акварельной техники
Использованная модель Stable Diffusion XL (SDXL) с дообученной LoRA-адаптацией.
Датасеты для обучения LoRA: Изображения с официального сайта комикса
Из-за сложной композиции в работах художника, нейросеть неправильно читала ситуацию на оригинальных изображениях, поэтому мне пришлось несколько раз пересобирать датабазу. Среди примеров неудачных референсов есть «art in Sunberg comic style, the legend of ze ze ze ze ze ze ze ze ze ze ze ze ze ze ze ze ze ze», «art in Sunberg comic style, a comic strip strip strip strip strip strip strip strip strip».
Генерация сначала выполнялась с шагом 200, но после неудачных первых генераций я переобучила ее на 400 шагов
Подготовка установка новых моделей
Обучение длилось 34 минуты.
Так же результат зависел от подробности промта, в первой версии промпт не был подробным, поэтому и результат не вышел таким как я хотела
Вывод
С помощью нейросети можно повторить авторский стиль отчасти, но для этого нужно более подробное описание, пробовать разные способы обучения (200 и 400 шагов). Также интересно что нейросеть лучшее считывает общие дальние планы, но не понимает простые лица
