Концепция
Раньше я обожала рисовать на графическом планшете в диджитале. Такж часто после пар в колледже, где мы писали маслом, я думала, что традиционная живопись это не моё. В цифре всё как будто проще, можно не ждать, пока высохнет предыдущий слой, ничего не смажется случайно, никто не отпечатает часть своей работы на твоей, и всегда есть кнопка отмены. Я долго так думала.
Но со временем произошли два события, которые почти отбили у меня желание рисовать на компьютере. Во-первых, быстро и сильно распространились нейросети. Было непонятно, к чему это приведёт. Во-вторых, я поступила на дизайн, и мои дни стали итак проходить за ноутбуком, но уже в других программах.
Теперь мне нравится рисовать карандашом по бумаге, смазывать грифель и пачкаться в краске. В этом есть что-то настоящее, не просто пиксели, и склад работ в ноутбуке, о которых со временем забываешь. За пару лет у меня накопилось много рисунков в цифре. Поэтому в этом задании мне стало интересно, что бы произошло, если бы меня заменила нейросеть. Развила бы мой стиль или просто показала его под другим углом? Ведь за долгое время я так и не определилась с ним.
Ещё мне хотелось бы показать мои рисунки, которые когда-то выражали все мои мечты и надежды. Пусть они побудут здесь, чтобы не пылились. Я как раз разобрала их немного.
Процесс обучения
Для обучения модели я загрузила свой датасет и использовала для написания кода приложенный шаблон Stable Diffusion. Разобрала свои изображения и привела к единым параметрам, подключила библиотеки, и приступила к обработке картинок.
Сделала описания к совоим работам с помощью BLIP. Для своей нейросети я задала параметр, с которого начинается каждое написание: «in digital art Pecarf style». Использую свой стиль и свой ник pecarf для названия.
Когда описание модели создано, я приступаю к её обучению и на это у меня ушло почти что 2 часа. Что бы все быстрее работало я уменьшила число обучающих шагов до 500 и поставила чекпоинты посередине.
Итоговые картинки
Ключевой промпт «digital art paintings in Pecarf style», тут я использовала свой ник для обозначения и запоминания стиля.
Изображения преимущественно в темах моих диджитал работ, пейзажи, фэнтези тематика, сказочные персонажи, средневековье и немного sci-fi, и современности для большей оригинальности работ.
Тут можно увидеть уже картинки доученной нейросети с помощью LORA на моих данных. Ниже будут промпты, которые я использовала для создания этих изображений.
«digital art paintings in Pecarf style, A long rope bridge hanging between two cliffs over a misty jungle, flocks of colorful birds flying below, morning light breaking through the fog "
//
«digital art paintings in Pecarf style, windmills and grasslands colorful landscape»
«digital art paintings in Pecarf style, rabbit archer in colorful forest in jump and action»
//
«digital art paintings in Pecarf style, elf girl knight with flowers "
«digital art paintings in Pecarf style, colorful ancient tree»
//
«digital art paintings in Pecarf style, abandoned overgrown old ancient town ruins»
«digital art paintings in Pecarf style, cave entrance colorful landscape "
//
«digital art paintings in Pecarf style, a mouse in a skull-shaped helmet and armor, like a priest and a death knight, personifying death itself»
«digital art paintings in Pecarf style, Medieval village color picture "
//
«digital art paintings in Pecarf style, In profile, an elf girl archer pulls a bowstring at sunset. A color picture with white hair and purple eyes. She is very tense. "
«digital art paintings in Pecarf style, A giant female robot sleeps in a meadow while being repaired by other small robots. Her hair is spread out across the meadow and partially floating on the surface of the river. It’s a sunny day. Colorful peaceful landscspe "
//
«digital art paintings in Pecarf style, colorful giant bugs flying in the sky with humans on it action in moving peaceful landscape with flying islands and waterfalls»
«digital art paintings in Pecarf style, medieval castle on the rock. Colorful peaceful landscspe "
//
«digital art paintings in Pecarf style, times square, new york»
«digital art paintings in Pecarf style, A grizzled witcher-like monster hunter, leaning on a giant obsidian sword, heavy rain, muddy ground, his coat is torn, scars on face, tired but vigilant eyes, messy sketch style, dynamic lighting, volumetric fog, dark fantasy concept art, loose oil brush strokes, white background for concept sheet, by Frank Frazetta and Craig Mullins. "
//
«digital art paintings in Pecarf style, Character design of a rogue dark elf, dual daggers, hooded, asymmetrical leather armor, glowing purple tattoos, dynamic pose jumping over a rooftop, rough concept art, visible construction lines, three-view sheet in corner, stylized but gritty, high contrast, game concept art, white background.»
«digital art paintings in Pecarf style, Portrait of a dragonborn sage, ancient golden dragon heritage, wearing tattered robes covered in celestial maps, holding a glowing orb, intricate scale details, messy charcoal sketch style, dramatic side lighting, splash art, fantasy character concept, textured paper background.»
«digital art paintings in Pecarf style, A forest spirit made of twisted roots and glowing moss, shaped like a giant elk, hollow eyes, mushrooms growing on its back, eerie atmosphere, misty forest, messy ink sketch, dark fantasy creature concept, dynamic composition, splash art style, white background.»
//
«digital art paintings in Pecarf style, Concept art of a steampunk golem, made of old clockwork and scrap metal, single glowing blue eye, gears visible, sitting in a destroyed cathedral, overgrown with vines, rough painterly style, game asset design, high detail on metal textures, simple background.»
«digital art paintings in Pecarf style, Blacksmith forge concept art, located inside a dormant volcano, chains hanging from the ceiling, molten lava rivers flowing through channels in the floor, silhouette of a giant forging a sword, dramatic lighting, orange and black color palette, rough sketch style, game environment design.»
//
«digital art paintings in Pecarf style, Environment concept art, a ruined library built inside the roots of a massive world tree, floating glowing books, water pools reflecting the sky, giant roots breaking through stone arches, overgrown, mystical atmosphere, messy sketch style, isometric view concept art, dark fantasy, rich colors, volumetric lighting.»
«digital art paintings in Pecarf style, Dark ritual scene, a circle of mages in hooded cloaks standing in a circle, massive swirling void of purple energy above an altar, tentacles of shadow reaching out, messy ink style, high contrast, black and white with red accents, concept art, horror fantasy, gritty texture.»
//
«digital art paintings in Pecarf style, Splash art, a knight in battered silver armor sliding under a massive wyvern, broken lance in hand, sparks flying from stone floor, chaotic battle scene, dynamic angle, wide angle lens effect, rough painterly style, dark fantasy, intense motion blur, concept art style, white background.»
«digital art paintings in Pecarf style, A grizzled witcher-like monster hunter, leaning on a giant obsidian sword, heavy rain, muddy ground, his coat is torn, scars on face, tired but vigilant eyes, messy sketch style, dynamic lighting, volumetric fog, dark fantasy concept art, loose oil brush strokes, white background for concept sheet, by Frank Frazetta and Craig Mullins. "
В итоге мне понравилось как нейросеть подражает мазкам кисти и почти улавливает стиль, возможно произошли проблемы с колоритом и цветом из-за атмосферного, цветного освещения в большинстве изначальных рисунков и нейросети их сложно распознавать, но в итоге получился интересный эксперимент.
С более простыми запросами результат хуже, но очень хорошо чувствуется мой стиль, ну а с прописанными качество вырастает прямо на глазах но уже как будто немножко не то, так что чем подробней, тем лучше, но не совсем.
Получилось как будто даже слишком реалистично и хорошо, мне стало страшно опять). Но по крайней мере для концепт арта этот инструмент точно более чем подходит.
Генеративные модели
Кроме обученной нейросети был использован ChatGPT (https://chatgpt.com) для дополнения промптов и генерации идей.
SDXL: диффузионная модель для создания изображений.
DreamBooth: метод глубокого обучения для генерации изображений.
LoRA: техника тонкой настройки больших языковых моделей и других глубоких нейронных сетей.
