Концепция
Я невероятно люблю горы.
Для меня их вид содержит огромную силу. Однако живу я пока не в горах, а фотографии далеко не передают истинного масштаба и истинной силы гор.
Поэтому я решил создать нейросеть, которая будет генерировать картинки гор в неограниченном количестве, чтобы можно было не ограничивая свою фантазию горами реальными погружаться в бесконечное созерцание своих ассоциаций к чуду природы.
Это проект про создание, обучение и результаты такой нейросети.
Подобранные картинки для обучения нейросети.
Так как я перед такой задачей стоят впервые, то решил сосредоточиться не на качестве итоговых изображений, которая создаст нейросеть, а на моём понимании все аспектов обучения нейросети и создания изображений. Так как проект в том числе и обучающий.
Такое решение привело к тому, что я выбрал уже известную среду выполнения: Google Colab, а также использовал относительно немного картинок: 113, относительно небольшого разрешения: 256 на 256, что позволило избежать технических проблем с восприятием картинок кодом.
Процесс работы
Для начала я подобрал картинки для датасета, на котором мне предстояло обучать нейросеть тому как выглядят горы. Я нашёл базу фотографий гор, однако далеко не все из них оказались квадратными — поэтому я в ручную отобрал квадратные картинки и ужал их до одинаково разрешения.
Больно делать горы менее красивыми чем они есть, но так код их будет воспринимать лучше и стабильнее.
А ещё все фотографии в базе оказались 2009-го года, года, когда я научился разговаривать. А теперь я учу нейросеть практически разговаривать. Горы каждый раз мне так навевают поэтичности)
Далее в среде я создал директорию, в которую загрузил с компьютера датасет отобранных изображений год.
А также проверил что они загрузились. Казалось бы зачем? — но при работе с кодом это всегда полезно, потому что легко может произойти ситуация, когда ты думаешь что какая-то информация у него есть, а на самом деле нет.
Далее я зарегистрировался на https://huggingface.co, для того чтобы скопировать от туда токен для того, чтобы код мог сохранять саму нейросеть в Hugging Face Hub и я мог к ней возвращаться.
Ну и создал на сайте этот токен, вызвал кодом меню регистрации Hugging Face и вставил туда токен. Всё получилось и в дальнейшем у меня будет доступ к обученной мною нейросети.
Далее я уже установить Stable Diffusion и начал загружать в неё картинки их папки в среде Google Colab.
После чего загрузил полученные веса на Hugging Face.
После чего уже создавал изображения с помощью промтов через переменную в самом коде.
Результаты
В начале для проверки я ввёл в переменную промта просто «Mountains», и как и ожидалось нейросеть создала достаточный монотонный и плоский взгляд на горы. Практически текстура гор.
Второй промт я уже попытался прописать подробным и интересным: «Majestic snow-capped peaks under a crystal-clear blue sky, golden sunrise lighting the jagged ridges, alpine meadow with wildflowers in the foreground, hyper-realistic 8K details, cinematic composition, volumetric clouds casting soft shadows on the slopes.»
Выше примеры картинок по промтам:
«Dramatic Rocky Mountain range under a stormy sky, lightning striking distant peaks, pine forests clinging to steep slopes, a lone elk grazing near a crystal-clear stream, photorealistic textures with ultra-wide-angle composition.»
«Autumn in the Swiss Alps, vibrant yellow larch trees contrasting with evergreen pines, a wooden chalet nestled in the valley, morning fog weaving through the slopes, 35 mm film grain, Ansel Adams-style tonal contrast.»
А это промты
«Banff National Park in winter, frozen Lake Louise reflecting towering ice-covered peaks, skiers carving tracks on distant slopes, Hasselblad medium-format realism with crisp air and icy details.»
и
«Patagonian mountainscape at dusk, jagged granite spires glowing orange, turquoise glacial water flowing through rocky moraines, condors soaring overhead, Nikon D850 photo with sharp focus and natural lighting.»
По итогу моя цель была выполнена — я сделал себе нейросеть, с которой теперь могу наслаждаться в прямом смысле нереально красивыми горами.
Хочу отметить что составление промтов для гор также оказалось медитативно приятным — сидишь, вспоминаешь или придумываешь аспекты какими горы в принципе горы могут быть и наслаждаешься тем, какие образы в голове тебе рисует и твоё воображение.
А также на <a href="Hugging Face
