Описание идеи проекта
Концепция
На основе датасета сгенерировать ряд иллюстраций, представляющих, как могли бы выглядеть выкройки для одежды среди разных фентезийных народов.
Ключевой целью проекта было не создание выдуманных выкроек, при помощи которых могли бы быть сшиты разные виды одежды, а имитация обложек, прилагаемых к разным выкройкам.
Описание датасета
Примеры исходных изображений для обучения.
За основу изображений, на которых будет создана генеративная модель, были взяты изображения выкроек из коллекции Лондонского колледжа моды, предоставленные онлайн-платформе VADS на основе бесплатной лицензии в учебных и образовательных целях.
Результирующая серия изображений
Эльфы
Промпт: «fashion clothing pattern for sewing, tolkien elven clothing»
Сверху представлена самая первая генерация, созданная при помощи модели. Не смотря на достаточно низкое качество иллюстрации, модель смогла очень удачно попасть в стиль с первой попытки.
Промпты: «fashion clothing pattern for sewing, male elven clothing», «fashion clothing pattern for sewing, tolkien elven male elf middle earth elegant with headwear clothing»
Промпт: «fashion clothing pattern for sewing, tolkien elven middle earth female elf armor»
Были рассмотрены различные итерации костюмов — женский эльфийский костюм, мужской эльфийский костюм, эльфийская броня. Промпты основывались на Толкиновском образе эльфов, поэтому можно рассмотреть, как хорошо или плохо узнаётся данный образ.
Промпты: «fashion clothing pattern for sewing, tolkien elven coloured pattern», «fashion clothing pattern for sewing, middle earth elegant elven female»
Модель сохранила ключевые черты эльфов — длинные уши, вытянутый силуэт, элегантный образ. Сохранилась природная цветовая палитра, в генерации с бронёй считываются типичные для эльфийской брони элементы.
Промпт: «fashion clothing pattern for sewing, tolkien elven male elf middle earth elegant with headwear clothing»
Результирующие дизайны вышли достаточно простыми — что достаточно тематично, потому что выкройки должны быть простыми и доступными для большинства.
Пример ячейки с промптом:
Тифлинги
Промпт: «fashion clothing pattern for sewing, tiefling fantasy clothing»
Следующей фэнтезийной расой стали тифлинги. При разработке данного ряда изображений обычные промпты дополнились негативными — так модель знала, чего избегать при генерации.
Пример ячейки с промптом:
Промпт: «fashion clothing pattern for sewing, female tiefling in fantasy clothing,»
Промпт: «fashion clothing pattern for sewing, tiefling fantasy clothing coloured pattern, male, high quality image». Для изображения слева был использован негативный промпт, для другого — нет.
Добавление негативного промпта часто, парадоксально, ухудшало качество изображений, из-за чего для большинства генераций он не использовался.
Промпт: «fashion clothing pattern for sewing, tiefling in fantasy clothing,»
В целом, на более удачных генерациях модель сохранила основные элементы, на которых строится узнаваемость образа тифлингов — у персонажей острые уши, рога, когти.
Промпт: «fashion clothing pattern for sewing, male sorcerer tiefling in fantasy clothing, colorfed drawings, good line quality»
Поскольку за тифлингами не закреплён какой-то определённый вид одежды, модель изображала персонажей в типичных фентезийных костюмах. Тем не менее, модель сохранила огненную цветовую палитру, в которой часто изображаются тифлинги, а силуэты персонажей — заострённые и детализированные (в отличии от плавных и простых эльфийских костюмов), что тоже повзоляет удачно считать образ.
Описание применения генеративной модели
Промпт: «fashion clothing pattern for sewing, tiefling female dnd colorful»
Stable Diffusion XL — основа для создания генеративной модели; DreamBooth и LoRA — дообучение и fine-tuning модели под нужды проекта; Hugging Face — использование токенов, размещение модели на платформе; Chat GPT — дополнения в коде.
Рабочие материалы
Промпт: «fashion clothing pattern for sewing, tolkien elven male clothing»
Ссылка на рабочие материалы по проекту: https://disk.360.yandex.ru/d/VNgkNglyY1a-aA
В папке по ссылке находятся:
- Код в формате .ipynb;
- Исходные изображения, на которых тренировалась модель;
- Сгенерированные изображения.
