В прошлый раз мы учились писать промты для Stable Diffusion, то есть текстовые подсказки, по которым нейросеть и создаёт изображения. Изначально я думал в этой части нашего руководства по нейронкам и, в частности, SD разобрать преобразование изображений, а именно вкладочку img2img (изображение в изображение в дословном переводе), однако потом посмотрел, какие потрясающие картинки получаются в новой нейронке от части авторов Stable Diffusion, и понял, что молчать о таком просто преступно.

Что такое FLUX?

FLUX – это абсолютно новая нейросеть для создания изображений по текстовым подсказкам от разработчиков Stable Diffusion.

В Stability AI, создавшей Stable Diffusion, произошёл конфликт: руководство интересовало только наращивание прибыли, в то время как ключевых разработчиков — Робина Ромбах и Андреаса Блаттман – идея. В результате ключевые лица, работавшие над Stable Diffusion, покинули Stability AI и в августе этого года объявили о создании своей компании Black Forest Labs, сразу же представив новую нейронку под названием FLUX. Она с лёгкостью затыкала за пояс прежний проект, над которым работала команда и поражала качеством получавшихся картинок. Flux была представлена в трёх вариантах:

FLUX.1 PRO – самая большая, можно сказать, флагманская модель с высочайшим качеством изображения, детализацией и разнообразием получающихся картинок. 

FLUX.1 DEV обладает схожими параметрами, но большим быстродействием, и ориентирована на некоммерческое использование на пользовательском оборудовании.

FLUX.1 SCHNELL, как понятно из названия, — самая быстрая версия. Она создаёт картинки всего за 2-4 шага (sampling steps), хотя разнообразие выходных результатов скуднее по сравнению со старшими моделями.

Но в чём же конкретно FLUX превосходит Stable Diffusion? Разработчики обещают, что мутации вроде неправильного количество пальцев и конечностей у генерируемых существ остались в прошлом, качество и детализация получаемых картинок приближены к профессиональным фотографиям, сохранение правильных пропорций людей и животных — даже при работе с нестандартными разрешениями. Кроме того, нейросеть научили добавлять на изображения надписи! Эту функцию можно использовать для создания вывесок или татуировок.

На момент написания статьи — актуальная версия FLUX — 1.1, её установкой мы и займёмся.

FLUX

Forge WebUI

К сожалению, установленный нами интерфейс Stable Diffusion Portable, из прошлых статей не поддерживает модели Flux и, глядя на даты последних обновлений, уже вряд ли будет. Если что – это ни в коем случае не камень в адрес разработчиков – странно было бы что-то требовать от людей, которые бесплатно трудятся для нас с вами.

Для запуска FLUX нам понадобится установить новый веб-интерфейс, требуемые им компоненты, а также закинуть соответствующую модель. Удалять ли старый – на ваше усмотрение, я пользуюсь обоими, поскольку картинки в них получаются несколько разные. Когда я хочу поработать с FLUX – запускаю Forge, в иных случаях – Portable, хотя не исключаю для себя полноценного перехода на Forge впоследствии, так как тот же Inpaint (дорисовка и изменение готовых изображений) в Forge выглядит удобнее.

FLUX

Установка

Перед установкой Forge WebUI удостоверимся, что у нас есть необходимые для его работы –Python и Git. Если вы устанавливали другие нейронки из моих гайдов, то, вероятнее всего, они у вас уже есть, если же нет – скачиваем инсталляторы, запускаем и прокликиваем Next (далее). Единственное, на что важно обратить внимание при установке Python, —  обязательно поставьте на первом экране галочку Add Python 3.10 to PATH, это необходимо, чтобы Windows его нашла. PATH – переменная, которая хранит путь к исполняемому файлу, и когда какая-то программа (в нашем случае Forge) обращается к нему – то переменная подсказывает, где его искать. Это как адресная книга. Где Питон живет у вас? А вот в такой-то квартире-папке.

После этого скачиваем Forge и распаковываем его в ту папку, в которой планируем с ним работать. В моём случае это F:\webui_forge_cu121_torch231.

Поскольку разработчик активно поддерживает и развивает свою оболочку – первым делом нам нужно его обновить, для этого из получившейся после распаковки папки запускаем update.bat. Ждём, пока внизу командной строки не появится надпись «для продолжения нажмите любую кнопку». Собственно, всё. Forge установлен и готов к работе. Осталось скачать и закинуть модели.

Модели

Приступим к установке моделей. На уже знакомом нам ресурсе HuggingFace доступны три модели:

https://huggingface.co/silveroxides/flux1-nf4-weights/tree/main

https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main

https://huggingface.co/lllyasviel/flux1_dev/tree/main

Собственно, нам нужны только файлы моделей с расширением .safetensors. Скачав необходимый, мы должны положить его в папочку \models\Stable-diffusion, которая находится внутри папки с распакованным Forge. В моём случае: F:\webui_forge_cu121_torch231\webui\models\Stable-diffusion. После этого запускаем наш интерфейс с помощью файла Run.bat из основной папки Forge и наслаждаемся.

Теперь подробнее о моделях. Для средних компьютеров с 32 Гб Ram и видеокартой RTX 3060 лучше всего подойдет средняя модель — flux1-dev-bnb-nf4, для более мощных компьютеров, например с видеокартой rtx4090, можно рекомендовать большую модель fp8, которая идёт третьей в списке ссылок, а для более слабых машин подойдёт Schnell версия модели. Её может потянуть даже видеокарта с двумя или тремя  гигабайтами видеопамяти. Параметр Sampling steps (количество этапов генерации) для моделей также различается: для Schnell его нужно установить в пределах от двух до четырёх, для средней – 20-30 шагов, а для самой мощной – 30-40.

Также хочется пояснить: «малая» модель не значит «худшая», она содержит меньше параметров, чтобы потреблять меньше ресурсов, но с её помощью тоже можно получать потрясающие картинки. Не грустите, если ваш компьютер не тянет старшие версии! Во время тестов я попросил мнения со стороны: мой племянник очень любит автомобили, и мы попробовали сгенерировать авто в большой и средней моделях. Так вот работа средней понравилась ему больше. Не забывайте и о возможности понизить разрешение картинок, что также ускорит генерацию. На крайний случай — попробуйте использовать версию, которая работает на центральном процессор вместо графического. Такую модель можно найти здесь:

https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main

И помните – у творчества не бывает ограниченных возможностей.

Фото: Автор

Александр Меркушев

Специально для Агентства Особых Новостей (on24.media)

,

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *