Продолжаем наш тур по нейросетям. И следующая остановка в нашем путешествии, как вы уже поняли, – ComfyUI. Как становится ясно из названия – это очередной интерфейс. Вы могли возмутиться – да сколько ж можно? Stable Diffusion Portable, Forge Web UI, — теперь ещё и Comfy? И да, именно так. Я уже рассказывал, что Portable и Forge – частные добровольные проекты, которые распространяются бесплатно. Понятно, что вот люди захотели и сделали для других – берите, пользуйтесь, но нельзя ожидать, что эти же люди теперь по гроб жизни будут развивать свои проекты, добавляя поддержку всё новых нейросетей – это довольно трудоёмко и зачастую приходится переделывать как бэкэнд, так и фронтэнд (для простоты – программу и оболочку), а разработчики тоже живые люди, которые могут устроиться на работу, жениться, забросить проект по любой другой причине, и, поскольку все интерфейсы бесплатные, надо понимать, что разработчик вам вообще ничего не должен.
Что такое ComfyUI? Это нодовый интерфейс. Нода — это узел, если хотите, визуализированный блок кода, который может обрабатывать и передавать информацию. То есть в Комфи – как его называют в ру-сообществе — мы строим сеть из таких вот нод – блоков кода, которая выполняет определённую последовательность действий и приводит к нужному результату. Сеть или, ещё можно сказать, последовательность, таких нод называется рабочим процессом или workflow. Английские названия важны, поскольку искать и качать эти самые рабочие процессы вы будете на англоязычных сайтах. На русских их просто нет.
Нодовая архитектура, которая визуально может отпугнуть и является главной фишкой этого интерфейса: за счёт того, что рабочий процесс можно легко перестроить – ComfyUI позволяет запускать разные нейросети: и знакомые нам Flux со Stable Diffusion, и локальные нейронки для генерации видео, такие как нашумевший китайский Hunyuan Video (а вот это я бы в принципе не переводил, как-то слишком неприлично звучит), и новую Stable Diffusion 3.5, под которую Forge и уж тем более Portable в принципе не заточены. Оно и понятно, ведь намного проще выпустить дополнительный блок, чем перелопачивать целый графический интерфейс вроде Forge.
Выглядит эта штука страшно, но, если присмотреться, увидим и поле Seed, и model, и знакомые Sampling steps – всё как в полюбившихся нам интерфейсах, только выглядит по-другому. Просто надо привыкнуть. Помню, как в детстве услышал фразу, что понять – это привыкнуть и научиться пользоваться.
И последний наглядный довод: первого ноября 2024 года вышел сногсшибательный набор FLUX.1 Tools, позволяющий создавать изображения по картам глубины, сохранять позу персонажа, с чем просто замучаешься в том же Forge! Об этом наборе в другой раз (я сделаю отдельные статьи про обычный controlnet и про flux tools), сейчас важно следующее: он до сих пор не поддерживается в Forge Web Ui! А в Portable не работает и сам Flux, и в общем уже очевидно, что вряд ли заработает… Да есть пара проектов навроде Academia SD, которые добавляют поддержку FLUX.1 Tools в Forge, но работают они с жуткими тормозами и багами. А в Комфи оно появилось в день релиза.
Установка
Раньше я побаивался писать о Комфи, в том числе из-за установки. Одно дело видео, где можно прямо руками показать, что и куда вписываем, в какую папку переходим и так далее. Совсем другое дело описывать всё это: «Вернитесь в ту папку, на шаг назад…» и прочее, — благо появился удобный инсталлятор, скачать который можно здесь: https://www.comfy.org/download — просто нажимаете кнопку download для своей системы, например, для Windows. Таким образом скачиваете установщик. Запускаете и просто прожимаете кнопку «Далее», выбрав папку для назначения, как при установке любой программы, а он уже сам скачает необходимые компоненты.
После запуска автоматически откроется окно с шаблонами, которое загрузит интегрированные процессы, а также предложит скачать недостающие модели, включая текстовые энкодеры и vae. Если вас не устраивает квантизация ( используете fp8 версию энокодера, а не fp16) – никто не мешает положить нужный файл в соответствующую папку руками.
Если вы используете Unet модели, которые, в частности, мы качали для Forge – просто поместите их в \ComfiUi\models\checkpoints, да здесь в отличие от Forge основные модели кладутся не в models, а в checkpoints, находящуюся внутри models.
Осталось добавить рабочий процесс. Для первого раза возьмите его из шаблонов: Рабочий процесс -> Просмотреть шаблоны -> Flux -> Flux DEV. И всё. Ноды – блоки даже на русском (что лично мне мешает, привык к английскому), если вы присмотритесь к блокам, то улыбнётесь со знанием дела. В ноде (блоке) LatentImage сразу обнаружится ширина и высота (width и height), а в KSampler другие знакомые нам настройки: сид (Seed), cfg (Distiled cfg в Forge или cfg scale в portable). Как видите, ничего сложного.
И последнее: во время работы с этим интерфейсом я заметил, что часть файлов он всё равно упорно закидывает на системный диск, что не очень-то приятно. Я столкнулся с тем, что скаченные через менеджер модели и модули закидывались в C:\Users\Alexandr\AppData\Local\Programs\@comfyorgcomfyui-electron\resources\ComfyUI\models\checkpoints, а часть я сам клал на диск D. Решить эту проблему можно с помощью символических ссылок. Для этого нам потребуется скачать и установить программу linkshellextension, трудностей с этим возникнуть не должно — ставится точно так же, как любая другая программа. После установки в контекстном меню (щелчок правой кнопкой мыши по кнопке «Объекты») появится новый пункт «Запомнить источник ссылки». Идём в нашу папку на диске C: и удаляем папки models, custom_nodes, output и user. Теперь переходим в нашу папку на другом диске (в моём случае D:\ComfiUi), выделяем те же папки, нажимаем правой клавишей мыши, выбираем «запомнить источник ссылки», переходим в нашу папку на диске C: щёлкаем по пустому пространству и выбираем «Поместить как > символическую ссылку». После этого папки объединятся и свалки на системном диске не будет.
Кстати, таким же образом можно копировать модели в разные интерфейсы, что существенно сэкономит дисковое пространство. Интерфейс не идеален, порой вылезают ошибки, но для базовой работы – этого достаточно, да и установка простая и удобная. Ну, а для экспертов и тех, кто столкнётся с багами – в следующий раз поставим ComfyUI классическим способом.
Фото: автор
Специально для Агентства Особых Новостей (on24.media)