Ставим Invoke AI — сразу 12 нейросетей для работы с картинками с удобным веб-интерфейсом

В «Коде» мы уже прошли большой путь по работе с нейросетями:

Недавно мы сделали совсем серьёзный проект и поставили нейросеть Stable Diffusion себе на компьютер. Но есть пара моментов:

• Это только одна версия нейросети, которая натренирована рисовать картинки в определённом стиле. Есть много других нейросетей, которые рисуют иначе.
• Для запуска нужно оформлять все параметры в командной строке. Это хорошо для однотипных задач, но для тонкой настройки подходит слабо.

Чтобы закрыть тему с нейросетями, которые рисуют картинки, сегодня установим Invoke AI — это мегакомбайн из нейросетей, который умеет почти всё. А ещё у него красивый интерфейс.

Что такое Invoke AI

Invoke AI — это инструмент для работы с нейросетями на основе Stable Diffusion. Вот что он умеет:

• выбирать версию нейросети для отрисовки изображения;
• создавать картинку по текстовому описанию;
• создавать новую картинку на основе вашей картинки и текстового запроса;
• рисовать что-то новое на основе вашего простого рисунка;
• обучать новую нейросеть с нуля и дообучать то, что уже есть.

Самое классное в том, что у Invoke AI есть полноценный графический интерфейс, где можно выбрать одну из 12 обученных нейросетей и выставить нужные настройки. Под капотом это всё равно превращается в команду в терминале, но для пользователя всё просто: ввёл запрос, мышкой настроил параметры и сразу получил результат.

Требования к железу

В отличие от классического Stable Diffusion, которой нужно хотя бы 8 гигабайт видеопамяти, Invoke AI для работы нужно:

• 4 гигабайта видеопамяти, если у вас карточка Nvidia (для любой операционной системы);
• 4 гигабайта видеопамяти, если у вас карточка на чипе AMD, но тогда это будет работать только под Linux;
• можно вообще без отдельной видеокарты, если у вас компьютер Apple на чипе M1 или M2.

Почему процессоры Apple M1 такие быстрые

Разработчики говорят, что все видеокарты Nvidia серии 10xx, 1650 и 1660 тоже не подойдут, даже ti — они не умеют работать с нужной точностью вычислений. 

По памяти: оперативной нужно хотя бы 12 гигабайт, на диске — 18 (45 для полноценной работы).

Ещё нужен Python версии 3.9 или 3.10 — всё тестировалось на них, а вот с версией 3.11 и выше система работать уже не будет, там нет поддержки нужных библиотек.

Автоматическая установка

Идём на страницу с установщиком и скачиваем файл InvokeAI-installer-v2.X.X.zip, где X — цифры последней версии проекта. В нашем случае файл назывался InvokeAI-installer-v2.3.1.post2.zip.

После скачивания распаковываем файл в свою папку и запускаем:

Чтобы запустить файл .sh, нужно запустить терминал и перетащить в него этот файл. Если просто дважды кликнуть по файлу, он откроется в текстовом редакторе.

Установщик предупредит, чтобы вы ещё раз проверили версию Python и установили дополнительные библиотеки Microsoft Visual C. Если всё в порядке — нажимаем энтер и попадаем в меню выбора видеокарты. Цифрой выбираем, какая карта или процессор у нас есть, и снова нажимаем энтер:

Некоторое время спустя установщик предложит настроить систему перед дальнейшей установкой. Например, можно попросить его очищать видеопамять после каждой сгенерированной картинки, убрать фильтр цензуры и выбрать нужную точность вычислений:

Последнее, что осталось сделать, — выбрать модели нейросетей, с которыми мы хотим работать. По умолчанию уже выбрано несколько моделей — они различаются характером и размером картинок, которые они могут генерировать. Можно выбрать все модели — в этом случае на диске должно быть свободно 45 гигабайт, а скачивание продлится пару часов:

Ручная установка

Иногда бывает так, что автоматическая установка останавливается с ошибкой — не та версия какой-то библиотеки или установщик не может обновить pip. В редакции мы с этим тоже столкнулись на одном из компьютеров, поэтому в таком случае единственный выход — ручная установка Invoke AI.Особенность ручной установки в том, что там всё нужно делать по шагам и на каждом шаге выбирать свою систему и железо. Чтобы было проще, разработчики сделали отдельную страницу, где рассказали про каждый этап установки в зависимости от операционной системы. Например, на шестом шаге нам предлагают выбрать, какая у нас видеокарта — для каждого варианта будут свои команды:

Как запустить

Для запуска переходим в папку, куда установился Invoke AI, и запускаем файл invoke.sh или invoke.bat — смотря какая у вас операционная система. После запуска откроется командная строка, где нужно выбрать режим работы:

По умолчанию запускается веб-интерфейс, поэтому можно просто нажать энтер и работать с системой в браузере.

Как пользоваться

Создание картинок по описанию — это когда мы задаём текстовое описание картинки на английском, а нейросеть это рисует. Это режим работы по умолчанию — вводим запрос в левом верхнем текстовом поле и нажимаем invoke:

Самое интересное, что нейросеть учтёт любые пожелания: даже если мы захотим получить старый поляроидный снимок, она добавит рамку и поработает с передачей цвета, как на старых фото:

Из параметров мы рекомендуем включить опцию «Случайный сид» — так изображения получаются разными при одном и том же запросе.

Создание картинок на основе других картинок. 

Например, так выглядит автор этой статьи Михаил Полянин, если загрузить обычное фото на документы и попросить нарисовать что-то киберпанковское:

При этом нужно помнить такую особенность портретных моделей: почти всегда она дорисует волосы, даже если на фотографии изображён человек без волос. Дело в том, что в датасетах обычно лысых меньше, чем волосатых, поэтому нейронка считает, что волосы должны быть всегда. 

Для проверки мы загрузили фото нашего СММ-специалиста Виталия Вебера, и вот что получилось:

А если в запросе отдельно указать, что он лысый (bald), то результат получается ближе к реальности:

Как поменять модель

Для смены модели выберите новую в выпадающем меню сверху. После выбора системе нужно полминуты, чтобы выгрузить из памяти старую модель и загрузить новую:

Мне непонятно, что делают остальные инструменты, как быть?

Мы специально не рассказываем обо всех возможностях и инструментах Invoke AI, чтобы статья не стала бесконечным гайдом. Если вам станет интересно, что делает тот или иной инструмент или кнопка, — наведите на него курсор мышки и прочитайте всплывающую подсказку. Разработчики позаботились о пользователях и добавили описание практически ко всем элементам интерфейса.

Что дальше

Пока ничего — мы сделали всё, что хотели, и получили, наконец, нормальный инструмент для работы с картинками. Единственное, что осталось в этом плане, — установить себе на компьютер Midjourney, но этой сети пока нет в свободном доступе. Как появится — сразу напишем.

Любите данные? Посмотрите вот это

Возможно, у вас получится построить карьеру в мире дата-сайенса. Это новое направление, в котором очень нужны люди. Изучите эту сферу и начните карьеру в ИТ: старт — бесплатно, а после обучения — помощь с трудоустройством.

Начать бесплатно