В прошлый раз мы с вами успешно установили и запустили Text Generation WebUI и даже засунули в него какую-то текстовую модель, с помощью которой компьютер начал с нами разговаривать. На уровне ассистента интерфейс вполне неплох, но для ролевых взаимодействий и создания персонажей он не слишком подходит. Если вы хотите, чтобы у вас был не просто ассистент, но друг или подруга – куда лучше использовать связку KoboldAI и Silly Tavern.
Silly Tavern – это оболочка, которая ориентирована на взаимодействие с персонажами, созданными на базе Искусственным интеллектом, а Кобольд нам нужен для запуска языковой модели. Оговоримся сразу, что KoboldAI и так позволяет взаимодействовать с языковой моделью в ролевом формате, но сильно глючит, не даёт описаний действия, умудряется на ходу придумывать персонажей, которые лезут со своими репликами в ваш диалог неконтролируемо. Поэтому мы будем использовать его только как сервер для запуска языковой модели.
Для начала вам необходимо скачать и установить Кобольда и Таверну. Вот на этой странице: https://github.com/henk717/KoboldAI/releases В верхнем блоке находим подпункт Assets и скачиваем файл KoboldAI-Setup-20240123.exe (если не найти – просто вставьте это название в поиск по странице через Ctrl+F и он будет выделен после нажатия на Enter). Далее устанавливаем его, как самую обычную программу. Лучше для удобства ставить в папку в корне диска. Например D:\KoboldAI , дальше в папке с установленной программой находим папочку models, куда закидываем языковую модель. В моём случае это TheBloke_MythoMax-L2-13B-GPTQ. Далее запускаем ярлык на рабочем столе и в браузере откроется окно программы. Выбираем Load Model (загрузить модель), далее первый пункт – Load model from it`s directory (загрузить модель из директории модель) и там уже выбираем скаченную вами модель. Где их брать – ниже. Далее выбираем настройки в зависимости от формата модели (для центрального процессора или графического). Как правило, нужные параметры выбираются автоматически, и, когда индикаторы в правом нижнем углу перестанут «мигать», сменившись кнопкой «Submit» для теста, просто пишем «Привет» или «Hi». То, что мы получим в окне диалога, зависит от модели и ее обработки Искусственным интеллектом. В моём случае он почему-то возомнил себя Java программистом и начал нести непонятный код. Нам не важно, что появится в диалоговом окне. На этом этапе главное, чтобы не посыпались ошибки. Любой текст говорит о том, что наш сервер для ИИ вполне себе работает. Теперь осталось поговорить о моделях и запустить нашего кобольда в таверну.
Модели
Текстовая модель – это, по сути, мозги нашей конструкции, от её выбора будет зависеть, что умеет наш искусственный интеллект, какие языки знает и о чём способен говорить. В прошлой статье уже был указан вариант sambanovasystems/SambaLingo-Russian-Chat, да в целом лучше и не нашёл. Ну, есть ещё Saiga (IlyaGusev/saiga_llama3_8b_gguf – для автозагрузки или удобства поиска) — отечественной разработки, но у меня она себя вела как-то у очень странно, подражая саркастичному педофилу на невинную просьбу рассказать сказку. Я же остановился на MythoMax, который меня более чем устраивает. Далее нам необходим определиться, какой формат модели выбрать. В конце имени представленных на сайте моделей мы можем видеть такие обозначения, как GGUF, GPTQ или AWQ. Собственно, GGUF – будет использовать для своей работы центральный процессор, GPTQ и AWQ – видеокарту. Сразу скажу, что, если ваша видеокарта слабее GeForce GTX 1660, – лучше вот даже не пытаться на ней что-то генерировать. Компьютер-то, конечно, не сдохнет, а вот вы от ожидания – вполне можете. Правило тут простое – если у вас GeForce GTX 1660 и выше – берите GPTQ или AWQ (последний – более современная версия первого), если же нет – GGUF. Также в названии моделей фигурирует часть с цифровыми обозначениями 8b, 13b, 7b — что же это за китайская азбука? B – это billion (миллиард по-нашему). Когда речь идёт о текстовых моделях, то говорят о количестве миллиардов параметров — это, если сравнить с человеческим мозгом, — количество нейронов нашей нейросети. Чем больше миллиардов параметров – тем больше ресурсов она будет требовать, но тем более качественный текст сможет создать.
Напомню, что брать модели можно на сайте: https://huggingface.co.
Всё — в Таверну!
Итак, модель выбрали, Кобольд поставили. Теперь качаем нашу таверну вот отсюда: https://github.com/SillyTavern/SillyTavern-Launcher (Напоминаю — зеленая кнопочка Code и Download ZIP (скачать архив). Распаковываем в корень диска и запускаем из получившейся папки файл installer.bat, выбираем пункт 1. В конце установки нас любезно спросят, хотим ли мы создать ярлык на рабочем столе – «Do you want to create a shortcut on the desktop? [Y/n]» — вписываем y (от “yes”) и всё готово к запуску.
Если мало ли у вас не установилось, попробуйте скачать и установить Git (https://git-scm.com/download/win) и NodeJs ( https://nodejs.org/en/blog/release/v20.12.2).
А также, если инсталлятор говорит о том, что нет чего-то ещё, полазайте по меню в пунктах Extras и XTTS – возможно, среди прочего найдётся и то, чего вашей системе не хватает. В крайнем случае – загуглите нужный элемент и установите.
Пришло время запуска. Каждый раз, чтобы пообщаться с героем, нам нужно выполнять такую последовательность: запускаем KoboldAI и загружаем в нём модель. Далее запускаем Silly Tavern, щёлкаем на значок вилки и выбираем в выпадающем меню следующие параметры:
API – Kobold AI Classic и нажимаем кнопку «включить». Наверху в центре есть значок человечка с шестерёнкой, это настройки. О них поговорим в другой раз, но сейчас можете выбрать там русский язык в выпадающем списке Language (язык). Я у себя оставляю английский, но тут кому как удобнее. А в самой правой вкладке, иконка которой напоминает иконку «контакты» в мобильном, и хранятся персонажи, с которыми можно взаимодействовать. Flux, например, своенравная, но добрая кошка. Немного и ненавязчиво позаботьтесь о ней, и она ответит вам преданностью. В следующей части мы попробуем создать своего героя.
Фото: Открытые источники
Специально для Агентства Особых Новостей (on24.media)