Midjourney, и не только Опции

[Axolotl]

Извиняюсь, если где-то есть уже такая тема, но навскидку не нашел.
Думаю, большинство уже знает о Midjourney и других схожих нейросетях, которые рисуют картинки по текстовому запросу и которые буквально с каждым новым апдейтом делают это всё лучше и лучше не только в плане техничности, но и художественности.
У меня очень много есть чего сказать по этому поводу, но не стану начинать сразу катать гигантские простыни монологов, буду вливаться в темы по мере их возникновения. Кто что думает?

P.S. Прикреплённая картинка сгенерирована мной по простому запросу: "Mona Lisa by Giger, Realistic".

[hippocamus]

Пробовал Сбербанковское приложение Салют.
Вроде как является продвинутой версией вот этого бота https://t.me/sber_rudalle_xl_bot
Не впечатлён.
Западные, действительно, интереснее! Судя по тому, что выложил ты.

[Axolotl]

Западные, действительно, интереснее! Судя по тому, что выложил ты.

Из того, что я знаю из платных: Dall-E 2 – лучше всего справляется со сложными языковыми конструкциями запросов и картинками с множеством персонажей.
Midjourney – самая художественная. Особенно после выхода четвертой версии в ноябре, прям огромный скачок в качестве.

Из бесплатных: Stable Diffusion, но он сильно отстает. Еще есть форк Unstable Diffusion (без цензуры), его не пробовал, хотя видел картинки неплохие с него. Но сейчас, как я понял, генерирующий бот не работает. Впрочем, если железо позволяет,
их можно и у себя поднять (они с открытым кодом).

P.S. В Midjourney есть, кажется, 25 бесплатных попыток, но советую сперва немного поизучать, как правильно делать запросы, прежде чем тратить попытки.


Вот еще один из моих экспериментов, уже в более стилизованном плане. Да, с пальцами пока всё еще беда у нейросеток.

(Раскрыть)

И вот еще

(Раскрыть)

[Чёрный Ветер]

Axolotl, а можно так сделать, что вот берёшь иконку Силы Магии из третьих "Героев", засовываешь её куда-нибудь и там вылазит она же в большем разрешении, но чтобы это хорошо выглядело? А то у меня сейчас в группе стоит такая вот ава:



А я хочу, чтобы Сила Магии, а не Знание. Но чтобы норм качество было при этом.

[Axolotl]

Axolotl, а можно так сделать, что вот берёшь иконку Силы Магии из третьих "Героев", засовываешь её куда-нибудь и там вылазит она же в большем разрешении, но чтобы это хорошо выглядело? А то у меня сейчас в группе стоит такая вот ава:

Midjourney умеет работать с форматом картинка + текст, но работает иначе, она не просто увеличивает, а лишь отталкивается от картинки и рисует что-то похожее в соответствии с текстовым запросом. Да и в принципе с форматом картинка + текст она пока работает не то чтобы плохо, но очень непредсказуемо. Есть другие сетки, работающие именно по апскейлу, пробовал их, давали приемлемый результат, но далеко не идеальный. Впрочем, пробовал довольно давно, с тех пор, учитывая какими семимильными шагами развиваются нейросети, могли произойти очень большие изменения. Погугли что-нибудь типа Upscale AI или Deep Learning Upscale. Их довольно много.

[hippocamus]

P.S. В Midjourney есть, кажется, 25 бесплатных попыток, но советую сперва немного поизучать, как правильно делать запросы, прежде чем тратить попытки.

Как я понял, 25 запросов. То есть, если я попрошу после уже сгенерированного результата увеличить вес одного из параметров или изменить разрешение - будет списан ещё запрос.

[Axolotl]

P.S. В Midjourney есть, кажется, 25 бесплатных попыток, но советую сперва немного поизучать, как правильно делать запросы, прежде чем тратить попытки.

Как я понял, 25 запросов. То есть, если я попрошу после уже сгенерированного результата увеличить вес одного из параметров или изменить разрешение - будет списан ещё запрос.

Да. Дело в том, что при изменении параметра сетка всё равно будет рисовать заново, при этом, вероятно, даст совсем другой результат. Там есть возможность работы с фиксированными сидами (seed), чтобы получать более предсказуемый результат при изменении параметров, но тем не менее генерация будет производиться заново.

[Чёрный Ветер]

Axolotl, там что, надо ещё какой-то текст вводить?

[Axolotl]

Чтобы как-то подбросить говн на вентилятор дров к уютному костерку обсуждению, примерно накидаю основные вопросы, которые навскидку интересно было бы обсудить.

1 - Философский аспект. До недавнего времени эстетика и творчество считались исключительным эксклюзивом мясных мешков Человека, а творческая машина оставалась, простите за каламбур, фантазиями фантастов. Но внезапно всё изменилось. Сперва были гугловские глаза и собачки, что было просто экспериментом. Потом начали появляться Style Transfer сетки, которые могли просто стилизовать рисунок или фотографию. На это смотрели с интересом, но все-таки серьёзной конкуренции для Человека это не вызывало. Потом появились первые версии собственно TextToImage сеток, которые давали результаты удивляющие, но всё же далёкие от "человеческого гения". И вот каждая новая версия Midjourney показывала, что сеть, хоть и все еще имеет массу ограничений и слабых мест, но вполне может не только в техничность, но и в художественность, понимание стилей, атмосферы и даже умеет "креативить". Сейчас повсюду мелькают высказывания различных artist'ов о том, что, мол, сетка всё равно не сможет как человек. Размышления эти, конечно, сводятся к таланту, гениальности, душе и прочей метафизике и абстракциям.

Сразу выскажу некоторые мысли по первому вопросу. По поводу души, хз, возможно, нити моей души не столь нежны, тонки и звонки, но все-таки считаю, что какой-то художественный вкус у меня есть. И я вижу, что нейросеть иногда (а сейчас уже нередко) создаёт не просто красивые картинки, но картинки атмосферные, "глубокие", необычные и лично мои эстетические струнки души они вполне себе дёргают. И это удивительно! Тот самый загадочный феномен "эстетического восприятия", который мы всё еще не можем ни формализовать толком; ни разложить по полочкам, написав инструкцию того, "как создать гениальное произведение"; ни понять что это и зачем оно нам – нейросеть же всё это успешно разобрала на паттерны.
Что еще интересней, нейросеть не просто/не только нагло копирует. Она стала чем-то вроде творческого подсознания всей человеческой изобразительной культуры (ну пока еще не всей, но это лишь технический момент), впитав в себя все мировые художества. Она умеет смешивать стили самым непредсказуемым образом, что в общем-то принципиально не отличается от того, как художник создаёт свой уникальный стиль, воспитываясь на множестве чужих. Даёт порой очень необычные и очень "дизайнерские" решения. А уж в различном сюрреализме порой и даже более интересна человеческого в том плане, что её именно непредсказуемые результаты, глюки и глитчи – это именно "честный" сюр. Художник-человек, рисуя сюрреализм, предвзят, он заведомо стремится к необычному результату. Нейросеть же работает ближе к чистому подсознанию, словно бы мы научились фотографировать сны. Я имею в виду не когда её просят нарисовать сюрреализм, тогда она действительно просто подражает художникам сюрреалистам, а когда она, не понимая сложных запросов, начинает мешать образы. Забавно еще наблюдать за её "наивностью", т.е. тем, что она не понимает того, что рисует. Как художник, который совершенно не знаком с автомеханикой пытается по памяти нарисовать двигатель или еще какие-то сложные технические элементы, или то, как в детстве многие из нас пытаются подражать рисованию иероглифов, изображая что-то примерно похожее, но не несущее никакого смысла.

2 – Морально-этические вопросы. Например, генерация изображений с известными реальными людьми.
Также сейчас появляются заявления художников что-то типа: "а какого морского буя вы взяли и практически скопировали мою творческую, мля, индивидуальность и теперь рисуете за меня?! Полагаю, тут еще немало моральных аспектов можно придумать.

2.1 – Судьба художников. Пока что у художников всё еще осталась ниша, хоть и очень сильно притесненная и, вероятно, останется, но явно притесниться придётся еще довольно сильно.

3 – Любые чисто технические моменты. Текущие ограничения, возможности, искусство правильно задать запрос, технические параметры запросов и т.п.

4 - Визионерство. Фантазии на тему того, как оно будет и может развиваться.

-----------------------------
Чёрный Ветер В обычных апскейл сетях не нужно, а если ты про Midjourney, то делать картинку из описания – это и есть её основной функционал. Возможность в ней как-то брать за основу картинку, это пока еще просто прикрученная экспериментальная фича.

[Vade Parvis]

Пока не буду полноценно вступать в дискуссию, только отмечу ряд моментов (потом, вероятно, отпишусь более развёрнуто):
- "Художественные" нейросети — хороший, интересный потенциал в помощь художнику с кучей применений в различных областях, способный оказать значительное подспорье в "промышленных" задачах. Инструмент, а не заменитель специалиста (как 3д-принтеры — не заменители промышленного комплекса и т. д. с технологиями последних лет, вызывавшими всплески энтузиазма и "похорон" тех или иных областей в последние годы).
- Хайп вокруг темы совершенно нездоровый, направления его неадекватны, искусственное раздувание нездорового хайпа крупными компаниями удручает, уровень исступлённой агрессии сетевых "хоронителей художников" и их нездоровая активность зачастую просто зашкаливает (и более всего напоминает недавнюю активность "антиваксеров").
- Интернет завален непониманием того, что нейросети собою представляют, как они работают, какие возможности они дают, а какие нет. Они повсеместно возвеличены в глазах обывателя до фантастических высот там, где реально ничего собою не представляют (и, местами, в принципе не способны представлять), и при этом всем в массе своей плевать на то, в чём они реально сильны и полезны.

Помимо развёртывания вышенаписанного — есть ещё кое-какие интересные нюансы, на которых мне хотелось бы всё-таки остановиться подробнее, и которые в двух словах не описать.

[Axolotl]

С 3Д принтерами, на мой взгляд, ситуация несколько иная, там вся аргументация строится не на текущей технологии, а на том, "когда/если" эти принтеры дойдут до определённого технического уровня и массовой доступности. А они развиваются не так быстро, как в некоторых оптимистичных предположениях.
Тут же у нас уже имеется рабочая технология, которая уже вполне успешно может конкурировать пока не с любым, но с множеством художников. Да, всё еще есть проблемы, часть из которых пока непонятно как, как хорошо и когда решится. Часть же проблем – лишь вопрос времени и они уже сейчас технически решаемы, например, базовое (а не итоговое) разрешение генерируемой картинки или увеличение базы данных.

Да, я тоже сильно сомневаюсь, что эта технология полностью вытеснит необходимость платить художникам, но то, что уменьшит их востребованность и кол-во их работы – уверен на 100%, т.к. это уже происходит. Кстати, не знаю на сколько ты следишь за темой, но если вдруг представление о текущих возможностях идёт из третьей версии Midjourney, то советую ознакомиться с результатами четвертой (вышла в ноябре), т.к. разница огромная. А вскоре еще и обещают поднять базовое разрешение. Серьёзные специалисты в комплексных задачах, понятно, будут нужны еще долго, а, скорее всего, всегда, а вот в массовом масштабе по востребованности ударит точно.

[feanor]

С 3Д принтерами, на мой взгляд, ситуация несколько иная, там вся аргументация строится не на текущей технологии, а на том, "когда/если" эти принтеры дойдут до определённого технического уровня и массовой доступности.

Проблема хайпа вокруг 3D-принтеров в том, что хайп вокруг них раздувался в неправильную сторону и подогревались принципиально невыполнимые ожидания.
Т.е. по какой-то причине считалось, что они не только впишутся в нишу мелкосерийного производства для удовлетворения нишевого спроса, но станут альтернативой производству крупносерийному. При этом, в принципе, если подумать, то было сразу очевидно, что никогда на 3D-принтерах не будут печатать кружки, шлепанцы и дверные ручки. Наука такого не позволяет.

Сейчас мы видим примерно тоже самое по поводу нейросетей: в достаточно очевидных целях лето ИИ разогревается до венерианских температур практически, и вот эту одну конкретную технологию пытаются продать как "полдороги до Сильного ИИ Общего Назначения".

=======================================

И еще позволю себе обратить внимание на один важный аспект. А то все ударяются в подсчет пальцев или в советы художникам по поводу ста лучших рецептов приготовления Роллтона.
Нейросети (не только художественные, а в общем) это смерть либертарианского IT-мифа о одиноком программисте, "безумном ученом" или "гениальном промышленнике" наших дней.

То есть, смотрите, как он выглядел раньше. Мол, можно купить компьютер, купить какой-то софт, и, если ты умный и хваткий, сделать что-то нужное людям, продать, разбогатеть, профит, волшебная история про преимущества капитализма и частной инициативы, олицетворенная в калифорнийском гараже Билла Джобса, визионерских книгах типа Техногнозиса и распиаренная посткиберпанком. Там, потом, правда жахнул какой-то крах доткомов, но это было давно, недолго и вообще неправда.

Вообще блекнуть эта калифорнийская мечта стала еще во времена SaaS'a. Распространение софта как сервиса, с ежемесячными и ежегодными платежами заставило особо умных задуматься о том, что вообще-то теперь речь идет не о разовой покупке средства производства, а о постоянных платежах. Впрочем, цены были умеренные, визионеры уверили, что это новый тренд, и вообще скоро цены упадут настолько, что у каждого человека будет по своему личному облаку. Опять же, для самых параноиков были старые решения, которые, в общем-то, умели все тоже, пусть сложнее и дороже.
Параллельно с этим стало ясно, что в словосочетании "корпорации добра" слово корпорации стоит на первом месте, а добра на последнем, но это тоже как-то заигралось, просто стартапы переориентировались с историй индивидуального успеха на истории или прямой самопродажи, или IPO.


Теперь смотрите, что мы получили после бигдата-революции и после конкретно нейросетей.

В первую очередь, с фигуры программиста фокус сместился на датасеты, доступ к ним и к средствам обработки. При этом, что самое важное, у них нет локализуемых аналогов. Даже если ты сможешь на локалхосте запустить нейросетку (что само по себе уже достаточно дорого, и дальше будет становиться все дороже и дороже), обучить её - задача совсем другой величины, а получить доступ к датасетам, на которых её можно будет обучить - третья, причем, опять же, со временем (и с распространением осознания их ценности) все более сложная.
То есть, датасеты становятся капиталом сами по себе, причем заметно более важным, чем человеческий, и капиталом, эквивалентным серьезным средствам производства в других отраслях промышленности.

Более того, распространение ИИ-арта отравляет потенциальные датасеты, заставляя ИИ цитировать самого себя (представьте себе творчество душевнобольных, основанное на творчестве душевнобольных). Поэтому кто успел к первоначальному накоплению капитала тот и молодец.

[Axolotl]

Более того, распространение ИИ-арта отравляет потенциальные датасеты, заставляя ИИ цитировать самого себя (представьте себе творчество душевнобольных, основанное на творчестве душевнобольных). Поэтому кто успел к первоначальному накоплению капитала тот и молодец.

О, вот буквально несколько месяцев назад в одном чатике поднимал этот вопрос. Меня уверяли, что процент будет не сильно большой, а новый не ИИ арт тоже будет появляться и разбавлять всё до незначительных аберраций, но я тоже не был уверен в этом.

Я же больше склоняюсь к мысли о том, что кол-во (объём) датасета должно начать переходить качество. Т.е. ручной отбор материала в базе. В принципе это уже происходит. В последней версии Midjouney её обучили куче разных жанров, техник, художников. Т.е. она и до этого их знала, но знала, видимо, по полученным случайным образом картинкам "из гугла", нередко сомнительного качества, а тут её именно обучили определённым узким паттернам запросов типа "by Akihiko Yoshida" или "Chromolithography style" на качественном материале. И результаты генераций на качественном материале прям значительно лучше, чем просто из большой базы картинок.

[Axolotl]

Вопрос, видимо, к Феанору.

Я понимаю, что обучение сети (даже чисто технически) – это процесс на кучу порядков более дорогой, чем последующая генерация результатов.
Интересно, возможны какие-то гибридные, блочные методы, где нейросеть "дообучают" уже локальным "паттернам" без необходимости заново прогонять всю базу?. Ну вот как в новой версии Midjourney её обучили стилю многих более узких художников. Это возможно только при полном "пересборе" и обновлении датасета или есть пути с дообучением?

[Axolotl]

Я вот тут подумал про проблему итераций, т.е. того, что в нейросетевую базу будут неизбежно попадать картинки, сгенерированные ей же. Типа да, я понимаю проблему, сам давно еще проводил мысленный эксперимент, что если нейросетку заставить сгенерировать 10000 пусть даже самых удачных её паттернов, а потом обучить на этой тысяче, и снова сгенерировать 10000 и так далее, то мы в итоге придём к какой-нибудь дичи.

Но я подумал про некоторые потенциальные сглаживающие возможности (помимо "ручной" модерации датасетов). Обучение на ошибках и удачных результатах. Возможно, кто-то вспомнит старый проект "электро овцы".
Но если тупо на тех же лайках/дизлайках это даст посредственный результат, то большой потенциал вижу в том, что можно обучать на результатах "реконструкции локальных участков". В Midjourney пока этого нет, но, кажется, реализовывали в Stable Diffusion. Т.е. когда ты в сгенерированной картинке можешь рамочкой или кистью выбрать неудачную зону, скажем, криво получившийся глаз, и "перерисовать" именно этот участок. И если всю эту инфу складировать и тегать как удачные/неудачные кусочки, а потом обучить на этих результатах, то качество, полагаю может улучшиться. Ну а пользователи очень быстро нагенерят базу для обучения, только дай им такую возможность, т.к. опция очень востребованная.

P.S. Ну и, конечно, потом это процедуру можно провести второй, третий и т.д. раз.

[hippocamus]

Я вот тут подумал про проблему итераций, т.е. того, что в нейросетевую базу будут неизбежно попадать картинки, сгенерированные ей же. Типа да, я понимаю проблему, сам давно еще проводил мысленный эксперимент, что если нейросетку заставить сгенерировать 10000 пусть даже самых удачных её паттернов, а потом обучить на этой тысяче, и снова сгенерировать 10000 и так далее, то мы в итоге придём к какой-нибудь дичи.

Мне кажется, дичи тут не будет - будут повторяющиеся паттерны, то есть, так скажем, характерные творческие приёмы, формирующие индивидуальный художественный стиль нейросети с этим датасетом.

[Axolotl]

Я вот тут подумал про проблему итераций, т.е. того, что в нейросетевую базу будут неизбежно попадать картинки, сгенерированные ей же. Типа да, я понимаю проблему, сам давно еще проводил мысленный эксперимент, что если нейросетку заставить сгенерировать 10000 пусть даже самых удачных её паттернов, а потом обучить на этой тысяче, и снова сгенерировать 10000 и так далее, то мы в итоге придём к какой-нибудь дичи.

Мне кажется, дичи тут не будет - будут повторяющиеся паттерны, то есть, так скажем, характерные творческие приёмы, формирующие индивидуальный художественный стиль нейросети с этим датасетом.

Не совсем. Нейросеть делает ошибки. Если её учить на этих ошибочных результатах, то она эти ошибки будет делать не случайно, а уже они пролезут в паттерны, затем поверх этих ошибок будут также возникать ошибки, и далее уже будет заучен материал с ошибками поверх ошибок и так далее, до полной деградации. Поэтому лучше сразу бороться с этой проблемой.

[Арысь-Поле]

К разговору о датасетах - интересно, как в среднем будут обстоять дела с авторским правом дальше? Ведь из-за него нет аналогичных нейросетей для музыки. Легко ли будет художникам закопирайтить своё от скармливания нейросеткам?

А так Stable diffusion прокрадывается в пайплайны точно, видели уже и курсы по ней для казуальных художников, и людей, которые ставили её себе, кормили своими же работами и активно используют.

Лично у меня нейросетки чуток убили интерес к достижению технических высот (до этого 3d тоже охлаждало пыл, ибо реализма с помощью него достичь легче) и в какой-то степени геймдеву, сейчас пытаюсь искать иные ниши.

[feanor]

Кстати, о порче датасетов)0

https://www.cnews.ru/news/top/2023-01-12_ii...h_programmistov

Эксперты Microsoft и двух крупных университетов представили методику компрометации моделей для обучения ИИ, которые ассистируют в написании программного кода. Такие системы можно заставить генерировать подсказки для человека, содержащие вредоносный код или уязвимости.

Впрочем, на самом деле пост был не совсем об этом (в пять утра я пишу путано, кто бы мог подумать), попробую tl;dr

нейроинструменты (и в целом инструменты, основанные на бигдате) переводят программиста из разряда вольных кустарей (типа слесаря с чемоданчиком инструмента) в индустриальные рабочие (типа мастера-станочника: это все еще квалифицированная работа, но, тем не менее, способность зарабатывать деньги сильно зависит от доступа к не принадлежащему ему оборудованию. С соответствующими последствиями для рынка труда, да.

[Axolotl]

Лично у меня нейросетки чуток убили интерес к достижению технических высот (до этого 3d тоже охлаждало пыл, ибо реализма с помощью него достичь легче) и в какой-то степени геймдеву, сейчас пытаюсь искать иные ниши.

Черт знает. возможно, у меня никогда не было творческих амбиций (честно затрудняюсь сказать – хорошо это или плохо). Ну т.е. у меня никогда не было проблем с форматом "работать в стол". К тому же мотивация "хочу стать профессиональным художником, потому что они дофига зарабатывают" – это точно не про художников)) Поэтому творчество остается такой же нишей, какой и была, для меня это примерно также, как если появится робот, который умеет купаться в море или гулять по лесу лучше меня. Ну и что? Мне теперь по лесу не гулять?!)))

P.S. Пример, конечно, кривоватый, т.к. гуляние и купание в море не имеет итогового оцениваемого извне результата, а лишь для моего собственного удовольствия, но в том и была параллель.