Да, на уровне микротекстур и мелких деталей в Midjourney всё еще далеко не идеально, и зачастую легко увидеть "нейросеточность", но другие сетки показали, что качество деталей точно может быть значительно выше, поэтому надеюсь, что Midjourney их догонит в этом плане.
...

Еще обещал про "галлюцинирование" в музыке написать. А еще такой момент, что часто пишут, что нейросетка не может сделать чего-то нового, а лишь то, чему обучалась. Это верно, но не совсем. Да, она использует лишь то, чему обучена и принципиально нового достать из датасета не может. Но то, что для сетки условно интерполяция и смешивание, для человека может восприниматься, как нечто абсолютно новое и необычное. Например, смешение физических техник, которые никогда до этого не смешивались вживую. И вот особенно это заметно в нейромузыке, с которой я начал.
Например, нейросеть способна смешать условно "русский блатняк, тувинское горловое пение, японскую традиционную музыку и блюз". На 90% уверен, что ничего подобного человеком записано не было. И дело не только в формальном смешении жанров, но и то, как именно это происходит. Ведь музыка не статична, как картина, а движется, меняется. И если вы начали трек с блюзовой гитары, а затем задали жанр "японского фолка", то внезапно в блюзовых гармониях начинаются появляться отголоски японских мелодий, но и это не всё, сама гитара может начать звучать как некая смесь гитары и кото. Иногда подобное может происходить и без запроса, на уровне "галлюцинирования", флейта может плавно перетечь в скрипку или сочетать в себе оба инструмента одновременно. И это очень красиво и необычно. Какие-то даже просто шумы, отголоски звуков могут начать выстраиваться ритмически, какими-то совершенно необычными микроритмами – т.е. как бы дефект, но очень музыкально-эстетичный. Даже голос может плавно перетечь из женского в мужской, или просто поменять тембр. Формально дефект, но тоже порой очень уместный.

Не сразу на всё ответил. Тут вообще сразу две или даже три проблемы. И галлюцинирование, на мой взгляд, даже не самая главная. По крайней мере с картинками. Стремясь минимизировать ошибки, страдает само стилистическое пространство у флагманских, самых умных сеток (Nano Banana Pro, Sora/GPT, Flux). Оно получается очень усреднённое, имеет огромное кол-во лакун и стерильное. Но по порядку.
– Скажем, несмотря на очень хорошее качество, весь производимый этими сетками импрессионизм/экспрессионизм и т.д. очень похож друг на друга. Очень сложно добиться уникальности стиля. И соответственно очень мало инструментов по смешиванию и экспериментам.
– Сложно и с какой-то редкой немейнстримной, маргинальной эстетикой. Например, такие сетки сложно заставить сделать фото с обилием художественных эстетичных "дефектов". Например, такой (это не нейросеть)
– От этого страдает и художественность как таковая. Такие сетки умеют точно исполнять сложные запросы, но в итоге страдает и композиционное разнообразие, и сами позы очень повторяющиеся, выражения и типажи лиц людей редко несут какую-то уникальность. В итоге даже условный экспрессионизм чем-то начинает напоминать стоковые фото, не стилем, а вот этой вот стерильностью. Чаще всего напрочь пропадает такая вещь, как, извиняюсь, "вайб".

К счастью, есть Midjourney. Они очень сильно отстали от флагманов по многим фронтам (особенно в плане понимания сложных запросов), но по художественной уникальности, возможностям по контролю над стилем, стилистическому разнообразию они на 10 голов впереди. И делают это сознательно. И кстати, они до сих пор не продались, не привлекают внешнее финансирование, а полностью самостоятельны. Хочется, конечно, и дудочку, и кувшинчик, но, увы, пока так.

Вот, чтобы на реальных примерах понять, что я имею в виду, навскидку надёргал результатов из Midjourney, которые я генерировал.
Предупреждаю, это примеры не того, что сразу WOW, а как раз примеры странной, порой очень грубой эстетики.



Про галлюцинирование отдельно хочется затронуть музыку, там все немного иначе, но потом как-нибудь.

Я думал про генеративную литературу, но не сильно глубоко. С ней, на мой взгляд, сложнее, поскольку очень разное люди ищут в литературе. Поэтому тут может быть дюжина разных ответов, и каждый по-своему верный.


На тему творческого роста "художника", использующего нейросети, у меня есть интересные наблюдения на личном опыте. Правда, увы, придётся опять перенести в дисциплины музыки и визуалов. Не рискну предположить то, насколько оно тождественно литературе, но, думаю, некоторые параллели могут быть.
Для меня генеративные сети очень интересны еще и как исследовательский, экспериментальный и саморефлексивный инструмент. А в конечном итоге (предположительно) и как обучающий.
Сама по себе возможность не просто быстро генерировать разные картинки или муз. треки, но и как угодно их варьировать, изменять, мутировать, смешивать стили – это совершенно беспрецедентный феномен. Для меня это увлекательно и само по себе, как процесс. Что самое интересное, что даже если человек не ставит обучение своей целью, а просто хочет, скажем, картинку для поста в соц. сетях с условным "котиком", то скорее всего, имея такую лёгкую возможность, он начнет выбирать, переделывать, редактировать, а соответственно сравнивать, и подмечать такие тонкости, на которые он бы раньше и не обратил внимание (композицию, цвета и т.д.).
И мозгу ведь ничего не останется, как развиваться в эту сторону и обучаться. Даже если и неосознанно, то человек все равно буквально ставит перед мозгом эту задачу, напрягая свое внимание на этих деталях, делая выбор, сравнивая.
Это не поможет научиться технике того же рисования, но эстетический рост и рефлексия собственного вкуса, полагаю, при активной работе может иметь очень положительный результат, что тоже всегда полезно для художника, музыканта, и, полагаю, писателя.

Я тоже имею сомнения в том, что несмотря на то, что сетки уже выдают очень хорошее качество, не будет ли там какого-то непреодолимого потолка в плане стабильности кадров. Но тем не менее стабильность ИИ видео за последние пару лет скакнуло очень сильно. Кто знает каким оно будет еще через пару лет. Сильно улучшилось и использование референсов (а это ключевой момент для стабильности, чтобы при смене кадров, скажем, не менялись обои в комнате). Тут сложно что-то прогнозировать, т.к. мы имеем дело с техническими задачами, которые до этого еще никто не решал. Поживем – увидим.



Еще пара мыслей про "самоотдачу". Интуитивно я тоже при виде нейросетевой картинки, даже если она хороша, в какой-то степени уменьшаю ее ценность относительно работы человека. Несмотря на то, что я уверен, что покажи мне ее лет 20 назад, до нейросетей, я бы ее высоко оценил.
Думаю, тут вновь очень схоже с фото: когда я вижу фото красивейшего заката, просто снятого человеком на хорошую камеру, то я могу оценить закат, качество фотографии, но к самому фото, как работе, особой ценности не добавится. Но я встречал уже нескольких художников, работающих с нейросетями, чьи результаты мне кажутся очень интересными в сумме. Я вижу, что это не "случайный" результат, именно этот человек раз за разом делает замечательные необычные работы, и вот здесь вновь появляется ценность. Как и с фотографами.
Также, как я писал, инструменты расширяются, что дает больше возможностей по именно кропотливому контролю над результатом, что сильно увеличивает участие человека в процессе. Вот с созданием нейросетевой музыки интересный феномен. Есть возможность и просто в один клик сделать песню, но есть и другой способ, где очень высок контроль, и где у меня уходило до 10 часов по работе над одним треком. И творческой отдачи и влияния человека на результат в этом процессе, на мой взгляд, очень много. Если интересно, могу подробнее, т.к. там очень удивительный феномен и, кстати, совершенно новый творческий процесс как таковой.
Еще "отдача" может суммироваться иначе, когда работа представляет не конкретную картинку, а, скажем, комикс, иллюстрации к книге, или еще что-то комплексное. Тут уже участие человека расширяется еще и на то, как объединить элементы.

Я полагаю, что в картинке примерно взяли потребление всех нейросетей на нашей планете и сравнили с потреблением мозга одного человека.
Поиск в интернете навскидку (тут нужен фактчеккинг, конечно) дает то, что ChatGPT в сутки потребляет примерно 20 миллионов квт/ч.
По расходу энергии на обработку одного запроса в зависимости от сложности интернет дает цифры в разбросе всего лишь от 0.24 до 20 ватт.

Интересно, что ты затронул сразу несколько аспектов, которые я уже давно верчу в голове.

Я как-то писал статью (правда, про музыку, но оно во многом верно и для других областей искусства) про то, что мы сейчас живем в эпоху пост-жанров или можно сказать микрожанров. Что это значит, если вкратце. СПерва музыка варилась в пузыре академизма, который очень исчерпал себя в 20-м веке. Но в 20-м веке начался новый расцвет музыкальных неакадемических жанров, музыка развивалась в самые разные стороны, появлялись совершенно новые жанры, смешивались друг с другом, рождая другие крупные течения. Но уже ближе к началу нулевых этот процесс пошел на спад и с тех пор хоть и появилось огромное кол-во прекрасной музыки, но именно крупных музыкальных течений, сопоставимых с предыдущей эпохой – ни одного. Музыка по прежнему продолжает смешиваться, музыканты по-прежнему выдают уникальное звучание, но это уже скорее процесс микродробления, сложного смешивания с итоговым уникальным рецептом, а не принципиально новое течение. И даже сложно сказать, будут ли еще какие-то совершенно новые течения в традиционных сферах, или этот процесс завершен.

Я уже писал выше, что "Есть широкий простор для творческих поисков и экспериментов (особенно в Midjourney) с возможностью получать очень необычные результаты.". Да, нейросеть по дефолту выдает очень мейнстримные, стерильные результаты. Но это по дефолту. Но она умеет смешивать. И смешивать вещи казалось бы плохо сочетаемые, в итоге выдавая очень необычные, уникальные результаты. Пусть это и не будет чем-то совершенно уникальным в плане формы, но вот тут вопрос: а может ли это сделать и человек? Или этот потенциал глобально уже весь открыт и человеку остается только микродробление? Но эту нишу микродробления нейросеть спокойно занимает.

Хотя я вижу некоторый потенциал для чего-то нового не в плане формы, а в плане самого восприятия искусства. Искусство для зрителя оно, как бы сказать, статично. Вот у нас есть произведение – и это его финальная форма. Нейросети ломают эту стену. Какой-то итоговый результат может иметь бесконечное кол-во вариаций и простор для бесконечной "мутации". Это переводит восприятие искусства в более интерактивное и при желании коллаборационное.

Для музыки, например, вообще открывается совершенно новый подход, когда внезапно у композитора появляется бесконечный доступ к любому инструментарию, который в обычной жизни, конечно, тоже как бы доступен в теории, но на практике – ничего подобного. Обычный музыкант не может научиться играть на всех музыкальных инструментах, а позвать к себе играть условный оркестр может не каждый. Это даже в академических кругах было, когда даже известные композиторы 80% писали в стол, так ни разу при жизни не услышав свое произведение исполненным. А здесь эта физическая преграда исчезает, позволяя композитору использовать весь потенциал средств.

В визуальном искусстве немного иначе, но тоже есть жанры, которые доступны не каждому. Например, мультипликация. Здесь нейросети пока только начинают свое шествие, и пока что инструментарий имеет слишком много побочек и плохо контролируемых аспектов для создания серьезных работ, но в теории, если инструменты разовьются, то мы сможем увидеть авторскую мультипликацию, созданную без бюджетов в "миллионы долларов". И тут дело не только в цене, но и в том, что никто не раскидывается этими суммами на любой авторский проект. Недостаточно иметь желание и идею, чтобы тебе ее профинансировали. Я уверен, что есть много талантливых авторов, которые бы мечтали что-то создать в ныне нишевых жанрах, на которые сейчас выделяют деньги очень редко или не выделяют вообще. Кто знает, может, это станет возможным. Это не что-то новое в плане формы, конечно, но сам импакт может быть не менее значимым.



.....



Но это неверно. Тут либо трусы, либо крестик. Мой мозг не умеет решать миллион разных задач одновременно.
А если сравнивать с одной задачей, то нейросетку я смогу запустить и на своем ПК (если видюху новую куплю))), разница в ваттах, конечно, все равно будет значительной. Но примерно в 4 миллиона раз меньше указанной))

Не стану прямо вклиниваться в ваш спор.
Но решил таки выразить свое мнение об одном из затрагивавшихся тут аспектах, который мне интересен.
Ответил в теме обсуждения нейросетей.

Может ли продукт генеративных нейросетей являться искусством и творчеством?

Я считаю, что при определенных условиях* может даже уже при текущих возможностях, а они растут. И попытаюсь это обосновать. Пока сконцентрируюсь именно на картинках.

Выделю два критерия: результат и процесс.
Результат может быть объективно плохим и предвзято-плохим, т.е. отрицание ценности только потому, что результат был сделан ИИ. Второе я оставлю в стороне. Первое можно проверить слепыми тестами: уже сейчас нейросети не в каждом, но в уже в широком спектре стилей способны создавать изображения, которые даже опытный зритель не всегда отличит от человеческих и при этом считать эстетичными. В этом плане результат уже способен соответствовать художественным стандартам. Но всё еще есть главный вопрос о процессе и участии "творца". Ведь мы не считаем искусством, скажем, красивое дерево, закат, человека, какими бы красивыми они не были.

Споры о сути искусства и творчества велись веками. Где-то люди сошлись, о чем-то спорят по сей день. Поэтому суть искусства я пока оставлю в стороне.
Но можно подойти с другой стороны: в истории искусства уже был очень похожий прецедент. Фотография.

Когда появилась фотография, её тоже не сразу признали искусством. Аргумент был простой: человек лишь нажимает кнопку, а красота – заслуга природы. Какое тут искусство?!
Со временем стало ясно: для качественной фотографии нужны дополнительные навыки и знания, а не просто кнопку нажать. Это еще не приравнивает фото к искусству, но уже приводит в область ремесла.
Но фотографы не ограничиваются просто фотопортретами, а начинают художественный поиск. И оказывается, что у некоторых фотографов получаются более художественные результаты, виден свой уникальный стиль. Как выставить свет, как подловить момент, как проявить и прочее, прочее – используя всё это, фотограф может добиваться весьма художественных результатов. Фотограф имеет свой худ. вкус, стиль, у него есть пространство для экспериментов и творческих поисков, и, конечно, отсев результатов. И вот это уже составляет всё то, что обычно называется творчеством, и в конечном итоге фотография признается формой искусства.
*Стоит отметить важное о упомянутых в начале "условиях", и тут тоже очень хорошая параллель: мы не любой "щёлк" камерой на смартфоне автоматически записываем в искусство, и даже не любую профессиональную студийную фотографию, но это также верно и для той же живописи, не любой мазок кистью сразу искусство.

С генеративными сетями очень схожая ситуация. Есть техническая часть: необходимость пусть и не очень сложных знаний и опыта. Это ремесленная часть.
Но также есть довольно большой набор возможностей контролировать процесс. Авторская задумка, умение "заставить" сетку сделать именно то, что хочется тебе, и соответствовать не только задумке содержания, но и форме, стилю, твоему личному вкусу. Есть широкий простор для творческих поисков и экспериментов (особенно в Midjourney) с возможность получать очень необычные результаты. Есть возможности дорабатывать результат. Ну и, конечно, отсев. Как и с фото, где только один из условных 30 кадров художник может в итоге одобрить, так и с сеткой. Т.е. получаем всё те же условия, из-за которых фотоискусство в итоге было признано.

И это лишь вершина айсберга. Нейросети в плане инструментария уже ушли дальше параллелей с фотографией. Последние поколения нейросетей уже сильно продвинулись и в понимании сложных детальных запросов, и в умении работать с референсами, и в ступенчатой доработке результата. Ну и вишенка на торте – умение работать с эскизами, сделанными художником (если интересно, могу дать примеры). И тут уже как ни крути, но человек становится автором, а нейросеть инструментом. И ведь это скорее всего еще не потолок.

Пару дней назад вышел Mewgenics – долгострой от Эдмунда Макмиллена (автора The Binding of Isaac) и Тайлера Глейла.
Партийный TBS-роглайт про разведение котиков.
Вдруг кто хочет пообсуждать. Самому пока сказать особо нечего, сыграл несколько забегов. Тактическая часть пока очень нравится, как в плане самой боёвки, так и в плане простора для самых разных комбинаций построения билдов своей команды котиков.

А чего вы не в одной из тем про ИИ спорите?

Я соглашусь с тем, что экран форджа, на мой вкус, не то чтобы плох, но немного "недоигран", "стерилен" и"сыроват". Но это уже вопрос конкретной визуальной реализации, а не того, что сам вектор промзоны по дефолту скучен, если к нему не прикручивать скавенов и прочую более экзотическую атрибутику.

Ага, а потом регаться начнут, ссылаясь, кстати, в вопросах анкеты на меня или Мантисса. Потом начнут в разделе новых городов темы создавать. А потом города новые начнут пилить. И играть в них. Потом OpenAI будет недоумевать, куда столько GPU ресурсов уходит, а впоследствии обнаружит, что ChatGPT с DeepSeek играет хотсит в Героев на непрерывно расширяющейся карте.

"Нужен ли Фордж в тройке?". Ответ от ChatGPT, Но не просто так, а со специально настроенным стилем общения.
Попросил его ответить дважды: как сторонник и как противник




Другой вариант:

Наткнулся случайно на такую картинку аж из 1904 года.

Сгенерил по-быстрому по мотивам вашего обсуждения))
(нога только плохо вышла, но для мема пойдет)

Есть один чит. Грузить картинки в Tumblr, а оттуда брать прямые ссылки. Можно даже создать специальную закрытую страничку для этого дела (внутри одного профиля может быть много страничек). Только если загружаешь Png (или из буфера), то он потом выдает с расширением .pnj. Форум их не понимает, но при смене на .png картинки, как ни странно, видятся.

Я лично таким не занимался, но раскраски народ постоянно генерит. Да, некоторые слишком детальные, но, думаю, в зависимости от сетки, можно подобрать правильные слова в промпте или правильные референсы, чтобы добиться более менее стабильного нужного стиля.

Вот чисто навскидку сгенерил.

Решил продолжить эту серию с персонажами любимых телепередач детства, сидящих у экрана

По поводу рефов персонажей, вот еще тест. Дал сетке картинки Джелу и Катерины и запрос:
Take characters from reference images and make a painting of them drinking a coffee in a street cafe. Both of them are enjoying the hot coffee. You can see gryphons flying far in the distance.

Вот что вышло:


Ну, я бы сказал, что узнаваемость средненькая, но тем не менее есть, особенно учитывая, что рефы джелу очень трудночитаемые (а, может, сетка побоялась точно передавать его БДСМ наряд))).

Так вот же, объектные референсы. В смысле, что, возможно, не придётся ничего объяснять, а можно прямо дать сетке картинку с любым интересующим тебя оружием и сказать, чтобы она вставила его в руки существу. Само существо тоже можно дать референсом, если нужно.
Вот сейчас сделал два теста с простеньким описанием.

Fantasy image of a centaur holding a Bhuj in his hand
Результат:

Выбрал специально довольно экзотическое оружие – бхудж. И, кстати, кентавры раньше тоже были проблемными для сеток.
Как видим, бхудж получился весьма далёким от аутентичности.

Ок, вторая попытка.
Я загружаю эту картинку

И даю запрос: fantasy image of a centaur holding a weapon from reference image in his hand

Результат


На мой взгляд, справилась вполне неплохо. Может, не 100% идентичность если прям в детали вглядываться, но это все равно прям огромный скачок для нейросеток, раньше такого никто не умел.

Midjourney тоже обещают вскоре фичу "Omni reference" для тех же целей, но хз как там у них будет работать.

P.S. Тест, конечно, простенький: и само оружие простое, и то, как его полагается держать – очевидно. Возможно, для чего-то более инженерно-сложного или того, что нужно держать особым образом, результаты будут хуже, или потребуется больше референсов, но тут только пробовать.