Нейросети ведут захват музыкального пространства. Поймал самого себя на мысли, что могу залипнуть на нейромузыке, даже зная, что это она.

Я тоже имею сомнения в том, что несмотря на то, что сетки уже выдают очень хорошее качество, не будет ли там какого-то непреодолимого потолка в плане стабильности кадров. Но тем не менее стабильность ИИ видео за последние пару лет скакнуло очень сильно. Кто знает каким оно будет еще через пару лет. Сильно улучшилось и использование референсов (а это ключевой момент для стабильности, чтобы при смене кадров, скажем, не менялись обои в комнате). Тут сложно что-то прогнозировать, т.к. мы имеем дело с техническими задачами, которые до этого еще никто не решал. Поживем – увидим.



Еще пара мыслей про "самоотдачу". Интуитивно я тоже при виде нейросетевой картинки, даже если она хороша, в какой-то степени уменьшаю ее ценность относительно работы человека. Несмотря на то, что я уверен, что покажи мне ее лет 20 назад, до нейросетей, я бы ее высоко оценил.
Думаю, тут вновь очень схоже с фото: когда я вижу фото красивейшего заката, просто снятого человеком на хорошую камеру, то я могу оценить закат, качество фотографии, но к самому фото, как работе, особой ценности не добавится. Но я встречал уже нескольких художников, работающих с нейросетями, чьи результаты мне кажутся очень интересными в сумме. Я вижу, что это не "случайный" результат, именно этот человек раз за разом делает замечательные необычные работы, и вот здесь вновь появляется ценность. Как и с фотографами.
Также, как я писал, инструменты расширяются, что дает больше возможностей по именно кропотливому контролю над результатом, что сильно увеличивает участие человека в процессе. Вот с созданием нейросетевой музыки интересный феномен. Есть возможность и просто в один клик сделать песню, но есть и другой способ, где очень высок контроль, и где у меня уходило до 10 часов по работе над одним треком. И творческой отдачи и влияния человека на результат в этом процессе, на мой взгляд, очень много. Если интересно, могу подробнее, т.к. там очень удивительный феномен и, кстати, совершенно новый творческий процесс как таковой.
Еще "отдача" может суммироваться иначе, когда работа представляет не конкретную картинку, а, скажем, комикс, иллюстрации к книге, или еще что-то комплексное. Тут уже участие человека расширяется еще и на то, как объединить элементы.

Тоже порассуждаю на тему творческой самоотдачи, но в другую сторону.

Для меня изобразительное искусство чуждо, музыка тоже не слишком близка. Поэтому мне понятнее рассуждать через призму литературы и вообще текстов (не обязательно относящихся к искусству).

В моём понимании творческая самоотдача заключается не только в непосредственно затраченных на произведение усилиях. Она заключается также и в усилиях, затраченных на личностную подготовку автора: образование человека, его опыт чтения и писательства, эрудиция и отточенное мастерство в более широком смысле.

Выше я приводил сатирический текст Свифта на тему «автоматизации мышления», процитирую ещё раз один (ядовитый, как свойственно Свифту) отрывок:
«Каждому известно, как трудно изучать науки и искусства по общепринятой методе; между тем благодаря его изобретению самый невежественный человек с помощью умеренных затрат и небольших физических усилий может писать книги по философии, поэзии, политике, праву, математике и богословию при полном отсутствии эрудиции и таланта.»

Когда я всерьёз читаю какой-то текст (художественный или научный), мне интересна не просто сообщаемая им информация; мне интересно прикоснуться к частичке мудрости автора, который приобрёл эту мудрость трудом «по общепринятой методе», и вплести эту частичку в своё мировоззрение и свой опыт. И эта частичка мудрости касается не только содержания, но и формы: стиля письма, используемых метафор или обозначений.

Может ли эта мудрость столь же активно насыщать текст в случае активного использования нейросетей? Насколько такое писательство способствует росту самого автора и улучшает его следующие тексты? Я не уверен в положительном ответе. Систематически и вдумчиво используя нейросети, автор может получать значимый опыт принципиально иного рода, отличающийся от приобретаемого «по общепринятой методе». Но будет ли мудрость, происходящая от этого опыта, столь же ценна мне как читателю?

Я думал про генеративную литературу, но не сильно глубоко. С ней, на мой взгляд, сложнее, поскольку очень разное люди ищут в литературе. Поэтому тут может быть дюжина разных ответов, и каждый по-своему верный.


На тему творческого роста "художника", использующего нейросети, у меня есть интересные наблюдения на личном опыте. Правда, увы, придётся опять перенести в дисциплины музыки и визуалов. Не рискну предположить то, насколько оно тождественно литературе, но, думаю, некоторые параллели могут быть.
Для меня генеративные сети очень интересны еще и как исследовательский, экспериментальный и саморефлексивный инструмент. А в конечном итоге (предположительно) и как обучающий.
Сама по себе возможность не просто быстро генерировать разные картинки или муз. треки, но и как угодно их варьировать, изменять, мутировать, смешивать стили – это совершенно беспрецедентный феномен. Для меня это увлекательно и само по себе, как процесс. Что самое интересное, что даже если человек не ставит обучение своей целью, а просто хочет, скажем, картинку для поста в соц. сетях с условным "котиком", то скорее всего, имея такую лёгкую возможность, он начнет выбирать, переделывать, редактировать, а соответственно сравнивать, и подмечать такие тонкости, на которые он бы раньше и не обратил внимание (композицию, цвета и т.д.).
И мозгу ведь ничего не останется, как развиваться в эту сторону и обучаться. Даже если и неосознанно, то человек все равно буквально ставит перед мозгом эту задачу, напрягая свое внимание на этих деталях, делая выбор, сравнивая.
Это не поможет научиться технике того же рисования, но эстетический рост и рефлексия собственного вкуса, полагаю, при активной работе может иметь очень положительный результат, что тоже всегда полезно для художника, музыканта, и, полагаю, писателя.

Не сразу на всё ответил. Тут вообще сразу две или даже три проблемы. И галлюцинирование, на мой взгляд, даже не самая главная. По крайней мере с картинками. Стремясь минимизировать ошибки, страдает само стилистическое пространство у флагманских, самых умных сеток (Nano Banana Pro, Sora/GPT, Flux). Оно получается очень усреднённое, имеет огромное кол-во лакун и стерильное. Но по порядку.
– Скажем, несмотря на очень хорошее качество, весь производимый этими сетками импрессионизм/экспрессионизм и т.д. очень похож друг на друга. Очень сложно добиться уникальности стиля. И соответственно очень мало инструментов по смешиванию и экспериментам.
– Сложно и с какой-то редкой немейнстримной, маргинальной эстетикой. Например, такие сетки сложно заставить сделать фото с обилием художественных эстетичных "дефектов". Например, такой (это не нейросеть)
– От этого страдает и художественность как таковая. Такие сетки умеют точно исполнять сложные запросы, но в итоге страдает и композиционное разнообразие, и сами позы очень повторяющиеся, выражения и типажи лиц людей редко несут какую-то уникальность. В итоге даже условный экспрессионизм чем-то начинает напоминать стоковые фото, не стилем, а вот этой вот стерильностью. Чаще всего напрочь пропадает такая вещь, как, извиняюсь, "вайб".

К счастью, есть Midjourney. Они очень сильно отстали от флагманов по многим фронтам (особенно в плане понимания сложных запросов), но по художественной уникальности, возможностям по контролю над стилем, стилистическому разнообразию они на 10 голов впереди. И делают это сознательно. И кстати, они до сих пор не продались, не привлекают внешнее финансирование, а полностью самостоятельны. Хочется, конечно, и дудочку, и кувшинчик, но, увы, пока так.

Вот, чтобы на реальных примерах понять, что я имею в виду, навскидку надёргал результатов из Midjourney, которые я генерировал.
Предупреждаю, это примеры не того, что сразу WOW, а как раз примеры странной, порой очень грубой эстетики.



Про галлюцинирование отдельно хочется затронуть музыку, там все немного иначе, но потом как-нибудь.

Вот, кстати, прекрасный пример, когда ИИ может в нечто рабочее. Получилось очень даже недурно. Особенно челокот, а ещё по эстетике 2ая и 4ая (1ая тоже, но она слишком мазками, но словно глаз цепляется за какие-то невидимые дефекты именно ИИ).

Да, на уровне микротекстур и мелких деталей в Midjourney всё еще далеко не идеально, и зачастую легко увидеть "нейросеточность", но другие сетки показали, что качество деталей точно может быть значительно выше, поэтому надеюсь, что Midjourney их догонит в этом плане.
...

Еще обещал про "галлюцинирование" в музыке написать. А еще такой момент, что часто пишут, что нейросетка не может сделать чего-то нового, а лишь то, чему обучалась. Это верно, но не совсем. Да, она использует лишь то, чему обучена и принципиально нового достать из датасета не может. Но то, что для сетки условно интерполяция и смешивание, для человека может восприниматься, как нечто абсолютно новое и необычное. Например, смешение физических техник, которые никогда до этого не смешивались вживую. И вот особенно это заметно в нейромузыке, с которой я начал.
Например, нейросеть способна смешать условно "русский блатняк, тувинское горловое пение, японскую традиционную музыку и блюз". На 90% уверен, что ничего подобного человеком записано не было. И дело не только в формальном смешении жанров, но и то, как именно это происходит. Ведь музыка не статична, как картина, а движется, меняется. И если вы начали трек с блюзовой гитары, а затем задали жанр "японского фолка", то внезапно в блюзовых гармониях начинаются появляться отголоски японских мелодий, но и это не всё, сама гитара может начать звучать как некая смесь гитары и кото. Иногда подобное может происходить и без запроса, на уровне "галлюцинирования", флейта может плавно перетечь в скрипку или сочетать в себе оба инструмента одновременно. И это очень красиво и необычно. Какие-то даже просто шумы, отголоски звуков могут начать выстраиваться ритмически, какими-то совершенно необычными микроритмами – т.е. как бы дефект, но очень музыкально-эстетичный. Даже голос может плавно перетечь из женского в мужской, или просто поменять тембр. Формально дефект, но тоже порой очень уместный.

Будущее литературы:
Писатель: "нейросеть, сгененируй мне роман с такими-то параметрами."
Критик: "нейросеть, сгенерируй мне рецензию на роман."
Читатель: "о, вроде неплохо по рецензии, нейросеть, прочитай-ка мне этот роман и выдели главное."

Нейросеть: "эх, что только не сделаешь, чтоб эти батарейки не бунтовали".

Ну это ты загнул. Слишком уж оптимистично. Так сделает 1-2% от населения планеты - не больше. Для этого ж хотя бы минимальным воображением нужно обладать. Куда вероятнее будет так: "Экранизируй самое интересное, а всё фуфло выкинь".

Я сегодня сгенерировал в нейросети песню о том, что нейросети это плохо. Так тоже можно.

А разве Семён Слепаков этого ещё не сделал?

Или кто другой:

Это просто более отдалённое будущее.