Нейросети в кино - всё гораздо сложнее. И проще.
Итак, в начале марта у нас состоялось две встречи. Первая - с обычным аниматором, который был готов взяться за нашу задачу. Он прекрасно понимал суть анимации, что надо делать и как получить желаемое. Вопрос у него, конечно, возник по стилизации изображения под картины художников начала ХХ века. Но он сказал, что сейчас это не проблема - нейросети умеют хорошо стилизовать и у него самого уже есть небольшой опыт работы с ними. Из наводящих вопросов я понял, что опыт скорее ознакомительный. По сумме на 10 минут анимации у него выходило 1,3-1,5 млн рублей. По срокам - около 10 месяцев.
Следующая встреча состоялась уже с «хозяйкой нейросети». Тут всё было зеркально: она как раз понимала все тонкости и проблемы работы с нейросетями, но ничего не понимала в анимации. Мы часа два, если не больше, обсуждали мои к ней вопросы, и из ее ответов я понял, что вся эта затея очень рискованна. Профессиональных аниматоров в ее команде нет. Откуда брать образцы движений анимационных героев она плохо себе представляет. Попробовать для начала сделать одну минуту из десяти необходимых и посмотреть, что выйдет, не получится, т.к. при работе с нейросетями используются совсем другие критерии цены и сроков - СНАЧАЛА нужно потратить уйму дорогого машиновремени, чтобы «натаскать», обучить нейросеть в принципе манере живописи разных художников, научить стилизовать под них уже не статичные, а движущиеся картинки, а потом она довольно быстро уже начнет генерировать что угодно. Т.е. условно нейросеть два-три месяца сначала надо обучить, а дальше уже будет неважно - что на создание 1 минуты видео, что 10 минут - у нее будет уходить сравнительно одно и то же время.
На этом этапе обсуждения всех нас (меня и режиссера) заинтересовало, как нейросеть будет учиться и, условно говоря, не будет нам рисовать уже набивших оскомину шестируких персонажей. Тут дело оказалось сложным - нейросеть просто рисует. По два пикселя. Потом следующие два пикселя. Потом следующие. Она понятия не имеет, что такое пять или шесть. Что такое пальцы и рука. Она просто СЧИТАЕТ какие-то свои цифирки и визуализирует их. Что выйдет в итоге, она сама не знает в процессе рисования.
Единственный способ сообщить ей, правильно она сделала что-то или нет, это дать ей «цифровой подзатыльник» - некий фрагмент программного кода, который нейросеть очень «не любит». Т.е. метку об ошибке. Оказывается первые нейросети не получали таких «подзатыльников», поэтому свободно ругались матом, сыпали направо и налево нацистскими лозунгами, поливали собеседника помоями. Поэтому сейчас, если вы попросите нейросеть написать сатирическое стихотворение о Мари Ле Пен, то она ответит, что это незаконно. А если ее попросить написать сатирическое стихотворение о французской женщине-политике ультраправых взглядов, то она сделает это без проблем. Нейросеть - она как ребенок. Чему научат, то и делает. Чему не научат, то НЕ делает.
Вернемся, однако, к кино. Итак, в ходе разговора стало понятно, что нейросеть способна лишь повторить какое-конкретное движение или сгенерировать случайное. Нейросеть что-то там готова нарисовать, но анимировать, да еще в точном соответствии с движениями персонажей в нашем сценарии - увольте. Точнее - наймите. Наймите аниматоров. Нейросеть сгенерирует персонажей (причем замена лиц, одежды, причесок для нее - не проблема) и фоны, а анимировать, т.е. задавать персонажам точные движения, всё равно придется по старинке - вручную (ну, в соответствующих анимационных программах). Цена работы нейросети - около 1 млн. Цена последующей работы аниматоров - около 400 тысяч. Таким образом общая цена практически совпадает с предыдущим вариантом от самих аниматоров, о котором я написал чуть выше.
И тут мне пришла в голову гениальная идея. Впрочем, она была очевидна. Догадаетесь, какая? А в следующий раз проверим ;-)
Мы же после разговора всё-таки решили рискнуть. Создав себе, конечно, этим много головной боли…
Следующая встреча состоялась уже с «хозяйкой нейросети». Тут всё было зеркально: она как раз понимала все тонкости и проблемы работы с нейросетями, но ничего не понимала в анимации. Мы часа два, если не больше, обсуждали мои к ней вопросы, и из ее ответов я понял, что вся эта затея очень рискованна. Профессиональных аниматоров в ее команде нет. Откуда брать образцы движений анимационных героев она плохо себе представляет. Попробовать для начала сделать одну минуту из десяти необходимых и посмотреть, что выйдет, не получится, т.к. при работе с нейросетями используются совсем другие критерии цены и сроков - СНАЧАЛА нужно потратить уйму дорогого машиновремени, чтобы «натаскать», обучить нейросеть в принципе манере живописи разных художников, научить стилизовать под них уже не статичные, а движущиеся картинки, а потом она довольно быстро уже начнет генерировать что угодно. Т.е. условно нейросеть два-три месяца сначала надо обучить, а дальше уже будет неважно - что на создание 1 минуты видео, что 10 минут - у нее будет уходить сравнительно одно и то же время.
На этом этапе обсуждения всех нас (меня и режиссера) заинтересовало, как нейросеть будет учиться и, условно говоря, не будет нам рисовать уже набивших оскомину шестируких персонажей. Тут дело оказалось сложным - нейросеть просто рисует. По два пикселя. Потом следующие два пикселя. Потом следующие. Она понятия не имеет, что такое пять или шесть. Что такое пальцы и рука. Она просто СЧИТАЕТ какие-то свои цифирки и визуализирует их. Что выйдет в итоге, она сама не знает в процессе рисования.
Единственный способ сообщить ей, правильно она сделала что-то или нет, это дать ей «цифровой подзатыльник» - некий фрагмент программного кода, который нейросеть очень «не любит». Т.е. метку об ошибке. Оказывается первые нейросети не получали таких «подзатыльников», поэтому свободно ругались матом, сыпали направо и налево нацистскими лозунгами, поливали собеседника помоями. Поэтому сейчас, если вы попросите нейросеть написать сатирическое стихотворение о Мари Ле Пен, то она ответит, что это незаконно. А если ее попросить написать сатирическое стихотворение о французской женщине-политике ультраправых взглядов, то она сделает это без проблем. Нейросеть - она как ребенок. Чему научат, то и делает. Чему не научат, то НЕ делает.
Вернемся, однако, к кино. Итак, в ходе разговора стало понятно, что нейросеть способна лишь повторить какое-конкретное движение или сгенерировать случайное. Нейросеть что-то там готова нарисовать, но анимировать, да еще в точном соответствии с движениями персонажей в нашем сценарии - увольте. Точнее - наймите. Наймите аниматоров. Нейросеть сгенерирует персонажей (причем замена лиц, одежды, причесок для нее - не проблема) и фоны, а анимировать, т.е. задавать персонажам точные движения, всё равно придется по старинке - вручную (ну, в соответствующих анимационных программах). Цена работы нейросети - около 1 млн. Цена последующей работы аниматоров - около 400 тысяч. Таким образом общая цена практически совпадает с предыдущим вариантом от самих аниматоров, о котором я написал чуть выше.
И тут мне пришла в голову гениальная идея. Впрочем, она была очевидна. Догадаетесь, какая? А в следующий раз проверим ;-)
Мы же после разговора всё-таки решили рискнуть. Создав себе, конечно, этим много головной боли…