Художественные стили от не-художников
Стилем сейчас называют любой неуловимый паттерн (pattern, узор, шаблон, закономерность). Стиль неуловим в словах, он model-free, то есть его можно моделировать коннективистски, но не формально. Всё искусство основано на понятии стиля, но сами стили неуловимы -- их знание приобретается опытом, словами передать признаки стиля очень трудно, по большому счёту стиль не бьётся на легко выделяемые признаки -- у всех этих признаков ведь зачастую даже названия нет, а сами признаки лишь в той или иной степени качественно выражены, они отнюдь не "точно есть" или их "заведомо нет".
И вот появились коннективистские среды для model-free моделирования (ох! "коннективистские модели без формальной их модели"), и там уже стили не моделируют, а выучивают.
Из последних новинок -- перенос цветового стиля в аниме, style2paints: https://www.bilibili.com/video/av14443094/ (исходный код тоже доступен: https://github.com/lllyasviel/style2paints). Берём бесцветный скетч моего персонажа, цветную акварельку вашего персонажа, получаем цветную акварельку моего персонажа.
Конечно, порождение новых стилей тоже будет! Люди и этим озаботились: https://arxiv.org/abs/1706.07068, CAN: Creative Adversarial Networks, Generating "Art" by Learning About Styles and Deviating from Style Norms. Чего там достигли? The system was evaluated by human subject experiments. The results of this experiment shows that 59.47% of the time subjects selected CAN images as more novel and 60% of the time they found CAN images more aesthetically appealing. Всё, художественный тест Тьюринга тоже пройден, причём не на новых картинках придуманных людьми художественных стилей, а на картинках новых художественных стилей, придуманных компьютером.
Дело дошло до того, что компьютер может породить пароли в новых стилях, а для текущего софта взлома паролей, в которых наиболее распространённые стили сочинения паролей уже введены в виде правил, эти пароли оказывались недоступными: https://arxiv.org/abs/1709.00440. Стиль, он и в хакерстве стиль.
Живописцы и творцы паролей тут не единственные, кто попадает под эту раздачу.
Свежий обзор компьютерного композиторства нейронными сетями -- https://arxiv.org/abs/1709.01620, там 108 страниц. Авторы называют это не статьёй, а книгой. Работ по компьютерному композиторству уже столько, что авторы пытаются найти стили в этих работах. По факту музыкальный тест Тьюринга пройден: средний человек уже не различает даже баховские хоралы, генерируемые нейросеткой, от баховских хоралов, генерируемых лично Иоганном Себастьяном, а профессионал отличает едва-едва (это ещё в прошлом году, Deep Bach -- https://arxiv.org/abs/1612.01010).
Нейросеткам потихоньку становится доступным и видео. Жду-не-дождусь появления моделирования танцевальных стилей, стилей походки, стилей боевых единоборств. Уже скоро, просто для видео не хватает пока компьютерных мощностей, придётся ещё лет пять подождать.
У защитников интеллектуальной собственности при этом наступают странные деньки: все эти генераторы используют огромное количество произведений искусства для того, чтобы научиться -- стать образованными и цивилизованными, перед тем как двинуть цивилизационный фронтир вперёд. При обучении нейронные сетки просматривают огромное количество материал -- ровно как ученики художественных училищ ходят по музеям, а ученики балетных училищ ходят по театрам. Это fair use (цитирование для научных целей, а тут даже не цитирование -- просто берётся чуток информации для подстройки коэффициентов, разве это цитата?) или таки это не цитирование, а именно чтение, и за каждый просмотр сеткой текста или картинки нужно платить?! Вот текст Artificial Intelligence's Fair Use Crisis -- https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3032076
По мере развития техники интерпретации коннективистских моделей можно надеяться на перевод model-free моделей (ох!) в обычные-привычные модели. И вот она, computer-aded science в гуманитарщине. Помним при этом, что тусовка машинного обучения ставит своей целью учить машинному обучению простой люд, плохие модели можно будет делать и без знания математики. Я уже давал тут цитату: "Our goal at fast.ai is for there to be nothing to teach. We believe that the fact that we currently require high school math, one year of coding experience, and seven weeks of study to become a world-class deep learning practitioner, is not an acceptable state of affairs (even although this is less prerequisites for any other course of a similar level). Everybody should be able to use deep learning to solve their problems with no more education than it takes to use a smart phone. Therefore, each year our main research goal is to be able to teach a wider range of deep learning applications, that run faster, and are more accurate, to people with less prerequisites". Это из http://www.fast.ai/2017/09/08/introducing-pytorch-for-fastai/
Всё искусство раз-два -- и стало "не-искусством", а вполне инженерной специальностью. Компьютер под присмотром инженера в слепых тестах уже творит не хуже "творцов", а дальше всё зависит от продюсеров.
Пока это всё доступно в лучших лабораториях мира, завтра это будет доступно в домашних условиях. Для меня фан-клуб какого-нибудь семейного джазового стартапа, в котором джаз играют компьютеры, выглядит ничуть не хуже, чем фан-клуб какого-то джазового ансамбля. И джаз этот стартап будет генерировать для каждого слушателя персонально, устраивать ему личный круглосуточный концерт, не уставая и не отказывая, вовремя меняя стиль, чтобы не наскучило, следуя при этом и моде, и индивидуальным предпочтениям слушателя, и даже сочиняя стихи в качестве эпиграфов к своим произведениям.
Компьютер это музыкальный, танцевальный, художественный инструмент, а хороший инструмент делает всё сам -- мастер только должен ему сформулировать заказ. А если это очень-очень хороший инструмент, то заказ может формулировать и клиент -- слушатель, зритель. Мастер как посредник между инструментом и клиентом не нужен. Паганини фтопку, на сцену выходят Страдивари с навороченными самоиграйками.
Такой вот музак, никто не уйдёт обиженным. Никто не уйдёт, всех догонят.
И вот появились коннективистские среды для model-free моделирования (ох! "коннективистские модели без формальной их модели"), и там уже стили не моделируют, а выучивают.
Из последних новинок -- перенос цветового стиля в аниме, style2paints: https://www.bilibili.com/video/av14443094/ (исходный код тоже доступен: https://github.com/lllyasviel/style2paints). Берём бесцветный скетч моего персонажа, цветную акварельку вашего персонажа, получаем цветную акварельку моего персонажа.
Конечно, порождение новых стилей тоже будет! Люди и этим озаботились: https://arxiv.org/abs/1706.07068, CAN: Creative Adversarial Networks, Generating "Art" by Learning About Styles and Deviating from Style Norms. Чего там достигли? The system was evaluated by human subject experiments. The results of this experiment shows that 59.47% of the time subjects selected CAN images as more novel and 60% of the time they found CAN images more aesthetically appealing. Всё, художественный тест Тьюринга тоже пройден, причём не на новых картинках придуманных людьми художественных стилей, а на картинках новых художественных стилей, придуманных компьютером.
Дело дошло до того, что компьютер может породить пароли в новых стилях, а для текущего софта взлома паролей, в которых наиболее распространённые стили сочинения паролей уже введены в виде правил, эти пароли оказывались недоступными: https://arxiv.org/abs/1709.00440. Стиль, он и в хакерстве стиль.
Живописцы и творцы паролей тут не единственные, кто попадает под эту раздачу.
Свежий обзор компьютерного композиторства нейронными сетями -- https://arxiv.org/abs/1709.01620, там 108 страниц. Авторы называют это не статьёй, а книгой. Работ по компьютерному композиторству уже столько, что авторы пытаются найти стили в этих работах. По факту музыкальный тест Тьюринга пройден: средний человек уже не различает даже баховские хоралы, генерируемые нейросеткой, от баховских хоралов, генерируемых лично Иоганном Себастьяном, а профессионал отличает едва-едва (это ещё в прошлом году, Deep Bach -- https://arxiv.org/abs/1612.01010).
Нейросеткам потихоньку становится доступным и видео. Жду-не-дождусь появления моделирования танцевальных стилей, стилей походки, стилей боевых единоборств. Уже скоро, просто для видео не хватает пока компьютерных мощностей, придётся ещё лет пять подождать.
У защитников интеллектуальной собственности при этом наступают странные деньки: все эти генераторы используют огромное количество произведений искусства для того, чтобы научиться -- стать образованными и цивилизованными, перед тем как двинуть цивилизационный фронтир вперёд. При обучении нейронные сетки просматривают огромное количество материал -- ровно как ученики художественных училищ ходят по музеям, а ученики балетных училищ ходят по театрам. Это fair use (цитирование для научных целей, а тут даже не цитирование -- просто берётся чуток информации для подстройки коэффициентов, разве это цитата?) или таки это не цитирование, а именно чтение, и за каждый просмотр сеткой текста или картинки нужно платить?! Вот текст Artificial Intelligence's Fair Use Crisis -- https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3032076
По мере развития техники интерпретации коннективистских моделей можно надеяться на перевод model-free моделей (ох!) в обычные-привычные модели. И вот она, computer-aded science в гуманитарщине. Помним при этом, что тусовка машинного обучения ставит своей целью учить машинному обучению простой люд, плохие модели можно будет делать и без знания математики. Я уже давал тут цитату: "Our goal at fast.ai is for there to be nothing to teach. We believe that the fact that we currently require high school math, one year of coding experience, and seven weeks of study to become a world-class deep learning practitioner, is not an acceptable state of affairs (even although this is less prerequisites for any other course of a similar level). Everybody should be able to use deep learning to solve their problems with no more education than it takes to use a smart phone. Therefore, each year our main research goal is to be able to teach a wider range of deep learning applications, that run faster, and are more accurate, to people with less prerequisites". Это из http://www.fast.ai/2017/09/08/introducing-pytorch-for-fastai/
Всё искусство раз-два -- и стало "не-искусством", а вполне инженерной специальностью. Компьютер под присмотром инженера в слепых тестах уже творит не хуже "творцов", а дальше всё зависит от продюсеров.
Пока это всё доступно в лучших лабораториях мира, завтра это будет доступно в домашних условиях. Для меня фан-клуб какого-нибудь семейного джазового стартапа, в котором джаз играют компьютеры, выглядит ничуть не хуже, чем фан-клуб какого-то джазового ансамбля. И джаз этот стартап будет генерировать для каждого слушателя персонально, устраивать ему личный круглосуточный концерт, не уставая и не отказывая, вовремя меняя стиль, чтобы не наскучило, следуя при этом и моде, и индивидуальным предпочтениям слушателя, и даже сочиняя стихи в качестве эпиграфов к своим произведениям.
Компьютер это музыкальный, танцевальный, художественный инструмент, а хороший инструмент делает всё сам -- мастер только должен ему сформулировать заказ. А если это очень-очень хороший инструмент, то заказ может формулировать и клиент -- слушатель, зритель. Мастер как посредник между инструментом и клиентом не нужен. Паганини фтопку, на сцену выходят Страдивари с навороченными самоиграйками.
Такой вот музак, никто не уйдёт обиженным. Никто не уйдёт, всех догонят.