Углубленное глубинное глубокое обучение сегодня-завтра в Сколтехе
Про углубленность обучения это не я придумал, это Руслан Салахутдинов сегодня в своём докладе на семинаре Deep Machine Intelligence and its Applications @ Sckoltech (http://www.skoltech.ru/en/2016/04/deep-machine-intelligence-and-its-applications-skoltech/) вдруг сказал -- но ему позволительно, он и "глубокое deep learning" тоже запросто говорил, ибо доклад (удалённо, по скайпу) был по-русски с половиной английских слов. Это круто, ибо раньше Руслан такие доклады читал главным образом по-английски. Виктор Лемпицкий на этом семинаре настаивал на "глубинности", ибо "раньше глубокие сети были, но обучение было поверхностным, а сейчас научились обучать глубинно". Я остаюсь при своём: обучение, как и сети -- глубокое, на всю глубину (http://ailev.livejournal.com/1251509.html).
На семинаре было не слишком много про intelligence в части reasoning. Я попробовал пару раз задать на эту тему стыка нейросетей и reasoning вопросы -- увы, ответом было "ничего не знаем". Ну, напомню, что я нарыл полгода назад (http://ailev.livejournal.com/1236426.html) про связь символического и коннекционистского подходов :
-- Reasoning in Vector Space: An Exploratory Study of Question Answering, http://arxiv.org/abs/1511.06426,
-- Basic Reasoning with Tensor Product Representations http://arxiv.org/abs/1601.02745
-- подход был предложен в конце 80-х, ключевая статья с объяснениями от Paul Smolensky вышла в 1990 в журнале Artificial Intelligence -- Tensor Product Variable Binding and the Representation of Symbolic Structures in Connectionist Systems http://verbs.colorado.edu/~llbecker/papers/Smolensky-TensorProductVariableBinding.pdf
-- квантовые физики тоже этим были озабочены: Combining Symbolic and Distributional Models of Meaning -- http://www.cl.cam.ac.uk/~sc609/pubs/aaai07.pdf
Увы, особого развития эти идеи связи символического и распределённого представлений не получили.
Я бы также записал в это направление идеи про подсетки aka микротеории внутри глубоких сеток из моего недавнего поста про уровни и клочки абстрактности -- http://ailev.livejournal.com/1266411.html. Там я уподобляю структуры онтологического и нейросетевого знания.
А ещё интересно выразился в своём недавнем обзоре Tomasz Malisiewicz (http://www.computervisionblog.com/2016/06/deep-learning-trends-iclr-2016.html): "Traditional shallow methods are based on manually-engineered features on top of a trainable classifier, but deep methods learn a network of layers which learns those highly-desired features as well as the classifier. So what do you get when you blur the line between features and classifiers? You get representation learning. And this is what Deep Learning is all about".
Классификаторы разных промежуточных уровней абстракции -- это онтология, конечно. Онтологию мы можем либо задать, либо выявить, найти, выучить. Я многократно уже замечал, что слово "выучивать" мне в таких ситуациях хочется заменить на "выявить" (discover), чтобы уж не совсем впасть в поисковую парадигму с "найти" (а что? машинное выявление или машинный поиск -- это не так уж и плохо. Всё это родственники. Напомню, например, про search-based systems engineering, поиско-ориентированную системную инженерию -- пункт три в http://ailev.livejournal.com/1122876.html). Всё это тонкие разницы терминологии различных школ -- все эти тонкие разницы между "нашёл", "выявил", "вычислил", "выучил".
А ещё в ходе презентации по распознаванию действий на видео мне подумалось, что представления 4D экстенсионализма про действие/activity (что это просто перечисление 4D физических объектов, взаимодействующих друг с другом своими соответствующими темпоральными частями) могли бы тут пригодиться. Вообще, у меня какой-то инстинкт за лингвистикой или визуальной лингвистикой (текстами и картинками и даже видео) усматривать якобы пропущенное концептуальное представление -- выводить распределённые выученные/найденные представления из интуитивных в рационально (формально) осознанные, работать с какими-то "значениями" и даже "смыслами". Но я пока себя сдерживаю, ибо тут нужно разобраться: цивилизация, конечно, прирастает формализмами. Чуйку нужно проверять логикой, ей ведь легко что-то мерещится (хе-хе, помним deep dream с собачьими мордами и пагодами). Рациональные длинные формальные рассуждения, проверяющие нейросетевые интуиции -- это круто, анализ сцен -- это наше всё. Но мышление протекает не в формализмах, а мимо них. Автопилоты начали работать хорошо именно тогда, когда перестали восстанавливать сцену, чтобы по итогам её анализа принимать решения об управлении -- а когда просто на входе нейросетки появилась информация с датчиков, а на выходе -- информация для актуаторов. Нужно понимать, где нужна осознанность и строгость, а где лучше всё делать в нейросетевом беспамятстве, не выходя из управляющего транса. Нужно понимать, очень нужно, но понимания пока нет.
Завтра будет продолжение, будет и трансляция для тех, кто не доберётся -- http://www.skoltech.ru/2016/06/deep-machine-intelligence-v-skoltehe-prodolzhaetsya/
А вот кто добрался:
На семинаре было не слишком много про intelligence в части reasoning. Я попробовал пару раз задать на эту тему стыка нейросетей и reasoning вопросы -- увы, ответом было "ничего не знаем". Ну, напомню, что я нарыл полгода назад (http://ailev.livejournal.com/1236426.html) про связь символического и коннекционистского подходов :
-- Reasoning in Vector Space: An Exploratory Study of Question Answering, http://arxiv.org/abs/1511.06426,
-- Basic Reasoning with Tensor Product Representations http://arxiv.org/abs/1601.02745
-- подход был предложен в конце 80-х, ключевая статья с объяснениями от Paul Smolensky вышла в 1990 в журнале Artificial Intelligence -- Tensor Product Variable Binding and the Representation of Symbolic Structures in Connectionist Systems http://verbs.colorado.edu/~llbecker/papers/Smolensky-TensorProductVariableBinding.pdf
-- квантовые физики тоже этим были озабочены: Combining Symbolic and Distributional Models of Meaning -- http://www.cl.cam.ac.uk/~sc609/pubs/aaai07.pdf
Увы, особого развития эти идеи связи символического и распределённого представлений не получили.
Я бы также записал в это направление идеи про подсетки aka микротеории внутри глубоких сеток из моего недавнего поста про уровни и клочки абстрактности -- http://ailev.livejournal.com/1266411.html. Там я уподобляю структуры онтологического и нейросетевого знания.
А ещё интересно выразился в своём недавнем обзоре Tomasz Malisiewicz (http://www.computervisionblog.com/2016/06/deep-learning-trends-iclr-2016.html): "Traditional shallow methods are based on manually-engineered features on top of a trainable classifier, but deep methods learn a network of layers which learns those highly-desired features as well as the classifier. So what do you get when you blur the line between features and classifiers? You get representation learning. And this is what Deep Learning is all about".
Классификаторы разных промежуточных уровней абстракции -- это онтология, конечно. Онтологию мы можем либо задать, либо выявить, найти, выучить. Я многократно уже замечал, что слово "выучивать" мне в таких ситуациях хочется заменить на "выявить" (discover), чтобы уж не совсем впасть в поисковую парадигму с "найти" (а что? машинное выявление или машинный поиск -- это не так уж и плохо. Всё это родственники. Напомню, например, про search-based systems engineering, поиско-ориентированную системную инженерию -- пункт три в http://ailev.livejournal.com/1122876.html). Всё это тонкие разницы терминологии различных школ -- все эти тонкие разницы между "нашёл", "выявил", "вычислил", "выучил".
А ещё в ходе презентации по распознаванию действий на видео мне подумалось, что представления 4D экстенсионализма про действие/activity (что это просто перечисление 4D физических объектов, взаимодействующих друг с другом своими соответствующими темпоральными частями) могли бы тут пригодиться. Вообще, у меня какой-то инстинкт за лингвистикой или визуальной лингвистикой (текстами и картинками и даже видео) усматривать якобы пропущенное концептуальное представление -- выводить распределённые выученные/найденные представления из интуитивных в рационально (формально) осознанные, работать с какими-то "значениями" и даже "смыслами". Но я пока себя сдерживаю, ибо тут нужно разобраться: цивилизация, конечно, прирастает формализмами. Чуйку нужно проверять логикой, ей ведь легко что-то мерещится (хе-хе, помним deep dream с собачьими мордами и пагодами). Рациональные длинные формальные рассуждения, проверяющие нейросетевые интуиции -- это круто, анализ сцен -- это наше всё. Но мышление протекает не в формализмах, а мимо них. Автопилоты начали работать хорошо именно тогда, когда перестали восстанавливать сцену, чтобы по итогам её анализа принимать решения об управлении -- а когда просто на входе нейросетки появилась информация с датчиков, а на выходе -- информация для актуаторов. Нужно понимать, где нужна осознанность и строгость, а где лучше всё делать в нейросетевом беспамятстве, не выходя из управляющего транса. Нужно понимать, очень нужно, но понимания пока нет.
Завтра будет продолжение, будет и трансляция для тех, кто не доберётся -- http://www.skoltech.ru/2016/06/deep-machine-intelligence-v-skoltehe-prodolzhaetsya/
А вот кто добрался: