Академический дыбр
Ориентировочно 4-6 февраля 2016 я в межвузовской инженерной магистратуре Новосибирска (http://rcnso.org/). Это будет уже второй раз, прошлый раз я там был в апреле (http://ailev.livejournal.com/1177535.html, http://ailev.livejournal.com/1177775.html). Основная работа будет с кусочком программы http://ailev.livejournal.com/1232632.html.
В Воронежском университете на втором курсе магистратуры нашлись творческие внуки: мой курс введения в системную инженерию 2012 года там был скопирован практически в ноль, причём с разными ошибками. Неужто было трудно в 2015 году им не старый видеокурс давать и старые слайды, а дать новый учебник? Программа там в мае версталась-утверждалась, а учебник в новой версии вышел у меня в апреле, но даже и старого учебника в первой версии студентам не дали. Я не против, чтобы у меня брали курсы, даже и целиком, и даже не сообщали мне об этом. Но берите свежее, а не повторяйте однажды взятое старьё! Студентов ведь жалко, они в 2015 году получают материал 2012 года, когда я ещё толком не знал, как учить этому сложному материалу. Вот тамошняя программа, там разве что программистскую часть хвостом добавили: https://moodle.vsu.ru/pluginfile.php?file=%2F48524%2Fmod_data%2Fcontent%2F167133%2F09.04.02%20_%D0%94%D0%9E_%D0%911.%D0%91.4_%D0%90%D0%A1%D0%98%D0%A1_25.05.15.pdf
Для оценки state-of-the-art в deep learning можно использовать интервью с победителями конкурсов kaggle. Вот парочка примеров: кто сколько поймёт из там описанного? http://blog.kaggle.com/2015/12/03/dato-winners-interview-1st-place-mad-professors/ и http://blog.kaggle.com/2015/10/30/dato-winners-interview-2nd-place-mortehu/ (их таких много на этой странице: http://blog.kaggle.com/). [Впрочем, как справедливо указал sharpc, там глубокая архитектура используется только в первом примере]
Я же, кажись, нарыл интересненькое: теорию по связи коннекционистского и символического подхода. Там полный букет: лингвистика (но не онтология, похоже), тензорные произведения, когнитивные науки, deep learning и даже теория категорий. Полный букет. Ключевая статья (я её уже указывал пару раз, укажу и в третий) -- http://arxiv.org/abs/1511.06426, подход предложен был в конце 80-х, ключевая статья Paul Smolensky 1990 года в журнале Artificial Intelligence -- http://verbs.colorado.edu/~llbecker/papers/Smolensky-TensorProductVariableBinding.pdf, потом была книжка 2006 года The Harmonic Mind (двухтомничек, с упором на фонологию и теорию оптимизации в грамматиках, вот пример рецензии -- http://roa.rutgers.edu/files/983-0708/983-PATER-0-0.PDF), потом попытки указать на продуктивность подхода в связи чуть ли не с квантовой механикой -- http://www.cl.cam.ac.uk/~sc609/pubs/aaai07.pdf, и вот сейчас пошли выигрышные результаты (с которых я и начал перечислять все эти ссылки). Но в этих результатах практически нет выучивания, просто там reasoning происходит тензорными вычислениями в распределённых представлениях, после парсирования текста в тензорное представление.
Вот тут ещё в этом направлении: http://arxiv.org/find/cs/1/au:+Yih_W/0/1/0/all/0/1 (это команда Майкрософта, работы Wen-tau Yih).
Есть и прямо противоположные ходы: засунуть не слишком традиционную логику в коннективизм -- всяческие connectionists nonclassical logics, connectionist modal logic, Connectionists Temporal Logic of Knowledge. В 2009 году на эту тему вышла книжка Neural-Symbolic Cognitive Reasoning, в которой один из соавторов лично Dov Gabbay -- https://books.google.ru/books?id=M7bYqAPqdyAC&lpg=PP1&vq=%22The%20Harmonic%20Mind%3A%20Cognitive%20architecture%22&pg=PP3#v=onepage&q&f=false
Вот тут ещё интересная ссылка в мою коллекцию про deep learning как инженерию и/или науку: http://mlg.eng.cam.ac.uk/yarin/blog_5058.html (заодно там рядышком показан вариант, как скрещивать байесовскую работу с неопределённостью и традиционные нейронные сети -- на примере анализа dropout, читать это как пререквизит к первой ссылке: http://mlg.eng.cam.ac.uk/yarin/blog_3d801aa532c1ce.html).
А в это время на ontolog forum продолжают обсуждать, нужно ли включать в upper ontology 3D или 4D время, и почему компьютерные системы как-то взаимодействуют несмотря на отсутствие строгой онтологической поддержки. Заводилой там John Sowa, он там оказался самый ярый защитник гибридных подходов, а оппонируют ему все старые знакомые из команды ISO 15926 -- https://groups.google.com/forum/#!topic/ontolog-forum/OHuE0SRj3PM
В Воронежском университете на втором курсе магистратуры нашлись творческие внуки: мой курс введения в системную инженерию 2012 года там был скопирован практически в ноль, причём с разными ошибками. Неужто было трудно в 2015 году им не старый видеокурс давать и старые слайды, а дать новый учебник? Программа там в мае версталась-утверждалась, а учебник в новой версии вышел у меня в апреле, но даже и старого учебника в первой версии студентам не дали. Я не против, чтобы у меня брали курсы, даже и целиком, и даже не сообщали мне об этом. Но берите свежее, а не повторяйте однажды взятое старьё! Студентов ведь жалко, они в 2015 году получают материал 2012 года, когда я ещё толком не знал, как учить этому сложному материалу. Вот тамошняя программа, там разве что программистскую часть хвостом добавили: https://moodle.vsu.ru/pluginfile.php?file=%2F48524%2Fmod_data%2Fcontent%2F167133%2F09.04.02%20_%D0%94%D0%9E_%D0%911.%D0%91.4_%D0%90%D0%A1%D0%98%D0%A1_25.05.15.pdf
Для оценки state-of-the-art в deep learning можно использовать интервью с победителями конкурсов kaggle. Вот парочка примеров: кто сколько поймёт из там описанного? http://blog.kaggle.com/2015/12/03/dato-winners-interview-1st-place-mad-professors/ и http://blog.kaggle.com/2015/10/30/dato-winners-interview-2nd-place-mortehu/ (их таких много на этой странице: http://blog.kaggle.com/). [Впрочем, как справедливо указал sharpc, там глубокая архитектура используется только в первом примере]
Я же, кажись, нарыл интересненькое: теорию по связи коннекционистского и символического подхода. Там полный букет: лингвистика (но не онтология, похоже), тензорные произведения, когнитивные науки, deep learning и даже теория категорий. Полный букет. Ключевая статья (я её уже указывал пару раз, укажу и в третий) -- http://arxiv.org/abs/1511.06426, подход предложен был в конце 80-х, ключевая статья Paul Smolensky 1990 года в журнале Artificial Intelligence -- http://verbs.colorado.edu/~llbecker/papers/Smolensky-TensorProductVariableBinding.pdf, потом была книжка 2006 года The Harmonic Mind (двухтомничек, с упором на фонологию и теорию оптимизации в грамматиках, вот пример рецензии -- http://roa.rutgers.edu/files/983-0708/983-PATER-0-0.PDF), потом попытки указать на продуктивность подхода в связи чуть ли не с квантовой механикой -- http://www.cl.cam.ac.uk/~sc609/pubs/aaai07.pdf, и вот сейчас пошли выигрышные результаты (с которых я и начал перечислять все эти ссылки). Но в этих результатах практически нет выучивания, просто там reasoning происходит тензорными вычислениями в распределённых представлениях, после парсирования текста в тензорное представление.
Вот тут ещё в этом направлении: http://arxiv.org/find/cs/1/au:+Yih_W/0/1/0/all/0/1 (это команда Майкрософта, работы Wen-tau Yih).
Есть и прямо противоположные ходы: засунуть не слишком традиционную логику в коннективизм -- всяческие connectionists nonclassical logics, connectionist modal logic, Connectionists Temporal Logic of Knowledge. В 2009 году на эту тему вышла книжка Neural-Symbolic Cognitive Reasoning, в которой один из соавторов лично Dov Gabbay -- https://books.google.ru/books?id=M7bYqAPqdyAC&lpg=PP1&vq=%22The%20Harmonic%20Mind%3A%20Cognitive%20architecture%22&pg=PP3#v=onepage&q&f=false
Вот тут ещё интересная ссылка в мою коллекцию про deep learning как инженерию и/или науку: http://mlg.eng.cam.ac.uk/yarin/blog_5058.html (заодно там рядышком показан вариант, как скрещивать байесовскую работу с неопределённостью и традиционные нейронные сети -- на примере анализа dropout, читать это как пререквизит к первой ссылке: http://mlg.eng.cam.ac.uk/yarin/blog_3d801aa532c1ce.html).
А в это время на ontolog forum продолжают обсуждать, нужно ли включать в upper ontology 3D или 4D время, и почему компьютерные системы как-то взаимодействуют несмотря на отсутствие строгой онтологической поддержки. Заводилой там John Sowa, он там оказался самый ярый защитник гибридных подходов, а оппонируют ему все старые знакомые из команды ISO 15926 -- https://groups.google.com/forum/#!topic/ontolog-forum/OHuE0SRj3PM