Делёжка статистической силой, обучение без учителя и вероятностные языки программирования
Когда говорят sharing statistical strength, то имеют ввиду перенос обучения из одной модели на одних задачах в другую модель, которая должна работать с другими задачами. Это словосочетание часто используется в тусовке deep learning. Что-то типа "образования", education (вместо "обучения", training) -- нахождение хороших репрезентаций, пригодных для многих типов задач.
"Statisticians sometimes refer to this phenomenon of inference in hierarchical models as "sharing of statistical strength": it is as if the sample we observe for each bag also provides a weaker indirect sample relevant to the other bags. In machine learning and cognitive science this phenomenon is often called learning to learn or transfer learning. -- http://projects.csail.mit.edu/church/wiki/Hierarchical_Models. Удивительно, но люди в deep learning говорят как статистики, а не как спецы по machine learning или cognitive science -- во всех тьюториалах там именно sharing statistical strength, а не transfer learning или learning to learn. Но пользователи программных пакетов всё чаще изобретают свои собственные имена для этого, с упором не на теорию и результат (знание, статистика), а на метод (т.е. с акцентом именно на "обучение") -- см. дискуссию в http://vk.com/topic-44016343_29508229
Обсуждается это обычно в ситуациях претренинга, все эти unsupervised learning, semi-supervised learning. Но вот определение и объяснение sharing statistical strength находится больше в работах по вероятностным моделям мышления (и связанных с ними работам по вероятностным языкам программирования), а не в работах по deep learning. Глубокосетевики лишь используют это определение, причём у них с этим unsupervising learning больше хотелок и вопросов, чем каких-то результатов (намёк на результаты был лет пять назад и sharing statistical strength до сих пор поминается во всех тьюториалах), но этот намёк так и не был реализован в полной мере). Так что пока никакой делёжки статистической силой не происходит, но идея в массах живёт и ждёт своего часа -- про важность unsupervised learning поминают все, хотя возятся с ним немногие, с supervising learning ведь ещё не наигрались, там результаты проще пока получаются.
В любом случае, это вроде как онтологический язык (поделиться найденной upper ontology -- найденными фичами, которые пригодятся в самых разных ситуациях), а с другой стороны в рамках чисто эпистемологического разговора ("как узнать", про обучение и передачу результатов обучения). Вот этот уход от онтологии (она "какая получилась, такая получилась -- не будем вдаваться в подробности, там просто какие-то коэффициенты, их много, пусть себе живут, фичи есть, работают и нечего на них смотреть") к эпистемологии (как мы получаем эти коэффициенты и что потом с ними делаем -- вот это важно, давайте обсуждать) мне очень симпатичен. Я давно интересовался эпистемологией (http://ailev.livejournal.com/661094.html), потихоньку это начало реализовываться, хотя и немного странно.
Интересно, что обсуждают делёжку статистической силой люди, которых интересуют вероятностные модели мышления -- и далее они идут по линии классического AI и предлагают средства программирования, планирования, вывода: статистические языки программирования, точно так же, как предлагали логические и функциональные языки программирования. Опора на те же онтологии, только вероятностные. Почувствуйте разницу с подходом с опорой на эпистемологию, где интеллект не вероятностно программируется, а вероятностно обучается!
Вот несколько ссылок по теме:
-- иерархические модели в вероятностных моделях мышления: http://projects.csail.mit.edu/church/wiki/Hierarchical_Models (в том числе подробненько про абстракцию как подъем по иерархии, включая вычислительные примеры на Church).
-- книжка по вероятностным моделям мышления ("Probabilistic Models of Cognition" by Noah D. Goodman and Joshua B. Tenenbaum), https://probmods.org/
-- основное гнездо вероятностного программирования: http://probabilistic-programming.org/
-- вероятностный язык программирования Church, http://projects.csail.mit.edu/church/wiki/Church
-- вероятностное программирование (вернее, его пока отсутствие) в Julia -- https://groups.google.com/forum/#!topic/julia-stats/b9koPYTW3os ("A lot of people have worked on ideas for probabilistic programming in Julia, but no one seems to have time to work on it much at the moment" -- главный вывод дискуссии).
-- запрос в Гугле, который выдаёт самые разные тьюториалы по deep learning с shared statistical strength разделом: https://www.google.com/search?&q=%22sharing+statistical+strength%22+deep+learning
Мутно это всё, конечно, но через некотрое время будет важно.
"Statisticians sometimes refer to this phenomenon of inference in hierarchical models as "sharing of statistical strength": it is as if the sample we observe for each bag also provides a weaker indirect sample relevant to the other bags. In machine learning and cognitive science this phenomenon is often called learning to learn or transfer learning. -- http://projects.csail.mit.edu/church/wiki/Hierarchical_Models. Удивительно, но люди в deep learning говорят как статистики, а не как спецы по machine learning или cognitive science -- во всех тьюториалах там именно sharing statistical strength, а не transfer learning или learning to learn. Но пользователи программных пакетов всё чаще изобретают свои собственные имена для этого, с упором не на теорию и результат (знание, статистика), а на метод (т.е. с акцентом именно на "обучение") -- см. дискуссию в http://vk.com/topic-44016343_29508229
Обсуждается это обычно в ситуациях претренинга, все эти unsupervised learning, semi-supervised learning. Но вот определение и объяснение sharing statistical strength находится больше в работах по вероятностным моделям мышления (и связанных с ними работам по вероятностным языкам программирования), а не в работах по deep learning. Глубокосетевики лишь используют это определение, причём у них с этим unsupervising learning больше хотелок и вопросов, чем каких-то результатов (намёк на результаты был лет пять назад и sharing statistical strength до сих пор поминается во всех тьюториалах), но этот намёк так и не был реализован в полной мере). Так что пока никакой делёжки статистической силой не происходит, но идея в массах живёт и ждёт своего часа -- про важность unsupervised learning поминают все, хотя возятся с ним немногие, с supervising learning ведь ещё не наигрались, там результаты проще пока получаются.
В любом случае, это вроде как онтологический язык (поделиться найденной upper ontology -- найденными фичами, которые пригодятся в самых разных ситуациях), а с другой стороны в рамках чисто эпистемологического разговора ("как узнать", про обучение и передачу результатов обучения). Вот этот уход от онтологии (она "какая получилась, такая получилась -- не будем вдаваться в подробности, там просто какие-то коэффициенты, их много, пусть себе живут, фичи есть, работают и нечего на них смотреть") к эпистемологии (как мы получаем эти коэффициенты и что потом с ними делаем -- вот это важно, давайте обсуждать) мне очень симпатичен. Я давно интересовался эпистемологией (http://ailev.livejournal.com/661094.html), потихоньку это начало реализовываться, хотя и немного странно.
Интересно, что обсуждают делёжку статистической силой люди, которых интересуют вероятностные модели мышления -- и далее они идут по линии классического AI и предлагают средства программирования, планирования, вывода: статистические языки программирования, точно так же, как предлагали логические и функциональные языки программирования. Опора на те же онтологии, только вероятностные. Почувствуйте разницу с подходом с опорой на эпистемологию, где интеллект не вероятностно программируется, а вероятностно обучается!
Вот несколько ссылок по теме:
-- иерархические модели в вероятностных моделях мышления: http://projects.csail.mit.edu/church/wiki/Hierarchical_Models (в том числе подробненько про абстракцию как подъем по иерархии, включая вычислительные примеры на Church).
-- книжка по вероятностным моделям мышления ("Probabilistic Models of Cognition" by Noah D. Goodman and Joshua B. Tenenbaum), https://probmods.org/
-- основное гнездо вероятностного программирования: http://probabilistic-programming.org/
-- вероятностный язык программирования Church, http://projects.csail.mit.edu/church/wiki/Church
-- вероятностное программирование (вернее, его пока отсутствие) в Julia -- https://groups.google.com/forum/#!topic/julia-stats/b9koPYTW3os ("A lot of people have worked on ideas for probabilistic programming in Julia, but no one seems to have time to work on it much at the moment" -- главный вывод дискуссии).
-- запрос в Гугле, который выдаёт самые разные тьюториалы по deep learning с shared statistical strength разделом: https://www.google.com/search?&q=%22sharing+statistical+strength%22+deep+learning
Мутно это всё, конечно, но через некотрое время будет важно.