Теоретические мотивации глубокого обучения

[ushastyi]

Попытался понять, какая теория стоит за deep learning.

Вот статья с громким названием: Theoretical Motivations for Deep Learning. Конспект какой-то обзорной лекции на тему. В ней я нашел ровно три мотивации

Comments

[russhatter]

Вы вот как всегда: всё более менее так, но...
Лучше всё-таки было бы проговаривать основные выводы в общем контексте задач машинного обучения, а вот этот самый Deep Learning засунуть куда поглубже и не ковырять. Уж больно сомнительная это тема, и, скажем так, в максимально сдержанной форме, кое-кто из авторитетов относится к ней крайне раздражённо.

Тем более, ведь сами знаете, что общий контекст машинного обучения занимается реаспознаванием всего на свете, а диплёрнинг - только чего-то там на изображениях, а к другим задачам как его причаливать - дело тёмное. (Да и с пониманием того, как это работает в общем контексте тоже не очень понятно, почему оно работает, но всё равно хоть немножко попонятнее...)

А в целом - ну да, такая есть алтернатива, совершенно вне зависимости от того, как относиться к диплёрнингу.

[ushastyi]

Так в том-то и дело, что я пытаюсь понять, почему сейчас такой шум вокруг именно deep learning (см мой предыдущий пост http://ushastyi.livejournal.com/281410.html)

Диплернинг не только изображениями занимается, но и обработкой естественного языка, например (и по текстам, и по аудио), вон уже переводчики стали делать http://www.iamili.com). Принципы уменьшения размерности и распределенных представлений -- они более-менее универсальны.

Хотя, мне кажется, что так как вокруг этого термина сейчас маркетинговый бум, то диплернингом стали называть даже то, что им не является. Зато звучит.

[russhatter]

Да, нет никаких симптомов считать, что диплёрнинг есть что-то из ряда вон. Методика - и методика. Кухня алхимика - как кухня алхимика. А вот пиар - да, попёр. И... я бы не сказал, что этот запашок мне нравится.

ПС. При этом надо понимать, что аналогия между принципом организации нейронных сетей и работой головного мозга - очень и очень условная. Пиарная, я бы сказал...

[ushastyi]

> При этом надо понимать, что аналогия между принципом организации нейронных сетей и работой головного мозга - очень и очень условная

Ну да, аналогии там почти никакой, но это и не очень важно. Нет задачи построить так же, как в мозгу, есть задача решать те же задачи, что и решает мозг. Вот в HTM аналогия есть, но толку пока нет.

[savinov]

На самом деле только второй пункт важен и действительно все меняет. Первый и третий пункты довольно технические и существуют давно, хотя возможно в контексте второго (собственно глубокое обучение) они могут стать более важными. И с НН глубокое обучение на самом деле связано просто потому, что пока только НН-технологии реально для этого годятся (к сожалению).

[uxus]

Этакий аналог интуиции, от которой требуется не точность, а скорость и глубина. Там же где нужна строгость и точность, останутся более жесткие алгоритмы.

Кажется, пока что всё строгое и точное просто дохнетъ, и скоро останется только вотъ это вотъ.

[ushastyi]

Я бы так не сказал. В строгости и точности компьютеры человека давно обогнали, а сейчас в рамках deep learning как раз замахиваются на некоторые из областей, где человек до сих пор был вне конкуренции. Потенциально автоматизируется большой класс задач, которые можно свести к распознаванию образов (более точно смысл передает слово "структура", пространственная или временная, но в русском языке устоялся термин "образ").

[uxus]

Вы такъ говорите "компьютеры", какъ будто это что-то новое... Въ общемъ, Вашъ отвѣтъ мои опасенiя только подтверждаетъ :(

(Но спасибо за ссылки!)

[ushastyi]

Под "компьютеры" я имею ввиду "реализованные на компьютерах алгоритмы". Это не новое, новое -- практические результаты, достигнутые за последние несколько лет. Причем основной теории уже десятки лет, а новые результаты связаны не с теоретическими прорывами, а с инженерными, удовлетворительного теоретического объяснения которым нет. Впрочем, я как раз этом, кажется, и написал эту запись :)