lytdybr

[ailev]

Всем читать в нейронетных кулуарах правительства огромную дискуссию по безопасности искусственных интеллектов. Я уж не выдержал, принял активное участие (возможно, вам нужно будет попроситься в группу, чтобы иметь доступ к записи): https://www. ( Read more... )

Comments

[l_i_d_y_a]

Я слушала две лекции Бенжио этим летом на Lisbon Machine Learning School. Он очень хорошо объясняет, и там большая часть была занята именно мотивацией. Про взрыв размерности и почему нам никогда не будет хватать данных, если только мы не измельчим их и не перемешаем при помощи многих уровней.
Но в конце, когда он рассказывал про конкретные приложения - картинки там всякие и т.п., много было впечатляющего - он все время говорил, что надо очень много данных, чтобы это работало. И у меня какой-то когнитивный диссонанс случился, как будто начало концу противоречило. И прямо до сих пор жалею, что не спросила его об этом.

[ailev]

Ха-ха, а когда я говорю, что нужно много данных, говорят я привираю -- см., например, дискуссию к http://lex-kravetski.livejournal.com/528115.html (получается, что Бенжио тоже привирает

[l_i_d_y_a]

Нужно не много данных, а очень много данных. :)

И все равно мне тут видится какой цикл - overfit как раз потому и происходит, что есть dimensionality curse. А если его научились обходить, то откуда опять overfit?

[ailev]

Его не научились обходить! Как я понимаю, его научились игнорировать (говорить, что там ничего страшного нет и это вовсе не проклятие, а так жизнь устроена).

Overfit никуда не девается, все практические работы рассказывают, как с ним борются.

А вообще очень забавно наблюдать, как каждые пару недель делается какая-то атака на основание (например, Бенжио долбит в backpropagation, плюс предлагает заменить умножение битовым сдвигом что приведёт к удешевлению и убыстрению железа в разы и разы). Лента http://vk.com/deeplearning просто поражает плотностью событий в ведущих лабораториях. Но мы ведь понимаем, что огромное число событий сейчас происходит в закрытых от посторонних глаз стартапах! Финансирование-то уже пошло, дальше ждём пару-тройку лет до выхода продуктов.

[avlasov]

с проклятием размерности борются выбором prior'а - Бенджио должен был об этом говорить
грубо говоря, раньше был smooth prior
а сейчас допустим "deep" prior или к примеру sparse

вообще тут ведь важную роль играет выбор алго - за ними стоят разные априорные предположения
можно сказать что борьба с проклятием идет подбором лёрнинговой архитектуры, которая удачно ляжет на ту или иную задачу

ну тут и полезно иметь много разных гибких алго, в том числе конструируемых из отдельных кусочков

[avlasov]

мне кстати именно по этому и думается что deep learning нужно изучать "глубоко" :) - чтобы чуть более осознанно бороться с проклятьем путем тонкого и гибкого конструирования лёрнингового процесса на разных уровнях

[avlasov]

Обычно оно сводится к тому, что ввиду чрезвычайной выразительности нейронной сетки, она на малых данных просто overfit -- и дальше либо нужно реально много данных, либо нужно сознательно привносить в данные шум (dithering), что по факту означает увеличение количества данных.Оно кагбэ несколько не так обстоит дело. Выразительность нейросетки регулируется регуляризацией (конструкцией сетки конечно тоже

[ailev]

Шум и всякая стохастика -- это вообще для меня почти синонимы. А тренд явно на использование стохастики вместо каких-то точных методов (всё движение за biologically plausible deep learning про это).