Model compression

[sim0nsays]

Сегодняшний концепт "хозяйке на заметку" называется model compression - http://arxiv.org/pdf/1312.6184.pdfRead more... )

Comments

[old_ufo]

Я бы не назвал это "Model compression", когда количество параметров в учителе 35 тысяч, а в ученике - 54 миллиона. Тогда уж лучше FitNets c Hints training - http://arxiv.org/abs/1412.6550. Там параметров в ученике в разы меньше, как и вычислительная сложность.

Впрочем, с хорошей инициализацией, FitNet ученики могут быть натренированы и без всякого учителя. http://arxiv.org/abs/1511.06422

[sim0nsays]

Ценное замечание, спасибо!

Ну хоть в первом примере получилось что-то улучшить с тем же набором весов. А на изображениях - совсем неудобно :)

То есть, они прежде всего пытались показать, что можно и неглубикими архитектурами чего-то добиваться. Если они гораздо шире, достижение конечно сомнительное.

[balmerdx]

Компьютеры могут видеть сны и на этом самообучаться?

[sim0nsays]

Мне кажется, аналогия "учитель-ученик" больше подходит

[sasha_gil]

А (мне любопытно) вычислительно (суммарное к-во тактов процессора для принятия решения) работа "полной, но мелкой" сети эффективнее, чем "глубокой, но не полной"? Если примерно одинаково, пафоса нет, разве что в нюансах распараллеливания.

[sim0nsays]

Я перечитал и че-то не очень. С учителем получается тренировать похожее по вычислениям лучше, чем раньше, но не лучше.

Зато вот в статье в комментах обратный подход (тренировать с учителем более глубокую сеть), уменьшает вычисления и количество параметров - http://arxiv.org/abs/1412.6550

[sasha_gil]

вопрос слегка в сторону: знакомый ищет data scientist-ов в свою группу ( http://sasha-gil.livejournal.com/85794.html?thread=735010#t735010), у тебя нет знакомых, которым это хоть сколько-нибудь это было бы интересно?

[sim0nsays]

А можно больше подробностей? В какую группу и куда, готовы ли перевозить, итд итп?