Нейронные сети в отечественной науке

[ushastyi]

В процессе прохождения онлайн-курса по нейронным сетям посмотрел немного по сторонам и был немало удивлен, что в отечественной науке были и есть даже целые две научные школы (московская и красноярская) с сильными результатами, полученными примерно одновременно с американцами, но имеющими более твердый теоретический фундамент. Когда я интересовался

Comments

[imageman72]

Прикольно. Мне, конечно, тоже хотелось бы разобраться хоть с малой частью современных нейросетей, но, видимо, в этой жизни мне это не суждено.

[ushastyi]

Мне вот тоже захотелось получше разобраться и пощупать эту тему, поэтому я перед НГ записался на курс https://www.coursera.org/learn/neural-networks

Толково построен, там немного математики (но нужно хотя бы помнить и понимать, что такое линейные и нелинейные функции, дифференцируемость, частные производные), упор делается на объяснение и понимание принципов. Небольшие задания на Octave позволяют и заставляют поиграться с моделями вживую, что закрепляет материал.

[lzh]

Была ещё киевская школа, занимавшаяся специальным видом нейросетей; они скрывались под названием «метод группового учёта аргументов» (group method of data handling). Не знаю, выжили ли они на пост-советском пространстве, но в диаспоре есть и сейчас на Западе умеренно заметны.

[ushastyi]

http://www.machinelearning.ru/wiki/index.php?title=Метод_группового_учета_аргументов

Насколько я понимаю, это не специальный вид нейросетей, а специальный вид построения регрессионных моделей, альтернативный нейросетям. В частности, в отличие от нейросетей, структура/сложность модели там не задается, а вычисляется в процессе обучения (для нейросетей тоже есть подходы обучения с гибкой структурой, но базовый сценарий предполагает заданную структуру -- количество слоев и нейронов в ней). Достаточно интересно, и, похоже, что как минимум лет 10-15 после развала СССР направление выживало. Осталось ли что-то после смерти Ивахненко трудно сказать. У нас-то количество студентов-аспирантов, которые занимаются вычислительной математикой (именно математикой, а не программированием) сократилось на порядок, там, наверное, не лучше.

[russhatter]

1. Спасибо!
2. Ну вот умеете Вы завернуть в конфетку очень неприятные по сути вещи. Я про эту формулировку. Слишком красивую, чтобы быть полной правдой.
Эти вопросы жизненно важны для задач управления, но не столь существенны для распознавания изображений, речи или предсказательных систем -- типичных примеров применения нейронных сетей сегодня.

[ushastyi]

А что именно неприятного?

Вот смотрю я классическую статью "Learning Internal Representations By Back Propagating Errors" -- там только сам алгоритм и сопуствующая ему математика, а о свойствах, сходимости и т.п. -- общие слова. Я как-то искал общие результаты по аппроксимации нейронными сетями ( тут) -- тоже только отечественная школа.

У меня такое чувство, что это некоторая часть математической культуры. Вычислительная математика как наука у нас традиционно была сильнее из-за более слабой электронной базы. Грубо говоря, там где американцы могли просто увеличить вычислительную мощность, нам приходилось модифицировать алгоритм или доказывать о нем какие-то полезные свойства. Я с этим сталкивался и в проектах ВЦ РАН.

[russhatter]

Ну как

[ushastyi]

А вот Вы о чем. Что я слишком мягко это обрисовал :)

Думаю все же, что такая ситуация не везде. Например, в динамическом программировании -- тоже очень себе вычислительная математика -- там у Беллмана теории и математики выше крыши. Но это 50-60е. Возможно, потом культура работы с вычислительными моделями стала падать.

А про порочный круг верное замечание. Я помню, Вы об этом и раньше писали. Не знаю, стоит ли об этом так переживать, или принять это положение вещей. Вон, например, японцы -- они сами ничего не придумывают в плане нового (это сильное утверждение, но как тренд), но какие они инженеры, не в последнюю очередь из-за дотошности и внимания к деталям!