Нейронные сети нейронных сетей
Наш мозг получает входящие данные от внешнего мира, его нейроны что-то делают для этого ввода и создают выход. Это может быть мысль; это может быть действие; это может быть изменение настроения.
Это «что-то» является преобразованием какой-то формы ввода в какую-то форму вывода. И в таком контексте, представляя мозг как устройство которое преобразует входные данные в выходы, компьютер выглядит неплохой аналогией.
Но мозг не компьютер.
Каждый нейрон - компьютер.
Ваша кора содержит 17 миллиардов компьютеров.
Это картина пирамидальной клетки, нейрона, которые составляют большую часть вашей коры головного мозга. Капля в центре - тело нейрона; разветвление "проводов" сверху и снизу - это дендриты, которые собирают входы от других нейронов. Когда мы говорим о том, как работают нейроны, мы обычно получаем идею суммирования-ввода-и-всплеска. В этой идее дендриты - всего лишь устройство для сбора входных данных. Активация каждого входа приводит к небольшому изменению напряжения нейрона.
Модель суммирования и всплеска нейронов. Если одновременно поступает достаточно входов - достаточно для того, что бы пересечь порог (серый круг) - нейрон выплевывает шип.
Это удобная ментальная модель для представления о нейронах. Она формирует основу для всех искусственных нейронных сетей.
Но это не правильно.
Дендриты - это не просто кусочки проволоки: у них также есть свой аппарат для изготовления шипов. Если в одном и том же маленьком разряде дендрита активируется достаточно входов, сумма этих одновременных входов будет больше, чем сумма каждого входного сигнала, действующего в одиночку:
Две цветных капли - два входа на один бит дендрита. Когда они активируются сами по себе, каждый из них создает показанные ответы, где серая стрелка указывает на активацию этого входа (ответ здесь означает «изменение напряжения»). При совместной активации ответ значительно больше (сплошная линия), чем сумма отдельных ответов (пунктирная линия).
Связь между количеством активных входов и размером ответа в немного дендрита выглядит так:
Размер ответа в одной ветви дендрита. Локальный «шип» - это переход от ультра слабого ответа к достаточно сильному.
Дендриты пирамидального нейрона могут создавать «шипы»!
Поскольку дендриты пирамидального нейрона содержат много отдельных ветвей, где каждая ветвь может подытоживать и выплескивать. Это означает, что каждая ветвь дендрита действует как небольшое нелинейное устройство вывода, суммируя и выдавая локальный шип, если эта ветвь получает достаточно входов примерно в одно и то же время:
Дежавю. Этот график мы уже видели выше.
Подождите.
Разве это не наша модель нейрона?
Теперь, если мы заменим каждую маленькую ветвь дендрита одним из наших маленьких «нейронных» устройств, тогда пирамидальный нейрон должен выглядеть примерно так:
Выглядит знакомо?
Да, каждый пирамидальный нейрон является двухслойной нейронной сетью.
Следствие этих локальных шипов заключается в том, что каждый нейрон является компьютером. Сам по себе нейрон может вычислить огромный диапазон так называемых нелинейных функций. Функции, которые нейроны просто подытоживают и выплескивают, никогда не могут вычислять.
Один нейрон может вычислить удивительный набор функций, даже если он не создает локальный дендритный шип. Поскольку дендриты, не являются линейными: в их нормальном состоянии, они фактически суммируют входные данные на сумму, меньшую, чем их отдельные значения.
Они сублинейны.
Для них 2 + 2 = 3 или 5.
Наличие множества дендритных ветвей с сублинейным суммированием позволяет нейрону действовать как двухслойная нейронная сеть. И почти каждый нейрон в мозге имеет дендриты. Таким образом, почти все нейроны могли бы в принципе быть двухслойной нейронной сетью. Все 17 миллиардов в вашей коре и возможно, все 86 миллиардов в вашем мозгу.
Сети часто анализируются в терминах групп узлов, которые связаны друг с другом так называемыми кликами. Число нейронов в клике определяет его размер или более формально - его размерность.
Локальный шип является нелинейным событием: он больше, чем сумма его входов.
В принципе тело нейрона не может обнаружить ничего, что не является местным шипом. Это означает, что нейрон игнорирует большинство своих отдельных входов. Нейрон реагирует только тогда, когда одновременно активны множество входов во времени и в пространстве, на одном и том же дендрите.
Нейроны в зрительной коре реагируют только на вещи в определенном положении в этом мире - один нейрон может реагировать на вещи в левом верхнем углу вашего зрения; другой - на вещи в правом нижнем углу. Хотя шипы возникают только в ответ на объекты, появляющиеся в одном конкретном положении, дендриты реагируют на множество других позиций, часто далеких от кажущейся предпочтительной позиции нейрона.
Таким образом, нейроны реагируют только на небольшую часть информации, которую они получают, а остальное остаеться спрятанным в их дендритах.
Почему все это имеет значение?
- Это означает, что каждый нейрон может радикально изменить свою функцию путем изменения всего лишь нескольких его входов.
- Это означает, что мозг может выполнять множество вычислений, не рассматривая каждый нейрон как машину для суммирования входов и выплевывания всплеска.
- Это означает, что ваша кора не является нейронной сетью. Ваша кора представляет собой нейронную сеть нейронных сетей.
/Источник/
Картинка кликабельна