Когнитивные архитектуры: два прорыва в неделю продолжаются
Вот это всё, как мы любим: иерархические the top-down memory (для priors!) and bottom-up perception (со сжатием информации воспринимаемого!) are combined to produce the code representing an observation -- https://arxiv.org/abs/1804.01756, "The Kanerva Machine: A Generative Distributed Memory" от DeepMind. Увы, это больше к учебным алгоритмам, меньше к когнитивным архитектурам -- но всё точнее и точнее понимается, чему учим и что от этого обучения хотим. Меняется язык, на котором говорим об обучении, добавляем порождение как необходимое свойство.
Сжатие (я писал о нём в "жми, господь!" https://ailev.livejournal.com/1414038.html) учтено. Ещё нужно внимание, конечно. Если уж у нас появилась память, то нужно иметь к ней и деконцентрированное внимание (искать фигуру на фоне -- внимание к фону в поиске важного) и концентрирование (работать с важным, игнорируя всё неважное).
И нужно ещё понять, как туда добавлять символьные вычисления и разные другие варианты вычислений. Полусвежий (ноябрь 2017 года) обзор по нейро-символическому обучению и выводу был, например, тут -- https://arxiv.org/abs/1711.03902. Но там всё как-то плохо, прорывов особых нет.
Мой подход к когнитивным архитектурам по-прежнему остаётся тут: https://ailev.livejournal.com/1322862.html (а их место в интеллект-стеке обсуждается в "болванах для искусственного интеллекта": http://ailev.livejournal.com/1356016.html
И нужно ещё понять, как устроены симуляции мира на множестве имитационных моделей. "Воображение", как это сегодня называют всё чаще, т.е. мультимасштабное и мультифизическое (мультимодельное) моделирование возможных миров, требует исключительного разнообразия в вычислительных ресурсах, самых разных ускорителей. Я об этом говорил, когда писал про NVIDIA-инфраструктуру вычислений, не слишком зацикливающуюся именно на deep learning моделях, хотя и предусматривающую их: https://ailev.livejournal.com/1416697.html
Когнитивные архитектуры -- это будет место самой большой конкуренции среди поставщиков инфраструктуры искусственного интеллекта. Ибо все учебные алгоритмы это уже коммодити, а предметные узкие приложения -- они именно что узкие. Тот, кто предложит более-менее универсальную когнитивную архитектуру, тот и будет править бал. Счастье только в том, что править бал ему дадут недолго. Конкуренция, прогресс, развитие, когнитивные архитектуры, которые изобретают свои более продвинутые версии в ходе когнитивной эволюции (это системным уровнем выше, так что это не "нейроэволюция").
Я не уверен даже, что слово "когнитивный" и слово "архитектура" тут выживут. Так, я писал в интеллект-стеке "драйвер", а это стало называться "компилятор". Но мы ж тут не про названия, мы тут про суть дела.
Какое чудесное время! Всё, что вы выучили в школе, в вузе, на производстве и даже поняли в лаборатории, нужно теперь забыть. Приходит молодая (человеческая или кремниевая тут уже неважно, они сливаются быстро) шпана, которая сотрёт все наши придумки -- теории, расхожие архитектуры инженерных решения -- с лица земли. Всё быстро.
Сжатие (я писал о нём в "жми, господь!" https://ailev.livejournal.com/1414038.html) учтено. Ещё нужно внимание, конечно. Если уж у нас появилась память, то нужно иметь к ней и деконцентрированное внимание (искать фигуру на фоне -- внимание к фону в поиске важного) и концентрирование (работать с важным, игнорируя всё неважное).
И нужно ещё понять, как туда добавлять символьные вычисления и разные другие варианты вычислений. Полусвежий (ноябрь 2017 года) обзор по нейро-символическому обучению и выводу был, например, тут -- https://arxiv.org/abs/1711.03902. Но там всё как-то плохо, прорывов особых нет.
Мой подход к когнитивным архитектурам по-прежнему остаётся тут: https://ailev.livejournal.com/1322862.html (а их место в интеллект-стеке обсуждается в "болванах для искусственного интеллекта": http://ailev.livejournal.com/1356016.html
И нужно ещё понять, как устроены симуляции мира на множестве имитационных моделей. "Воображение", как это сегодня называют всё чаще, т.е. мультимасштабное и мультифизическое (мультимодельное) моделирование возможных миров, требует исключительного разнообразия в вычислительных ресурсах, самых разных ускорителей. Я об этом говорил, когда писал про NVIDIA-инфраструктуру вычислений, не слишком зацикливающуюся именно на deep learning моделях, хотя и предусматривающую их: https://ailev.livejournal.com/1416697.html
Когнитивные архитектуры -- это будет место самой большой конкуренции среди поставщиков инфраструктуры искусственного интеллекта. Ибо все учебные алгоритмы это уже коммодити, а предметные узкие приложения -- они именно что узкие. Тот, кто предложит более-менее универсальную когнитивную архитектуру, тот и будет править бал. Счастье только в том, что править бал ему дадут недолго. Конкуренция, прогресс, развитие, когнитивные архитектуры, которые изобретают свои более продвинутые версии в ходе когнитивной эволюции (это системным уровнем выше, так что это не "нейроэволюция").
Я не уверен даже, что слово "когнитивный" и слово "архитектура" тут выживут. Так, я писал в интеллект-стеке "драйвер", а это стало называться "компилятор". Но мы ж тут не про названия, мы тут про суть дела.
Какое чудесное время! Всё, что вы выучили в школе, в вузе, на производстве и даже поняли в лаборатории, нужно теперь забыть. Приходит молодая (человеческая или кремниевая тут уже неважно, они сливаются быстро) шпана, которая сотрёт все наши придумки -- теории, расхожие архитектуры инженерных решения -- с лица земли. Всё быстро.