Когнитивная архитектура: что там должно быть
В связи с коротким постом Павла Лукши, который вспомнил про синестезии и внимание в мышлении и получил за эти несколько фраз сто двадцать лайков за сутки (https://www.facebook.com/luksha/posts/10153969561096784): Наконец собралась простая и ясная модель, в которой связаны между собой разные типы мышления, ресурсные состояния, работа с вниманием. Что такое системное, логическое и прочие мышления. Какие мышления не видит почти никто (а они есть). Стало ясно, в чем прав и где ошибается Гартнер, и почему надо менять олимпиады всех видов на анти-олимпиады. Теперь это все надо зафиксировать - и со следующего года переводить в эксперимент
Один из ключей к пониманию - явление синестезии. Модель Бейтсона. Модель Бахтиярова. Фигура и фон. Embodiment.
Ну, я тоже приведу свою "наконец, собравшуюся простую и ясную модель", в которой я сейчас работаю с мышлением. Я по традиции обсуждаю её, как когнитивную архитектуру (https://en.wikipedia.org/wiki/Cognitive_architecture).
Сначала приведу её в той же краткой телеграфной форме, но поскольку она на другом уровне абстрагирования, то результат не такой попсовый, как у Лукши. Итак, в когнитивной архитектуре должны быть:
-- алгебраическая машинка, работающая с онтологиями
-- геометрическая машинка, работа с пространством.
-- геометрическая и алгебраическая память и внимание к ней. В памяти priors, а машинки над памятью (памятями -- никто не сказал, что их одна) работают с актуальными для ситуации вероятностями. Логика там вероятностная, по линии "рациональное мышление и его логические основания", http://ailev.livejournal.com/1311261.html
-- все каналы восприятия синестетически ведут в одну и ту же алгебраико-геометрическую машинку, а сознание -- это отражение в модальности каналов восприятия того, на что направлено внимание. Все психопрактики бьют в эту точку, это управление вниманием и есть связь психопрактик с мышлением.
-- не факт, что машинок одна, их несколько, и они соперничают (это другой режим, нежели ансамбль!), generative adversarial architecture. Тут ещё спрятан конструктивизм: что понял, то могу представить, т.е. сконструировать реальность -- в GAN ведь есть генератор!
-- и вся эта конструкция бежит за морковкой, т.е. работает многоуровневое обучение -- с внешним подкреплением (учителем), без внешнего подкрепления (usupervised learning). Это всё reinforcement learning.
Эта модель может использоваться на нескольких уровнях:
-- компьютерные когнитивные архитектуры, сейчас тут очередное денежное лето и опасение очередной зимы и замораживания инвестиций в эти исследования.
-- психика в обсуждении того, как человек мыслит и как ему в этом помогать (собственно, Лукша писал про это)
-- организованная команда из людей и машин (предпринятие), там работают все те же рассуждения: примером служит обсуждение reinforcement learning по отношению к организации: "бихевиоризм, корпоративные KPI и искусственный интеллект", http://ailev.livejournal.com/1322278.html. Я тут не хотел бы писать про уровень общества в целом, но там тоже вполне может что-то подобное происходить.
А теперь несколько ссылок в пояснение сказанного, ибо на эту тему я уже неоднократно писал -- но мало ведь кто читает мои тексты!
Вот из "Увидеть невидимое: использовать модель, отождествить реальность с моделью", 2010, http://ailev.livejournal.com/875401.html: 7. Если переходить к более абстрактным сферам, то мы упремся в традиционное различение геометрической и алгебраической традиций (http://www.mccme.ru/free-books/matpros/i8005024.pdf.zip) -- с полным пониманием, что обе они важны, как интуитивно-зрительно представляемое пространство и процедурно представляемое время. Это же подтверждается бахтияровскими деконцентрацией -- видео-геометрической и аудио-временнОй-алгебраической, а также мартыновскими аудио-джазом и видео-композиторским подходом к музыке (см. ссылки в http://ailev.livejournal.com/517723.html, где я что-то говорю на эту тему). Тут нужно отдельно заметить про нэлперскую модель "мелодической памяти": у тех людей хорошая мелодическая память, которые представляют себе что-то типа звуковысотного графика мелодии -- то есть важна синестезия. Как развивать синестезию, как "видеть горячее" и "слышать синее" -- это отдельный разговор. Более того, пример с "очередями" и "потоком" показывает, что все эти рассуждения про аудио-видео-алгебру-геометрию-пространство-время могут быть нерелевантными (т.е. неконструктивными, а просто "иллюстративными"), но мне почему-то они представляются интересными. Возможно, что эти рассуждения имеют отношение к моделированию, а не к "спонтанному отождествлению модели и реальности".
Про мультимодальную семантику (и поминается книжка Geometry meaning), "Коннективистская весна онтологической инженерии", август 2016: http://ailev.livejournal.com/1283541.html исследования по линии коннекционистских словарей-тезаурусов-онтологий интенсифицируются на глазах:
-- сначала они занимаются значениями отдельных слов в "векторных пространствах" aka semantic space, conceptual space и прочими вариантами "геометрий значений" -- даже книжка есть такая, https://mitpress.mit.edu/books/geometry-meaning [есть в bookzz.org],
-- потом приходят к выводу, что нужно заниматься значениями как таковыми (которые привязываются иногда к словам, иногда к частям слов, иногда к словосочетаниям, и дальше по идее distributional semantics -- фразам, предложениям, документам),
-- потом (сильно потом!) начинает появляться идея о моделировании отношений (это они и называют онтологиями -- но ведь это только "как говорят о мире"),
-- и только потом-потом идея сначала о мультимодальной (аудио, видео, тексты) семантике -- http://acl2016.org/index.php?article_id=59,
-- и только совсем потом о grounding -- привязывания этого всего "лингвистического "как говорят о мире" к реалиям окружающего мира, то есть появляется классическая онтология по линии ответа на вопрос "что есть в мире" (а не "что говорят о том, что есть в мире", отвязка от лингвистики).
Отсюда выходим на обсуждение нотаций как связи между символьными локальными представлениями и какими-то геометрическими представлениями, например визуальная поддержка математической работы http://arxiv.org/abs/1608.03026 и http://arxiv.org/abs/1608.06349 (в этих ссылках большая библиография, они из "непопсовой ленты о будущем", август 2016, http://ailev.livejournal.com/1285862.html), нотации перформанса (май 2003), http://ailev.livejournal.com/76767.html, выразительность и теория категорий в мае 2010 http://ailev.livejournal.com/831024.html, ругань по поводу скрайбинга (об визуальное мышление, март 2013), диаграммы как средство выражения топологии предметной области, март 2013, http://ailev.livejournal.com/1069810.html и много чего другого на тему нотационной инженерии, например в заметках по поводу нотационной инженерии Jeffrey Long я писал в январе 2008, http://ailev.livejournal.com/548756.html: я понял, как правильно говорить про нотации -- показывая неразрывность нотаций и онтологий. Арабская нотация цифр отличалась от римской именно онтологически -- обозначением цифры "ноль", а не только более коротким изображением цифр. Каждая новая оригинальная нотация -- это выражение новой онтологии, в чем и фишка.
Тем самым для нотаций возникает два уровня рассмотрения, каждый из которых важен:
-- онтологический (что именно записываем -- какие именно universals и particulars)
-- выражения (графика, символы).
Можно добавить ещё одну книжку из той же серии связи жизненного, модельного геометрического и символического как классов в геометрическом пространстве -- это The Geometry of Musical Rhythm от Godfried T.Toussaint [есть в bookz.org], где обсуждаются в "геометрической нотации" (если так можно выразиться) различные африканские ритмы.
Вот эта связь символического-алгебраического и геометрического-распределённого (визуально трёхмерного, но в мозгах это вполне может быть и многомерным, почему бы и нет?), выражаемая в диаграммных нотациях, схемах -- она крайне интересна. Каким-то образом у человека символьный мир переходит в многомерное геометрическое представление, и хочется как-то уметь извлечь явно схему такого мышления-в-геометрии и изобразить её в упрощённом двумерном или трёхмерном варианте какой-то нотации, чтобы использовать мощь embodient intelligence (несмотря на все проблемы с этой гипотезой -- http://www.sciencedirect.com/science/article/pii/S0928425708000193, A critical look at the embodied cognition hypothesis and a new proposal for grounding conceptual content). Напомню, гипотеза embodient intelligence о том, что все мыслительные процессы в конечном итоге сводятся к квазимоторным -- "мысленными руками" оперируется "мысленными предметами", это примерно такое же мышление, как у обезьяны, стремящейся достать с дерева банан, только дерево и банан абстрактны, да и тело тоже обезьяны абстрактно -- но принцип обработки тот же. Вот эта гипотеза не подтверждается многочисленными экспериментами, ибо абстрактное мышление оказывается не таким конкретным, как в этом примитивном представлении -- механизм мышления более сложен, кроме геометрической компоненты в мышлении явно есть и алгебраическая часть.
И, конечно, есть самые разные отображения одного на другое -- многоуровневые переходы от нотации к нотации, описания описаний. Внимание, как указывающее на место в описаниях. Внимание к схеме того, что дано геометрически, распределённо, невыразимо символьно -- один механизм появления сознания (attention schema theory, http://ailev.livejournal.com/1193568.html), далее учёт необходимости многих уровней абстракции http://ailev.livejournal.com/1274014.html, онтологий как байесовских priors для ориентации в текущих ситуациях, и отсюда бибинарная (культурное-дичок, дискретное алгебраическое-геометрическое непрерывное) модель мышления в её связи с онтологиями, мой "программный пост" 2016 года -- http://ailev.livejournal.com/1305176.html.
А вот в самом конце 2016 года я бы добавил в эту когнитивную архитектуру мышления ещё пару штрихов, уже совсем очевидных в deep learning, и имеющих богатую традицию в культуре:
-- мышление требует оппозиции, спарринг-партнёра, преодоления противоречия в диалоге. В deep learning речь идёт об generative adversarial архитектурах, способных не только к распознаванию, но и к синтезу. В мышлении же можно привести пример "трёхслойки", где есть слой коммуникации, и схема мышления рассказывается не на примере одного человека, а обязательно учитывает взаимодействие с другими (а хоть и с собой: разговор с собой ведь не запрещён!). Ещё напомню ответ мне Дж.Гриндера: когда я его спросил, как он относится к всем этим "недуальным сознаниям" как цели, он ответил, что это бесплодный путь: нет никакого взаимодействия, нет изменений, всё умерло. А для жизни нужно чтобы что-то с чем-то взаимодействовало, к чему-то пристраивалось, что-то преодолевало -- к мысли всегда должна быть оппозиция, чтобы она была живой. Когнитивная архитектура должна быть с чем-то adversarial.
-- чтобы всегда было, куда двигаться, нужно учитывать бихевиоризм в его современном варианте. Обучение -- это выработка условных рефлексов, причём многоуровневая, причём и в unsupervised (впрок! из любопытства!) режиме: https://arxiv.org/abs/1611.05397, Reinforcement Learning with Unsupervised Auxiliary Tasks.
-- внимание по факту может носить и характер аннотирования, так сказать, наложение виртуальной реальности, augmented reality ведь может по факту выполнять функцию внимания! -- http://ailev.livejournal.com/875198.html
Один из ключей к пониманию - явление синестезии. Модель Бейтсона. Модель Бахтиярова. Фигура и фон. Embodiment.
Ну, я тоже приведу свою "наконец, собравшуюся простую и ясную модель", в которой я сейчас работаю с мышлением. Я по традиции обсуждаю её, как когнитивную архитектуру (https://en.wikipedia.org/wiki/Cognitive_architecture).
Сначала приведу её в той же краткой телеграфной форме, но поскольку она на другом уровне абстрагирования, то результат не такой попсовый, как у Лукши. Итак, в когнитивной архитектуре должны быть:
-- алгебраическая машинка, работающая с онтологиями
-- геометрическая машинка, работа с пространством.
-- геометрическая и алгебраическая память и внимание к ней. В памяти priors, а машинки над памятью (памятями -- никто не сказал, что их одна) работают с актуальными для ситуации вероятностями. Логика там вероятностная, по линии "рациональное мышление и его логические основания", http://ailev.livejournal.com/1311261.html
-- все каналы восприятия синестетически ведут в одну и ту же алгебраико-геометрическую машинку, а сознание -- это отражение в модальности каналов восприятия того, на что направлено внимание. Все психопрактики бьют в эту точку, это управление вниманием и есть связь психопрактик с мышлением.
-- не факт, что машинок одна, их несколько, и они соперничают (это другой режим, нежели ансамбль!), generative adversarial architecture. Тут ещё спрятан конструктивизм: что понял, то могу представить, т.е. сконструировать реальность -- в GAN ведь есть генератор!
-- и вся эта конструкция бежит за морковкой, т.е. работает многоуровневое обучение -- с внешним подкреплением (учителем), без внешнего подкрепления (usupervised learning). Это всё reinforcement learning.
Эта модель может использоваться на нескольких уровнях:
-- компьютерные когнитивные архитектуры, сейчас тут очередное денежное лето и опасение очередной зимы и замораживания инвестиций в эти исследования.
-- психика в обсуждении того, как человек мыслит и как ему в этом помогать (собственно, Лукша писал про это)
-- организованная команда из людей и машин (предпринятие), там работают все те же рассуждения: примером служит обсуждение reinforcement learning по отношению к организации: "бихевиоризм, корпоративные KPI и искусственный интеллект", http://ailev.livejournal.com/1322278.html. Я тут не хотел бы писать про уровень общества в целом, но там тоже вполне может что-то подобное происходить.
А теперь несколько ссылок в пояснение сказанного, ибо на эту тему я уже неоднократно писал -- но мало ведь кто читает мои тексты!
Вот из "Увидеть невидимое: использовать модель, отождествить реальность с моделью", 2010, http://ailev.livejournal.com/875401.html: 7. Если переходить к более абстрактным сферам, то мы упремся в традиционное различение геометрической и алгебраической традиций (http://www.mccme.ru/free-books/matpros/i8005024.pdf.zip) -- с полным пониманием, что обе они важны, как интуитивно-зрительно представляемое пространство и процедурно представляемое время. Это же подтверждается бахтияровскими деконцентрацией -- видео-геометрической и аудио-временнОй-алгебраической, а также мартыновскими аудио-джазом и видео-композиторским подходом к музыке (см. ссылки в http://ailev.livejournal.com/517723.html, где я что-то говорю на эту тему). Тут нужно отдельно заметить про нэлперскую модель "мелодической памяти": у тех людей хорошая мелодическая память, которые представляют себе что-то типа звуковысотного графика мелодии -- то есть важна синестезия. Как развивать синестезию, как "видеть горячее" и "слышать синее" -- это отдельный разговор. Более того, пример с "очередями" и "потоком" показывает, что все эти рассуждения про аудио-видео-алгебру-геометрию-пространство-время могут быть нерелевантными (т.е. неконструктивными, а просто "иллюстративными"), но мне почему-то они представляются интересными. Возможно, что эти рассуждения имеют отношение к моделированию, а не к "спонтанному отождествлению модели и реальности".
Про мультимодальную семантику (и поминается книжка Geometry meaning), "Коннективистская весна онтологической инженерии", август 2016: http://ailev.livejournal.com/1283541.html исследования по линии коннекционистских словарей-тезаурусов-онтологий интенсифицируются на глазах:
-- сначала они занимаются значениями отдельных слов в "векторных пространствах" aka semantic space, conceptual space и прочими вариантами "геометрий значений" -- даже книжка есть такая, https://mitpress.mit.edu/books/geometry-meaning [есть в bookzz.org],
-- потом приходят к выводу, что нужно заниматься значениями как таковыми (которые привязываются иногда к словам, иногда к частям слов, иногда к словосочетаниям, и дальше по идее distributional semantics -- фразам, предложениям, документам),
-- потом (сильно потом!) начинает появляться идея о моделировании отношений (это они и называют онтологиями -- но ведь это только "как говорят о мире"),
-- и только потом-потом идея сначала о мультимодальной (аудио, видео, тексты) семантике -- http://acl2016.org/index.php?article_id=59,
-- и только совсем потом о grounding -- привязывания этого всего "лингвистического "как говорят о мире" к реалиям окружающего мира, то есть появляется классическая онтология по линии ответа на вопрос "что есть в мире" (а не "что говорят о том, что есть в мире", отвязка от лингвистики).
Отсюда выходим на обсуждение нотаций как связи между символьными локальными представлениями и какими-то геометрическими представлениями, например визуальная поддержка математической работы http://arxiv.org/abs/1608.03026 и http://arxiv.org/abs/1608.06349 (в этих ссылках большая библиография, они из "непопсовой ленты о будущем", август 2016, http://ailev.livejournal.com/1285862.html), нотации перформанса (май 2003), http://ailev.livejournal.com/76767.html, выразительность и теория категорий в мае 2010 http://ailev.livejournal.com/831024.html, ругань по поводу скрайбинга (об визуальное мышление, март 2013), диаграммы как средство выражения топологии предметной области, март 2013, http://ailev.livejournal.com/1069810.html и много чего другого на тему нотационной инженерии, например в заметках по поводу нотационной инженерии Jeffrey Long я писал в январе 2008, http://ailev.livejournal.com/548756.html: я понял, как правильно говорить про нотации -- показывая неразрывность нотаций и онтологий. Арабская нотация цифр отличалась от римской именно онтологически -- обозначением цифры "ноль", а не только более коротким изображением цифр. Каждая новая оригинальная нотация -- это выражение новой онтологии, в чем и фишка.
Тем самым для нотаций возникает два уровня рассмотрения, каждый из которых важен:
-- онтологический (что именно записываем -- какие именно universals и particulars)
-- выражения (графика, символы).
Можно добавить ещё одну книжку из той же серии связи жизненного, модельного геометрического и символического как классов в геометрическом пространстве -- это The Geometry of Musical Rhythm от Godfried T.Toussaint [есть в bookz.org], где обсуждаются в "геометрической нотации" (если так можно выразиться) различные африканские ритмы.
Вот эта связь символического-алгебраического и геометрического-распределённого (визуально трёхмерного, но в мозгах это вполне может быть и многомерным, почему бы и нет?), выражаемая в диаграммных нотациях, схемах -- она крайне интересна. Каким-то образом у человека символьный мир переходит в многомерное геометрическое представление, и хочется как-то уметь извлечь явно схему такого мышления-в-геометрии и изобразить её в упрощённом двумерном или трёхмерном варианте какой-то нотации, чтобы использовать мощь embodient intelligence (несмотря на все проблемы с этой гипотезой -- http://www.sciencedirect.com/science/article/pii/S0928425708000193, A critical look at the embodied cognition hypothesis and a new proposal for grounding conceptual content). Напомню, гипотеза embodient intelligence о том, что все мыслительные процессы в конечном итоге сводятся к квазимоторным -- "мысленными руками" оперируется "мысленными предметами", это примерно такое же мышление, как у обезьяны, стремящейся достать с дерева банан, только дерево и банан абстрактны, да и тело тоже обезьяны абстрактно -- но принцип обработки тот же. Вот эта гипотеза не подтверждается многочисленными экспериментами, ибо абстрактное мышление оказывается не таким конкретным, как в этом примитивном представлении -- механизм мышления более сложен, кроме геометрической компоненты в мышлении явно есть и алгебраическая часть.
И, конечно, есть самые разные отображения одного на другое -- многоуровневые переходы от нотации к нотации, описания описаний. Внимание, как указывающее на место в описаниях. Внимание к схеме того, что дано геометрически, распределённо, невыразимо символьно -- один механизм появления сознания (attention schema theory, http://ailev.livejournal.com/1193568.html), далее учёт необходимости многих уровней абстракции http://ailev.livejournal.com/1274014.html, онтологий как байесовских priors для ориентации в текущих ситуациях, и отсюда бибинарная (культурное-дичок, дискретное алгебраическое-геометрическое непрерывное) модель мышления в её связи с онтологиями, мой "программный пост" 2016 года -- http://ailev.livejournal.com/1305176.html.
А вот в самом конце 2016 года я бы добавил в эту когнитивную архитектуру мышления ещё пару штрихов, уже совсем очевидных в deep learning, и имеющих богатую традицию в культуре:
-- мышление требует оппозиции, спарринг-партнёра, преодоления противоречия в диалоге. В deep learning речь идёт об generative adversarial архитектурах, способных не только к распознаванию, но и к синтезу. В мышлении же можно привести пример "трёхслойки", где есть слой коммуникации, и схема мышления рассказывается не на примере одного человека, а обязательно учитывает взаимодействие с другими (а хоть и с собой: разговор с собой ведь не запрещён!). Ещё напомню ответ мне Дж.Гриндера: когда я его спросил, как он относится к всем этим "недуальным сознаниям" как цели, он ответил, что это бесплодный путь: нет никакого взаимодействия, нет изменений, всё умерло. А для жизни нужно чтобы что-то с чем-то взаимодействовало, к чему-то пристраивалось, что-то преодолевало -- к мысли всегда должна быть оппозиция, чтобы она была живой. Когнитивная архитектура должна быть с чем-то adversarial.
-- чтобы всегда было, куда двигаться, нужно учитывать бихевиоризм в его современном варианте. Обучение -- это выработка условных рефлексов, причём многоуровневая, причём и в unsupervised (впрок! из любопытства!) режиме: https://arxiv.org/abs/1611.05397, Reinforcement Learning with Unsupervised Auxiliary Tasks.
-- внимание по факту может носить и характер аннотирования, так сказать, наложение виртуальной реальности, augmented reality ведь может по факту выполнять функцию внимания! -- http://ailev.livejournal.com/875198.html