Создатели, и в них квантовоподобное активное причинное обновление
Уйти от антропоморфизации: обсуждаем системы, некоторые из них способны принимать решения
Цели деантропоморфизации в языке и мышлении:
-- уход в мышлении и языке от привязки к конкретному системному уровню в эволюции. Если мы имеем многоуровневую эволюцию, то нужно обеспечить внятный язык разговора о проблеме индивида в биологии, говорить о многоуровневости индивидов, иметь имя для "эволюционной единицы" (разговор о генетической и меметической эволюциях, репликаторах, генах, мемах).
-- по линии Дойча: уход от парохиального (частного, для текущей ситуации, в которой находятся люди) мышления, посадка мышления на общую привязку к физике. Астрофизики и математики -- это физические системы, хотя и очень сложно устроенные. Язык создателей (constructor theory).
-- выявление трансдисциплинарных рассуждений по линии вещество-существо-сознательное_существо-команда-сообщество-общество (в части простой физичности это создатели/строители/constructors, в части выхода в мир разумных существ это агенты и мультиагентные системы). Фактически тут и constructor theory, и multilevel evolution, и active inference, и агентный подход в целом работают в эту сторону.
-- готовимся к рассмотрению не только животных и людей, но и киборгов, и xGI, и далее выход в коллективы и сообщества.
-- праксиология, социология, политика, экономика: найти как разговаривать в многоуровневой эволюции (преодоление застревания на "методологическом индивидуализме", учёт распределённых вычислений в фирме, в рынке, работа с пулами ресурсов, включая вычислительные ресурсы)
-- отвязка проблемы управления вниманием (сознания) от особенностей именно человека, обсуждение людей с экзокортексом и эффекторами ("агентов-создателей", agents-constructors) и их более высоких системных уровней (swarms тут даже не подходит, ибо сразу говорим о многоуровнево устроенных фирмах, эко-системах, сообществах, обществах, а не одноранговой сети агентов в swarms).
-- нормальный разговор про этику (экстропианство, трансгуманизм, биоэтика, этика AI и всё такое) в условиях open-endedness.
-- ... и много других плюшек от отказа мышления в чёткой привязке только к одному системному уровню, а часто ещё и к одной системе на этом уровне, одному человеку, "птолемеевская модель человека" https://ailev.livejournal.com/1390574.html и далее ещё и птолемеевская модель мира вокруг человека.
Давайте разберёмся, на каком языке говорят про недоагентов, агентов, коллективы агентов в разных интересных теориях, что там про их мышление, моделирование, планирование, действия в мире. А затем предложим какую-то гармонизацию, привычно давая русский термин "по значению" (как должны бы делать "истинные переводчики", избегающие калек) и отождествляя через этот перевод "по значению" понятия из самых разных проектов (то есть делаем ontology merge через привязку разных теорий к создаваемой нами "гармонизированной" версии наиболее общих часто встречающихся понятий). Работаем и с понятиями, и с терминами сразу.
И ещё важное замечание: мы тут не обсуждаем антропный принцип (термин там признаётся неудачным) о том, что мы живём в лучшем из возможных миров (https://en.wikipedia.org/wiki/Anthropic_principle), но принимаем во внимание экстропианизм (https://en.wikipedia.org/wiki/Extropianism, вот мой пост 2004 года, https://ailev.livejournal.com/253713.html, вот ровно 14 февраля 2005 года, https://ailev.livejournal.com/275890.html, вот про сингулярность 2007 год в разгар "зимы AI" https://ailev.livejournal.com/506960.html) и трансгуманизм (https://en.wikipedia.org/wiki/Transhumanism) и путь технологической работы с памятью и вниманием через всяческие extended mind/extended cognition теории с выходом на индивидуальный и коллективный экзокортекс и экзотело (какой-то обзор я давал в "Образовании для образованных 2021", https://ridero.ru/books/obrazovanie_dlya_obrazovannykh/).
Стартуем с теории решений, их множество (писал буквально вчера, https://ailev.livejournal.com/1611838.html), но мы немного добавим: классическая, причинная, функциональная, активного обновления, квантовая.
Обсуждаем пока того, чьё решение, и какую теорию решений для него брать.
Доказательная, причинная и функциональная теория решений
Классика (evidential/доказательных решений/decision theory): https://plato.stanford.edu/entries/decision-theory/ -- там рассуждающий рациональный агент, делающий выбор при планировании действий/acts и результатов/outcomes в условиях неопределённости/uncertainty: выбирающий предпочтения/preferencies из опций/prospects/options. Decision theory is concerned with the reasoning underlying an agent’s choices, whether this is a mundane choice between taking the bus or getting a taxi, or a more far-reaching choice about whether to pursue a demanding political career. (Note that “agent” here stands for an entity, usually an individual person, that is capable of deliberation and action.). То есть "обычно какая-то отдельная личность". И дальше там beliefs и desires и главный предмет -- рациональность выбора (это нормативная теория, говорит "как надо выбирать"). В том числе рационально выбирать по ожидаемой пользе (expected utility). Была дико прокритикована в том, что плохо справляется с новостями, ибо не учитывает причинно-следственных отношений. Ещё интересно, что evidential переводят на русский как "доказательная", но более чётко тут было бы "основанной на данных измерений", что совсем другое!
Причинная: https://plato.stanford.edu/entries/decision-causal/ всё как в доказательной классике, только It evaluates an option’s utility by calculating the option’s expected utility. It uses probabilities and utilities of an option’s possible outcomes to define an option’s expected utility. The probabilities depend on the option. Causal decision theory takes the dependence to be causal rather than merely evidential. Там тоже агенты, причём не только рациональные, но и сверхрациональные (https://en.wikipedia.org/wiki/Superrationality) и их уже несколько, и их решения зависят от решений друг друга -- там сразу теория игр, агенты играют друг против друга, но ни разу не командно, а каждый сам за себя: "агенты в агентном окружении".
Есть вариант Functional Decision Theory (от Элиезера Юдковского и Нейта Соареса), https://arxiv.org/abs/1710.05060, который вводит counterpossible reasoning, и там тоже decision-theoretic agents, и ещё говорится про типы решений, а не только токены решений. Она даётся как "Новая теория инструментальной рациональности". И там, конечно, тоже "рациональный агент". И инструментальный (в отличие от универсального/general) интеллект: skill at prediction, planning, and means-ends reasoning in general (в отличие от скорости решения широкого класса проблем). И далее по этой линии уходим в обсуждение интеллекта Бостромом и Юдковским как очень опасного инструмента, который выйдет из под контроля людей и поставит их под контроль, принимая против них решения лучше, чем они против него. Грубо говоря, выиграет в теории игр. Ибо даже в игре в дочки-матери можно интересоваться, кто выиграл, а кто проиграл! Другое дело, что Functional Decision Theory как-то особо в мире не обсуждается, несмотря на все достоинства логических решений парадоксов.
Основная проблема всех этих теорий решений в том, что эксперименты над живыми людьми показывают, что люди вовсе не так рациональны, как требуют эти теории. То есть можно считать, что люди рациональны, но делают ошибки. Но при ближайшем рассмотрении оказывается, что сами теории тоже не слишком хороши. И есть теории, которые показывают результаты более похожие на те, что показывают в эксперименте люди.
Теория решений активного обновления
Friston вводит агента в его телесном (emdodied/active) взаимодействии со средой и говорит об "ограниченной/bounded" рациональности как аппроксимировании байесовского обновления/inference, ибо совершенная/perfect рациональность физически невозможна, то есть вводит active inference https://www.frontiersin.org/articles/10.3389/fnhum.2013.00598/full (2013, всего 9 лет назад), и дальше это продолжается, https://arxiv.org/abs/2110.04074 (октябрь 2021, три месяца назад). По факту в 2013 году вводился стандартный агентный язык и для психологии (классическая decision theory) и для экономики (expected utility), плюс обсуждается связка с поведением мозга в ходе принятия решений (neuronal correlates). Всё это идёт по линии reinforcement learning, так что обсуждаются политики, оптимизации и много чего ещё. Но в 2021 году язык поменялся и теперь это звучит в abstract как formal way of describing the behavior of certain kinds of random dynamical systems that have the appearance of sentience. То есть это динамические системы, у которых появляется разумность. Или в первом же абзаце текста так: active inference is a formal way of describing the behavior of self-organizing (random dynamical) systems that interface with the external world, such as humans in their environment, with latent representations that maintain a consistent form (i.e., a particular steady-state) over time. То есть речь идёт о людях как системах. Причинность не обсуждается, там вроде всё evidential, несмотря на учёт действий (нужно внимательно смотреть, там только ассоциации считаются, или всё-таки do-calculus с интервенциями, всё ж таки active inference! Counterfactuals и possible worlds не рассматриваются, разговор идёт о марковских моделях и переходах между состояниями). Но тут обучение, новизна и любопытство (exploration vs. exploitation).
В active inference важно, что есть ход на моделирование социальности через теорию режимов ожиданий (regimes of expectations, ROEs) https://www.frontiersin.org/articles/10.3389/fpsyg.2019.00679/full. A ROE is a set of expectations about states of the world characteristic of a given cultural group. Individual agents acquire ROEs in ontogeny through the selective patterning of attention and salience, by leveraging shared expectations (often automatically and implicitly) to guide goal-directed behavior. Such practices lead agents to forage for information that is culturally marked as salient, which in turn resolves uncertainty about the world and underwrites the learning of context-specific expectations (e.g., preferences) that constitute a ROE. И там очень похожие рассуждения про быстрые и медленные изменения в обучении, что делают и Ванчурин в описании многоуровневой эволюции и ходы на меметическую эволюцию, которые делает Дойч, и даже на деонтику/этику: The ROEs structures appraisals and automatic behavior upstream, via constraints on possible actions flagged by deontic cues in the generative process, and downstream, via policy selection within the generative model. Upstream constraints exist at the highest spatiotemporal scales of the architecture of expectations, in the sense that they are spatially extended (e.g., material setting vs. brain-based architectures), and change slowly, as they require the physical action of multiple agents (e.g., niche construction outcomes that emerge over hours and years vs. changes in neural connectivity that can change over milliseconds and seconds). This means that the higher levels of a ROE are more robust, as their physical implementation retains the traces of agents’ action over longer time scales. This allows for deontic cues encoded in the environment to be passed over generation via ecological and informational inheritance, and thereby allow the reproduction of attention, or epistemic foraging styles over ontogeny by shaping observations and states of the world encoded in an agent’s generative model. В этом месте разворачивается вполне традиционный системный подход, но вроде как без причинности. И понятие "агента" оказывается то человеком (и там сразу нейрокорреляты), то даже agents, like the traffic officer, as well as non-human ‘agents’ like traffic lights.
Квантовоподобная теория решений
Квантовая теория решений: обсуждается как раз "нерациональное" поведение мозгов и людей, quantum cognition, https://en.wikipedia.org/wiki/Quantum_cognition (и не путать с quantum mind, ибо речь не идёт о квантовой физике как основе сознания, но только о квантовой математике и онтологии).
Тут появляется новое имя, Андрей Хренников, ибо он написал книжку про квантово-подобные структуры, https://b-ok.cc/book/1022432/8a1845 (и вроде есть ещё и русскоязычная чуть более ранняя, 2008 и с другим содержанием, https://b-ok.cc/book/2290177/b2f143). И квантовая механика в его описании -- это просто первое применение неколмогоровских (некоммунтативных, квантовых) вероятностей. Там вводится и понятие контекста:A fundamental notion of my model is context. It is a complex of (e.g. physical or biological) conditions. Construction of the model starts with selection of a family of
contexts C. The next step is selection of a family of observables O. И, конечно, каждое наблюдение может быть измерено в каком-то контексте. То есть системность в рудиментарном двухуровневом виде, но присутствует. И в книжке есть "Chapter 7. Quantum-like Decision Making and Disjunction Effect", в котором разбирается экспериментальное несоответствие результатов двух психологических экспериментов по принятию решений, и даётся объяснение в терминах неколмогоровской/quantum-like вероятности.
И дальше там у Хренникова quantum-like rationality, quantum-like ethics (что, только Friston на эти темы деонтики думает, что ли?) и ещё много подобного интересного из "гуманитарной квантовоподобности".
Типичная статья последователей подхода Андрея Хренникова -- https://www.livescience.com/quantum-like-model-of-decision-making-proposed.html (статья https://booksc.org/book/80797406/8c7101). Classical theories of decision-making attempt to predict what choice a person will make given certain parameters, but fallible humans don't always behave as expected. Recent research suggests that these lapses in logic "can be well explained by quantum probability theory. И далее отход от традиционно понимаемой в экономике и психологии "логической" рациональности: Classical psychology theories rest on the idea that people make decisions in order to maximize "rewards" and minimize "punishments" - in other words, to ensure their actions result in more positive outcomes than negative consequences. This logic, known as "reinforcement learning," falls in line with Pavlonian conditioning, wherein people learn to predict the consequences of their actions based on past experiences. И слово там individual с его internal state, и ни разу не агент. В этом направлении пока почти нет исследователей, ибо разбирающихся в квантовой физике разбирают в самой квантовой физике, и до других предметных областей они почти не доходят. По этой линии quantum cognition нужно иметь чёткую интерпретацию квантовой информации, а это можно сделать по линии Deutsch, Wallace и Marletto, включая и то, что все они опираются как раз на "теорию решений". В физике этого "принимающего решения" называют наблюдателем/observer, но когда переходят к обсуждению в many-worlds interpretation, то переходят на обычного "агента" (см. раздел decision theory в https://en.wikipedia.org/wiki/Many-worlds_interpretation). Рациональность тут не обсуждается, ибо как раз объясняется, что вроде как "иррациональное" поведение оказывается вполне расчётливым, только формулы для расчёта берутся неклассические, а квантовые. Всё это направление абсолютно новое (ручеёк работ потёк где-то последние 15 лет), тут пока никто ни о чём ещё не договорился. Но то, что квантовые расчёты регулярно (какие-то обзоры этих работ есть по приведённым в этом абзаце ссылкам) показывают предсказание результатов психологических и социологических экспериментов лучше, чем неквантовые -- этого никто не отрицает, проблема только в трактовке "физического смысла" этих расчётов, "много миров" или "коллапс функции" или что ещё подобное. То так же как байесианство стало известно людям массово после бума компьютерных сетей, так и квантовая статистика станет известна после бума квантовых компьютеров, это неизбежно. А с учётом того, что квантовая вероятность это генерализация байесовской (таких работ полно, например, https://arxiv.org/abs/1508.00936, https://journals.aps.org/pra/abstract/10.1103/PhysRevA.94.042106, и т.д.), то можно ожидать примерно такой же революции в статистике, как с приходом Байеса. Интересно, что в этом квантовом подходе к теории решений нигде не обсуждается (может, плохо искал) граница между агентом и средой, включая совместное описание агента и среды и проведение границы на основе этого описания. Никакого системного мышления, никакой agent system и agent environment. Хотя и могут сказать internal state в "квантовом мышлении" (cognition пока переведём как "мышление"), но не более того.
Я ожидаю, что в связи с бумом квантового компьютинга и квантового обучения (например, квантовым обучением с подкреплением/quantum reinforcement learning, ибо там ожидаются невероятные скорости и энергоэффективность по сравнению с классическими подходами) число разобравшихся в квантовой вероятности будет расти хотя и не так быстро, как число разобравшихся с байесовской вероятностью в момент прихода моды на глубокие нейронные сети. Опять же, LeCun не устаёт повторять, что бросил бы вероятности под автобус (его больше привлекает free energy principle, ибо мозг работает не по наивному Байесу, это как раз в active inference изучается, вот тут про это немного https://medium.com/intuitionmachine/why-probability-theory-should-be-thrown-under-the-bus-36e5d69a34c9).
Тренд в теории решений: квантовоподобное активное причинное обновление
Современные теории решений движутся от классической вероятности к байесовской, далее квантовой контекстной и активной с обновлением.
Современные теории решений должны будут двигаться от причинных-на-байесовских-сетях (по Перлу) до контекстных причинных-на-квантовоподобных структурах (contextual probabilistic quantum-like-structures) по Хренникову.
А ещё cовременные теории решений должны учитывать embodied/active inference и выходить на обучение.
Поэтому ждём-с квантовоподобное активное причинное обновление (quantum-like active causal inference). Скажем, берём идеи Фристона и меняем там байесовские рассуждения на квантовые, а также задаёмся вопросами про объяснение полученного решения (то есть берём идеи Перла и меняем байесовские сети на квантовоподобные сети -- наверняка кто-нибудь типа Хренникова их уже придумал).
И кто первым встанет, того будут и тапки. Запомните этот твит.
Constructor Дойча -- это система создания
Тут я бы особо выделил constructor theory, ибо там одновременно выход в агентов (человек -- это создатель), системы (экскаватор -- это создатель), в квантовую информатику (хотя и в эверетовской интерпретации, но там математика ровно та же, вопрос только в физике!), вероятность и термодинамику (работы Marletto с Deutsch и Wallace).
А дальше я бы хотел это связать с текущим вариантом системного мышления: похоже, enabling system -- это constructor.
В текущем варианте учебника "системного мышления" enabling systems из ISO 15288 называются "системы создания", и они выстраиваются в цепочки. Это или станки, или роботы, или люди, или фирмы. В системном менеджменте мы говорим, что системы создания являются провайдерами сервисов, которые меняют целевые системы, сами оставаясь при этом по факту неизменными, и делая акты выполнения работ многократно. Это точно попадает под определение constructor у Дойча и Марлетто. В частности, в состав создателя вполне может входить универсальный компьютер, выполняющий алгоритмы создания. И человек приводится Дойчем как пример создателя наряду с примером молекулы катализатора химической реакции.
Если перевести по смыслу constructor, то это "создатель". Если вспомнить, что мы не говорим "система самолёт", а говорим просто "самолёт" (понимая, что тип там -- система), то тогда вот такой синонимический ряд: система_создания/создатель::система/enabling_system/constructor (кто читал учебник системного мышления поймёт, что это я там внутри дал аннотацию "создателя" типом "система"). То есть вместо "Завод-изготовитель -- это система создания гаджета" можно спокойно писать "завод-изготовитель -- это создатель гаджета". И это будет и системно, и в рамках теории создания/constructor theory.
Мелкое приятное следствие: я писал, что в системном мышлении странно, но аристотелевская физика, "палец давит на стол, но стол не давит на палец", ибо в системах принято говорить о взаимодействии, и система создания должна взаимодействовать с будущей целевой, но так почему-то не говорят. По Дойчу-Марлетто, создатель "как катализатор", то есть он меняет своё окружение (в момент создания! design and construction time), а сам не меняется при этом, а если и поменялся, то восстанавливает своё состояние. То есть это не аристотелевская физика, а вполне себе нормальная физика, только из constructor theory! А вот в run-time вроде как именно взаимодействие системы с её окружением.
Но это ещё не всё
Ещё есть линии сознания/собранности и extended mind/cognition (Грациано сотоварищи), и ещё линия новизны и бесконечного эволюционного развития (Стенли и Леман), меметики и институтов (о, тут нашлось очень интересное: Андрей Хренников написал книгу "Социальный лазер. Оружие массового поражения 21 века", и там описывает в довольно экзотической терминологии квантовоподобные процессы в меметике -- https://ridero.ru/books/socialnyi_lazer/freeText, а ещё в русскоязычной книжке по предыдущей ссылке есть квантово-психологическая модель фондового рынка), и ещё эволюции как многоуровневого обучения (Ванчурин сотоварищи) и проблема индивида, и системные уровни как эволюционирующие на разных скоростях и между ними friction.
И так далее по темам из "Куда думать в первом квартале 2022", https://ailev.livejournal.com/1601601.html.
Но нельзя объять необъятного. Всё постепенно. Первый квартал ещё не кончился. В любом случае, кто говорил, что у нас тут нет опоры на физику и математику, могут убедиться, что это не совсем так. Другое дело, что это не школьная физика и математика, и нужно будет ещё и с этим разбираться.
UPDATE: я не отследил события декабря-января, ибо active inference уже пошли в кванты! Так что я не столько "предсказываю", сколько описываю происходящее вот прямо сейчас. Другое дело, что там пока нет обсуждения причинности и это не те квантовоподобные системы, которые у Андрея Хренникова или Дойча, зато есть многомасштабность обучения как у Ванчурина-Кацнельсона и заход на трансдисциплинарность (обсуждение одного и того же языка на многих масштабах пространства и времени).
Получено от Александра Вяткина (ActInfLab) 17 февраля 2022:
В начале января вышли 2 работы:
1. Fields, Friston, Glazebrook, Levin "A free energy principle for generic quantum systems" https://arxiv.org/abs/2112.15242
"Here, we reformulate the FEP in the formal setting of spacetime-background free, scale-free quantum information theory. We show how generic quantum systems can be regarded as observers, which with the standard freedom of choice assumption become agents capable of assigning semantics to observational outcomes. We show how such agents minimize Bayesian prediction error in environments characterized by uncertainty, insufficient learning, and quantum contextuality. We show that in its quantum-theoretic formulation, the FEP is asymptotically equivalent to the Principle of Unitarity. Based on these results, we suggest that biological systems employ quantum coherence as a computational resource and - implicitly - as a communication resource."
2. Fields, Glazebrook, Levin "Neurons as hierarchies of quantum reference frames" https://arxiv.org/abs/2201.00921
"Here we extend previous work in modeling biological systems with fully scale-independent quantum information-theoretic tools to develop a uniform, scalable representation of synapses, dendritic and axonal processes, neurons, and local networks of neurons. In this representation, hierarchies of quantum reference frames act as hierarchical active-inference systems."
На 17 и 24 марта у нас [ActInfLab] запланированы семинары/стримы с обсуждением первой статьи, с предварительно подтвержденным участием всех авторов, сейчас идет подготовительная работа.
Цели деантропоморфизации в языке и мышлении:
-- уход в мышлении и языке от привязки к конкретному системному уровню в эволюции. Если мы имеем многоуровневую эволюцию, то нужно обеспечить внятный язык разговора о проблеме индивида в биологии, говорить о многоуровневости индивидов, иметь имя для "эволюционной единицы" (разговор о генетической и меметической эволюциях, репликаторах, генах, мемах).
-- по линии Дойча: уход от парохиального (частного, для текущей ситуации, в которой находятся люди) мышления, посадка мышления на общую привязку к физике. Астрофизики и математики -- это физические системы, хотя и очень сложно устроенные. Язык создателей (constructor theory).
-- выявление трансдисциплинарных рассуждений по линии вещество-существо-сознательное_существо-команда-сообщество-общество (в части простой физичности это создатели/строители/constructors, в части выхода в мир разумных существ это агенты и мультиагентные системы). Фактически тут и constructor theory, и multilevel evolution, и active inference, и агентный подход в целом работают в эту сторону.
-- готовимся к рассмотрению не только животных и людей, но и киборгов, и xGI, и далее выход в коллективы и сообщества.
-- праксиология, социология, политика, экономика: найти как разговаривать в многоуровневой эволюции (преодоление застревания на "методологическом индивидуализме", учёт распределённых вычислений в фирме, в рынке, работа с пулами ресурсов, включая вычислительные ресурсы)
-- отвязка проблемы управления вниманием (сознания) от особенностей именно человека, обсуждение людей с экзокортексом и эффекторами ("агентов-создателей", agents-constructors) и их более высоких системных уровней (swarms тут даже не подходит, ибо сразу говорим о многоуровнево устроенных фирмах, эко-системах, сообществах, обществах, а не одноранговой сети агентов в swarms).
-- нормальный разговор про этику (экстропианство, трансгуманизм, биоэтика, этика AI и всё такое) в условиях open-endedness.
-- ... и много других плюшек от отказа мышления в чёткой привязке только к одному системному уровню, а часто ещё и к одной системе на этом уровне, одному человеку, "птолемеевская модель человека" https://ailev.livejournal.com/1390574.html и далее ещё и птолемеевская модель мира вокруг человека.
Давайте разберёмся, на каком языке говорят про недоагентов, агентов, коллективы агентов в разных интересных теориях, что там про их мышление, моделирование, планирование, действия в мире. А затем предложим какую-то гармонизацию, привычно давая русский термин "по значению" (как должны бы делать "истинные переводчики", избегающие калек) и отождествляя через этот перевод "по значению" понятия из самых разных проектов (то есть делаем ontology merge через привязку разных теорий к создаваемой нами "гармонизированной" версии наиболее общих часто встречающихся понятий). Работаем и с понятиями, и с терминами сразу.
И ещё важное замечание: мы тут не обсуждаем антропный принцип (термин там признаётся неудачным) о том, что мы живём в лучшем из возможных миров (https://en.wikipedia.org/wiki/Anthropic_principle), но принимаем во внимание экстропианизм (https://en.wikipedia.org/wiki/Extropianism, вот мой пост 2004 года, https://ailev.livejournal.com/253713.html, вот ровно 14 февраля 2005 года, https://ailev.livejournal.com/275890.html, вот про сингулярность 2007 год в разгар "зимы AI" https://ailev.livejournal.com/506960.html) и трансгуманизм (https://en.wikipedia.org/wiki/Transhumanism) и путь технологической работы с памятью и вниманием через всяческие extended mind/extended cognition теории с выходом на индивидуальный и коллективный экзокортекс и экзотело (какой-то обзор я давал в "Образовании для образованных 2021", https://ridero.ru/books/obrazovanie_dlya_obrazovannykh/).
Стартуем с теории решений, их множество (писал буквально вчера, https://ailev.livejournal.com/1611838.html), но мы немного добавим: классическая, причинная, функциональная, активного обновления, квантовая.
Обсуждаем пока того, чьё решение, и какую теорию решений для него брать.
Доказательная, причинная и функциональная теория решений
Классика (evidential/доказательных решений/decision theory): https://plato.stanford.edu/entries/decision-theory/ -- там рассуждающий рациональный агент, делающий выбор при планировании действий/acts и результатов/outcomes в условиях неопределённости/uncertainty: выбирающий предпочтения/preferencies из опций/prospects/options. Decision theory is concerned with the reasoning underlying an agent’s choices, whether this is a mundane choice between taking the bus or getting a taxi, or a more far-reaching choice about whether to pursue a demanding political career. (Note that “agent” here stands for an entity, usually an individual person, that is capable of deliberation and action.). То есть "обычно какая-то отдельная личность". И дальше там beliefs и desires и главный предмет -- рациональность выбора (это нормативная теория, говорит "как надо выбирать"). В том числе рационально выбирать по ожидаемой пользе (expected utility). Была дико прокритикована в том, что плохо справляется с новостями, ибо не учитывает причинно-следственных отношений. Ещё интересно, что evidential переводят на русский как "доказательная", но более чётко тут было бы "основанной на данных измерений", что совсем другое!
Причинная: https://plato.stanford.edu/entries/decision-causal/ всё как в доказательной классике, только It evaluates an option’s utility by calculating the option’s expected utility. It uses probabilities and utilities of an option’s possible outcomes to define an option’s expected utility. The probabilities depend on the option. Causal decision theory takes the dependence to be causal rather than merely evidential. Там тоже агенты, причём не только рациональные, но и сверхрациональные (https://en.wikipedia.org/wiki/Superrationality) и их уже несколько, и их решения зависят от решений друг друга -- там сразу теория игр, агенты играют друг против друга, но ни разу не командно, а каждый сам за себя: "агенты в агентном окружении".
Есть вариант Functional Decision Theory (от Элиезера Юдковского и Нейта Соареса), https://arxiv.org/abs/1710.05060, который вводит counterpossible reasoning, и там тоже decision-theoretic agents, и ещё говорится про типы решений, а не только токены решений. Она даётся как "Новая теория инструментальной рациональности". И там, конечно, тоже "рациональный агент". И инструментальный (в отличие от универсального/general) интеллект: skill at prediction, planning, and means-ends reasoning in general (в отличие от скорости решения широкого класса проблем). И далее по этой линии уходим в обсуждение интеллекта Бостромом и Юдковским как очень опасного инструмента, который выйдет из под контроля людей и поставит их под контроль, принимая против них решения лучше, чем они против него. Грубо говоря, выиграет в теории игр. Ибо даже в игре в дочки-матери можно интересоваться, кто выиграл, а кто проиграл! Другое дело, что Functional Decision Theory как-то особо в мире не обсуждается, несмотря на все достоинства логических решений парадоксов.
Основная проблема всех этих теорий решений в том, что эксперименты над живыми людьми показывают, что люди вовсе не так рациональны, как требуют эти теории. То есть можно считать, что люди рациональны, но делают ошибки. Но при ближайшем рассмотрении оказывается, что сами теории тоже не слишком хороши. И есть теории, которые показывают результаты более похожие на те, что показывают в эксперименте люди.
Теория решений активного обновления
Friston вводит агента в его телесном (emdodied/active) взаимодействии со средой и говорит об "ограниченной/bounded" рациональности как аппроксимировании байесовского обновления/inference, ибо совершенная/perfect рациональность физически невозможна, то есть вводит active inference https://www.frontiersin.org/articles/10.3389/fnhum.2013.00598/full (2013, всего 9 лет назад), и дальше это продолжается, https://arxiv.org/abs/2110.04074 (октябрь 2021, три месяца назад). По факту в 2013 году вводился стандартный агентный язык и для психологии (классическая decision theory) и для экономики (expected utility), плюс обсуждается связка с поведением мозга в ходе принятия решений (neuronal correlates). Всё это идёт по линии reinforcement learning, так что обсуждаются политики, оптимизации и много чего ещё. Но в 2021 году язык поменялся и теперь это звучит в abstract как formal way of describing the behavior of certain kinds of random dynamical systems that have the appearance of sentience. То есть это динамические системы, у которых появляется разумность. Или в первом же абзаце текста так: active inference is a formal way of describing the behavior of self-organizing (random dynamical) systems that interface with the external world, such as humans in their environment, with latent representations that maintain a consistent form (i.e., a particular steady-state) over time. То есть речь идёт о людях как системах. Причинность не обсуждается, там вроде всё evidential, несмотря на учёт действий (нужно внимательно смотреть, там только ассоциации считаются, или всё-таки do-calculus с интервенциями, всё ж таки active inference! Counterfactuals и possible worlds не рассматриваются, разговор идёт о марковских моделях и переходах между состояниями). Но тут обучение, новизна и любопытство (exploration vs. exploitation).
В active inference важно, что есть ход на моделирование социальности через теорию режимов ожиданий (regimes of expectations, ROEs) https://www.frontiersin.org/articles/10.3389/fpsyg.2019.00679/full. A ROE is a set of expectations about states of the world characteristic of a given cultural group. Individual agents acquire ROEs in ontogeny through the selective patterning of attention and salience, by leveraging shared expectations (often automatically and implicitly) to guide goal-directed behavior. Such practices lead agents to forage for information that is culturally marked as salient, which in turn resolves uncertainty about the world and underwrites the learning of context-specific expectations (e.g., preferences) that constitute a ROE. И там очень похожие рассуждения про быстрые и медленные изменения в обучении, что делают и Ванчурин в описании многоуровневой эволюции и ходы на меметическую эволюцию, которые делает Дойч, и даже на деонтику/этику: The ROEs structures appraisals and automatic behavior upstream, via constraints on possible actions flagged by deontic cues in the generative process, and downstream, via policy selection within the generative model. Upstream constraints exist at the highest spatiotemporal scales of the architecture of expectations, in the sense that they are spatially extended (e.g., material setting vs. brain-based architectures), and change slowly, as they require the physical action of multiple agents (e.g., niche construction outcomes that emerge over hours and years vs. changes in neural connectivity that can change over milliseconds and seconds). This means that the higher levels of a ROE are more robust, as their physical implementation retains the traces of agents’ action over longer time scales. This allows for deontic cues encoded in the environment to be passed over generation via ecological and informational inheritance, and thereby allow the reproduction of attention, or epistemic foraging styles over ontogeny by shaping observations and states of the world encoded in an agent’s generative model. В этом месте разворачивается вполне традиционный системный подход, но вроде как без причинности. И понятие "агента" оказывается то человеком (и там сразу нейрокорреляты), то даже agents, like the traffic officer, as well as non-human ‘agents’ like traffic lights.
Квантовоподобная теория решений
Квантовая теория решений: обсуждается как раз "нерациональное" поведение мозгов и людей, quantum cognition, https://en.wikipedia.org/wiki/Quantum_cognition (и не путать с quantum mind, ибо речь не идёт о квантовой физике как основе сознания, но только о квантовой математике и онтологии).
Тут появляется новое имя, Андрей Хренников, ибо он написал книжку про квантово-подобные структуры, https://b-ok.cc/book/1022432/8a1845 (и вроде есть ещё и русскоязычная чуть более ранняя, 2008 и с другим содержанием, https://b-ok.cc/book/2290177/b2f143). И квантовая механика в его описании -- это просто первое применение неколмогоровских (некоммунтативных, квантовых) вероятностей. Там вводится и понятие контекста:A fundamental notion of my model is context. It is a complex of (e.g. physical or biological) conditions. Construction of the model starts with selection of a family of
contexts C. The next step is selection of a family of observables O. И, конечно, каждое наблюдение может быть измерено в каком-то контексте. То есть системность в рудиментарном двухуровневом виде, но присутствует. И в книжке есть "Chapter 7. Quantum-like Decision Making and Disjunction Effect", в котором разбирается экспериментальное несоответствие результатов двух психологических экспериментов по принятию решений, и даётся объяснение в терминах неколмогоровской/quantum-like вероятности.
И дальше там у Хренникова quantum-like rationality, quantum-like ethics (что, только Friston на эти темы деонтики думает, что ли?) и ещё много подобного интересного из "гуманитарной квантовоподобности".
Типичная статья последователей подхода Андрея Хренникова -- https://www.livescience.com/quantum-like-model-of-decision-making-proposed.html (статья https://booksc.org/book/80797406/8c7101). Classical theories of decision-making attempt to predict what choice a person will make given certain parameters, but fallible humans don't always behave as expected. Recent research suggests that these lapses in logic "can be well explained by quantum probability theory. И далее отход от традиционно понимаемой в экономике и психологии "логической" рациональности: Classical psychology theories rest on the idea that people make decisions in order to maximize "rewards" and minimize "punishments" - in other words, to ensure their actions result in more positive outcomes than negative consequences. This logic, known as "reinforcement learning," falls in line with Pavlonian conditioning, wherein people learn to predict the consequences of their actions based on past experiences. И слово там individual с его internal state, и ни разу не агент. В этом направлении пока почти нет исследователей, ибо разбирающихся в квантовой физике разбирают в самой квантовой физике, и до других предметных областей они почти не доходят. По этой линии quantum cognition нужно иметь чёткую интерпретацию квантовой информации, а это можно сделать по линии Deutsch, Wallace и Marletto, включая и то, что все они опираются как раз на "теорию решений". В физике этого "принимающего решения" называют наблюдателем/observer, но когда переходят к обсуждению в many-worlds interpretation, то переходят на обычного "агента" (см. раздел decision theory в https://en.wikipedia.org/wiki/Many-worlds_interpretation). Рациональность тут не обсуждается, ибо как раз объясняется, что вроде как "иррациональное" поведение оказывается вполне расчётливым, только формулы для расчёта берутся неклассические, а квантовые. Всё это направление абсолютно новое (ручеёк работ потёк где-то последние 15 лет), тут пока никто ни о чём ещё не договорился. Но то, что квантовые расчёты регулярно (какие-то обзоры этих работ есть по приведённым в этом абзаце ссылкам) показывают предсказание результатов психологических и социологических экспериментов лучше, чем неквантовые -- этого никто не отрицает, проблема только в трактовке "физического смысла" этих расчётов, "много миров" или "коллапс функции" или что ещё подобное. То так же как байесианство стало известно людям массово после бума компьютерных сетей, так и квантовая статистика станет известна после бума квантовых компьютеров, это неизбежно. А с учётом того, что квантовая вероятность это генерализация байесовской (таких работ полно, например, https://arxiv.org/abs/1508.00936, https://journals.aps.org/pra/abstract/10.1103/PhysRevA.94.042106, и т.д.), то можно ожидать примерно такой же революции в статистике, как с приходом Байеса. Интересно, что в этом квантовом подходе к теории решений нигде не обсуждается (может, плохо искал) граница между агентом и средой, включая совместное описание агента и среды и проведение границы на основе этого описания. Никакого системного мышления, никакой agent system и agent environment. Хотя и могут сказать internal state в "квантовом мышлении" (cognition пока переведём как "мышление"), но не более того.
Я ожидаю, что в связи с бумом квантового компьютинга и квантового обучения (например, квантовым обучением с подкреплением/quantum reinforcement learning, ибо там ожидаются невероятные скорости и энергоэффективность по сравнению с классическими подходами) число разобравшихся в квантовой вероятности будет расти хотя и не так быстро, как число разобравшихся с байесовской вероятностью в момент прихода моды на глубокие нейронные сети. Опять же, LeCun не устаёт повторять, что бросил бы вероятности под автобус (его больше привлекает free energy principle, ибо мозг работает не по наивному Байесу, это как раз в active inference изучается, вот тут про это немного https://medium.com/intuitionmachine/why-probability-theory-should-be-thrown-under-the-bus-36e5d69a34c9).
Тренд в теории решений: квантовоподобное активное причинное обновление
Современные теории решений движутся от классической вероятности к байесовской, далее квантовой контекстной и активной с обновлением.
Современные теории решений должны будут двигаться от причинных-на-байесовских-сетях (по Перлу) до контекстных причинных-на-квантовоподобных структурах (contextual probabilistic quantum-like-structures) по Хренникову.
А ещё cовременные теории решений должны учитывать embodied/active inference и выходить на обучение.
Поэтому ждём-с квантовоподобное активное причинное обновление (quantum-like active causal inference). Скажем, берём идеи Фристона и меняем там байесовские рассуждения на квантовые, а также задаёмся вопросами про объяснение полученного решения (то есть берём идеи Перла и меняем байесовские сети на квантовоподобные сети -- наверняка кто-нибудь типа Хренникова их уже придумал).
И кто первым встанет, того будут и тапки. Запомните этот твит.
Constructor Дойча -- это система создания
Тут я бы особо выделил constructor theory, ибо там одновременно выход в агентов (человек -- это создатель), системы (экскаватор -- это создатель), в квантовую информатику (хотя и в эверетовской интерпретации, но там математика ровно та же, вопрос только в физике!), вероятность и термодинамику (работы Marletto с Deutsch и Wallace).
А дальше я бы хотел это связать с текущим вариантом системного мышления: похоже, enabling system -- это constructor.
В текущем варианте учебника "системного мышления" enabling systems из ISO 15288 называются "системы создания", и они выстраиваются в цепочки. Это или станки, или роботы, или люди, или фирмы. В системном менеджменте мы говорим, что системы создания являются провайдерами сервисов, которые меняют целевые системы, сами оставаясь при этом по факту неизменными, и делая акты выполнения работ многократно. Это точно попадает под определение constructor у Дойча и Марлетто. В частности, в состав создателя вполне может входить универсальный компьютер, выполняющий алгоритмы создания. И человек приводится Дойчем как пример создателя наряду с примером молекулы катализатора химической реакции.
Если перевести по смыслу constructor, то это "создатель". Если вспомнить, что мы не говорим "система самолёт", а говорим просто "самолёт" (понимая, что тип там -- система), то тогда вот такой синонимический ряд: система_создания/создатель::система/enabling_system/constructor (кто читал учебник системного мышления поймёт, что это я там внутри дал аннотацию "создателя" типом "система"). То есть вместо "Завод-изготовитель -- это система создания гаджета" можно спокойно писать "завод-изготовитель -- это создатель гаджета". И это будет и системно, и в рамках теории создания/constructor theory.
Мелкое приятное следствие: я писал, что в системном мышлении странно, но аристотелевская физика, "палец давит на стол, но стол не давит на палец", ибо в системах принято говорить о взаимодействии, и система создания должна взаимодействовать с будущей целевой, но так почему-то не говорят. По Дойчу-Марлетто, создатель "как катализатор", то есть он меняет своё окружение (в момент создания! design and construction time), а сам не меняется при этом, а если и поменялся, то восстанавливает своё состояние. То есть это не аристотелевская физика, а вполне себе нормальная физика, только из constructor theory! А вот в run-time вроде как именно взаимодействие системы с её окружением.
Но это ещё не всё
Ещё есть линии сознания/собранности и extended mind/cognition (Грациано сотоварищи), и ещё линия новизны и бесконечного эволюционного развития (Стенли и Леман), меметики и институтов (о, тут нашлось очень интересное: Андрей Хренников написал книгу "Социальный лазер. Оружие массового поражения 21 века", и там описывает в довольно экзотической терминологии квантовоподобные процессы в меметике -- https://ridero.ru/books/socialnyi_lazer/freeText, а ещё в русскоязычной книжке по предыдущей ссылке есть квантово-психологическая модель фондового рынка), и ещё эволюции как многоуровневого обучения (Ванчурин сотоварищи) и проблема индивида, и системные уровни как эволюционирующие на разных скоростях и между ними friction.
И так далее по темам из "Куда думать в первом квартале 2022", https://ailev.livejournal.com/1601601.html.
Но нельзя объять необъятного. Всё постепенно. Первый квартал ещё не кончился. В любом случае, кто говорил, что у нас тут нет опоры на физику и математику, могут убедиться, что это не совсем так. Другое дело, что это не школьная физика и математика, и нужно будет ещё и с этим разбираться.
UPDATE: я не отследил события декабря-января, ибо active inference уже пошли в кванты! Так что я не столько "предсказываю", сколько описываю происходящее вот прямо сейчас. Другое дело, что там пока нет обсуждения причинности и это не те квантовоподобные системы, которые у Андрея Хренникова или Дойча, зато есть многомасштабность обучения как у Ванчурина-Кацнельсона и заход на трансдисциплинарность (обсуждение одного и того же языка на многих масштабах пространства и времени).
Получено от Александра Вяткина (ActInfLab) 17 февраля 2022:
В начале января вышли 2 работы:
1. Fields, Friston, Glazebrook, Levin "A free energy principle for generic quantum systems" https://arxiv.org/abs/2112.15242
"Here, we reformulate the FEP in the formal setting of spacetime-background free, scale-free quantum information theory. We show how generic quantum systems can be regarded as observers, which with the standard freedom of choice assumption become agents capable of assigning semantics to observational outcomes. We show how such agents minimize Bayesian prediction error in environments characterized by uncertainty, insufficient learning, and quantum contextuality. We show that in its quantum-theoretic formulation, the FEP is asymptotically equivalent to the Principle of Unitarity. Based on these results, we suggest that biological systems employ quantum coherence as a computational resource and - implicitly - as a communication resource."
2. Fields, Glazebrook, Levin "Neurons as hierarchies of quantum reference frames" https://arxiv.org/abs/2201.00921
"Here we extend previous work in modeling biological systems with fully scale-independent quantum information-theoretic tools to develop a uniform, scalable representation of synapses, dendritic and axonal processes, neurons, and local networks of neurons. In this representation, hierarchies of quantum reference frames act as hierarchical active-inference systems."
На 17 и 24 марта у нас [ActInfLab] запланированы семинары/стримы с обсуждением первой статьи, с предварительно подтвержденным участием всех авторов, сейчас идет подготовительная работа.