Рациональность в интеллект-стеке 2022
Эпистемология = исследования+рациональность, рациональность = объяснения+принятие решений+действия
В интеллект-стеке 2021 эпистемологию как "объяснения по добыче объяснений" я разделил на "исследования" как "практика бесконечного улучшения всех имеющихся знаний/теорий/объяснений" и "объяснение" -- практика работы с конкретным единичным объяснением (получение, критика, использование -- не касаемся эволюции всех имеющихся знаний/теорий/объяснений, то есть исследований). В интеллект-стеке 2022 учтён "прагматический поворот" и эпистемология поделена на две части:
-- исследования (роль "исследователь") как практика бесконечной эволюции знаний/теорий/объяснений (в 21 веке так работает не только наука, а так работают все -- это практика, основанная на трансдисциплине. Поэтому не "наука", а "исследования").
-- рациональность (роль "разум"), в которой рассматривается принятие решений на основе объяснений (то есть объяснения понимаются примерно как в предыдущей версии интеллект-стека плюс добавляется теория решений, в том числе в варианте после pragmatic turn, то есть теории типа active inference, где вычисления по принятию решений и действия слиты вместе).
Выше практики рациональности в интеллект-стеке исследования (как бесконечно развивать знание), а дальше обсуждаем эстетику (рациональная бесконечно развивающаяся эстетика), потом этику (рациональная этика). "Рациональная X::практика" тут везде -- это деятельностная, оптимизирующая фрустрации между системными/эволюционными уровнями стека создания, опирающаяся на объяснения в сочетании с активно добываемыми данными о мире.
Дойчевские объяснения
Дойч в "Начале бесконечности" (и меньшей мере "Структуре реальности") продолжает линию Поппера для эволюционной эпистемологии в том, что добавляет:
-- ключевая операция появления объяснений -- это догадка про то, какие объекты и отношения важны.
-- догадка должна быть не любой идеи, а именно объяснений
-- далее тесты объяснений: на контрфактуальность в формулировках (собственно, именно это отличает "объяснение" от "просто любой идеи" -- причинно-следственность), на трудноизменяемость (тут нужно копать: похоже, это как-то связано с типами, но сам по себе критерий не очень понятен), на рациональность (не парохиальность, какая-то байесовская или квантовая, но не произвольная логика вывода, логическая стыковка с другими объяснениями а не обособленность), на универсальность (покрывает большее число ситуаций, чем объяснения-конкуренты), на точность предсказания данных эксперимента (сравнение с другими объяснениями).
-- нужно принимать всерьёз (то есть действовать в соответствии с ними) те объяснения, которые не были опровергнуты (недостатки в прохождении тестов есть у всех объяснений, но победители соревнования тут те объяснения, у которых меньше недостатков, остальные считаются опровергнутыми и либо выкидываются, либо как-то улучшаются путём исправления замеченных в них ошибок).
-- fun criterium, что не должно быть "онтологического дребезга" в трёх видах объяснений -- explicit, inexplicit/tacit, unconcsiousness theories (и замечание, что критиковать можно только explicit часть, что абсолютно недостаточно), и другие работы "послекнижного" периода, подробнее их список в https://ailev.livejournal.com/1611565.html
По этой же линии идёт работа Marletto в её книге про науку о нельзя и льзя -- https://ailev.livejournal.com/1566392.html.
Перловские объяснения
Симпатичная статья Judea Pearl про необходимость рационализма и в пику текущему эмпирицизму (https://plato.stanford.edu/entries/rationalism-empiricism/ ) в ML (https://ftp.cs.ucla.edu/pub/stat_ser/r502-reprint.pdf ). Рационализм: знания получаются model-based/cognitive bias плюс данные измерений - наш путь! Эмпирицизм: знания получаются из данных/измерений плюс innate priors -- не наш путь! Вот три аргумента:
-- Целесообразность (expediency). Просто данные и innate priors вполне можно использовать для эволюции. Но это дикое количество вычислений и времени. Алгоритмика open-endedness тут поможет, конечно, но не радикально. Так что при появлении неожиданной проблемы - просто не успеем! Метод проб и ошибок работает, но человечество явно придумало и другие методы получения ответов на вопросы! Для того, чтобы выбирать новые эксперименты в ходе эволюции («что пробовать» в методе проб и ошибок), нужно уметь строить рациональные модели (в том числе модели причинности).
-- Прозрачность (transparency). Откомпилированное (абстрагированное и компактно представленное) знание удобно хранить и переиспользовать без компиляции. Понятно, как проводить с ним вычисления. Понятна его модульная организация. Разделение learning (один раз задорого) и inference (многократно задёшево) это очень выгодно вычислительно! Рациональные (откомпилированные, формальные, в том числе причинные) модели могут отвечать на вопросы, не выводя эти ответы эволюцией из данных.
-- Объяснимость (explainability). Ответы на вопросы должны быть объяснимы, что обычно происходит в терминах причин и следствий и правил рассуждений. Знание передаётся от агента к агенту не путём передачи исходного набора данных, из которого потом агент сам получит новое знание, но путём объяснения. Объяснение делается на причинных (с контрфактуалами!) моделях.
Перл (и вслед за ним много кто ещё, например, Баренбойм со товарищи, https://ailev.livejournal.com/1561098.html) заходит на формализацию причинности по линии "лестницы причинности":
-- рассуждения о причинах-следствиях ведутся контрфактуально, что означает исключение стрелок из графа причинности -- "если бы не", возможные миры.
-- вероятности событий в графе причинности считаются по Байесу, это интервенции -- "если это, то что?"
-- граф причинности должен быть предложен, расчёты байесовской сети по данным эксперимента ("ассоциации") только подтверждают или опровергают наличие связи. В редких и особых ситуациях граф причинности может выводиться из данных, но это нужно особо обсуждать каждый раз.
-- все эти "статистические" закономерности не должны закрывать индивидуализированное (а не по итогам всей выборки) принятие решений -- то есть сегодняшние клинические исследования не рациональны (https://ailev.livejournal.com/1614286.html)
Классические теории принятия решений, "пассивная/вычислительная рациональность"
Основное тут -- это каким образом выбрать действие между несколькими альтернативами в условиях неопределённости. И тут есть несколько теорий принятия решений (https://ailev.livejournal.com/1611838.html):
-- традиционная, которая связана в том числе с традиционными спорами ординалистов и кардиналистов в экономике, https://plato.stanford.edu/entries/decision-theory/
-- причинная, которая добавляет учёт последствий своих действий рациональным агентом, https://plato.stanford.edu/entries/decision-causal/
-- квантовая как ход на то, как детерминистические разовые физические события проявляются как вероятностная основа для принятия решений, например https://www.livescience.com/quantum-like-model-of-decision-making-proposed.html
Самое необычное тут, конечно, квантовая теория решений -- и заключение, что каждущаяся "иррациональность по Байесу" это просто "квантовоподобная рациональность, ибо для байесовских вычислений не хватит ресурсов". Но там вывод ещё и такой (неколмогоровская вероятность), что вероятностные алгебры в ходе квантовых вычислений оказываются принципиально несовместимыми (типа как микротеории в CYC принципиально не могут вычисляться совместно в одном логическом вычислении), а в квантовоподобном -- могут, это линия Андрея Хлебникова (работает сам по себе), а также Криса Филдса (начал работать с Фристоном).
И это всё стыкуется с квантовоподобными подходами к эволюции по линии Ванчурина и Кацнельсона, которые рассматривают эволюционный процесс с неизбежными фрустрациями как основные причины изменений как оптимизационного процесса. Проявляется это как "противоречия" ("клетка должна размножаться, в этом её счастье -- клетка не должна размножаться, это для организма рак"). Объяснения должны как-то работать с фрустрациями, хотя сама "эволюция как обучение" должна рассматриваться в практике исследований:
-- многомасштабное моделирование, трансдисциплины, ренормализация, системное мышление и прочее с одинаковыми объяснениями про все системные/эволюционные уровни. Фрустрации вводятся и обсуждаются тут, в материале по многоуровневости.
-- микротеории, прикладные практики и прочие объяснения на одном уровне, и тут конфликты между ролевыми интересами -- это можно обсуждать в рамках практик стека создания (в кругозорах по практикам создателей разных уровней -- вещества, киберфизической системы с универсальным вычислителем, личности, коллектива, сообщества, общества, человечества).
Отдельный момент -- это теории причинности, которые кладутся в основу объяснений. Этих теорий множество. Вот обзор верхнего уровня: https://iep.utm.edu/causation/ (и есть множество отдельных статей, описывающих разные варианты причинности, например причинность в физике, https://plato.stanford.edu/entries/causation-physics/, и там даже раздел "8. Причинное объяснение". Но и разные другие варианты тоже не так просты, например контрфактуальные теории https://plato.stanford.edu/entries/causation-counterfactual/).
И, конечно, "причинная теория решений", https://plato.stanford.edu/entries/decision-causal/, по факту там всё "классическое" и не квантовое.
Прагматический поворот: active inference
Прагматический поворот означает, что "принятие решений" как выбор существенно пересекается с активным определением того, из чего там делается выбор (творчество, любопытство -- порождение объяснений в форме generative model. Порождение альтернатив в принятии решений, активный поиск данных на основе догадок/модели о мире тут в основе, творчество рулит). Лидером тут идёт подход active inference с опорой на free energy principle. Рациональность из "вычисления по выбору" превращается в действие по восприятию, совмещённое с вычислением (active) с выбором на каждом шаге в сторону уменьшения неопределённости в предсказании (inference, связан с порождающим моделированием, "предсказанием"):
-- Создатели, и в них квантовоподобное активное причинное обновление, https://ailev.livejournal.com/1612513.html
-- какой-то дайджест этого я дал в тексте "физмат-стек рациональности", https://ailev.livejournal.com/1613398.html
-- аннотированная литература про физику-математику на уровне вариационного исчисления в основе active inference, https://ailev.livejournal.com/1617757.html и https://ailev.livejournal.com/1618414.html
В эту сторону движутся кроме active inference и многие другие, этот "прагматический поворот" идёт потихоньку уже сто лет и перемалывает "опору на данных и их фильтрацию-интерпретацию" в "активную добычу данных".
Так, кроме наиболее распространённых контрфактуальных объяснений, существуют направляющие/directive explanations, которые даются в терминах действий, нужных для получения желаемого результата. И оказывается, что люди предпочитают (хотя и не всегда) именно такие объяснения, https://arxiv.org/abs/2102.02671 и даже уже предлагаются фреймворки/подходы для выбора подходящих видов объяснений, включая направляющие/directive (от тех же авторов, что и работа по предыдущей ссылке, https://arxiv.org/abs/2104.09612).
Ключевым тут является моделирование: оно должно делаться не в дискриминационных/descriminative моделях как в "традиционном ML с корреляцией на стероидах", а в порождающих/generative моделях, которые способны породить описание возможного мира как предсказание. Порождение в таких моделях включает момент творчества, и способы этого творчества активно изучаются в AI (прежде всего на примере GAN как generative adversarial network и связанных с ними разнообразных архитектур, но кроме GAN есть и другие типы моделей, которые так же сегодня активно изучаются -- https://scholarspace.manoa.hawaii.edu/bitstream/10125/71289/0538.pdf, https://www.lgresearch.ai/blog/view/?seq=126
Тут обычная дискуссия о том, что в RL известна функция награды, а в общем случае такой награды нет, и тогда опираются на принцип наименьшего действия/free energy -- познание моделей с учётом любопытства, а RL тут может быть частным случаем для познания способов достижения локального минимума свободной энергии.
В интеллект-стеке 2021 эпистемологию как "объяснения по добыче объяснений" я разделил на "исследования" как "практика бесконечного улучшения всех имеющихся знаний/теорий/объяснений" и "объяснение" -- практика работы с конкретным единичным объяснением (получение, критика, использование -- не касаемся эволюции всех имеющихся знаний/теорий/объяснений, то есть исследований). В интеллект-стеке 2022 учтён "прагматический поворот" и эпистемология поделена на две части:
-- исследования (роль "исследователь") как практика бесконечной эволюции знаний/теорий/объяснений (в 21 веке так работает не только наука, а так работают все -- это практика, основанная на трансдисциплине. Поэтому не "наука", а "исследования").
-- рациональность (роль "разум"), в которой рассматривается принятие решений на основе объяснений (то есть объяснения понимаются примерно как в предыдущей версии интеллект-стека плюс добавляется теория решений, в том числе в варианте после pragmatic turn, то есть теории типа active inference, где вычисления по принятию решений и действия слиты вместе).
Выше практики рациональности в интеллект-стеке исследования (как бесконечно развивать знание), а дальше обсуждаем эстетику (рациональная бесконечно развивающаяся эстетика), потом этику (рациональная этика). "Рациональная X::практика" тут везде -- это деятельностная, оптимизирующая фрустрации между системными/эволюционными уровнями стека создания, опирающаяся на объяснения в сочетании с активно добываемыми данными о мире.
Дойчевские объяснения
Дойч в "Начале бесконечности" (и меньшей мере "Структуре реальности") продолжает линию Поппера для эволюционной эпистемологии в том, что добавляет:
-- ключевая операция появления объяснений -- это догадка про то, какие объекты и отношения важны.
-- догадка должна быть не любой идеи, а именно объяснений
-- далее тесты объяснений: на контрфактуальность в формулировках (собственно, именно это отличает "объяснение" от "просто любой идеи" -- причинно-следственность), на трудноизменяемость (тут нужно копать: похоже, это как-то связано с типами, но сам по себе критерий не очень понятен), на рациональность (не парохиальность, какая-то байесовская или квантовая, но не произвольная логика вывода, логическая стыковка с другими объяснениями а не обособленность), на универсальность (покрывает большее число ситуаций, чем объяснения-конкуренты), на точность предсказания данных эксперимента (сравнение с другими объяснениями).
-- нужно принимать всерьёз (то есть действовать в соответствии с ними) те объяснения, которые не были опровергнуты (недостатки в прохождении тестов есть у всех объяснений, но победители соревнования тут те объяснения, у которых меньше недостатков, остальные считаются опровергнутыми и либо выкидываются, либо как-то улучшаются путём исправления замеченных в них ошибок).
-- fun criterium, что не должно быть "онтологического дребезга" в трёх видах объяснений -- explicit, inexplicit/tacit, unconcsiousness theories (и замечание, что критиковать можно только explicit часть, что абсолютно недостаточно), и другие работы "послекнижного" периода, подробнее их список в https://ailev.livejournal.com/1611565.html
По этой же линии идёт работа Marletto в её книге про науку о нельзя и льзя -- https://ailev.livejournal.com/1566392.html.
Перловские объяснения
Симпатичная статья Judea Pearl про необходимость рационализма и в пику текущему эмпирицизму (https://plato.stanford.edu/entries/rationalism-empiricism/ ) в ML (https://ftp.cs.ucla.edu/pub/stat_ser/r502-reprint.pdf ). Рационализм: знания получаются model-based/cognitive bias плюс данные измерений - наш путь! Эмпирицизм: знания получаются из данных/измерений плюс innate priors -- не наш путь! Вот три аргумента:
-- Целесообразность (expediency). Просто данные и innate priors вполне можно использовать для эволюции. Но это дикое количество вычислений и времени. Алгоритмика open-endedness тут поможет, конечно, но не радикально. Так что при появлении неожиданной проблемы - просто не успеем! Метод проб и ошибок работает, но человечество явно придумало и другие методы получения ответов на вопросы! Для того, чтобы выбирать новые эксперименты в ходе эволюции («что пробовать» в методе проб и ошибок), нужно уметь строить рациональные модели (в том числе модели причинности).
-- Прозрачность (transparency). Откомпилированное (абстрагированное и компактно представленное) знание удобно хранить и переиспользовать без компиляции. Понятно, как проводить с ним вычисления. Понятна его модульная организация. Разделение learning (один раз задорого) и inference (многократно задёшево) это очень выгодно вычислительно! Рациональные (откомпилированные, формальные, в том числе причинные) модели могут отвечать на вопросы, не выводя эти ответы эволюцией из данных.
-- Объяснимость (explainability). Ответы на вопросы должны быть объяснимы, что обычно происходит в терминах причин и следствий и правил рассуждений. Знание передаётся от агента к агенту не путём передачи исходного набора данных, из которого потом агент сам получит новое знание, но путём объяснения. Объяснение делается на причинных (с контрфактуалами!) моделях.
Перл (и вслед за ним много кто ещё, например, Баренбойм со товарищи, https://ailev.livejournal.com/1561098.html) заходит на формализацию причинности по линии "лестницы причинности":
-- рассуждения о причинах-следствиях ведутся контрфактуально, что означает исключение стрелок из графа причинности -- "если бы не", возможные миры.
-- вероятности событий в графе причинности считаются по Байесу, это интервенции -- "если это, то что?"
-- граф причинности должен быть предложен, расчёты байесовской сети по данным эксперимента ("ассоциации") только подтверждают или опровергают наличие связи. В редких и особых ситуациях граф причинности может выводиться из данных, но это нужно особо обсуждать каждый раз.
-- все эти "статистические" закономерности не должны закрывать индивидуализированное (а не по итогам всей выборки) принятие решений -- то есть сегодняшние клинические исследования не рациональны (https://ailev.livejournal.com/1614286.html)
Классические теории принятия решений, "пассивная/вычислительная рациональность"
Основное тут -- это каким образом выбрать действие между несколькими альтернативами в условиях неопределённости. И тут есть несколько теорий принятия решений (https://ailev.livejournal.com/1611838.html):
-- традиционная, которая связана в том числе с традиционными спорами ординалистов и кардиналистов в экономике, https://plato.stanford.edu/entries/decision-theory/
-- причинная, которая добавляет учёт последствий своих действий рациональным агентом, https://plato.stanford.edu/entries/decision-causal/
-- квантовая как ход на то, как детерминистические разовые физические события проявляются как вероятностная основа для принятия решений, например https://www.livescience.com/quantum-like-model-of-decision-making-proposed.html
Самое необычное тут, конечно, квантовая теория решений -- и заключение, что каждущаяся "иррациональность по Байесу" это просто "квантовоподобная рациональность, ибо для байесовских вычислений не хватит ресурсов". Но там вывод ещё и такой (неколмогоровская вероятность), что вероятностные алгебры в ходе квантовых вычислений оказываются принципиально несовместимыми (типа как микротеории в CYC принципиально не могут вычисляться совместно в одном логическом вычислении), а в квантовоподобном -- могут, это линия Андрея Хлебникова (работает сам по себе), а также Криса Филдса (начал работать с Фристоном).
И это всё стыкуется с квантовоподобными подходами к эволюции по линии Ванчурина и Кацнельсона, которые рассматривают эволюционный процесс с неизбежными фрустрациями как основные причины изменений как оптимизационного процесса. Проявляется это как "противоречия" ("клетка должна размножаться, в этом её счастье -- клетка не должна размножаться, это для организма рак"). Объяснения должны как-то работать с фрустрациями, хотя сама "эволюция как обучение" должна рассматриваться в практике исследований:
-- многомасштабное моделирование, трансдисциплины, ренормализация, системное мышление и прочее с одинаковыми объяснениями про все системные/эволюционные уровни. Фрустрации вводятся и обсуждаются тут, в материале по многоуровневости.
-- микротеории, прикладные практики и прочие объяснения на одном уровне, и тут конфликты между ролевыми интересами -- это можно обсуждать в рамках практик стека создания (в кругозорах по практикам создателей разных уровней -- вещества, киберфизической системы с универсальным вычислителем, личности, коллектива, сообщества, общества, человечества).
Отдельный момент -- это теории причинности, которые кладутся в основу объяснений. Этих теорий множество. Вот обзор верхнего уровня: https://iep.utm.edu/causation/ (и есть множество отдельных статей, описывающих разные варианты причинности, например причинность в физике, https://plato.stanford.edu/entries/causation-physics/, и там даже раздел "8. Причинное объяснение". Но и разные другие варианты тоже не так просты, например контрфактуальные теории https://plato.stanford.edu/entries/causation-counterfactual/).
И, конечно, "причинная теория решений", https://plato.stanford.edu/entries/decision-causal/, по факту там всё "классическое" и не квантовое.
Прагматический поворот: active inference
Прагматический поворот означает, что "принятие решений" как выбор существенно пересекается с активным определением того, из чего там делается выбор (творчество, любопытство -- порождение объяснений в форме generative model. Порождение альтернатив в принятии решений, активный поиск данных на основе догадок/модели о мире тут в основе, творчество рулит). Лидером тут идёт подход active inference с опорой на free energy principle. Рациональность из "вычисления по выбору" превращается в действие по восприятию, совмещённое с вычислением (active) с выбором на каждом шаге в сторону уменьшения неопределённости в предсказании (inference, связан с порождающим моделированием, "предсказанием"):
-- Создатели, и в них квантовоподобное активное причинное обновление, https://ailev.livejournal.com/1612513.html
-- какой-то дайджест этого я дал в тексте "физмат-стек рациональности", https://ailev.livejournal.com/1613398.html
-- аннотированная литература про физику-математику на уровне вариационного исчисления в основе active inference, https://ailev.livejournal.com/1617757.html и https://ailev.livejournal.com/1618414.html
В эту сторону движутся кроме active inference и многие другие, этот "прагматический поворот" идёт потихоньку уже сто лет и перемалывает "опору на данных и их фильтрацию-интерпретацию" в "активную добычу данных".
Так, кроме наиболее распространённых контрфактуальных объяснений, существуют направляющие/directive explanations, которые даются в терминах действий, нужных для получения желаемого результата. И оказывается, что люди предпочитают (хотя и не всегда) именно такие объяснения, https://arxiv.org/abs/2102.02671 и даже уже предлагаются фреймворки/подходы для выбора подходящих видов объяснений, включая направляющие/directive (от тех же авторов, что и работа по предыдущей ссылке, https://arxiv.org/abs/2104.09612).
Ключевым тут является моделирование: оно должно делаться не в дискриминационных/descriminative моделях как в "традиционном ML с корреляцией на стероидах", а в порождающих/generative моделях, которые способны породить описание возможного мира как предсказание. Порождение в таких моделях включает момент творчества, и способы этого творчества активно изучаются в AI (прежде всего на примере GAN как generative adversarial network и связанных с ними разнообразных архитектур, но кроме GAN есть и другие типы моделей, которые так же сегодня активно изучаются -- https://scholarspace.manoa.hawaii.edu/bitstream/10125/71289/0538.pdf, https://www.lgresearch.ai/blog/view/?seq=126
Тут обычная дискуссия о том, что в RL известна функция награды, а в общем случае такой награды нет, и тогда опираются на принцип наименьшего действия/free energy -- познание моделей с учётом любопытства, а RL тут может быть частным случаем для познания способов достижения локального минимума свободной энергии.