Видео очередного заседания лаборатории собранности, 17 марта 2022,
https://www.youtube.com/watch?v=tI3SS2OS71A. Обсуждаем физику, математику, онтологию, GAN, вариационное исчисление и маржинальность, active inference, теории креативности/творчества, экономику, прагматический поворот, агентность, цикл бойда. Я на следующий день написал что-то из этого (хотя и не всё) в слегка аннотированном списке ссылок на литературу "Маржинальная революция во всех мыслительных практиках, активное рассуждение, и куда думать дальше",
https://ailev.livejournal.com/1617757.html.
Продолжу этот жанр "слегка аннотированного набора ссылок".
Начнём с формулировок Кацнельсона (
https://trv-science.ru/2022/03/vsya-nasha-zhizn-zadachi-po-optimizacii/): в нашей Вселенной фундаментальные законы допускают формулировку в виде так называемых вариационных принципов, то есть своего рода оптимизационных задач. Именно этот язык дает возможность унифицировать подходы к физике и эволюционной биологии.
Владимир Арнольд говорил, что главное достижение Ньютона можно сформулировать одной фразой: «Полезно решать обыкновенные дифференциальные уравнения». Исаак Ньютон заметил, что фундаментальные физические законы имеют математическую структуру дифференциальных уравнений. А после Ньютона другие физики: Пьер Ферма в оптике с принципом наименьшего времени, Пьер де Мопертюи в механике с принципом наименьшего действия и, наконец, Жозеф Лагранж с Уильямом Гамильтоном обнаружили, что есть альтернативная формулировка: вместо того чтобы описывать процесс шаг за шагом, как предполагается в дифференциальных уравнениях, можно делать утверждение об оптимальности какого-то функционала, который есть действие (принцип наименьшего действия).
Совершенно нетривиально, что законы механики имеют такую структуру. Можно представить себе дифференциальное уравнение другого типа, которое не является, математически говоря, уравнениями Эйлера - Лагранжа, которые не следуют из оптимизации какого-то функционала. Но мир таков. На самом деле вариационные принципы пронизывают физику и, как мы думаем, всю науку сверху донизу. Вариационный принцип лежит также в основе эволюционной биологии (оптимизация fitness - приспособленности); fitness является вполне конкретной математической величиной, тем, что называется мальтузианской приспособленностью (Malthusian fitness - скорость репликации минус средняя скорость репликации).
Эволюция идет таким образом, чтобы максимально оптимизировать эту приспособленность. Единство математического аппарата - а в нашей Вселенной допускается формулировка фундаментальных физических законов в виде некоторого вариационного принципа, в виде некоторой оптимизационной проблемы - создает естественные предпосылки для того, чтобы биологическая оптимизация настроилась на решение этой проблемы.
Я не равняю себя с Ньютоном, но на том же уровне, на котором он, по Арнольду, сказал, что решать обыкновенные дифференциальные уравнения полезно, мы сделали схожее утверждение: «Полезно решать оптимизационные, вариационные задачи». Вариационное исчисление и есть тот универсальный математический аппарат, который до некоторой степени формально объединяет физику, биологию и всё остальное.
И речь идёт не только о физике, но и многом другом. Вот, например, маржинализм в экономике (
https://ru.wikipedia.org/wiki/Маржинализм ): Маржинализм (фр. marginalisme, от лат. margo (marginis) - край) - направление в экономической науке, широко применяющее методы анализа, основанные на оперировании «предельными» (т. е. приростными) понятиями в экономике, исследующее явления с точки зрения максимизирующего собственное удовлетворение отдельного хозяйствующего субъекта (маржинализм иногда называют субъективной школой экономики).
...
Основной причиной возникновения маржинализма считается необходимость поиска условий, при которых данные производительные услуги распределялись бы с оптимальным результатом между конкурирующими направлениями использования.
...
Задача маржинализма - исследование закономерности экономических процессов на основе использования предельных величин. Соответственно, все основные категории в маржиналистской теории основаны на применении количественного анализа. Это такие категории, как предельная полезность, предельная производительность, предельные издержки, предельный доход, предельная норма замещения, предельная эффективность капитала и т. д.
Маржиналистская теория позволила применить к исследованию экономических процессов количественные методы, эффективно использовать в экономической науке математический аппарат; позволила создать экономические модели; проанализировать эластичность спроса и поставить проблему оптимума.
Следующий шаг был в переходе от вариационного принципа к байесовскому рассуждению/inference как оптимизационной задаче для свободной энергии/free energy. И тут появляется два разных варианта free energy (The two kinds of free energy and the Bayesian revolution, 2020,
https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1008420):
-- free energy from constraints (appears when trading off accuracy and uncertainty based on a general maximum entropy principle). The maximum entropy principle goes back to the principle of insufficient reason [49-51], which states that two events should be assigned the same probability if there is no reason to think otherwise. It has been hailed as a principled method to determine prior distributions and to incorporate novel information into existing probabilistic knowledge. In fact, Bayesian inference can be cast in terms of relative entropy minimization with constraints given by the available information [52].
-- variational free energy (There is another, distinct appearance of the term “free energy” outside of physics, which is a priori not motivated from a trade-off between an energy and entropy term, but from possible efficiency gains when representing Bayes’ rule in terms of an optimization problem. This technique is mainly used in variational Bayesian inference [55], originally introduced by Hinton and van Camp [42]). И вот active inference идёт из этого второго понимания.
Мы помним, что free energy по термодинамической (физической) и по Shannon (информационной) линии строго различал двадцать лет назад ещё Jaynes и тоже просил их не путать, но их сегодня таки активно связывают (например,
https://www.mdpi.com/1099-4300/19/2/48/htm -- We start with a clear distinction between Shannon’s Measure of Information (SMI) and the Thermodynamic Entropy. The first is defined on any probability distribution; and therefore it is a very general concept. On the other hand Entropy is defined on a very special set of distributions. Next we show that the Shannon Measure of Information (SMI) provides a solid and quantitative basis for the interpretation of the thermodynamic entropy. The entropy measures the uncertainty in the distribution of the locations and momenta of all the particles; as well as two corrections due to the uncertainty principle and the indistinguishability of the particles. Finally we show that the H-function as defined by Boltzmann is an SMI but not entropy. Therefore; much of what has been written on the H-theorem is irrelevant to entropy and the Second Law of Thermodynamics. Итаких работ множество).
Абсолютно неудивительно, что все эти понимания тесно переплетены и нещадно путаются: математика (и физика!) под этими разными пониманиями не самая простая, ибо это приложения вариационного исчисления (кратенький русскоязычный односеместровый учебник для справки что это такое:
http://library.voenmeh.ru/jirbis2/files/materials/math/math_new/eos/elr01541.pdf -- "Интегральный функционал, его дифференциал, или вариация, его
стационарная точка и точка экстремума суть исходные понятия вариационного исчисления. Термин «функционал» обычно применяется для наименования
отображений, принимающих, так же как и функции, числовые значения. В вариационном исчислении его применяют потому, что термин функция занят для обозначения аргументов функционала". И дальше 58 страниц про составление и решение интегральных и дифференциальных уравнений, посвящённых нахождению этих самых экстремумов интегральных функционалов).
Дальше это нужно всё понимать, чтобы разбираться в разночтениях и по многим другим понятиям. Например, понятие Markov blanket/граница Маркова тоже используется по-разному (так, что говорят о множестве разных "границ" между динамической неравновесной системой и её окружением): граница Маркова, граница Маркова у Фристона и, например, у Перла оказываются разными границами, вот статья про разницу, это ноябрь 2020 года,
http://philsci-archive.pitt.edu/19726/ -- и вот огромное число откликов на эту статью,
https://www.reddit.com/r/PredictiveProcessing/comments/rycjcg/commentaries_on_the_emperors_new_markov_blankets/ и сам Friston поощряет дискуссии на эти темы в
https://zenodo.org/record/5797041, я писал об этом вот тут в предпоследнем абзаце
https://ailev.livejournal.com/1617757.html.
А когда мы переходим к квантовой математике вместо байесовской (A free energy principle for generic quantum systems,
https://arxiv.org/abs/2112.15242), так и вовсе можно перестать понимать происходящее. Ситуация очень похожа тут на ситуацию в квантовой механике: есть некоторые математические формулы, результаты вычислений по которым очень хорошо совпадают с экспериментом, и поэтому велик соблазн сказать "заткнись и считай" (
https://aeon.co/essays/shut-up-and-calculate-does-a-disservice-to-quantum-mechanics), но физический смысл этих формул остаётся неясным, если не дать "интерпретацию квантовой механики", а вот тут учёные не договорились (и, похоже, так и не договорятся). Поэтому в квантовой механике SoTA не очень понятно, где. Ежели брать "просто квантовоподобную математику" и искать совпадений расчётов по ней с самыми разными процессами (как делают уже многие исследователи, кроме Friston с Fields и active inference так действует и лаборатория Андрея Хренникова, я писал больше про эту "квантовую рациональность", описывая физмат-стек --
https://ailev.livejournal.com/1613398.html и ещё в
https://ailev.livejournal.com/1612513.html). То есть что ни задача по линии квантовоподобности, то стоит "проблема множественности предметных интерпретаций" по очень близким по набору понятий формулам, имеющим самые разные "мотивации" (причины, по каким их выбрали). А дальше pragmatic turn в плане смены интерпретаций: вместо "вычислителя выбора" в теории принятия решений теория активного вывода с элементами творчества (подробней в "Маржинальная революция во всех мыслительных практиках, активное рассуждение, и куда думать дальше"
https://ailev.livejournal.com/1617757.html).
Далее задача стоит в нахождении какого-то уровня объяснений всего этого, не подразумевающего уверенного владения вариационным исчислением на уровне физиков-математиков. Тут две задачи:
-- методологическая: всё-таки очертить границы SoTA общего знания, которое лежит в основе множества применений. Так в системном фитнесе есть объяснения "лестницы усилий". Оно сводится к тому, что есть некоторый доступный для регулирования диапазон усилий, в котором мы утверждаем примерно тот же подход, который используется в маржинальном подходе экономики: говорим о маржинальном подходе (любой прирост усилия делается не сам по себе, а на границе/марже уже набранного усилия) и предельных усилиях (понимаемых как махонькое приращение усилия за махонькое время, а не как "предел человеческой силы" -- это и есть "лестница усилия", в которой ступеньки хотим делать неразличимо маленькими как по величине усилия, так и по времени его удержания). Смысл этого всего? Минимизация действия (тоже можно обсуждать, насколько это "действие" физический термин, а не простое бытовое слово, используемое в системном фитнесе для описания телесных усилий). Вот хорошо бы, чтобы все подобные ситуации описать один раз в мета-мета-модели какого-то набора понятий математики, которую потом приземлять (grounding) в мета-модели предметной области системного фитнеса, экономики, физики, теории деятельностный рассуждений/active inference и так далее. Один раз выучить, применять везде: что это за трансдисциплина? Каковы границы этого набора понятий?
-- методическая: выбрать надлежащий уровень объяснения, см. "объяснения на пяти уровнях" в серии
https://www.wired.com/video/series/5-levels. Мне кажется, что тут нужно пойти по предложению Selmer Bringsjord, который считает в текущей социокультурной ситуации поезд "магистерского уровня" физики-математики (с тем самым семестровым курсом вариационного исчисления) уже ушедшим,
https://ailev.livejournal.com/1059168.html. Это означает, что такого уровня математика не фундаментальное знание, а прикладное, но нужно таки требовать умения моделировать вариационность-маржинальность и деятельное/практическое рассуждение в части формализации каких-то предметных областей (экономики, системного фитнеса, архитектуры предприятия и т.д.). Это означает, что таки мы можем использовать уровень по шкале Wired примерно college student (вряд ли grad student), но активно задействовать при этом "машинку типов" и понимание отношений между мета-мета-моделью, мета-моделью и моделью (пока мы отрабатываем этот переход главным образом в курсе системного менеджмента на материале архитектуры предприятия, как это рассказано в
https://www.youtube.com/watch?v=vjmABZI_Vxc и очень кратко описано в учебнике системного мышления 2022 года, но надо распространить это моделирование в новых интеллект-стеке и стеке создания, которые я предъявлял в их текущих видах в докладе "Интеллект-стек для xGI", видео
https://www.youtube.com/watch?v=XtAOwzeMH5I, слайды
https://disk.yandex.ru/i/D71uLCOD2Um0gg, а разные другие аспекты их обсуждали на заседании лаборатории собранности за несколько часов до доклада, видео в
https://www.youtube.com/watch?v=saNCzo1Focg, а в разных постах последних двух недель я цеплял разные его моменты.
Всё это запредельно сложно и мне очень плохо понятно, но я сейчас ровно тот студент, который "не понимает, не понимает, а потом привыкает". Для чего, собственно, и пишу. И ещё надеюсь, что какие-то люди ходят по этим моим ссылкам и читают тамошние тексты. И им это всё сильно понятней, чем мне. И они потом сделают нужные курсы. Моя же роль -- сдвинуть дело с мёртвой точки, культуртрегерство (как я это описываю в курсе МОО2022,
https://system-school.ru/teaching). Но пока дело выглядит так, что помощи ждать неоткуда, а в ОдО2022 я просто в соответствующих разделах помещу содержание этих постов последних двух недель как "постановку задачи" на методологическую работу (культуртрегерсская работа, с методологией в этих предметах за пару месяцев не справиться, кавалерийский наскок не получится).