Физмат стек рациональности
Пока ничего не пишу, но много читаю про математику и физику рациональности, и (совсем чуть-чуть) эволюции как обучения или даже рационального рассуждения (сегодня "мейнстрим" -- это как раз bayesian inference/рациональное рассуждение с опорой на free energy, но этот "мейнстрим" вроде как уже фальсифицирован в эксперименте, и новая SoTA квантовая).
В школе и вузе существенно недоучивали физике и математике в части структуры самой математики и физики, если только ты не попал в именно физики-математики. Я вот в химики попал, и даже квантовую химию сдавал, равно как и теорфизику (до сих пор не понимаю, чему же там меня учили! Сдал на тройку, ибо не понимал, почему и зачем там всё так формулировалось и куда потом должно было применяться. Просто дали для заучивания пару десятков формул в семестровом курсе, и всё!). Скажем, прямо из википедии: "Действие - одна из фундаментальных физических величин, входящая в современную формулировку большинства основных физических теорий во всех фундаментальных разделах физики, имеющая при этом и огромное значение в теоретической физике. Оно может иметь меньшее значение в сравнительно более прикладных областях, хотя и там нередко бывает употребительно. Используется равно и в квантовой, и в классической, и в релятивистской физике". Действие является мерой движения физической системы. Далее вопрос про меру и измерения -- это не такой простой вопрос (скажем, колмогоровская теория вероятности включает вероятностную меру на алгебре, которая задаёт вероятностное пространство). Движение в общем смысле, а не только физическое движение -- тоже не обсуждается. Пространство как математическое пространство практически не обсуждается, движение как нечно абстрактное -- вот ни разу. Понятие исчисления даётся только на примере дифференциального и интегрального исчислений (и это воспринимается как название учебного предмета, а не собственно исчисление!). Энергия только механическая, без мостика к теории информации и далее идеям типа free energy principle. Информация и свехринформация ни разу не по линии теории информации, а только по линии информатики. Зачем это всё? Это ж частное знание? Хотя бы затем, чтобы потом выбрать себе прикладую теорию из множества конкурирующих и понимать, как именно меняется SoTA в той или иной области.
Выход в обсуждение физичности чего бы то ни было, а также связи математики, физики и computer science упирается как раз в предыдущий пункт: мало кто понимает про "физичность", "математичность" и "опору физики на математику", те же вопросы описания реальности исчислениями. Как обсуждать связь трёх вещей, которые ты не понимаешь даже по отдельности?! Один из ключевых моментов тут -- это как раз отделение исчисления от физики: дифференциальное и интегральное исчисление поначалу были выработаны для механики, а потом стали универсальным языком описания физических явлений. То же самое сейчас только-только начало происходить с квантовой вероятностью, другими квантовыми математическими идеями: они отрываются от описания квантовофизических явлений и начинают использоваться как универсальные описания, и это идёт пока тяжко (и люди путаются: это квантовоматематическое описание макроскопического мозга, или квантовомеханическое описание макроскопической работы мозга исходя из редукционизма к квантовофизическим процессам на молекулярном уровне?).
Рациональность идёт по линии теории решений: это что угодно, если под этим байесовское обновление и цепочка таких обновлений -- байесовский вывод. Две мелких проблемы: в живых системах это не встречается, ибо дико затратно по ресурсам. Вместо этого работает менее затратный механизм: квантовоподобное (quantum-like) обновление и квантовоподобный вывод (конечно, слово "подобный" мало кем добавляется, и тут дикая путаница), это называют квантовой рациональностью. Она имеет по сравнению с классической и плюсы и минусы: работает быстрее, справляется с большей неопределённостью и поэтому приносит отличные результаты там, где классика просто тупит и ведёт к проигрышу, но можно выделить ситуации, где байесовский вывод возможен, и там он срабатывает лучше. То есть человек оказывается не "неплохой байесовский вычислитель", а "неплохой квантовый вычислитель", и это подтверждается экспериментами (типа https://www.sciencedirect.com/science/article/pii/S0022249620301152).
Как был сделан Jaynes вывод, что формализовать до булевой алгебры всё не удастся и нужно смириться с байесианством (и булевый вывод там частный случай), так дальше по этой же линии идут рассуждения о том, что в большинстве реалистичных ситуаций есть множество несовместимых между собой вероятностных алгебр для байесовского вывода, и поэтому общего вывода сделать нельзя (а в квантовой рациональности можно). Это сильно напоминают о том, как о мире говорят онтологи, и далее программа CYC у Lenat воспринимается как попытки продвинуть булевость до упора в байесовский мир, а программа нейросетевиков воспринимается как попытки продвинуть байесовский мир до упора в квантовоподобный мир. А программа квантовиков? Они пока ничего не продвигают, а просто говорят: "эксперименты показывают, что мир лучше описывается нашими исчислениями, чем исчислениями предыдущих товарищей".
Причинность была сформулирована Pearl как попытка сшить булевский мир с контрфактуальными высказываниями и байесовские сети как основой для рациональности. Если брать квантовую рациональность, то всё это летит к чёртовой матери, и нужно заново выстраивать quantum causal inference. Да, так оно и происходит, Quantum Causal Inference in the Presence of Hidden Common Causes: an Entropic Approach, https://arxiv.org/abs/2104.13227, а дальше "аналог LSTM" на квантовых марковских моделях, Learning Circular Hidden Quantum Markov Models: A Tensor Network Approach: https://arxiv.org/abs/2111.01536, и там приписка: This research was supported by the Defense Advanced Research Projects Agency (DARPA) Quantum Causality. Всё только начинается.
Заходы на рациональность (а классическая рациональность на Байесе автоматом связана и с free energy, это ещё у Jaynes показано) эволюции не делает сейчас только ленивый, работа Ванчурина тут просто обращает внимание на многоуровневость и нейросетки. Но и до этого было полно работ типа Universal Darwinism As a Process of Bayesian Inference, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4894882/ и https://pubmed.ncbi.nlm.nih.gov/31320316/. И тут появляется вопрос, не квантовая ли там рациональность, и можно начинать всё сначала.
Рациональность понимается сейчас хитро: больше как дескриптивная (логическая, байесовская, причинная байесовская, квантовая) и соответствующая экспериментам с "рациональными агентами", то есть людьми, но вопрос о нормативной рациональности ставится только в части cognitive bias по линии сдвига от cognitive Bayes (хорошо рифмуется!), про "критическое мышление" как булевские рассуждения (они ж из несовместимых логик оказываются у оппонентов!) и
-- школ квантовой мысли более чем до чёртиков, они там грызутся как в банке с пауками. При этом Хренников чётко показывает, что договориться не удастся, ибо договаривание квантовое, а не байесовое: онтологии-то несовместимы, а ресурсов не хватает. Поэтому всё быстро-быстро, но с необходимостью врастопырку, Quantum-like cognition and rationality: biological and artificial intelligence systems, https://www.preprints.org/manuscript/202103.0395/v1. К квантовой рациональности как предмету это тоже вполне применимо, тамошние теории все врастопырку ровно как и предсказывается этой теорией!
И сейчас ещё интересный момент: крутых мыслителей не очень много, ибо квантовая теория на хорошем уровне мало кому доступна. Если будут распространяться квантовые компьютеры, то это подстегнёт интерес (как нейронные сети подстегнули интерес к Байесу), и разнообразие квантовых теорий будет ещё больше. Через три-четыре года публикаций на эти темы будет как сегодня по AI. Одно понятно: копенгагенскую интерпретацию никто не любит, хотя она там "рабочий английский". С другой стороны, никого не волнует "интерпретация", если речь идёт только об исчислениях, физики-то тогда нет, только математика для описания самых разных физик! С одной стороны, кажется что побеждает интерпретация "заткнись и считай" (есть и такая!), но сторонников такой победы не так много и в квантовой физике, а при приложении квантовой математики (не физики!) к психологии, социологии экономике -- там и подавно будут задаваться вопросами, "а с чего это оно так работает?!".
Теперь нужно сосредоточиться и предложить форму для изложения всего вот этого. Это будет стек мыслительных практик, я бы его назвал "физмат-стек рациональности". Совсем не уверен ни в названии (скажем, куда эволюцию и обучение деть? считать, что рациональность включает творчество, а эволюция подразумевает обсуждение open-endedness как обучение и творчество -- и там исследования и объяснения? а куда уехала computer science, связывающая физ и мат? в ту же "рациональность"?), ни в составе практик (таки не только дисциплин, там же ещё моделеры и софт на каждом уровне), ни в последовательности (как всегда, там клубок, по-умному lattice, в линейку не вытягивается), но чтобы приготовить рагу из зайца нужно иметь хотя бы кошку. Про стык с интеллект-стеком пока тоже молчу, потом разберёмся.
Текущая версия 0.1 физмат-стека рациональности примерно такова (даю традиционно сверху вниз, а изучать нужно будет как обычно -- для мотивации сверху вниз, для глубины снизу вверх, для понимания -- пройти минимально дважды):
-- агентские теории, обучение, эволюция как обучение, творчество (порождение и новизна), reinforcement learning, active inference и всё подобное.
-- причинность и причинный вывод (который я понимаю сейчас как утряску между разными видами рациональности, но это нужно ещё серьёзно додумывать).
-- теория решений как математика и физика рациональности (то есть не "любые вычисления", а вычисления по выбору из альтернатив"): вычисления/рассуждения/inference логический, байесовский, квантовый.
-- вычисления/программирование: но не только императивное-функциональное-объектное, но и квантовое над сверхинформацией, и вероятностное, и другие "неклассические" парадигмы. Универсальность вычислителей, и всё что мы раньше тут говорили. И да, inference и update тут -- причём в общем виде, а не только логический или bayesian (а конкретные варианты будут, как обычно, уровнем выше -- тут только вводим понятия).
-- физика как описания разных видов физических систем и процессов в них (по большому счёту, constructor theory тут вполне подходит, с косной материей через агентов и сообществ агентов к эволюции). Тут и термодинамика, как физическая, так и информационная (и есть призывы их не путать, и призывы считать одним и тем же), free energy тут.
-- математические понятия, нужные для описания физических систем: логических, байесовски-вероятностных, квантовых. Все эти "пространства", "алгебры", "аксиомы", "исчисления".
Уровень изложения всего вышесказанного абсолютно непонятен. Похоже, что это уровень ситуации с causal inference до момента написания The Book of Why, описания области универсальных алгоритмов до момента написания The Master Algorithm, описания операционного управления до выхода книги The Principles of Product Development Flow. Вот в эти образцы вроде как и нужно целиться: во всех них рассказы вроде про математику, но без собственно крутой математики, "кругозорные". То есть должны быть предприняты титанические методологические усилия (когда там всё бурлит и пенится по части помянутых практик), а затем не менее титанические методические усилия, чтобы обрушить входной образовательный ценз. Пока же типовой текст в этой предметной области излагается примерно на таком уровне понятности (это кусочек страницы 20 из https://www.preprints.org/manuscript/202103.0395/v1, все работы Андрея Хренникова написаны в таком стиле):
UPDATE: комментарии в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10222500477354752
В школе и вузе существенно недоучивали физике и математике в части структуры самой математики и физики, если только ты не попал в именно физики-математики. Я вот в химики попал, и даже квантовую химию сдавал, равно как и теорфизику (до сих пор не понимаю, чему же там меня учили! Сдал на тройку, ибо не понимал, почему и зачем там всё так формулировалось и куда потом должно было применяться. Просто дали для заучивания пару десятков формул в семестровом курсе, и всё!). Скажем, прямо из википедии: "Действие - одна из фундаментальных физических величин, входящая в современную формулировку большинства основных физических теорий во всех фундаментальных разделах физики, имеющая при этом и огромное значение в теоретической физике. Оно может иметь меньшее значение в сравнительно более прикладных областях, хотя и там нередко бывает употребительно. Используется равно и в квантовой, и в классической, и в релятивистской физике". Действие является мерой движения физической системы. Далее вопрос про меру и измерения -- это не такой простой вопрос (скажем, колмогоровская теория вероятности включает вероятностную меру на алгебре, которая задаёт вероятностное пространство). Движение в общем смысле, а не только физическое движение -- тоже не обсуждается. Пространство как математическое пространство практически не обсуждается, движение как нечно абстрактное -- вот ни разу. Понятие исчисления даётся только на примере дифференциального и интегрального исчислений (и это воспринимается как название учебного предмета, а не собственно исчисление!). Энергия только механическая, без мостика к теории информации и далее идеям типа free energy principle. Информация и свехринформация ни разу не по линии теории информации, а только по линии информатики. Зачем это всё? Это ж частное знание? Хотя бы затем, чтобы потом выбрать себе прикладую теорию из множества конкурирующих и понимать, как именно меняется SoTA в той или иной области.
Выход в обсуждение физичности чего бы то ни было, а также связи математики, физики и computer science упирается как раз в предыдущий пункт: мало кто понимает про "физичность", "математичность" и "опору физики на математику", те же вопросы описания реальности исчислениями. Как обсуждать связь трёх вещей, которые ты не понимаешь даже по отдельности?! Один из ключевых моментов тут -- это как раз отделение исчисления от физики: дифференциальное и интегральное исчисление поначалу были выработаны для механики, а потом стали универсальным языком описания физических явлений. То же самое сейчас только-только начало происходить с квантовой вероятностью, другими квантовыми математическими идеями: они отрываются от описания квантовофизических явлений и начинают использоваться как универсальные описания, и это идёт пока тяжко (и люди путаются: это квантовоматематическое описание макроскопического мозга, или квантовомеханическое описание макроскопической работы мозга исходя из редукционизма к квантовофизическим процессам на молекулярном уровне?).
Рациональность идёт по линии теории решений: это что угодно, если под этим байесовское обновление и цепочка таких обновлений -- байесовский вывод. Две мелких проблемы: в живых системах это не встречается, ибо дико затратно по ресурсам. Вместо этого работает менее затратный механизм: квантовоподобное (quantum-like) обновление и квантовоподобный вывод (конечно, слово "подобный" мало кем добавляется, и тут дикая путаница), это называют квантовой рациональностью. Она имеет по сравнению с классической и плюсы и минусы: работает быстрее, справляется с большей неопределённостью и поэтому приносит отличные результаты там, где классика просто тупит и ведёт к проигрышу, но можно выделить ситуации, где байесовский вывод возможен, и там он срабатывает лучше. То есть человек оказывается не "неплохой байесовский вычислитель", а "неплохой квантовый вычислитель", и это подтверждается экспериментами (типа https://www.sciencedirect.com/science/article/pii/S0022249620301152).
Как был сделан Jaynes вывод, что формализовать до булевой алгебры всё не удастся и нужно смириться с байесианством (и булевый вывод там частный случай), так дальше по этой же линии идут рассуждения о том, что в большинстве реалистичных ситуаций есть множество несовместимых между собой вероятностных алгебр для байесовского вывода, и поэтому общего вывода сделать нельзя (а в квантовой рациональности можно). Это сильно напоминают о том, как о мире говорят онтологи, и далее программа CYC у Lenat воспринимается как попытки продвинуть булевость до упора в байесовский мир, а программа нейросетевиков воспринимается как попытки продвинуть байесовский мир до упора в квантовоподобный мир. А программа квантовиков? Они пока ничего не продвигают, а просто говорят: "эксперименты показывают, что мир лучше описывается нашими исчислениями, чем исчислениями предыдущих товарищей".
Причинность была сформулирована Pearl как попытка сшить булевский мир с контрфактуальными высказываниями и байесовские сети как основой для рациональности. Если брать квантовую рациональность, то всё это летит к чёртовой матери, и нужно заново выстраивать quantum causal inference. Да, так оно и происходит, Quantum Causal Inference in the Presence of Hidden Common Causes: an Entropic Approach, https://arxiv.org/abs/2104.13227, а дальше "аналог LSTM" на квантовых марковских моделях, Learning Circular Hidden Quantum Markov Models: A Tensor Network Approach: https://arxiv.org/abs/2111.01536, и там приписка: This research was supported by the Defense Advanced Research Projects Agency (DARPA) Quantum Causality. Всё только начинается.
Заходы на рациональность (а классическая рациональность на Байесе автоматом связана и с free energy, это ещё у Jaynes показано) эволюции не делает сейчас только ленивый, работа Ванчурина тут просто обращает внимание на многоуровневость и нейросетки. Но и до этого было полно работ типа Universal Darwinism As a Process of Bayesian Inference, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4894882/ и https://pubmed.ncbi.nlm.nih.gov/31320316/. И тут появляется вопрос, не квантовая ли там рациональность, и можно начинать всё сначала.
Рациональность понимается сейчас хитро: больше как дескриптивная (логическая, байесовская, причинная байесовская, квантовая) и соответствующая экспериментам с "рациональными агентами", то есть людьми, но вопрос о нормативной рациональности ставится только в части cognitive bias по линии сдвига от cognitive Bayes (хорошо рифмуется!), про "критическое мышление" как булевские рассуждения (они ж из несовместимых логик оказываются у оппонентов!) и
-- школ квантовой мысли более чем до чёртиков, они там грызутся как в банке с пауками. При этом Хренников чётко показывает, что договориться не удастся, ибо договаривание квантовое, а не байесовое: онтологии-то несовместимы, а ресурсов не хватает. Поэтому всё быстро-быстро, но с необходимостью врастопырку, Quantum-like cognition and rationality: biological and artificial intelligence systems, https://www.preprints.org/manuscript/202103.0395/v1. К квантовой рациональности как предмету это тоже вполне применимо, тамошние теории все врастопырку ровно как и предсказывается этой теорией!
И сейчас ещё интересный момент: крутых мыслителей не очень много, ибо квантовая теория на хорошем уровне мало кому доступна. Если будут распространяться квантовые компьютеры, то это подстегнёт интерес (как нейронные сети подстегнули интерес к Байесу), и разнообразие квантовых теорий будет ещё больше. Через три-четыре года публикаций на эти темы будет как сегодня по AI. Одно понятно: копенгагенскую интерпретацию никто не любит, хотя она там "рабочий английский". С другой стороны, никого не волнует "интерпретация", если речь идёт только об исчислениях, физики-то тогда нет, только математика для описания самых разных физик! С одной стороны, кажется что побеждает интерпретация "заткнись и считай" (есть и такая!), но сторонников такой победы не так много и в квантовой физике, а при приложении квантовой математики (не физики!) к психологии, социологии экономике -- там и подавно будут задаваться вопросами, "а с чего это оно так работает?!".
Теперь нужно сосредоточиться и предложить форму для изложения всего вот этого. Это будет стек мыслительных практик, я бы его назвал "физмат-стек рациональности". Совсем не уверен ни в названии (скажем, куда эволюцию и обучение деть? считать, что рациональность включает творчество, а эволюция подразумевает обсуждение open-endedness как обучение и творчество -- и там исследования и объяснения? а куда уехала computer science, связывающая физ и мат? в ту же "рациональность"?), ни в составе практик (таки не только дисциплин, там же ещё моделеры и софт на каждом уровне), ни в последовательности (как всегда, там клубок, по-умному lattice, в линейку не вытягивается), но чтобы приготовить рагу из зайца нужно иметь хотя бы кошку. Про стык с интеллект-стеком пока тоже молчу, потом разберёмся.
Текущая версия 0.1 физмат-стека рациональности примерно такова (даю традиционно сверху вниз, а изучать нужно будет как обычно -- для мотивации сверху вниз, для глубины снизу вверх, для понимания -- пройти минимально дважды):
-- агентские теории, обучение, эволюция как обучение, творчество (порождение и новизна), reinforcement learning, active inference и всё подобное.
-- причинность и причинный вывод (который я понимаю сейчас как утряску между разными видами рациональности, но это нужно ещё серьёзно додумывать).
-- теория решений как математика и физика рациональности (то есть не "любые вычисления", а вычисления по выбору из альтернатив"): вычисления/рассуждения/inference логический, байесовский, квантовый.
-- вычисления/программирование: но не только императивное-функциональное-объектное, но и квантовое над сверхинформацией, и вероятностное, и другие "неклассические" парадигмы. Универсальность вычислителей, и всё что мы раньше тут говорили. И да, inference и update тут -- причём в общем виде, а не только логический или bayesian (а конкретные варианты будут, как обычно, уровнем выше -- тут только вводим понятия).
-- физика как описания разных видов физических систем и процессов в них (по большому счёту, constructor theory тут вполне подходит, с косной материей через агентов и сообществ агентов к эволюции). Тут и термодинамика, как физическая, так и информационная (и есть призывы их не путать, и призывы считать одним и тем же), free energy тут.
-- математические понятия, нужные для описания физических систем: логических, байесовски-вероятностных, квантовых. Все эти "пространства", "алгебры", "аксиомы", "исчисления".
Уровень изложения всего вышесказанного абсолютно непонятен. Похоже, что это уровень ситуации с causal inference до момента написания The Book of Why, описания области универсальных алгоритмов до момента написания The Master Algorithm, описания операционного управления до выхода книги The Principles of Product Development Flow. Вот в эти образцы вроде как и нужно целиться: во всех них рассказы вроде про математику, но без собственно крутой математики, "кругозорные". То есть должны быть предприняты титанические методологические усилия (когда там всё бурлит и пенится по части помянутых практик), а затем не менее титанические методические усилия, чтобы обрушить входной образовательный ценз. Пока же типовой текст в этой предметной области излагается примерно на таком уровне понятности (это кусочек страницы 20 из https://www.preprints.org/manuscript/202103.0395/v1, все работы Андрея Хренникова написаны в таком стиле):
UPDATE: комментарии в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10222500477354752