Проблемы моделирования сложных систем.
Попросили опубликовать часть диалога. Полностью он находится здесь
Представим, мы имеем сложную систему из 100 миллионов элементов, взаимодействующих друг другом, в реальном пространстве. Нам нужно получить гораздо меньшее число элементов, связанных друг другом в некую существенно более простую модель, но которая бы отражала особенности поведения нашей моделируемой системы. Для этого, мы делаем такие сжимающие преобразования, которые уменьшают исходную размерность системы, к размерности нашей виртуальной модели, с максимальным сохранением важных для нас свойств.
В однородной системе это можно сделать относительно легко. Скажем у нас идеальный газ - если его описывать как большое число молекул имеющих вектор движения, вращения, и т.д., то число параметров будет огромным. Более того, при ничтожной, но систематической ошибке в определении каждого вектора мы не сможем получить из этих цифр правильное макросостояние идеального газа. Т.к. точность с которой нам нужно обрабатывать эти вектора гораздо выше чем любая точность с который мы эти отдельные вектора сможем измерить (Этот эффект и называется шумовая полка модели). В тоже время, мы можем получить всего несколько макропарпаметров всей системы, таких, как давление и температуру, плотность и т.д., которые исчерпывающе опишут наш идеальный газ с нужной детализацией для нашего моделирования. Т.е. мы редуцировали задачу в миллиарды раз, и при этом увеличили точность предсказания.
Так вот, фишка в том, что такой прием работает для простой системы, но не работает достаточно хорошо для системы состоящей из большого числа элементов, правила поведения которых отличаются друг от друга. Для такой системы мы можем вывести тоже некое число макропараметров - что скажем экономисты и делают для макроэкономики, и эти макропараметры будут иметь некий смысл. Но получить абсолютную точность предсказания мы не сможем, сколько бы таких макропараметров мы не применяли. Т.е из сложной системы мы взяли 100 макропараметров - и как-то их совместили в нашу модель, сделав ее 100 мерной на финальном этапе, но модель вышла плохая. Почему? Я даже выше писал, что теоретически можно доказать, что при любом числе макропараметров для системы из разнородных элементов мы не можем получить достаточно хорошую модель. На этом обычно люди и останавливаются - на попытке все свести к набору макропараметров, причем обычно примитивному. Например господин Маркс редуцировал общество до набора классов (т.е. макро параметров), для которых и развил свою теорию. Теория эта, как и любая другая адекватна только в той степени, в которой изначальное деление людей на классы адекватно. Соотв и результат на выходе.
Другой подход - берем модельки всех людей на входе и обсчитываем систему целиком. Для сложной системы, как в примере выше с идеальным газом, это тоже не работает, т.к мы не можем собрать адекватный набор данных на всех людей, даже упростив их модели. Причина в том, что и ограниченный набор цифр мал для описания отдельного человека, и главное ничтожная ошибка системного сбора данных даст огромную ошибку на макро уровне.
Это не работает ни при моделировании общества ни при моделировании сложных биологических систем, таких как мозг.
Нетрудно заметить, что между макро подходом и микро подходом есть огромная область промежуточных, частично редуцированных моделей. Когда мы одновременно используем и макро параметры и более мелкие подмодели. Так вот, суть оптимального адаптивного моделирования - в аппарате создания таких гибриднывх моделей, которые при правильном подходе будут работать и лучше макро моделей и лучше микро моделей. Эта задача на уровне аналитического аппарата «рептилоидами» не решена.
Вместо этого они скармливают нейронным сетям наборы сырых данных, чтобы они произвели эту редукцию за них, что собственно обычная нейронная сеть и делает. Например, скажем, диффузная генерирующая сеть. Ей скармливают миллиард картинок, и при этом она преобразует исходное пространство во внутренне пространство метрик для энкодера, и соотв. восстанавливает из этого пространства картинку назад для декодера. Размерность этого внутреннего пространства метрик высока, скажем 128, или 256 или еще больше, но разрешение маленькое - гораздо меньше разрешения исходной картинки. Далее мы генерируем в этом виртуальном пространстве нечто, что потом преобразуем декодером в выходную картинку. За счет редукции исходной размерности в более меньшую мы экономим вычислительную сложность, и главное можем генерировать осмысленные картины, что в исходном пространстве изображения нам бы не удалось. Т.е. в терминах изложенного мы сначала сделали модель всех важных для нас изображений в неком виртуальном пространстве, и потом стали работать именно в нем, что дало нам плюшки. Далее мы преобразовали наше виртуальное пространство модели обратно в картинку.
Так вот, суть всего - за неимением другого аппарата такой редукции «рептилоиды» делают это на нейронных сетях, которые редуцируют задачу анализа сложных систем хуже чем люди, что на примере, скажем, страданий Маска с автопилотом очень хорошо видно. Т.е. это означает, что возможен более эффективный аппарат такой редукции, который одновременно и лучше известного макро подхода, и не страдает проблемами микро моделирования. Использование такого аппарата может дать лучшие результаты, чем известные нейросети, т.к они хотя и редуцируют любую задачу, но делают это менее эффективно. И главное не адаптивно - т.е сказали им сделать из 1000 входов 5 выходов они сделали, но не могут сказать, например, что здесь нужно не 5 выходов а 10, а 100 будет уже избыточно. Люди, решая такие конкретные задачи нейросетями, подбирают каждый раз структуру редукции ручками, что далеко не всегда возможно. Ну и это не оптимальная редукция, о чем и сказано выше.