Global Sensitivity Analysis

[antilamer]

Рассказал коллегам вчера вводную презентацию про global sensitivity analysis, про который я ранее писал в ЖЖ (http://antilamer.livejournal.com/458540.html).

Презентация на Google Slides

Comments

[ushastyi]

Слайды отличные для доклада, но малопонятные без сопутствующего рассказа для тех, кто не в теме. Особенно мне понравилось "Remember this

[antilamer]

Спасибо. Частично слайдам могут посопутствовать прилагающиеся presenter notes; и я в принципе записывал презентацию, правда, наверное, надо будет получить какой-нибудь approval, чтобы это выложить публично.

Можешь поподробнее рассказать, какое имеется в виду использование квазислучайных последовательностей при аппроксимации множества достижимости, и что такое "пространство решений"?
Речь случайно не о sensitivity analysis on given data? (основная вещь, которая меня напрягла в книге - отсутствие упоминания методов, работающих с уже готовыми данными, у которых inputs далеко не independent - правда, авторы мне прислали пару статей на эту тему, но я их ещё не читал)

[ushastyi]

Сорри, немного запутал с терминологией, которая идет из оптимального управления.

Рассматриваем Y=F(X), F: Rn->Rm, обычно n>>m. X -- параметры (или управления), Y --множество достижимости (или решения). Размерность пространства параметров обычно сильно выше размерности множества достижимости. В твоей презентации и часто в жизни F неизвестна в общем случае, но известна (или можно вычислить) на выборке Xn. Эта выборка может быть заранее заданной, случайной или квази-случайной. Обычно возникающие задачи:
- построение множества достижимости
- исследование чувствительности и зависимости по параметрам (это как раз то, что авторы прочитанной тобой книги назвали Global Sensitivity Analysis, придумали новый термин типа)
- при заданном направлении оптимизации в пространстве решений -- построение Парето-границы множества достижимости

В любом случае, "настоящая" случайность позволяет использовать аппарат теории вероятности для оценок. Квази-случайная выборка Xn сразу все ломает.

Как-то так.

[antilamer]

Понял. А почему квази-случайная выборка всё ломает? Оценки опираются не на равномерность покрытия пространства X, а на что-то другое? И, кстати, stratified выборка (построенная с помощью orthogonal arrays например) тоже всё ломает?

[slonopotamus]

Извиняюсь за свою неграмотность, но таки скажу. Ваше знание есть хуйня полная того времени пока вы не покажете что она хоть на сантиметр имеет отношение к реальным задачам. Запятые в предыдущем предложении расставить по вкусу.

[antilamer]

Вас интересуют приложения описанных методов или Вы просто побухтеть?

[enternet]

Гм. Ну вот тебе простая практическая задача. Небольшой заказчик имеет интерес к прогнозированию собственного энергопотребления. Что позволит ему иметь некоторую экономию в расходах. Держать выделенного аналитика для данных целей не хочет. Заказную индивидуальную модель "под себя" также считает дорогой. Из экселя уже вырос. Поэтому согласен на использование готовых общерыночных прогнозов с уточнением собственными данными, которые являются его личной собственностью и делиться которыми он не готов. Т.е. часть входных данных заранее не известна и формируется заказчиком "на лету". Там могут оказаться как очень значимые для прогнозирования вещи, так и мусор. Тогда ему делается черный ящик на вход которого можно закинуть много предикторов и дается простой интерфейс в духе "щелкните по кнопке 2 если желаете рассчитать пессимистичный прогноз". А за этой кнопками может прятаться как готовый Random Forest, так и нелинейная модель работающая на понимании рынка и/или физики происходящих процессов. В любом случае эти модели должны уметь всякую