Intro to Statistics, Part 3

[hroniki_paisano]

В прошлой серии были удивительные истории про мощность теста, то есть вероятность того, что годное лекарство будет-таки признано годным. Прежде чем говорить про то, как увеличить мощность, еще раз про то, почему ее так трудно измерить. Например, вот у вас есть чудо-лекарство от рака, такое, что без него выживаемость 0%, а с ним выживаемость 100% -

Comments

[lj_frank_bot]

Здравствуйте!
Система категоризации Живого Журнала посчитала, что вашу запись можно отнести к категориям: Медицина, Наука.
Если вы считаете, что система ошиблась - напишите об этом в ответе на этот комментарий. Ваша обратная связь поможет сделать систему точнее.
Фрэнк,
команда ЖЖ.

[saninartem]

Меня учили, что три сигмы - это уже вполне кошерно (я правда, не физик). Гугл подсказывает, что на гауссиане это дает 0,28% ошибки - довольно неплохо, вроде бы.
Пять сигм - это, кажется, перебор. Нет, ну если можно взять бесконечно большую выборку - почему бы и нет, конечно...

[hroniki_paisano]

ну да, вероятность false positive при т-статистике, равной трем, 0.28% - жалко, что про вероятность false negative мало рассказывают
меня, правда, в одной магистратуре заставляли построить график мощности как функцию от размера выборки - там, кажется, до ста наблюдений очень грустная была картинка даже при false positive 5%
а false negative это обидная штука: человек старался, сделал годное лекарство или торговую стратегию, а тест это все взял и зарезал. не отверглась нулевая, не дотянули до т-статистики, равной трем

[saninartem]

Ну шанс на false negative при правиле пяти сигм куда выше же будет, чем при правиле трех. Вот я удивляюсь.
Может, дело в том, что у физиков сигма маленькая, т.е. вообще влияние неучтенных факторов гораздо меньше. Кажется правдоподобным.

[ext_3020872]

Да, физикам везёт. Могут увеличивать выборку и/или точность измерения на порядки. А вот попробуйте, собрав группу добровольцев в медицине, увеличить её на порядки. Или может температуру тела будете мерять с точностью до миллионной доли градуса? Чушь, собачья.

Сумасшедшая выборка + точные измерения = сколько хотите этих сигм.

[abienscumvento]

Но и забывать о том, что есть эти сотни факторов, тоже плохо. Тем более, что они обычно всегда есть.

[elotar]

Никакой науки уже полвека нет, те, кто верят в научную обоснованность фуфломицинов сами себе злобные буратины.

Как у вас там обстановочка то на улицах? А то до нашей деревни какие-то слухи доходят.

[hroniki_paisano]

наука есть, просто той науки, которую обещали в научно-фантастических романах и научно-популярных книжках, - такой нет. а есть какая есть, с фиговой воспроизводимостью результатов, с неясными перспективами практического внедрежа, с отвергнутыми наукой весьма годными идеями.

бардак всегда в городах, а у нас тут в пределах пары миль фермеры овощи растят и лошадки бегают.

[elotar]

Удачно

[p2004r]

Пострадали прежде всего те науки в которых вдруг стало "не до воспроизведения результатов". Сейчас немного это выправляется хотя бы в отношении "ключевых фактов ранее принятых на доверии". Например психологи многое перепроверили классическое.

Вообще воспроизведение эксперимента (или наблюдения) должно стать нормой и наука тоже перестанет быть "ещё одним способом существования белковых тел".