Об p-value

[antilamer]

Вопрос на mathoverflow про частые ошибки интерпретации статистики.

Начитавшись комментариев к этому вопросу, я, наконец, просёк одну из фишек p-value; чего и вам советую

Comments

[sassa_nf]

На самом деле нужно помнить, что вариантов интерпретации не два, а четыре

[sassa_nf]

да с assumptions понятно. я хотел акцентировать внимание на том, что если "тест" говорит нам, что с вероятностью 99% что-то там, то это не говорит ничего о точности классификации.

Допустим, если тест говорит, что болен, то с вероятностью 99% это так. Значит, с вероятностью 1% он ошибается, и на самом деле здоров. Но при этом не известно, с какой вероятностью человек здоров, если тест не говорит, что болен. Иными словами, тест может "распознавать" 1% всех больных, но очень точно - и при этом мы не можем сказать, какую долю больных он на самом деле распознаёт.

Можно этот аргумент развернуть и наоборот - пусть тест говорит, что здоров и с вероятностью 99% это так. Тогда в 1% случаев он ошибается и на самом деле болен, а не здоров. Но при этом ни слова о том, с какой вероятностью человек болен, если тест не говорит, что здоров.

Одной цифрой нельзя покрыть два показателя достоверности классификации.

[p2004r]

1) Беда в том, что все эти p еще, вдобавок, получают в результате множественных сравнений, не вводя никаких поправок.

2) Применяют их для оценки результатов наблюдений, а не экспериментов. То есть сначала собирают данные, а потом выдвигают гипотезу :) Сколько при этом "просочилось" информации в такую "гипотезу" установить не возможно.

3) Заменяют "величину наблюдаемого эффекта" на p. В результате набором группы всегда можно сказать что "изменения есть" и очень "достоверные" :)

[antilamer]

1 - это не про http://xkcd.com/882/ ? (это, кажется, называется "p-hacking")

[p2004r]

Да, это первый случай :) "Честно" повторяем пока не "получилось", все случаи когда "не получилось" "не считаются" :) (Ну или просто повторяем тест на новом показателе, который мудро "заложили" в эксперименте.)

Увы процесс зашел до такой степени, что считается неприличным спрашивать диссертанта во время защиты о использовании поправки Бонферрони при множественных сравнениях :(

[shmel39]

В плане медицинских тестов всегда рассматривают процент ложноположительных и ложноотрицательных срабатываний. Ну, я бы конкретно напрягся, если бы встретил в описании медицинского теста только p-value. Проблема еще в том, что совместить и то, и другое очень сложно. Поэтому обычно используют два _различных_ теста: один для скрининга, другой для "диагноза". Скрининг требует, чтобы мы пропускали как можно меньше больных людей, "диагноз" требует, чтобы мы не лечили здоровых.

[p2004r]

Это давно сформулировано математически

[shmel39]

Эмм... И что? Это не теория категорий, такие вещи должен уметь формулировать сообразительный студент.

[p2004r]

Да, когда сформулировано, то всё очень просто. Но тем не менее заменяет кучу словесных рассуждений на тему "оптимальности". В частности показывает "относительность" любой оптимальности.

[ext_1568687]

>>Например, предположим, что в целом по населению частота интересующей нас формы рака - 1 на миллион.
>>...вероятность моей болезни даже с учётом теста всё равно примерно 1 на миллион.

Без всякого теста вероятность болезни тоже 1 на миллион? То есть тест не показал вообще ничего?

[vasily_nosikov]

Меня вот это осознание накрыло прошлой зимой, когда я на курсере статистику решил послушать: http://vasily-nosikov.livejournal.com/127723.html
Про другие ошибки тоже посмотрю