Intro to Statistics, Part 1

[hroniki_paisano]

У меня есть одно иррациональное убеждение, даже два, и печальный жизненный опыт никак не может заставить меня от них отказаться. Первое убеждение состоит в том, что практически всё на свете можно объяснить любому заинтересованному слушателю: несколько упростив, показав на пальцах, поотвечав на вопросы и дополнительно растолковав. Я не люблю думать

Comments

[freedom_of_sea]

На p валуе дрочат медики потому что они не могут проводить клинические испытания на миллионе больных. А на 10 больных которые они наскребли, в полный рост встает закон малых чисел

Но вы можете выполнить миллион ретротестирований вашей стратегии на исторических биржевых данных со времен Великой Депрессии. Это однозначно устранит вероятность что вашей стратегии просто повезло, зато подтвердит её выгодность на большем диапазоне данных

[abienscumvento]

Не факт, что даже на биржевых данных ретротестирование будет корректным. Вопрос в причинно-следственных связях, которые лежат в основе стратегии. Например, цены на медь сильно зависели от разных технологий и производства, и использования, которые менялись со времен Великой Депрессии.

А в медицине и того горше. Можно набрать много-много больных, например, с повышенным АД, а причины гипертонии у них окажутся разными. Соответственно вполне годное лекарство для одной части не даст эффекта для другой и общий результат будет на уровне плацебо. А многие болезни до сих пор не настолько изучены, как гипертония, но тестируют и отвергают лекарства на основе гипотезы об однородности выборки.

[hroniki_paisano]

а откуда у меня миллион независимых наблюдений? цены всех американских акций есть с 1927 года (чуть больше 1100 месяцев), более-менее приличная бухгалтерская отчетность для всех американских фирм начинается с 1963его (чуть меньше 700 месяцев), всякая интересная ботва типа institutional ownership, short interest, analyst forecasts, market microstructure началась с 1980ых (примерно 400 месяцев). на остальных рынках все намного, намного хуже

[ny_quant]

Ну как откуда. Можно же и с ежедневными данными работать. И дальше всю дорогу к high frequency.

[sulfid]

в исходном тезисе (с которым я полностью согласен) ключевой момент - в заинтересованности слушателя :) а её нынче очень мало, люди живут в гипернасыщенном инфопространстве и считают, что за эффективность коммуникации на 100% ответственнен коммуникатор

[hroniki_paisano]

да, это всегда неприятный опыт - когда человеку либо нечем тебя понять, либо он не хочет понимать и вину за непонимание возлагает на тебя. и в преподавательсткой деятельности случается, и в интернетике. это у Замятина было смешно, "выньте из меня корень из минус единицы!", а быть на месте того, от кого требуют "вынуть", довольно неприятно.
но, как я и написал, печальный жизненный опыт никак не может меня заставить отказаться от попыток объяснить. да в принципе и студенты порой радуют, и читатели моей уютненькой радуют еще чаще.

[anonymous]

--всё на свете можно объяснить любому заинтересованному слушателю--
Я думаю, что интерес проистекает из доверия, чем того больше - тем и этого.

[hroniki_paisano]

это мне напоминает старую байку про то, как одному из будущих королей Людовиков учитель геометрии пытался доказать теорему о том, что сумма углов любого треугольника 180 градусов. юный Людовик никак не мог уразуметь доказательства и учителю не верил, но учитель был дворянин и сумел убедить дофина - учитель дал слово чести.
с точки зрения взаимопонимания и рациональности это довольно печальная история. если многие люди так, то люди, получается, не понимают, а верят - хорошим людям, а не хорошим объяснениям.

[anonymous]

Мне кажется, что в приведенной байке, отсутствует очень важная "отбивка". Ученик, поверил, после чего действительно уразумел. (почти как у Андерсена)

[hroniki_paisano]

смотря что вы понимаете под словом "уразумел". юный Людовик после этого запомнил как факт, что сумма углов любого треугольника - 180 градусов. но доказательство этого путем проведения через вершину прямой, параллельной основанию, и использования факта равенства лежащих накрест углов он, похоже, так и не понял. я уж не знаю, с чем у него там была сложность - с накрест лежащими углами, или с тем, что развернутый угол 180 градусов, или еще с чем, но если бы он преодолел эту сложность и понял доказательство, учителю не пришлось бы давать слово чести.

[p2004r]

А что если у нас ошибки стратегий на рынке не условным "Гаусом" описываются, а каким "Коши"? Что там у Коши с "выборочным средним"?

[hroniki_paisano]

в асимптотике все распределения нормальные. хыхы.
а расходящихся моментов на практике не бывает, так же как не бывает цен, выражающихся комплексным числом. просто потому что содержательно это бред.

[p2004r]

ага, вот только повторная выборка в тех же условиях даст сколь угодно сильно отклоняющееся выборочное среднее и дисперсию

но это не бред конечно, а очередная публикация, ведь выбрать только выборки которые "понравились" так просто. хыхы.

[hroniki_paisano]

да, да, "сколь угодно". когда-нибудь мы возьмем десятилетнюю выборку и на ней получим среднюю месячную доходность S&P500 в 100%. обязательно получим, вы только вкладывайте в рынок, занимайте и вкладывайте еще.
а те, кому очевидно, что так делать не надо и такой средней доходности за 10 лет мы не получим никогда, не станут моделировать подобную чепуху, зачем.

[illogicaly]

Вопрос не в тему. Пост навеял. Не подскажете, если удобно конечно, а за кого у вас там Н.Талеба держат? В смысле авторитет у него исключительно в кругах его читателей?

[hroniki_paisano]

в индастри и не такие персонажи бывают, на каждого не наздравствуешься. вот он такой человек из индастри, которому когда-то фартануло, и теперь он носится с идеей, которая статистически не тестируется. в этом так-то вся суть "черного лебедя" - что это такое очень большое событие, которое в нашей выборке в 60 лет еще не наблюдалось, но когда наблюдется - все средние несколько изменятся. при этом у экономистов/финансистов есть опыт моделирования редких событий: peso problem, crash risk, momentum crashes. но Талеб настаивает, что его событие особенное, на него не хватает выборки. ну что тут скажешь.

[illogicaly]

Спасибо, а я почему то считал, что он звание по экономике имеет, сейчас глянул, он же доктор философии. Нее, тогда не буду на книжку время тратить, а то знакомый нахваливал.

[hroniki_paisano]

он инженер с хорошим МВА, защищался по (мат)финансам в довольно странном месте (PhD это далеко не только по философии)
теперь professor of practice, но не в бизнес-школе, а у инженеров, которые сделали себе программу по матфинансам, чтобы заработать денежку и улучшить placement для выпускников
professor of practice это человек с большим практическим опытом, а академической его деятельностью мало кто интересуется, пусть пересказывает студентам учебник пополам с байками, они любят
академические статьи Талеба я не читал, они не там публикуются, чтобы их все читали, а неакадемические его вещи это байки. я одну книгу читал, когда в Бразилию летел, - ну прикольные байки. я, правда, байки про финансы не люблю, мне их и так хватает.