Прогнозы и вероятности
Нейт Сильвер. "Сигнал и шум".
Впервые я услышала про Сильвера - что он верно предсказал победителя президентских выборов во всех 50 штатах в США в 2012 году.
Спросила у Гугла, как дела в 2016м.
Таки нет.
Но вроде бы - давал Трампу больше шансов на выигрыш, чем другие социологи.
Вероятность победы Хиллари Клинтон на выборах президента США Нейт Сильвер оценивает в 71,9%, Дональда Трампа - в 28%, В этот раз он правильно предсказал итог голосования для 41 штата, но ошибся в отношении 9 штатов, которые и склонили чашу весов в пользу Трампа. Даже такого крутого прогнозиста - подвели политические симпатии.
Кстати, в отличие от русскоязычных "болельщиков за Хиллари" (пишущих для малограмотных), в серьезных обсуждениях и у самого Сильвера - прогнозы идут отдельно по штатам, как и положено в американской избирательной системе. То, что "по общей сумме" у Хиллари больше голосов избирателей - никого не интересует.
Тем не менее, название книги "Сигнал и шум" тронуло за струны моей радиоинженерской души - и книга мне таки понравилась. (Что, разумеется, не отменяет рекомендацию читать критично).
Чем только Сильвер не занимался !
Играл на тотализаторе чемпионатов по бейсболу, профессионально играл в покер, потом завел блог с политическими прогнозами. Большой спец по теории вероятностей, очень любит "теорему Байеса".
Прославившись на выборах 2008 и 2012 - написал книгу. (Впрочем, книга вышла в 2012-м, не знаю, до или после выборов).
Точно - ДО выборов 2016. А интересно бы почитать его мнение на эту тему.
Книга - об очень разнообразных вещах, но все из области прогнозирования.
Результатов чемпионата по бейсболу, президентских выборов, погоды, землетрясений, эпидемии гриппа, больших терактов, финансовых рынков.
Собственно, мне было интересно про финансовый кризис-2008.
Без этого - я читать бы не стала.
С этой истории начинается глава .
«Почти никто - ни домовладельцы, ни финансовые учреждения, ни рейтинговые агентства, ни регуляторы, ни инвесторы - не мог предвидеть, что ждет их впереди».
"Катастрофически неудачные прогнозы"
Ага, конечно !
Те, кто "впаривали" эти облигации, не знали, что их рейтинг вычисляется по неверной методике.
И рейтинговые агентства не знали.
Количество поисков в Google по запросу «housing bubble» («пузырь на жилищном рынке») выросло с января 2004 г. по лето 2005 г. примерно в 10 раз{63}. Наибольший интерес к этому термину проявляли в штатах типа Калифорнии, где наблюдался самый значительный рост цен на жилье и где, по всей видимости, могло произойти самое значительное их падение. В сущности, существование пузыря на удивление широко обсуждалось. И если выражение «пузырь на жилищном рынке» появлялось в 2001 г. всего в восьми новостных сообщениях{65}, то к 2005 г. уже в 3447. Пузырь на жилищном рынке обсуждался в заслуживающих уважения газетах и периодических изданиях примерно десять раз в день.
И тем не менее рейтинговые агентства, работа которых заключается в оценке риска на финансовых рынках, утверждали, что они ничего не заметили. И то обстоятельство, что они считали это своей лучшей линией защиты, многое говорит о том, что проблемы с их предсказаниями значительно глубже, чем мы могли бы предположить.
...
«Они отнюдь не дураки, - сказал мне Кролл. - Они все знали. Я думаю, что они просто не хотели, чтобы эта музыка перестала играть».
...
S&P и Moody’s воспользовались преимуществом своего избранного статуса, чтобы получить исключительно высокую прибыль, несмотря на то что на них часто работали люди, не нашедшие себе места на Уолл-стрит.
Доходы Moody’s от составления так называемых рейтингов структурированного финансирования увеличились за период между 1997 и 2007 гг. более чем на 800 %. В годы роста пузыря именно эти продукты были основными для агентства при работе в индустрии рейтингов
...
Огромная прибыль, возникавшая вследствие появления на рынке все новых CDO, а также отсутствие возможности у инвесторов проверить правильность составляемых рейтингов, пока не станет слишком поздно, не давали агентствам стимулов соревноваться за качество продукта. Генеральный директор Moody’s Рэймонд Макдэниел недвусмысленно дал понять правлению компании, что качество рейтингов - это наименьший по важности фактор, определяющий прибыль компании.
Все было гораздо проще. Рейтинговые агентства получали деньги от компаний, выпускавших CDO, за включение в рейтинг - чем больше CDO, тем больше прибыли.
Поставили кота стеречь сосиски.
Проведенное позднее правительственное расследование обнаружило переписку между двумя высшими руководителями Moody’s, в которой один из участников заявлял, что ценные бумаги могли бы «выпускать и коровы», но Moody’s все равно произвело бы их оценку.
Кого-нибудь посадили по итогам расследования ?
В некоторых случаях рейтинговые агентства шли еще дальше и подстрекали эмитентов долговых бумаг манипулировать рейтингами. Заявив о стремлении к большей прозрачности, S&P снабдило эмитентов копиями своих программ для составления рейтингов. Это позволяло эмитентам с легкостью определять, сколько «плохих» закладных они могли бы включать в состав ценной бумаги, не рискуя при этом снижением рейтинга.
В чем ошиблись рейтинговые агентства
Дальше описывается механизм неверных формул для оценки риска.
Всего-то и надо было - проигнорировать корреляцию между несколькими должниками.
Но почему "ошибались", когда в предыдущем абзаце - ясно сказано менеджеры зарабатывали огромные бонусы ?
Может еще и Мавроди - "ошибался" ?
Менеджеры нахапали миллионы, и никто у них задним числом - эти деньги не отнял.
на каждый доллар, который средний американец хотел вложить в новый дом, приходилось до 50 долл., инвестированных в производные бумаги.
"Мы не сеем, не пашем, не строим
Мы гордимся общественным строем
Мы бумажные важные люди"
Дальше - длинная глава про прогнозы на чемпионат по бейсболу.
Это мне не интересно.
А вот про погоду, в том числе - про ураганы - любопытные факты:
Национальный Центр слежения за ураганами уточнил свой прогноз, касающийся «Катрины»; ему удалось рассчитать возможность удара по городу почти за пять дней до разрушения дамб. Центр посчитал, что развитие ситуации по достаточно кошмарному сценарию вполне вероятно, причем уже через 48 часов.
Однако к прогнозам центра прислушались далеко не все. Примерно 80 тысяч жителей Нового Орлеана- почти пятая часть населения города в то время - не смогли эвакуироваться, и 1600 из них погибли. Опросы выживших показали, что около двух третей из них не думали, что шторм будет настолько сильным. Другие были в замешательстве от того, как осуществлялась эвакуация. Мэр города Рэй Нейгин ждал почти 24 часа, прежде чем объявил об обязательной эвакуации, несмотря на обращения Мэйфилда и других официальных лиц.
Интересно и про землетрясения:
График в логарифмическом масштабе частота землетрясений от магнитуды получается прямолинейным (для конкретного места).
Поэтому число слабых землетрясений в каком-то районе дает возможность сказать (например): землетрясения сильнее 7 баллов происходят раз в 150 лет. К сожалению, всё это никак не предсказывает конкретный сосент.
В отличие от синоптиков, которые за последние 20-30 лет стали предсказывать намного лучше.
Интересные понятия "известное неизвестное" (типа землетрясение) и "неизвестное неизвестное" (типа теракт 11 сентября).
"Оверфиттинг" - слишком сложная апроксимация явления, принимающая шум за сигнал.
Про шахматный компьютер (в том числе - про матч с Каспаровым) и про игроков в покер (мнение инсайдера).
Различие между Дваном и мной состоит в том, что, когда он бросал вызов практически любому игроку, по любым ставкам и в любое время, я находился в «верхнем среднем классе» игроков в покер, и порой мне нужно было сознательно играть с плохими игроками, чтобы оказываться фаворитом и зарабатывать деньги. К счастью, в годы покерного бума таких плохих игроков, которых часто называют «фиш», было немало.
Можно ли "обыграть фондовый рынок" ? (Очень небольшая доля игроков - таки может. Как и обыгрывать лохов в покер).
Существует ли "глобальное потепление" ? (Скорее ДА, чем НЕТ. Но меньше, чем кричат алармисты).
Можно ли было предвидеть бомбардировку Перл-Харбор ?
Было ли 11 сентября "Известным неизвестным" ?
Задним числом:
на возможность атаки 11 сентября указывало множество сигналов.
• Как минимум дюжина предупреждений о потенциальном использовании самолетов в качестве оружия, включая угрозу алжирских террористов направить похищенный самолет на Эйфелеву башню в 1994 г., и план группы, связанной с Аль-Каидой, направить самолет, начиненный взрывчаткой, на здание Всемирного торгового центра в 1998 г.
• Всемирный торговый центр и раньше был целью террористов. В 1993 г. теракт Рамзи Юзефа и его сообщников, подготовленных на базах Аль-Каиды в Афганистане, должен был разрушить башни-близнецы. Теракт был предотвращен, однако погибло шесть человек{931}.
• Аль-Каида, как известно, исключительно опасная и изобретательная террористическая организация. Она продемонстрировала, что способна на крупномасштабные атаки, включая теракты в посольствах США в Кении и Танзании в 1998 г., в результате которых погибло 224 человека, и атаку на корабль ВМФ США «Коул» в Йемене в 2000 г.
• В июле 2001 г. госсекретаря США Кондолизу Райс уведомили об усилении активности Аль-Каиды и о том, что группировка решила переключиться с иностранных объектов на деятельность на территории США. «У меня включилось шестое чувство, - сказал глава ЦРУ Джордж Тенет, увидев данные разведки. - Я чувствую, назревает что-то серьезное».
• Исламского фундаменталиста по имени Закариас Муссауи арестовали 16 августа 2001 г. - меньше чем за месяц до атак, - после того как инструктор одной из летных школ Миннесоты заявил, что тот подозрительно себя ведет. Несмотря на то что Муссауи не налетал и 50 летных часов и ни разу не летал в одиночку, он попросил о тренировке на симуляторе «Боинга-747» - необычная просьба для человека, весьма далекого от получения лицензии пилота.
...
Один из экспертов, с которыми я общался на конференции CSIS, предложил мне интересную метафору: обнаружить террористический заговор сложнее, чем найти иголку в стогу сена, и больше напоминает поиск иголки в груде иголок.
Логарифмический график "Количество терактов/количаство жертв" очень похож на аналогичный график землетрясений.
Если атаки 11 сентября считать эквивалентными землетрясению магнитудой 8 баллов, что можно сказать о чем-то еще более масштабном - аналоге 9-балльного землетрясения?
ИМХО, ситуация может быть хуже.
Землетрясения не связаны с технологиями, их можность в среднем - не растет.
Теракт, подобный 9 сентября, был невозможен 100 лет назад.
Процесс не статичный.
Атомная бомба ? Бактериологическое оружие ?
Кстати, про Израиль:
Ни один израильский политик не скажет напрямую, что он приемлет мелкомасштабный терроризм, но именно это и происходит в стране. Они терпят, потому что альтернатива - народ, парализованный страхом, - будет в точности соответствовать целям террористов. Ключевой элемент в стратегии страны - сделать жизнь как можно более нормальной для людей после атаки.
Чего Израиль действительно не приемлет, так это возможности крупномасштабного терроризма (вероятность которого повышается, если, допустим, одна из соседних стран обзаведется оружием массового поражения). Есть свидетельства, что такой подход успешен: Израиль - единственная страна, которой удалось переломить кривую Клаузета. Если построить график жертв терактов в Израиле, используя метод степенного закона (рис. 13.8), мы увидим, что крупномасштабных атак в стране оказывается значительно меньше, чем прогнозирует степенной закон. Ни один из инцидентов, произошедших после 1979 г., не стал причиной гибели более чем двух сотен человек. Тот факт, что график, показывающий соотношение между количеством жертв и количеством терактов, для Израиля отличается от графика для других стран, говорит о том, что наши стратегические решения в этой области действительно имеют значение.
Будем надеяться...
А может просто - пока везет ?
Это не означает, что сотрудники нашей разведки все поняли неправильно. Если обвинять кого-нибудь в провалившейся попытке обнаружить атаку 11 сентября, то следовало бы даже похвалить администрации как Буша, так и Обамы за то, что с тех пор терактов не было. 11 лет назад я бы не предрек подобный итог. Подобно судье в бейсболе, аналитик разведки рискует оказаться виноватым, когда что-то идет не так, но никто не замечает его, когда он хорошо делает свою работу. Я не считаю, что в этой области предсказания полностью проваливаются, как в некоторых других сферах, описываемых мной в этой книге. Если брать в расчет степень серьезности испытаний, то можно считать, что мы смогли достичь немалых успехов.