начало и оглавление Как это всё ugly -- не зря психика долго сопротивлялась. [Upd 2015-02-25:
лажевый блок]
Но исключить Петушка из деконструкции, поддавшись жалости -- значит, уступить внутреннему Приматическому Элементу (впрочем, и внешнему тоже).
Никаких приматологических оправданий для такой пощады -- ни каких-либо оснований для уступок в нашем наукоценозном опыте -- так и не нашлось.
Придётся препарировать до конца.
***
Компетенции
Хотя приматологически-рекомендованные
посмеиваются над "компетенциями" -- да и сам Наблюдатель требовал определить термин у высокопоставленной деятельницы образования на конференции в МГУ в мае 2005 г., -- родное ЗУН (знания-умения-навыки) звучит не вполне благозвучно вне школьного контекста.
Поскольку речь об обработке данных, причём на новой программе, основанной на новом методе из мат. статистики, то на первый план выходит
Тривий, причём сразу весь.
С другой стороны, Петушок -- экспериментатор, который, очевидно, никогда во всю эту "Тривиальную" проблематику с надлежащей глубиной не вдумывался -- но лишь бодро "прошёл" на физтеховском рецептурном уровне.
Тут две опасности:
1) начать сравнивать физтеха-экспериментатора Петушка с собой (даже если стараться вспоминать себя студентом);
2) не учесть того факта, что Петушок во время свершения своего деяния (у нас всё время речь о деянии, доставившем ему обезъянкеатство), был всего лишь студентом-старшекурсником и аспирантом.
***
К счастью, в том, что касается сравнений, подходящий -- и, что важно, синхронный -- материал у нас есть:
в 2006 и 2008 г. (эти годы попадают на период самого активного взаимодействия с Петушком), а также последние два года мы читали свой нестандартный спецкурс, который посещают студенты всех курсов и аспиранты вплоть до 3-го года, причём за всё это время теоретиков там проявилось всего два, и их сразу из выборки исключаем.
Нас интересуют те, кто дожил в с/к до декабря (в начале приходит много разных людей), и мы ограничиваем выборку экспериментаторами (с разных кафедр; плюс, может быть, пара младшекурсников; cписки фамилий с указанием кафедр и полные данные по посещаемости [автографы слушателей, собиравшиеся на каждом занятии] у нас сохранились, если что).
Всего выходит 13-14 недель * (лекционная пара + сразу компьютерный класс, не меньше пары часов).
Как работает мозг, за такое время в компьютерном классе можно увидеть очень хорошо.
С Петушком мы тоже еженедельно (по пятницам) общались в рамках проектика разработки новой программы -- не ограничиваясь осенним семестром и без перерыва в 2007 г.
Так вот, любого из слушателей с/к из описанной выборки можно в отношении интеллекта, мотиваций и общего развития смело брать в аспирантуру -- и ни одному из них Петушок не смог бы составить конкуренцию head-to-head: он не как-то там "пожалуй, послабее", а чисто конкретно слабее практически любого студента из the выборки.
Главный когнитивно-интеллектуальный (т.е. не мотивационный) параметр, по которому Петушок уверенно проигрывает в этом сравнении, можно описать словами "хроническая каша в голове", см. ниже.
***
Абсолютная (т.е. не относительная) оценка компетенций Петушка складывается по двум позициям:
1. конкретные демонстрации компетенций;
2. уже
упоминавшийся его свежий
программный доклад (needless to say, файл у нас заколлекционирован).
Доклад очень сильно облегчает нам дело (
"текст давай!"), т.к. по позиции 1 можно ограничиться минимумом примеров: хотя доклад сделан на несколько лет позже, он задаёт границу сверху для компетенций Петушка: они никак не могли превышать эту границу в обсуждаемые времена.
Наблюдатель абсолютно не верит, что Петушок был способен сам, без посторонней помощи сделать подобный доклад с глобальной претензией на концептуальность.
А ведь именно в это предлагается поверить.
Надо полагать, кто-то решил Петушку помочь. Кандидатура
очевидная.
Смешная штука, однако, в том, что этот кто-то просто продемонстрировал свои собственные дефициты (в который раз подтверждая
методологический принцип):
всё, что будет сказано на основании доклада, отправляется и в адрес кого-та.
Второй пункт, который здесь вырисовывается: если Петушку кто-то помогал, то он окажется замешан в заведомой дезинформации коллег насчёт своих собственных знаний-умений-навыков.
Вспоминая, как Обезъянко
читал лекции и
выступал по воскресеньям, -- вырисовывается интересный бихевиоральный шаблон, нуждающийся в отдельной фиксации [Upd 2014-05-17: живая кукла].
***
Вот пример по первой позиции.
В применявшемся новом методе требуется решать уравнения, и поэтому фигурирует некая т.наз. невязка. Поиск решения выглядит как попытка обнулить невязку, и возникает понятие "качество решения", которое путается со статистическим качеством фита, обеспечиваемого найденным решением.
Нам когда-то потребовалось растолковывать Петушку, что качество решения уравнений, с одной стороны, -- и статистическое качество фита, соответствующего решению, с другой, -- это две полные разницы.
Но даже во время финализации
статьи (2011) он выдал мимоходом бодрое высказывание про невязку, из которого было ясно, что он в наши разъяснения так до конца и не въехал.
(К сожалению, данную деконструкцию в тот момент вообразить было невозможно, поэтому высказывание точно не зафиксировалось, а запомнилось только удивление, которое мы тогда оставили при себе. Но ситуацию мозг от сюрприза и соответствующего выброса веществ в мозг запомнил чётко: Наблюдатель сидел за столиком на диванчике в к.218 лицом к окну, Петушок стоял в паре метров впереди справа, ближе к своему рабочему месту. Возле столика были ещё люди -- шел процесс финализации текста.)
***
Другой пример.
В дипломе (если нам не изменяет память) Петушок сравнивал новый метод (реализованный ему в виде программы) со старым методом максимального правдоподобия, используя простенькую модель.
Научным руководителем числился кто-то из экспериментаторов -- нам ни в какой зачёт ПРНД это дело не шло [что само по себе говорит нечто о ПРНД как системе оценки "труда" в наукоценозе], и мы ограничились тем, что молча отудивлялись исследовательскому методу Петушка (тогда никто ещё не прочувствовал, что Петушку нужно бы помогать).
Он просто сгенерил две гистограммы двумя методами.
Потом две картинки поставил рядом -- и объявил, что они так похожи, что совершенно эквиваленты.
Эта демонстрация с объявлением имела место по крайней мере дважды.
И это -- претензия физтеха-выпускника, да ещё применяющего к уникальному измерению новый метод, на то, чтобы считаться специалистом по обработке данных.
Про "парадоксы теории вероятностей" написаны
книжки.
Экспериментальная физика полна примеров того, как легко обдефэцироваться, доверяя своим глазам.
Не говоря про то, что работа носила квалификационный характер, и нужно было по идее веером предъявить свои знания-умения-навыки.
В справочниках (
например) собраны десятки критериев разного типа и разной степени изощрённости.
На этом фоне метод сравнения, применённый Петушком, может вызвать в лучшем случае улыбку and a shrug.
В худшем -- отсыл ("иди, мальчик, отсюда, книжки почитай").
***
По матанализу.
Раз Петушок ко времени
той беседы за чаем продрался сквозь четыре сессии на Физтехе, значит, в матанализе он чётто шурупил, по крайней мере должен был уметь дифференцировать синус на
Мishыном уровне.
Однако за годы общения с ним эти умения наружу ни разу не вырвались.
Хотя в принципе могли бы: нужные в новом методе численные алгоритмы решения систем уравнений у физиков далеко не так тщательно растёрты, как алгоритмы оптимизации.
Но это отрицательное сведение, оно сообщает, скорее, об аппетенциях, о чём речь пойдёт отдельно.
Положительное сведение можно найти в
упомянутом докладе, см. предпоследний слайд, правая колонка, фраза в самом низу:
Пока нет строгого обоснования (ждём статью ...)
Эвона как. В
рассуждении, где не нужно даже знать, что такое производная, -- не хватает строгости.
Удивительно [приматол. воскл.].
Настолько удивительно, что даже ничего остроумного не придумывается для передачи кому-то.
С другой стороны, "ждём статью" -- тут безошибочно узнаётся
манера Петушка.
***
Чтобы не возвращаться к той таблице: там перлы в каждой строке.
"Требуется продолжение модели в нефизическую область" -- боже мой, ну и что? во всех известных случаях -- задачка для первокурсника.
Кроме того, форма модели (неопределённость формул в нефизической области) и априорное знание, вообще говоря, не связаны.
Другое дело, что это продолжение неоднозначно, и гадание в этом месте ставит Фельдмана-Казинса на одну доску с
байесовщиной -- но Петушок как раз об этом не упоминает.
"Обоснованность метода под большим вопросом" -- как раз формально метод Ф-К никаких пробелов в обосновании не имеет; формально это совершенно законная система доверительных интервалов.
Проблемы у него на содержательном уровне: не любая система доверительных интервалов одинаково хороша (см. обсуждение в указанной нашей статье).
"Интервалы не центральные" -- и что? почему это недостаток?
Потому, что Петушку не нравятся нецентральные интервалы?
Вообще, что такое "недостаток"?
Авторы слайдов подумали хоть раз, где научный смысл в этом понятии?
Всё, что вызывает аверзию той или иной степени, по любой причине?
"... хорошо обоснованный подход" -- это про байесовщину, которую мы
разобрали.
Это субъективная-то [приматол. воскл.] вера -- хорошо обоснованная штука?
"Я вас умоляю!" (с)
"Вся информация об "отрицательности" параметра игнорируется" -- а эту фразу как понимать -- "интуитивно"? "физически"?
Каша пронизывает весь доклад. Такую кашу, между прочим, очень трудно разбирать -- и в ответ потом обычно просто снова льётся каша, вёдрами, поверх старой. Печально то, что в наукоценозе такой каши мегатонны.
Если оценка устроена так, что может случайно выскакивать в нефизическую область -- какая в случайном значении может быть "информация" и о чём именно?
О каком вообще параметре речь?
Если про его неизвестное значение известно, что оно НЕотрицательное, то что это за информация об "отрицательности", ещё и в кавычках? Про параметр-то известно, что он неотрицательный?
Удивительная таблица.
***
Раз уж открыт файл презентации.
Вот, например, слайд со счастливым номером 13.
Три опечатки выдают дикую спешку -- во всяком случае, авторы явно не медитировали над тем, что они написали:
Каждое bulleted утверждение заставляет -- когда пытаешься вдуматься в его смысл -- недоумевать.
Возьмём первое: "Частотная интерпретация вероятности не имеет смысла при однократном проведении эксперимента".
Что за мысль хотят сообщить авторы?
Вот какой-нибудь двойной бета распад (для простоты считаем, что фон уже известен).
Известно распределение как функция параметра -- пуассон.
Проводим эксперимент однократно -- считаем события пять лет, насчитали десять событий.
Как это частотная интерпретация не имеет здесь смысла?
Причём без проблем пишется частотный неймановский доверительный интервал ("с вероятностью такой-то интервал накрывает неизвестное значение")?
Или это: "Систематическую ошибку можно частотно определить только в очень редких случаях."
Ну, блин, если величина не является случайной, то ясен пень, частотно её определить нельзя.
Какая наука может вывести из этого "субъективную веру"?
Или это: "В частотной интерпретации нельзя складывать результаты различных измерений" -- а это как??
Нельзя сложить две случайные величины??
Кто ж может запретить??
Вот измеряем мы некий параметр.
Два различных измерения -- это две различные оценки (estimator) с двумя различными известными распределениями, известным образом зависящими от измеряемого параметра, плюс два выпавших значения для двух estimator'ов.
Рассматриваем сумму estimator'ов. Её распределение выражается известным образом через два известных распределения, так что и зависимость от параметра можно считать известной.
Складываем два измерения -- и находим доверительный интервал по стандартной неймановской схеме.
Где тут принципиальная проблема, требующая пересмотра оснований мат. статистики?
Здесь у Петушка не случайная оговорка какая-нибудь -- этой же ахинейской "проблеме" целиком посвящён слайд 17.
***
Слайд 21 содержит утверждение, что новый "подход предела чувствительности" (аккуратное решение, найденное Наблюдателем вместо
псевдорешения Фельдмана и Казинса) ограничен тем, что используется "только для "простых ограничений" и только в одномерном случае".
Используется -- в каком смысле: сейчас? или всегда?
Предположим, есть новый метод М, обладающий некоторой общностью.
Но первое его применение -- к конкретному случаю С, где получились простые формулы.
И вот, выходит чувак и пишет в слайде "метод М прост, но применяется только в конкретном случае С".
Это будет что? Варианты:
1. правда;
2. ложь;
3. каша в голове автора слайда.
Центральный механизм, на который опирается "метод предела чувствительности" -- т.е. включение априорной информации непосредственно в estimator [русский термин "оценка" коварно двусмысленный] ещё до построения системы доверительных интервалов -- более общий, чем те конкретные случаи, для которых были написаны конкретные формулы.
Но в других случаях будут другие формулы.
Возможно, придётся даже репу почесать. Ужос какой.
***
Мы уже
подчёркивали, что мат.статистика -- с одной стороны, универсальный, а с другой -- очень нетривиальный уморазвивающий предмет в том смысле, что может легко вызывать заворот мозговых извилин.
Что, в сущности, мы и видим на примере нашего Петушка.
***
Ещё пару слов про мат. статистику.
Единственная, упорно повторяемая "идея" Петушка, которую мы за годы общения с ним услышали, состояла в том, чтобы то тут, то там прибегнуть к
байесовщине.
Например для учёта априорной информации о неотрицательности фактически извлекаемого из данных квадрата массы нейтрино (метод уже упоминался).
Как уже говорилось в связи с
лажевым пузырём Фельдмана-Казинса, упомянутый
корректный способ был придуман именно для проекта, за который Петушок стал обезъянкеатом.
Тем было страннее и неожиданней, что пришлось даже как бы и напрягаться, чтобы корректная оценка была адекватно представлена в упоминавшейся
финальной публикации. При том, что Петушок спокойно впихнул в публикацию свою байесовскую лажу (именно он, насколько нам известно, делал первый вариант этой части публикации).
Петушок попросту не понял нашу наглядную конструкцию (это видно и из его заявления "ждём публикации..." -- см. выше; при этом никак нельзя сказать, что понять конструкцию трудно -- другие же поняли, как видно из подписи к рисунку 4
тут).
У Петушка в голове абсолютно ничего не щёлкнуло: это новое решение для него -- "ещё один объект в зоне видимости, ничем от прочих по сути не отличающийся", но -- в отличие от байесовщины -- не освящённое мнением
могучего Все (мы упоминали, как Петушок просвещал нас, что по байесовскому "подходу" конференции проводят).
***
И пару слов о программировании (третий элемент Тривия).
Это не мелкий пунктик, т.к. для реализации нового метода потребовалось строк с десять тысяч кода.
Тут Петушок гнул -- как водится у молодёжи -- пальцы, сообщая, что он -- ууу! -- умеет программировать (на Дельфи).
На практике, однако, он ограничился вбиванием формул в приготовленные для этого места -- а когда тут же встала задача оптимизации (программа для надёжности была сначала сделана в "функциональном стиле", так что все свёртки всегда заново пересчитывались; знатоки поймут; кеширование результатов в таких случаях -- стандартное оптимизационное мероприятие), уклонился со словами типа "у вас там слишком сложно". Гм.
Во всяком случае нет никаких признаков, что до него дошла хотя бы только общеразвивающая часть смысла зелёной, идущей вниз линии на
знаменитой картинке.
продолжение [Upd 2014-05-25:
дополнительный экспонат Upd 2015-04-08:
семинары по программированию]