Дети против академиков. Научная сага
Конечно, честнее было бы назвать этот пост «школьники против члена-корреспондента РАН», но так звучит красивее, а сути не меняет. Итак, недавно я ездил на Летнюю Школу с лекцией про псевдонаучные заблуждения. На следующий день мы с куратором биологического отделения решили провести для учеников интерактивный семинар, чтобы выяснить, смогут ли школьники-биологи самостоятельно найти и обосновать ошибки в статьях, опубликованных в международных рецензируемых научных журналах.
В том, что ошибки будут, я почти не сомневался. Доктор медицинских наук, член-корреспондент РАН Олег Эпштейн, работы которого предстояло анализировать, уже имеет три отозванных статьи и две статьи, отмеченные издательством как «вызывающие сомнения» (Notice of concern). Мы с коллегами разбирали и критиковали и другие его работы, посвященные так называемым релиз-активным препаратам или, как я люблю говорить, «стыдливой гомеопатии». «Стыдливой» потому, что когда-то препараты назывались гомеопатическими, но потом это слово исчезло из их описания. А вот действующего вещества не прибавилось - как были 12 последовательных сотенных разведений, так и остались. Желающие узнать подробности могут прочитать мою статью « Стыдливое мракобесие» (научно-популярный вариант) или нашу с коллегами работу «Drug discovery today: no molecules required» (Открытие лекарств сегодня: молекулы не нужны) в British Medical Journal Evidence Based Medicine.
По релиз-активным препаратам у Олега Эпштейна есть целый ряд статей, опубликованных в средненьких, но все же приличных научных журналах. Раз статьи вышли в свет, значит, ни авторы, ни рецензенты, ни редакторы проблем не увидели. А что насчет школьников?
Я отобрал четыре статьи, которые вышли последними и при этом не разбирались кем-либо ранее. В каждой из них школьники нашли серьезные ошибки. Не хочу раскрывать все карты, пока мы не отправим критику в сами журналы, но один яркий пример того, что школьники заметили, а различные доктора и кандидаты медицинских наук - нет, разберу.
Статья Олега Эпштейна в журнале Inflammation называется «Release-Active Dilutions of Diclofenac Enhance Anti-inflammatory Effect of Diclofenac in Carrageenan-Induced Rat Paw Edema Model», что переводится как «Релиз-активные разведения диклофенака усиливают противовоспалительный эффект диклофенака в модели эдемы лапки крысы, индуцированной каррагинаном». Эдема - это такое опухание тканей тела. Каррагинан - вещество, вызывающее воспаление. Не путать с Сарой Керриган, хотя Зерги тоже могут плодить «опухоли». С 2014 года статья цитировалась 27 раз (в основном самим Эпштейном, разумеется).
Идея статьи такая: если взять самый обычный противовоспалительный препарат диклофенак и добавить к нему еще диклофенака, но разведенного так, что на самом деле там не будет никакого лекарства, то действие препарата усилится. Уже забавно! Схема эксперимента такая:
1. Берем 9 групп по десять крыс;
2. Измеряем размер их лапок;
3. Через час даем им одну из комбинаций препаратов и/или пустышек;
4. Через час вводим им каррагинан ;
5. Измеряем размер опухающих лапок через 1, 2, 3, 4, 6 часов после, вычитаем исходный размер лапок и получаем объем воспаления;
6. Сравниваем группы между собой.
Какие девять групп использовались в эксперименте?
1. Релиз-активный диклофенак + диклофенак первого производителя 5mg/kg;
2. Плацебо + диклофенак первого производителя 5mg/kg;
3. Релиз-активный диклофенак + диклофенак второго производителя 5mg/kg;
4. Плацебо + диклофенак второго производителя 5mg/kg;
5. Релиз-активный диклофенак;
6. Плацебо;
7. Диклофенак 5mg/kg;
8. Диклофенак 20mg/kg;
9. Контроль (раствор для диклофенака).
В качестве плацебо выступает раствор, в котором разводили бы диклофенак, чтобы сделать его релиз-активным.
Что заметили школьники? Вместо того чтобы показать все девять групп на одном графике или на одной таблице, авторы делают странную и очень подозрительную вещь.
В одной таблице и на одном графике сравниваются группы 1,3,5,7,8,9. На другой 2,4,6,7,8,9. Обратите внимание, что при этом пропадают самые актуальные сравнения: релиз-активный препарат против плацебо и релиз-активный препарат + диклофенак против плацебо + диклофенак. Ведь если релиз-активность существует и работает так, как это воображает Эпштейн, то должна быть разница!
Давайте сравним эти цифры! Размер эдемы указан в миллилитрах ± стандартная ошибка. Напомню, что в каждой группе было 5 измерений воспаленной лапки: через 1, 2, 3, 4 и 6 часов.
Итак, сравним группу 1 и контроль к ней (группу 2):
Релиз-активность:
0.14 ± 0.01, 0.17 ± 0.02, 0.33 ± 0.05, 0.34 ± 0.04, 0.37 ± 0.03
Плацебо:
0.12 ± 0.02, 0.23 ± 0.03, 0.35 ± 0.05, 0.42 ± 0.06, 0.39 ± 0.04
Авторы пишут, что использовали тест ANOVA для оценки p-value (оценивается вероятность, что случайный шум в данных сам по себе даст такие или большие отличия между группами). Возможно, здесь это не самый правильный тест, но данных по отдельным животным у нас все равно нет, поэтому давайте применим их же критерии и пороги (p<0.05).
P-value в этих сравнениях: 0.3829; 0.1134; 0.7805; 0.2819; 0.6939.
Вы видите разницу? Я нет. Все отличия на уровне шума. А ведь мы даже не применяем поправку на множественные сравнения и используем очень мягкий порог (p < 0.05).
Сравним группу 3 и контроль к ней (группу 4).
Релиз-активность:
0.14 ± 0.02, 0.16 ± 0.03, 0.31 ± 0.05, 0.31 ± 0.05, 0.31 ± 0.05
Плацебо:
0.12 ± 0.01, 0.20 ± 0.03, 0.31 ± 0.04, 0.41 ± 0.03, 0.43 ± 0.04
P-value в этих сравнениях:
0.3829; 0.3583; 1; 0.1035; 0.0772
Сравним группу 5 и контроль к ней (группу 6).
Релиз-активность:
0.15 ± 0.02, 0.40 ± 0.05, 0.58 ± 0.05, 0.51 ± 0.04, 0.46 ± 0.03
Плацебо:
0.20 ± 0.03, 0.47 ± 0.03, 0.60 ± 0.03, 0.56 ± 0.04, 0.52 ± 0.04
P-value в этих сравнениях:
0.1825; 0.2455; 0.7356; 0.7813; 0.2457
Итак, ни в одном сравнении не получается даже пресловутый p<0.05. Релиз-активный диклофенак действует не лучше и не хуже, чем плацебо, а релиз-активный диклофенак плюс диклофенак не лучше и не хуже, чем просто диклофенак. Как и следовало ожидать, чудес не бывает, гомеопатия не работает.
Как обойти эту проблему авторам, которые зарабатывают миллиарды на сахарных шариках с релиз-активностью? Правильно, эти сравнения вообще не показывать и не обсуждать. Поэтому их и нет на графиках и в таблицах.
Зато авторы пишут, что «через два часа после применения релиз-активный диклофенак в сочетании с диклофенаком в концентрации 5mg/kg обладает противовоспалительной активностью, схожей с более высокой дозой диклофенака (20mg/kg)». И дальше рассуждают о том, что механизм, которым релиз-активный диклофенак усиливает обычный, пока не известен. И что релиз-активный диклофенак поможет использовать меньше диклофенака, снижая его токсичность. Что никак не следует из результатов.
Ну и вишенка на торте. Авторы прямым текстом пишут, что у них нет конфликта интересов («The authors have no competing interests or potential conflicts of interest to report»). При том, что один из авторов - владелец и директор компании, которая производит релиз-активные препараты. То есть это просто очередная попытка скрыть неудобные факты, чтобы рецензенты ничего не заподозрили.
Кстати, в трех других статьях такое же «веселье». Если вам интересно, напишу подробности в отдельном посте.
Вот и выходит, что мы живем в удивительное время. Школьники знают больше про научный метод, чем некоторые доктора наук, члены-корреспонденты РАН, главы департаментов исследований и разработки фармкомпаний (еще один соавтор статьи занимает такую должность в Materia Medica). Получается, вся надежда - на подрастающее поколение.
В этом я еще больше убедился после поездки в «Сириус», где я рецензировал научные проекты других школьников. Например, одна группа подростков прочитала и собрала полный геном винограда. Как вам такое? Другие проекты тоже были весьма достойные и интересные. Так что есть надежда на будущее. А вот торговцам сахаром давно пора уходить.
Выражаю благодарность школьникам и студентам, которые разбирали статьи:
Команда 1: Салимгареев Артём, Комаров Ярослав, Казаков Михаил, Мячина Арина, Ткаченко Елена, Ланевский Сергей.
Команда 2: Капицына Ольга, Чирков Николай, Царева Анастасия, Красавина Майя, Козлов Бронислав.
Команда 3: Новикова Полина, Слащев Федор, Сапарова Дарья, Куваева Елизавета, Астафьева Ангелина, Федотова Светлана, Сивоволенко Дария, Гостеева Ева, Евлахова Мария, Филина Анна.
Команда 4: Шевякова Варвара, Бушуева Софья, Француаза Ли, Дьяконов Фёдор, Литвинова Анастасия, Бабкина Ольга.
И их куратору Вере Копыловой, которая придумала такой проект.
Update: мы победили, статью отозвали.
В том, что ошибки будут, я почти не сомневался. Доктор медицинских наук, член-корреспондент РАН Олег Эпштейн, работы которого предстояло анализировать, уже имеет три отозванных статьи и две статьи, отмеченные издательством как «вызывающие сомнения» (Notice of concern). Мы с коллегами разбирали и критиковали и другие его работы, посвященные так называемым релиз-активным препаратам или, как я люблю говорить, «стыдливой гомеопатии». «Стыдливой» потому, что когда-то препараты назывались гомеопатическими, но потом это слово исчезло из их описания. А вот действующего вещества не прибавилось - как были 12 последовательных сотенных разведений, так и остались. Желающие узнать подробности могут прочитать мою статью « Стыдливое мракобесие» (научно-популярный вариант) или нашу с коллегами работу «Drug discovery today: no molecules required» (Открытие лекарств сегодня: молекулы не нужны) в British Medical Journal Evidence Based Medicine.
По релиз-активным препаратам у Олега Эпштейна есть целый ряд статей, опубликованных в средненьких, но все же приличных научных журналах. Раз статьи вышли в свет, значит, ни авторы, ни рецензенты, ни редакторы проблем не увидели. А что насчет школьников?
Я отобрал четыре статьи, которые вышли последними и при этом не разбирались кем-либо ранее. В каждой из них школьники нашли серьезные ошибки. Не хочу раскрывать все карты, пока мы не отправим критику в сами журналы, но один яркий пример того, что школьники заметили, а различные доктора и кандидаты медицинских наук - нет, разберу.
Статья Олега Эпштейна в журнале Inflammation называется «Release-Active Dilutions of Diclofenac Enhance Anti-inflammatory Effect of Diclofenac in Carrageenan-Induced Rat Paw Edema Model», что переводится как «Релиз-активные разведения диклофенака усиливают противовоспалительный эффект диклофенака в модели эдемы лапки крысы, индуцированной каррагинаном». Эдема - это такое опухание тканей тела. Каррагинан - вещество, вызывающее воспаление. Не путать с Сарой Керриган, хотя Зерги тоже могут плодить «опухоли». С 2014 года статья цитировалась 27 раз (в основном самим Эпштейном, разумеется).
Идея статьи такая: если взять самый обычный противовоспалительный препарат диклофенак и добавить к нему еще диклофенака, но разведенного так, что на самом деле там не будет никакого лекарства, то действие препарата усилится. Уже забавно! Схема эксперимента такая:
1. Берем 9 групп по десять крыс;
2. Измеряем размер их лапок;
3. Через час даем им одну из комбинаций препаратов и/или пустышек;
4. Через час вводим им каррагинан ;
5. Измеряем размер опухающих лапок через 1, 2, 3, 4, 6 часов после, вычитаем исходный размер лапок и получаем объем воспаления;
6. Сравниваем группы между собой.
Какие девять групп использовались в эксперименте?
1. Релиз-активный диклофенак + диклофенак первого производителя 5mg/kg;
2. Плацебо + диклофенак первого производителя 5mg/kg;
3. Релиз-активный диклофенак + диклофенак второго производителя 5mg/kg;
4. Плацебо + диклофенак второго производителя 5mg/kg;
5. Релиз-активный диклофенак;
6. Плацебо;
7. Диклофенак 5mg/kg;
8. Диклофенак 20mg/kg;
9. Контроль (раствор для диклофенака).
В качестве плацебо выступает раствор, в котором разводили бы диклофенак, чтобы сделать его релиз-активным.
Что заметили школьники? Вместо того чтобы показать все девять групп на одном графике или на одной таблице, авторы делают странную и очень подозрительную вещь.
В одной таблице и на одном графике сравниваются группы 1,3,5,7,8,9. На другой 2,4,6,7,8,9. Обратите внимание, что при этом пропадают самые актуальные сравнения: релиз-активный препарат против плацебо и релиз-активный препарат + диклофенак против плацебо + диклофенак. Ведь если релиз-активность существует и работает так, как это воображает Эпштейн, то должна быть разница!
Давайте сравним эти цифры! Размер эдемы указан в миллилитрах ± стандартная ошибка. Напомню, что в каждой группе было 5 измерений воспаленной лапки: через 1, 2, 3, 4 и 6 часов.
Итак, сравним группу 1 и контроль к ней (группу 2):
Релиз-активность:
0.14 ± 0.01, 0.17 ± 0.02, 0.33 ± 0.05, 0.34 ± 0.04, 0.37 ± 0.03
Плацебо:
0.12 ± 0.02, 0.23 ± 0.03, 0.35 ± 0.05, 0.42 ± 0.06, 0.39 ± 0.04
Авторы пишут, что использовали тест ANOVA для оценки p-value (оценивается вероятность, что случайный шум в данных сам по себе даст такие или большие отличия между группами). Возможно, здесь это не самый правильный тест, но данных по отдельным животным у нас все равно нет, поэтому давайте применим их же критерии и пороги (p<0.05).
P-value в этих сравнениях: 0.3829; 0.1134; 0.7805; 0.2819; 0.6939.
Вы видите разницу? Я нет. Все отличия на уровне шума. А ведь мы даже не применяем поправку на множественные сравнения и используем очень мягкий порог (p < 0.05).
Сравним группу 3 и контроль к ней (группу 4).
Релиз-активность:
0.14 ± 0.02, 0.16 ± 0.03, 0.31 ± 0.05, 0.31 ± 0.05, 0.31 ± 0.05
Плацебо:
0.12 ± 0.01, 0.20 ± 0.03, 0.31 ± 0.04, 0.41 ± 0.03, 0.43 ± 0.04
P-value в этих сравнениях:
0.3829; 0.3583; 1; 0.1035; 0.0772
Сравним группу 5 и контроль к ней (группу 6).
Релиз-активность:
0.15 ± 0.02, 0.40 ± 0.05, 0.58 ± 0.05, 0.51 ± 0.04, 0.46 ± 0.03
Плацебо:
0.20 ± 0.03, 0.47 ± 0.03, 0.60 ± 0.03, 0.56 ± 0.04, 0.52 ± 0.04
P-value в этих сравнениях:
0.1825; 0.2455; 0.7356; 0.7813; 0.2457
Итак, ни в одном сравнении не получается даже пресловутый p<0.05. Релиз-активный диклофенак действует не лучше и не хуже, чем плацебо, а релиз-активный диклофенак плюс диклофенак не лучше и не хуже, чем просто диклофенак. Как и следовало ожидать, чудес не бывает, гомеопатия не работает.
Как обойти эту проблему авторам, которые зарабатывают миллиарды на сахарных шариках с релиз-активностью? Правильно, эти сравнения вообще не показывать и не обсуждать. Поэтому их и нет на графиках и в таблицах.
Зато авторы пишут, что «через два часа после применения релиз-активный диклофенак в сочетании с диклофенаком в концентрации 5mg/kg обладает противовоспалительной активностью, схожей с более высокой дозой диклофенака (20mg/kg)». И дальше рассуждают о том, что механизм, которым релиз-активный диклофенак усиливает обычный, пока не известен. И что релиз-активный диклофенак поможет использовать меньше диклофенака, снижая его токсичность. Что никак не следует из результатов.
Ну и вишенка на торте. Авторы прямым текстом пишут, что у них нет конфликта интересов («The authors have no competing interests or potential conflicts of interest to report»). При том, что один из авторов - владелец и директор компании, которая производит релиз-активные препараты. То есть это просто очередная попытка скрыть неудобные факты, чтобы рецензенты ничего не заподозрили.
Кстати, в трех других статьях такое же «веселье». Если вам интересно, напишу подробности в отдельном посте.
Вот и выходит, что мы живем в удивительное время. Школьники знают больше про научный метод, чем некоторые доктора наук, члены-корреспонденты РАН, главы департаментов исследований и разработки фармкомпаний (еще один соавтор статьи занимает такую должность в Materia Medica). Получается, вся надежда - на подрастающее поколение.
В этом я еще больше убедился после поездки в «Сириус», где я рецензировал научные проекты других школьников. Например, одна группа подростков прочитала и собрала полный геном винограда. Как вам такое? Другие проекты тоже были весьма достойные и интересные. Так что есть надежда на будущее. А вот торговцам сахаром давно пора уходить.
Выражаю благодарность школьникам и студентам, которые разбирали статьи:
Команда 1: Салимгареев Артём, Комаров Ярослав, Казаков Михаил, Мячина Арина, Ткаченко Елена, Ланевский Сергей.
Команда 2: Капицына Ольга, Чирков Николай, Царева Анастасия, Красавина Майя, Козлов Бронислав.
Команда 3: Новикова Полина, Слащев Федор, Сапарова Дарья, Куваева Елизавета, Астафьева Ангелина, Федотова Светлана, Сивоволенко Дария, Гостеева Ева, Евлахова Мария, Филина Анна.
Команда 4: Шевякова Варвара, Бушуева Софья, Француаза Ли, Дьяконов Фёдор, Литвинова Анастасия, Бабкина Ольга.
И их куратору Вере Копыловой, которая придумала такой проект.
Update: мы победили, статью отозвали.