Екатерина Виноградова, кандидат биологических наук и админ группы «Ученые против лженауки», выступила с докладом «Антигуманизм феминизма XXI века»[1] в рамках второй Международной научно-практической конференции имени В.Л. Гинзбурга и Э.П. Круглякова «Лженаука в современном мире: медиасфера, высшее образование, школа». Мы привлекли специалистов со стороны и написали критику, которую опубликовал[2] уважаемый журнал «Скепсис».
Через очень продолжительное время от группы "Checkmate, scum" поступила критика[3] в наш адрес. Она была написана очень недоступно по форме и состояла по большей части из мелочей. Ни одну из основных претензий к утверждениям Виноградовой она не оспаривала. Однако оценочные суждения при этом делались весьма громкие. В тексте фигурировали такие ярлыки, как «неграмотность» и «абсурдность», для которых просто не было оснований. В виду сложности темы и авторского стиля большинству читателей будет тяжело разобраться во всем самим. Поэтому мы и решили написать ответ с объяснениями.
Вторая причина состоит в том, что под нашей статьей подписалось несколько крупных ученых, включая докторов наук. Некоторые люди поспешили наделать нелепых выводов: кто-то начал говорить о заговоре против Екатерины Виноградовой в науке, кто-то о «подписи для выпендрежа» при реальном отсутствии знаний, а кто-то о том, что проверка статьи ученым в принципе ничего не стоит.
Все это неверно. Подпись специалистов, просмотревших статью, просто имела несколько другое значение в данном случае. Она прежде всего демонстрировала неодобрение со стороны научного сообщества в адрес Екатерины Виноградовой за подобные выступления. Это вынужденная мера, если вспомнить, как Виноградова и ее окружение любят отмахиваться даже от самой справедливой критики шутками про феминисток. Ей было бы полезно знать, что и коллеги-ученые отнюдь не в восторге от уровня ее выступления.
Подписавшиеся специалисты не занимаются статистикой профессионально, хотя и обладают определенным уровнем знаний, необходимым для их работы. Этого уровня оказалось достаточно, чтобы оценить все основные претензии к докладу. Эти претензии в самом деле оказались верными. Едва ли стоит упрекать ученых в недосмотре деталей, совершенно не влияющих на выводы статьи.
Однако мы все равно ниже рассмотрим их со всей внимательностью. А заодно напишем о других ошибках в лекции Екатерины Виноградовой, которые в прошлый раз мы решили опустить.
Доклад Екатерины Виноградовой по-прежнему плох
С этим тезисом не спорят даже критики из "Checkmate, scum". Более того, их критика простимулировала нас пересмотреть выступление еще раз и найти там новые ошибки. Сейчас мы вам о них расскажем.
Ошибки Екатерины Виноградовой, на которые мы в прошлый раз не обратили внимание
Начнем с очень сомнительного заявления, которое не касается основной темы доклада и даже статистики вообще. Оно из области медицины. Мы не пытаемся подвергнуть сомнению уровень познаний Екатерины Виноградовой (Е.В.), однако слышать столь странные заявления про женский алкоголизм от кандидата биологических наук было немного неожиданно.
Итак, примерно с 2:07 она говорит следующее:
«… Мы хорошо знаем, что женский организм намного более чувствителен к разным негативным влияниям. Если вы разбирали проблему наркологии, известно, что если мужчины лечатся от алкоголизма и наркологии, то женский организм практически не вылечивается. И это связано с базовым свойством одним из женского организма, преобладающим количеством эстрогенов, которые усиливают действие любых наркологических препаратов».
Утверждение о более тяжелом и злокачественном течении алкоголизма у женщин ошибочно. По принятой классификации алкоголизм вообще неизлечимая болезнь и у мужчин, и у женщин. Пациент может просто всегда оставаться в ремиссии. При этом, судя по данным двух систематических обзоров, скорость развития алкоголизма и тяжесть болезни, как правило, не отличается у мужчин и женщин, а лечение алкоголизма у женщин даже более эффективно, чем у мужчин[4][5].
Утверждение о том, что эстрогены усиливают действие любых наркотических (а не «наркологических» — это не совсем грамотно) средств, тоже крайне спорно. Никаких убедительных подтверждений найти не удалось. В среднем женский организм действительно более подвержен токсическому влиянию алкоголя[6][7], однако на уровне отдельных органов и тканей, а также на молекулярном уровне, данные уже становятся противоречивыми[8][9]. Таким образом, подобные сильные и голословные утверждения, не подтвержденные фактами, укрепляют сложившийся общественный стереотип о «женском алкоголизме», который стигматизирует пациенток и ухудшает их состояние[10]. Любопытно, что данная тема напрямую относится к полю деятельности Виноградовой, и подобное отсутствие знаний и профессиональной чуткости достаточно странно.
Рассмотрим еще несколько цитат, в которых Е.В. неверно пересказывает или интерпретирует что-то из самого исследования.
8:49. «Статья вышла в 12-м году, и переводится она “гендерное равенство в семье — риск психических расстройств детей” с вопросительным знаком. По итогам — да».
Неверно. На самом деле, оно переводится так: «Может ли гендерное равенство в декретном отпуске нарушать психическое здоровье детей» ("Could gender equality in parental leave harm offsprings' mental health?").
Эта придирка может показаться мелочью, но обратите внимание: каким-то непонятным образом равное разделение декретного отпуска превратилось в гендерное равенство как таковое. Не такая уж и мелочь. А про «да» по итогам и говорить бессмысленно: такого у самих авторов ни в аннотации, ни (забегая наперед) в выводах нет вовсе.
12:06. «А здесь они занимаются поровну, без всяких гендерных ролей. Нет у нас папы и мамы, есть родитель номер раз, родитель номер два».
Нигде в исходной статье такого не сказано. Равное количество дней отпуска не означает, что роли «папы» и «мамы» не существуют в данных семьях. Термины «родитель 1 и 2» нигде также в статье не упоминается. Складывается впечатление, что Е.В. просто пытается вызвать у аудитории определенную эмоциональную реакцию, а не честно пересказать исследование. На самом же деле о распределении гендерных ролей в данных семьях и о том, насколько они там соблюдались, по данным работы сказать толком ничего нельзя.
Не лучше обстоят дела и с другими похожими выводами Е.В. Например, она говорит: «…Как только убирается социальное различие папы и мамы, девочки сразу начинают страдать, да». Мы не знаем, убирается ли социальное различие. Мы только знаем, что в данной категории семей матери и отцы получили одинаковые декретные отпуска для ухода за детьми в первые два года их жизни.
Мы нарочно избежали анализа большого количества «соломенных чучел» относительно феминизма. Нам хотелось продемонстрировать, что и без этого в докладе очень много ошибок и неточностей. Однако один пример мы все же приведем.
2:37. «То, что постулирует феминизм современный, и иногда эти постулаты начинают доказываться некоторыми учеными, которые имеют биологические специальности: они пытаются доказать, что нет никаких врожденных отличий мужчин и женщин за исключением собственно строения репродуктивной сферы. А все остальное — они абсолютно одинаковы, и это происходит вследствии того, что начинаются различия в воспитании, гендерный сексизм с роддома, когда детей начинают воспитывать неправильно и по-разному».
Это чистой воды «соломенное чучело». Во-первых, что значит «феминизм современный»? Есть масса отличающихся друг от друга направлений, существует даже «феминизм различий». Более подробно можно почитать об этом в труде «Феминизм и гендерное равенство» Ворониной О.А., выпущенный под грифом Института философии РАН. Вот только ознакомиться с ним или какой-нибудь другой аналогичной работой выступающей следовало бы еще до самого выступления. Идею «абсолютной одинаковости» отстаивают лишь представители некоторых отдельных направлений, и то далеко не так топорно, как описывает Е.В.
То, что Екатерина Виноградова не сказала или сказала неправильно, но это было в статье
«Это все достоверно (на слайде пи(“p”)-показатель 0,052)».
В статье исследователей фигурирует «p=0,052» - статистический критерий, позволяющий оценить достоверность результатов. Виноградова говорит о нем «это все достоверно». Но на самом деле такое значение нельзя назвать достоверным, даже если опустить проблему так называемых множественных сравнений (о ней будет подробно рассказано далее). Более того, сами авторы первоначального исследования приводят «сырые», нескорректированные данные и основывают свои выводы на ином тесте, про который лектор, Екатерина Виноградова, не упоминает.
Показанные Е.В. числа в той части презентации, где речь идёт о психическом здоровье детей, выросших в семьях разного типа, — это просто результаты описательной статистики и χ2, на которые сами исследователи особенного внимания не обращали в тексте статьи. Для оценки эффекта исследователи использовали результаты логистической регрессии (с корректировкой на возможные дополнительные параметры), а не исходные «сырые» данные, которые и показывает Е.В. Но, впрочем, в рамках популярной лекции описание этой статистической процедуры могло быть исключено просто из соображений понятности. Хотя упомянуть об этом все же стоило.
Альтернативные объяснения полученных результатов
К чести исследователей, они сами рассуждают о том, что могли не учесть другие причины полученных результатов. Например, то, что среди пар с одинаковым распределением дней отпуска могло быть много людей, которые больше заинтересованы в карьере, чем в родительстве, и это повлияло на здоровье детей. Или, например, что люди с убеждениями, поддерживающими гендерное равенство, могут обращать больше внимания на здоровье детей, и поэтому чаще обращаться к врачу.
Кроме того, рассуждая о причинах подобных находок, авторы статьи предполагают, что проблемы у детей могут возникать из-за общественного осуждения, которому могут подвергаться пары с «нетрадиционным» разделением обязанностей. То есть не само гендерное равенство является фактором риска, а как раз отсутствие оного в обществе.
Соответственно, авторы представляют те же результаты, но утверждают, что они крайне предварительные и нуждаются в дополнительных проверках. Виноградова же представляет их как абсолютную истину.
То, что не говорят ни авторы работы, ни Екатерина Виноградова, но это важно
Коррекция на множественные сравнения. Авторы проводят минимум 4 теста на одной и той же выборке (на самом деле, даже больше, учитывая категорию «и мальчики, и девочки»). Эта ошибка наблюдается как в тесте χ2, так и в последующей логистической регрессии.
Коррекция уровня альфа — это необходимое действие при проблеме множественных сравнений (как здесь). Подробное объяснение того, как эта проблема может запутать результаты и почему смотрите в нашей исходной критике.
Исследователь сам определяет уровень альфа (максимального шанса получить ложноположительное значение). В случае множественного тестирования этот шанс возрастает, но пи-показатель, полученный в каждом отдельном тесте не может это учитывать, поэтому приходится корректировать уровень альфа и сравнивать пи-показатель уже с новым, меньшим уровнем. Один из общепринятых надежных способов — это коррекция Бонферрони, когда исходный уровень (обычно 0,05) делят на количество тестов. В данном случае количество тестов спорное, но достаточно безопасно считать, что их четыре для каждой выборки: сравнивалась частота диагностированной депрессии, тревожности, частота назначений антидепрессантов и анксиолитиков.
Здесь авторы не проводили подобной коррекции и не приводят достаточно данных (не указана стандартная ошибка OR (SE), а все результаты сильно округлены), чтобы кто-то другой мог точно пересчитать доверительные интервалы в их логистической регрессии с учетом исправленной альфа.
Результаты предварительного теста χ2 показывают хоть какое-то различие в двух случаях (мальчики с депрессией и девочки, получающие анксиолитики). При этом пи-показатель для мальчиков равен 0,052, что не значимо даже без коррекции на множественное сравнение. Для девочек — 0,031, что значимо при альфа равной 0,05, но не значимо при скорректированной альфа (Бонферрони, 4 теста, альфа 0,0125).
А вот с регрессией все сложнее
Пара слов для неспециалистов о том, что такое логистическая регрессия: интересующий показатель («есть или нет болезнь», «принимает или не принимает лекарства») пытаются связать с другими величинами и выяснить то, как и насколько сильно он может от них зависеть. В этот тест можно добавить ряд других показателей, которые также могут повлиять на результат, и найти благодаря этому «чистый» эффект интересующего параметра. Здесь было много подобных показателей (наличие второго ребенка, социальное положение, психические расстройства в семье и др.), поэтому авторы исходной статьи и провели регрессию.
Это дало значения, которые приведены в таблице ниже; обратите внимание на результаты в скобках — они показывают доверительные интервалы, то есть область, в пределах которой может с определенной вероятностью находится интересующее нас число (вероятность обычно 95%, но это также связано с уровнем альфа и должно корректироваться в случае множественных тестирований).
Сравнивались показатели с семьями с равным распределением декретного отпуска, то есть их значение было принято за 1.
Соответственно, вот полученные авторами исходной статьи результаты.
- Мальчики из «очень традиционных семей», лечение депрессии: 0.57 (0.34-0.96);
- С учётом дополнительных показателей: 0.57 (0.33-0.98).
Девочки, все категории кроме equal, прием анксиолитиков:
- Девочки из «очень традиционных» семей: 0.74 (0.61-0.91);
- Девочки из «умеренно традиционных» семей: 0.72 (0.57-0.91)
- И девочки из «нетрадиционных» (отец сидел с ребенком большую часть времени) семей: 0.63 (0.45-0.89);
Те же группы девочек, но с учётом дополнительных показателей:
- 0.72 (0.58-0.89);
- 0.77 (0.61-0.98);
- 0.58 (0.40-0.85).
Читается это так: если в очень традиционных семьях, например, для депрессии OR было 0,58 против 1 в семьях с равенством, то на каждые 100 человек, больных депрессией в семьях с равенством, приходится 58 человек с депрессией в семьях с традиционным укладом. Но, разумеется, это не абсолютно точная оценка: значения в скобках показывают, в каких рамках он может находится с вероятностью в 95%.
О значимости полученных результатов судят по тому, содержит ли доверительный интервал единицу. Если да, нельзя сказать, что наблюдается значимое различие: единица означает, что, например, количество людей с депрессией может оказаться одинаковым в семьях с традиционным укладом и в семьях с равенством (100 и 100 человек).
Как видно, даже при неисправленной альфа, интервалы уже очень близки к единице. Если их скорректировать (из-за проблемы множественных тестирований), они точно «расширятся». Но сказать точно, что будет при коррекции, увы, невозможно, авторы не привели достаточно данных. По примерным расчетам, минимум два найденных эффекта пропадают. Расчеты достаточно сложные: для того, чтобы не затруднять чтение, они здесь не приведены.
В итоге, из-за этой проблемы находки авторов не состоятельны. Без коррекции на множественное сравнение они не могли утверждать то, что утверждают.
И одного этого достаточно, чтобы не принимать во внимание их результаты, пока то же самое не покажут еще несколько раз, с большей достоверностью, на других выборках и обязательно с коррекцией на множественные сравнения.
Почему Виноградова не обратила на это внимание и не указала в своей лекции? Остается только гадать.
В исходной статье есть еще довольно много неточностей и огрехов (например, отсутствие описания тестов в «методах»), но они не настолько напрямую связаны с результатом, так что мы их опустим.
Разбор критики "Сheckmate, scum"
Общее замечание
У нас сложилось ощущение, что авторы критики были намного более заинтересованы теоретическими вопросами статистики как таковой, а не ее приложением к обсуждаемой статье. На это указывает, например, количество текста, посвященного несовершенству пи-показателя. Да, в современной науке существует дискурс о том, что у него есть недостатки, обсуждаются другие способы анализа данных. Но какое это имеет отношение к работе, которая изначально была выполнена именно с использованием пи-показателя?
То же самое с Байесовской статистикой, которая достаточно неожиданно упомянута в самом начале критики. При чем здесь она? О ложноположительных результатах можно говорить и в рамках частотной статистики. Да, настоящий процент ложноположительных значений нельзя оценить без «золотого стандарта», теста, о результатах которого мы точно знаем, что они правильные. Но это также верно и для Байесовской статистики, в ней также нельзя получить данные о настоящей ложноположительности, не имея информации о результатах «золотого стандарта».
А уровень альфа, который исследователь задает перед началом анализа, как раз отражает максимальный возможный процент ложноположительных случаев (или ошибки первого рода) в частотной статистике, и никакой Байесовской для этого не нужно. Очень похоже, что наши критики намешали всего в кучу, лишь бы раздуть и преувеличить значимость своих замечаний.
А теперь рассмотрим конкретные замечания от "Checkmate, scum"
Для удобства они также представлены в виде таблицы.
Исходный текст "Equality":
«Теперь давайте обратимся к тому, как докладчик описывала результат. На слайде она привела значение χ2: р = 0,052. При этом она говорит о том, что “это все достоверно”. Что же означает этот χ2, это р (читается как “пи”) и почему там на самом деле все не так достоверно, как утверждает Екатерина Виноградова?»
Критика сообщества "Checkmate, scum":
«На слайде никакого значения χ2 не приведено, а сразу приведено значение p, которое соответствует рассматриваемому значению χ2».
Значение критики для аргументов в исходном тексте и пояснение:
Значение: Уточнение, не меняет сути. Критика упрощенного изложения информации.
Да, действительно, результат теста - это значение χ2, которое затем надо соотносить χ-распределением, чтобы получить то самое значение пи, которое указано на слайде. Этого никто не упомянул, кроме "Checkmate", потому что все равно все смотрят именно на значение пи. Но да, дословно это не значение теста χ2. Надо было написать “значение пи при данном значении χ2”, тогда было бы корректно.
Исходный текст "Equality":
«Иными словами, “p” — это вероятность того, что результат ложноположителен: на самом деле разницы нет, а мы (неправильно) заключили, что она есть».
«И теперь давайте вспомним определение “p”: “p” говорит нам какой процент сравнений покажет ложноположительные результаты, если различий *на самом деле* нет» и «Мы также упомянули, что если вы принимаете различия как достоверные при p<0,05, то в среднем 1 из 20 результатов будет ложноположительный».
Критика сообщества "Checkmate, scum":
«Чтобы оценить вероятность того, что результат ложноположителен, нужно использовать байесовскую статистику. Само значение p не говорит о такой вероятности. Ниже приведем цитату из статьи ученого, занимающегося математической статистикой, Стивена Гудмана. В ней он рассматривает 12 неправильных представлений о значении p. Приведенная выдержка как раз касается ошибки, допущенной в работе EQUALITY. Вторая часть процитированного выше предложенияникак не исправляет эту ошибку».
«То, о чем пишет автор, показывает не p, а α-уровень. Он задается исследователем, в отличие от p. Если мы выберем α-уровень, равный 5%, то получим 5% ложноположительных результатов при справедливой нулевой гипотезе…»
Значение критики для аргументов в исходном тексте и пояснение:
Значение: частичное, не относится к правильности аргумента в принципе. Критика недостаточно четкой формулировки.
Далее в тексте критики еще несколько аналогичных замечаний, они все объединены в данном пункте. Да, пи — это не вероятность ошибки первого рода. Максимальная вероятность такой ошибки — это альфа, уровень которой исследователь задает самостоятельно (чаще всего это 0,05, но он может меняться и корректироваться)[11]. Пи-показатель же — это результат теста, шанс получить подобные или более экстремальные значения случайно (если нулевая гипотеза верна). Потом полученный пи-показатель сравнивают с альфа, и если он меньше, считается, что есть значимый результат (в общем случае).
При чем здесь Байесовская статистика? Ни при чем. Говорить здесь о ней, это то же самое, что и критиковать текст, написанный по-русски, за то, что там не используется английская грамматика. Байесовская статистика — это вообще другой подход к формулированию гипотез, и его упоминание здесь совершенно непонятно.
Надо было написать, что пи-показатель — это вероятность получить подобные результаты или более экстремальные случайно. Так было бы более корректно; в то же время очевидно, что «более экстремальные» результаты с точки зрения финального вывода дали бы тот же результат, поэтому мы и не стали добавлять данное уточнение формулировки ради упрощения текста.
Исходный текст "Equality":
«Например, что такое тест χ2. В этом контексте — статистический тест, который позволяет оценить, влияет ли категория (в данном случае — тип семьи, “традиционные”, “равноправные” и т.д.) на какую-то другую переменную (в данном случае — вероятность депрессии у сына). Значение “р” в данном случае выражает вероятность того, что если на самом деле не влияет, то вы увидите те результаты, которые увидели, вот с этой вероятностью “р”. То есть в данном случае это 5,2% (p=0,052)».
Критика сообщества "Checkmate, scum":
«Значение p выражает вероятность получить результат, который мы получили, или более экстремальные результаты, которые мы не получили (в данном случае — результаты, при которых значение χ2 больше того, которое мы получили) при верной нулевой гипотезе (то есть при отсутствии связи)».
Значение критики для аргументов в исходном тексте и пояснение:
Значение: роли не играет. Критика неполной формулировки.
Да, если бы было добавлено «или более экстремальные», тогда бы определение было полностью воспроизведено. Далее авторы начинают критиковать само использование пи-показателей (если нам удалось их правильно понять, это не так просто). Это, возможно, интересная дискуссия, которая идет уже какое-то время в науке, но не имеет отношения к данной ситуации, так как в исходной статье пи-показатели использовались авторами, а значит, любая критика их работы
имеет смысл только при их же использовании (особенно учитывая, что доступа к исходным данным у нас нет, и пересчитать другими методами ничего не получится)
Исходный текст "Equality":
«Получается, что сравнение по χ2 происходит 3*4 = 12 раз. Если считать выборки и критерии независимыми (они не независимы, но это не сильно улучшает ситуацию), а критерий достоверности принять p<0,05, то вероятность хотя бы одного ложноположительного результата будет равна ~46.0%, а двух — ~43.1%».
Критика сообщества "Checkmate, scum":
«Стоит заметить, что ни здесь, ни далее четко не обозначено, что эти 46% рассчитаны из условия, что все 12 нулевых гипотез об отсутствии связи верны. Мы не придираемся к этому, лишь уточняем. Также не указано, к чему конкретно относятся 43,1%: к “двум ровно” или “не менее двух”? Как бы то ни было, вторые проценты рассчитаны совершенно неверно. Мы можем посоветовать авторам обратиться к решению задачи 157 (пункт “в”) в книге В.Е. Гмурмана “Руководство к решению задач по теории вероятностей и математической статистике”. Контекст в той задаче другой, но суть ее решения подходит к данному случаю...»
Значение критики для аргументов в исходном тексте и пояснение:
Значение: среднее. Указание на математическую ошибку в тексте "Equality"
Пожалуй, единственный более-менее серьезный пункт в критике. Да, действительно, авторы "Equality" неправильно посчитали проценты, они меньше, как и указали критики. Однако аргумент "Equality" (пояснение, почему необходимо делать коррекцию на множественные сравнения) все равно остается верным.
Выводы
Мы благодарны знатоку математической статистики из "Checkmate, scum" за его работу. Он указал на ряд неточностей в формулировках, а также нашел одну математическую ошибку. Исправления непременно будут внесены в текст критики.
Однако нас очень удивило наличие неуместно жестких формулировок в его статье. Например: «материал EQUALITY, опубликованный на сайте “Скепсис”, служил наглядным примером статистической неграмотности для студентов, начавших изучение математической статистики». Или вот: «Чтобы прочувствовать всю абсурдность процитированного».
Называть рассмотренные выше изъяны «статистической неграмотностью» и «абсурдом» — некорректно и является обычным очернением. В виду сложности темы и очень недоступного стиля изложения мыслей наших критиков, подавляющее большинство читателей не сможет разобраться в деталях и будет вынуждено опираться на подобные оценочные суждения.
Вот почему мы считаем данный ответ очень важным: мы продемонстрировали низкую значимость большинства придирок, нашли новые ошибки в выступлении Виноградовой, а также подтвердили правомерность своих старых замечаний.
По этой теме читайте также:
Примечания
