Ларри Хустен в CardioBrief попросил меня прокомментировать президентское сообщение Американской кардиологической ассоциации по диетическим жирам и сердечно-сосудистым заболеваниям, которая была опубликована вчера. Я увлекся в своем ответе, и Ларри спросил, может ли он опубликовать его в качестве гостевого поста, который он сделал после некоторых корректировок. Вот это сообщение. Как обычно, я бы лучше потратил на это несколько дней , но не получилось.
The human understanding, once it has adopted opinions, either because they were already accepted and believed, or because it likes them, draws everything else to support and agree with them. And though it may meet a greater number and weight of contrary instances, it will, with great and harmful prejudice, ignore or condemn or exclude them by introducing some distinction, in order that the authority of those earlier assumptions may remain intact and unharmed.
–Francis Bacon, Novum Organum, 1620
«Свойство человеческого понимания таково, что когда создается какое-либо мнение, либо потому, что это мнение либо приняли и поверили, либо потому, что это мнение просто нравится , привлекается все и только то, чтобы поддерживает и не противоречит этому мнению. И хотя такое мнение может встретить большое количество противоречий и несоответствий, все противоречащее будет , исходя из вредных предрассудков, игнорироваться и осуждаться или исключаться , будут вводится какие-то поправки, чтобы только власть этих более ранних предположений оставалась неповрежденной и невредимой.»
-Франсис Бэкон, Novum Organum, 1620
Примерно четыреста лет назад Фрэнсис Бэкон впервые задумался над научным методом, отметив, что люди запрограммированы на то, чтобы уделять больше внимания доказательствам, которые согласуются с их предубеждениями и отвергают доказательства, которые не согласуются с предубеждениями, и что такое мышление ведет к очень эффективной религиозной догме, но не к достоверному универсальному знанию . Следовательно, нужна была новая технология рассуждений — Novum Organum, это титул его книги на латыни, — что бы свести к минимуму эти тенденции, хотя он признал, что избавление от них полностью невозможно по ричине особенностей человеческой природы.
В науке хорошего качества, такая когнитивная предвзятость принимается во внимание, когда создается методика испытания , заранее определяют доказательства (или проводимые испытания), решая, какие критерии будут использоваться для оценки надежности доказательств ( как это делается при судебном разбирательстве) без знания того, подтверждают ли эти доказательства наши гипотезы. Это одна из причин, по которым клинические испытания проводятся двойным слепым методом, и данные анализируются исследователями, которые не знают того , являются ли субъекты объектом испытания или контрольным субъектом, так что предвзятости исследователей (или даже субъектов) не влияют на интерпретации результатов.
По какой бы то ни было причине, когда дело доходит до сердечных заболеваний и опасности диетического жира, исследователи, которых Американская Ассоциация Сердца(AHA) выбирает для определения того, что мы должны или не должны есть, никогда не верили в такую научную методологию. Это был общий вывод моего первого исследования о диетической теории вреда жира , сделанный 20 лет назад для журнала Science — The Soft Science of Dietary Fat. Хотелось бы отметить, что ситуация улучшилась, но, как мы видим, этого не произошло. Последний президентский совет от AHA по насыщенным жирам создан авторитетными экспертнами AHA — получилось то, что инспектор Рено в Касабланке назвал бы поведением «обычных подозреваемых» — они сказали, что они были правы пятьдесят лет назад, и они были правы 20 лет назад, Все , что они говорили раньше, по-прежнему правильно. И методы, которые они использовали, чтобы прийти к этим выводам, можно использовать снова и снова, пока кто-то не остановит их. Что вряд ли произойдет.
Шотландский кардиолог / эпидемиолог описал эту псевдонаучную методологию для меня как «эпидемиологию Bing Crosby», что значит «подчеркнуть положительное и устранить негатив». Короче говоря, это выбор тех доказательств, которые нравятся , и именно так адвокат защиты строит аргумент, но это не так, как работает ученый над созданием действительных и надежных знаний , которые должны являються целью научного исследования .
В науке надо не выигрывать спор, а быть действительно правыми. Именно поэтому я написал в эпилоге моей первой книги о питании, в «Хороших калориях», «Плохих калориях», что я не считаю, что эти люди проводят исследования в области диеты, ожирения и болезней, как настоящие ученые. Они не хотят знать правду; Они только хотели убедить, может быть, самих себя и, конечно же, всех нас, что они уже делают и делали все это время. Хотя всякая хорошая наука требует суждения о том, какие доказательства надежны, а какие нет, ученые должны это делать, имея в виду, что первый принцип хорошей науки, цитируя Фейнмана, заключается в том, «что вы не должны обманывать себя, и вы человек, которого проще всего обмануть ».
История науки усеяна неудавшимися гипотезами, основанными на выборочной интерпретации доказательств. К сожалению, эксперты AHA просто не верят, что то, что справедливо и для гораздо лучших ученых, могло бы быть верным и для них.
Сегодняшний президентский совет, написанный десятками уважаемых экспертов во главе с Фрэнком Саком из Гарварда, может быть, является самым вопиющим примером эпидемии предвзятости доказательства, которую я когда-либо видел. Это особенно интересно, потому что четыре года назад AHA опубликовала отчет, в котором утверждается, что он является плодом доказательной медициной, в соавторстве с набором этих обычных подозреваемых, который также утверждал, что существуют самые сильные доказательства для ограничивающие насыщенный жир (SFA) в нашем рационе и заменой его полиненасыщенными жирами (ПНЖК). Это было потрясающе, потому что многие другие метаанализы, соавторы независимых исследователей, нашли эти доказательства слабыми или отсутствующими. Так как это могло быть самым сильным доказательством? Конечно, есть возможности для улучшения. Однако в документе AHA за 2013 год было чрезвычайно сложно проверить анализ экспертов AHA и установить, как они пришли к такому парадоксальному выводу. Этот последний документ фактически говорит нам, что они делали тогда и продолжают делать теперь, т. е. что они делали все это время.
Независимо от того, сознательно или бессознательно, они предполагают, что то, что они считают истинным, правда, а затем они методично устраняют негатив и подчеркивают положительное, пока они не смогут сделать так, что они, безусловно, четко и недвусмысленно правы. Они так же, как адвокат, аргументирующий дело перед присяжными , может быть прав, но вы никогда не узнаете об этом только из аргумента адвоката. Вы также должны услышать прокурора, и тогда, может быть, вы сможете решить.
Итак, давайте рассмотрим этот процесс устранения негатива: AHA приходит к выводу, что только четыре клинических испытания когда-либо проводились с достаточно надежной методологией, позволяющей им оценивать ценность замены насыщенных жиров полиненасыщенными (на практике заменяя животные жиры растительными маслами) и приходит к выводу, что эта замена уменьшит сердечные приступы на 30 процентов. В истории этой дискуссии это огромное, если не беспрецедентное число. Эти четыре испытания — те, которые остались после того, как эксперты AHA систематически рассмотрели другие и нашли причины отклонить все, которые не демонстрировали такого значительного положительного эффекта, в том числе значительное количество испытаний, которые показали противоположное.
Для этих испытаний они тщательно определяют, почему эти испытания были критическими, если не были смертельно ошибочными, и поэтому почему их результаты не могут и не должны использоваться при любой разумной оценке. Как мог бы сказать Бэкон, «с большими и вредными предрассудками [эксперты AHA] игнорируют или осуждают или исключают данные, вводя какое-то различие, чтобы власть [их] более ранних предположений оставалась неповрежденной и невредимой».
Они делают это для каждого испытания, кроме четырех, в том числе среди выкинутых из рассмотрения находятся самые большие испытания, которые когда-либо делались: Миннесотское коронарное обследование, Сиднейское кардиологическое исследование и, в первую очередь, Женской Инициативы в области здравоохранения, которая была единственным крупнейшим и самым дорогим клиническим испытанием , которое когда-либо кто-то делал. Все это привело к доказательствам, которые опровергли гипотезу. И эксперты AHA имеют веские причины для всех этих решений, но когда другие организации, в первую очередь Кокрановское сотрудничество, провели это испытание правильно, заранее приняв строгую методологию, которая будет определять, какие исследования использовать, а какие нет, не зная результатов, эти испытания, как правило, включались.
То, что эксперты AHA не делают (возможно, потому, что они убеждены, что они не могут одурачить себя), они не прилагают те же требования к испытаниям, которые поддерживают их гипотезу и предположения. Если они это сделают, они об этом не сообщают. Из четырех исследований, которые поддерживают 30-процентное сокращение сокращение сердечных приступов, все они являются древними согласно стандартам науки о питании. Вся дата 1960-х годов. Одним из них, например, является исследование связи диеты- здоровья сердца в Осло. В этом исследовании сообщалось о значительном сокращении случаев сердечно-сосудистых заболеваний, в соответствии с убеждениями авторов AHA, и поэтому оно включено в число четырех исследований, считающихся достойными .
«Судебное» научное разбирательство в Осло действительно было типичным для той эпохи, что означает очень примитивное по сегодняшним меркам. Один из исследователей, Пол Лерен, предлагает местным врачам рекомендовать участие в исследовании для пациентов, которые подвержены высокому риску сердечных заболеваний или уже имели сердечные приступы. Он рандомизирует половину этих пациентов, теперь подверженных риску, есть диету с низким содержанием SFA, высоким ПНЖК, а затем дает им интенсивное консультирование в течение многих лет («непрерывное обучение и наблюдение», как это характеризует Лерен), и он сравнивает их с контрольной группой, которая не получает консультации и питается стандартной норвежской диетой.
Таким образом, одна группа получает «здоровую» диету и интенсивное консультирование в течение многих лет; Другая группа ничего не получает. Вообще. Это технически называется двойным предвзятым отношением, и это эквивалентно тому, как делать лекарственное исследование без плацебо. Это буквально неконтролируемое испытание, несмотря на рандомизацию. (В этом случае, как объясняет Лерен, все вовлеченные врачи также знали, были ли их пациенты назначены в группу вмешательства или контрольную группу, что делает как следствие предвзятостым все испытание) Мы никогда не согласились бы на такое испытание, если бы шла речь и действительном тестировании лекарственного препарата. Почему это можно для диеты? Ну, может быть, потому, что такое испытание может быть использовано для поддержки наших предвзятых идей, но это не очень хороший ответ. Я предполагаю, что эксперты AHA не пытались выяснить, было ли это испытание достойным включения, потому что им понравился результат. Если я ошибаюсь, я извиняюсь, и я надеюсь, что один из них напишет, чтобы меня поправить .
Почему я знаю об Осло? Потому что мне было любопытно, что всегда хорошо, и, конечно, потому что результаты не согласуются с моими убеждениями и моими предубеждениями. Тем не менее, мое любопытство не могло быть удовлетворено после чтения опубликованной литературы, потому что Лерен не дал подробных сведений в опубликованных результатах исследований. Вероятно, у него не было места. Он это сделал в монографии, которую он опубликовал в 1966 году. Я купил копию несколько недель назад. Вот до какой степени мне было мне любопытно. В этой монографии Лерен оценивает состояние науки, как сейчас делают наши эксперты AHA, спустя пятьдесят один год, и затем он довольно подробно описывает, что он на самом деле делал в испытании. Он также обсуждает изменения в диете, достигнутые в его группе вмешательства, и вот здесь смещение производительности, а не сдвиг PUFA / SFA, возможно, определило результат исследования.
Лерен упоминает попутно, что потребление сахара в группе вмешательства было очень низким — около 50 граммов в день, что составляет 40 фунтов в год и, вероятно, менее половины потребления на душу населения в Норвегии в ту эпоху. (Я экстраполирую данные из этих данных, т. е. угадываю.) Таким образом, это критическая проблема с искажением показателей (performance bias) в исследовании диеты. (Hawthorne effects) Как нас учили в восьмом классе школы, хорошие научные эксперименты изменяют одну переменную с вмешательством, тогда мы можем видеть эффект этого изменения. В этом испытании переменная, которая должна быть разной, является отношением SFA / PUFA, но искажение поведения вводит еще одну переменную. Одна группа получает постоянное консультирование, чтобы питаться здоровымобразом, а другая группа — нет.
Теперь, как это непрерывное консультирование влияет на состояние здоровья? Один из способов влияния состоит в том, что, по-видимому, группа испытуемых решила съесть чертовски мало сахара.
Это непреднамеренное последствие консультаций дает еще одно объяснение тому, почему у этих людей так уменьшилось количество сердечных приступов. Я не знаю, так ли это. Мой пункт, и Лерен не знает этого тоже. И комитет из нашей АНА на знает тоже. Хотя мы можем предположить, что если бы они заранее решили, какие критерии они будут использовать для отклонения исследований, а затем исследования оценивались бы слепо, так что люди, делающие выбор, не знали бы результатов исследования, они бы отказались от этого исследования. И от других тоже. Все четыре исследования, используемые для поддержки 30-процентного уменьшения сердечных приступов , имели значительные недостатки, часто это то же самое, что и предвзятость. Причина того, что их следует отвергнуть.
Испытание PrediMed trial — еще один хороший пример практики предвзятоси AHA. Лидеры АНА, как они сказали мимоходом, хотели бы, чтобы мы ели средиземноморскую диету, и поэтому они пришли к заключению, что испытание PrediMed поддерживает этот совет. PrediMed может быть самым влиятельным клиническим испытанием последнего десятилетия, но он также был критически ошибочным. Нет, даже смертельно ошибочным. Однако, чтобы это обнаружить, вы должны прочесть дополнительные данные. Исследователи рандомизировали исследование на три группы, одна группа получила орехи (средиземноморская диета) и регулярные консультации; другая — оливковое масло (средиземноморская диета) и консультирование; третья (не средиземноморская диета) ни фига не получила и не консультировалась. Следовательно, это существенное искажение показателей через поведение. В середине испытания до исследователей все-таки доходит , что у них реальная проблема, и они решили внести поправки. Вот как они описывают это на стр. 10 дополнительного материала:
Первоначальный диетический протокол для контрольной группы начался с доставки инструкции, в которой были изложены рекомендации по соблюдению диеты с низким содержанием жиров (таблица S2-S3) и запланирован ежегодный визит. В октябре 2006 года, через 3 года после начала испытания , мы поняли, что такое низкоуровневое вмешательство может потенциально представлять собой слабость исследования и внесли поправки в протокол, включив ежеквартальные индивидуальные и групповые занятия с предоставлением списков покупок продуктов [my italic] планы питания и рецепты (адаптированные к диете с низким содержанием жиров) таким образом, чтобы интенсивность вмешательства была такой же, как и в средиземноморских диетических групп, за исключением предоставления дополнительных пищевых продуктов бесплатно. Эта поправка к протоколу никоим образом не означала изменения в качестве и конкретных целях рекомендаций контрольной группе; Это было только усиление стремления к вмешательству , попытка сделать его похожим на то, что было дано участникам средиземноморских групп диеты.
Звук очищения горла … Представьте себе пробное испытание на препарат, в котором «три года в процессе» исследователи понимают, что может быть проблемой, которую они пренебрегли, чтобы дать контрольной группе плацебо. Oops! Ошибочка вышла! Будут ли редакторы престижного журнала покупать идею о том, что «такая низкосортная интервенция может [может быть !!] потенциально представлять собой слабость испытания?» Будет ли такое исследование опубликовано в любом почтенном журнале? В питании, а также потому, что cognoscenti в сообществе питания, как и результаты, опубликованы в журнале New England Journal of Medicine, самом престижном медицинском журнале в мире, и выходит на главную страницу the New York Times. И признание этой потенциальной слабости производится только в дополнительном материале. Не в самом опубликованном результате исследования. Представьте, что исследование показало, что средиземноморская диета действительно вредна. Например, что предоставление орехов и оливкового масла увеличивало риск смерти. Считаете ли вы, что собранные эксперты AHA включили бы его в эту оценку или они обнаружат эту проблему искажения результатов поведением и отклонят ее на этой основе? Я голосую за последнее, но мы никогда не узнаем, что бы они сделали.
В конечном итоге этот документ AHA является повторением того, что эксперты AHA твердят десятилетиями. Единственная причина его публикации — это то, что в последнее время им поддали жару такие люди, как я и Нина Тейхольц, и множество других людей, которые отмечают, что здесь мы имеем дело с лженаукой, и публика заслуживает гораздо большего. Те из нас, кто стали критиками, действительно могут быть предвзятыми относительно того, во что мы верим сейчас — я, конечно, — но в конечном итоге мы спорим о лучшей науке. Такой анализ клинических испытаний, будь то анализ подгруппы или другой, может быть только формированием гипотезы. Это основная логика. Нам не нужно голосовать. Просто откройте учебник по фундаментальной науке или биостатистике.
То, чем занимаются сейчас эксперты AHA — они заявляют о том, что их анализ данных ведет к убедительной гипотезе: замена насыщенных жиров на полиненасыенных должна уменьшить сердечные заболевания на 30 процентов. Но это все, что они могут сказать. Когда они начинают решать, какие данные включить, какие выкинуть, они сразу делают свою гипотезы предвзятым заключением.
Это приводит к еще трем критическим пунктам.
1. Одна из причин того, что четыре одобренных AHA исследования были проведены в 1960-х годах, заключалась не только в том, чтобы проверить, повлияет ли замена насыщенных жиров на полиненасыщенные жиры на снижение риска сердечных заболеваний, но и чтобы посмотреть, снижает ли это смертность. Как в отношении любого лечебного препарата, недостаточно показать, что вмешательство имеет положительные эффекты, выгоды, вы должны продемонстрировать, что эти преимущества уравновешивают негативы и риски. В 1960-х годах исследователи и органы общественного здравоохранения понимали это, и поэтому большинство из этих исследований рассматривали общую смертность как конечную точку. Только исследование финской психиатрической больницы показало положительное влияние диеты на долголетие, и это было только у мужчин. Не у женщин. (Фактически, все испытания, используемые для установления 30-процентного сокращения числа сердечных атак, проводились только у мужчин. Инициатива «Здоровье женщин» была сделана в значительной степени для того, чтобы выяснить, верно ли то , что верно для мужчин, также и для женщин, но AHA Мне не понравилось это исследование, поэтому мы застряли на испытаниях , сделанных только на мужчинах.)
В последнее время эпидемиологи, обсуждая диетические жиры и болезни, снова обратили внимание на инцидентах сердечных заболеваний, но они не говорят, почему. Даже мета-анализ Cochrane фокусируется только на сердечных заболеваниях. Я предполагаю, что они делают это, потому что клинические испытания не показали никакой пользы для снижения общей смертности (они были в основном недостаточными), а общая смертность безнадежно смешана в наблюдательных исследованиях. Лично я предпочел бы умереть от сердечного приступа, а не от рака или болезни Альцгеймера, но это может быть из-за того, что мой семейный опыт был связан с раком и болезнью Альцгеймера, и это было тяжело. В любом случае, если я собираюсь изменить свою диету и начать потреблять растительные масла, я хочу знать, буду ли я жить дольше. AHA даже не затрагивает этот вопрос. Первое правило медицины, профилактическое или иное, по-прежнему — не навреди, и они не пытаются оценить причинение вреда. Вы можете сказать, что они AHA, поэтому они заботятся о болезни сердца. Но это недостаточно. Это никогда не было достаточно хорошим объяснением. И это приводит нас ко второму пункту.
2. Эксперты AHA признают, что да, они обсуждают все те же испытания, которые проводились десятки лет назад, и о которых мы спорили, ну, тоже десятилетиями, и эти эксперты признают в неявной форме, что эти испытания не могут разрешить противоречие, упомянутое в пункте 1, также они прямо заявляют, что было бы необходимо сделать следующее:
Основные испытания, рассмотренные в этом разделе, были начаты в конце 1950-х и начале 1960-х годов. Читатели могут задаться вопросом, почему по крайней мере 1 окончательное клиническое испытание не было завершено с тех пор. Причины включают высокую стоимость исследования, имеющего от 20 000 до 30 000 участников, необходимых для достижения удовлетворительной статистической мощности, осуществимости доставки диетического вмешательства в такое большое количество исследователей, технических трудностей в создании центров распределения продуктов питания, необходимых для поддержания высокой приверженности в течение как минимум 5 лет, и снижение заболеваемости сердечно-сосудистыми заболеваниями, вызванное улучшением образа жизни и улучшением лечения [курсив мой Г.Т]. Это связанные проблемы, которым необходимо разрешить, чтобы получить окончательный результат, остаются центральными соображениями для диетических исследований по сердечно-сосудистым заболеваниям и действительно являются основной причиной того, что некоторые из этих испытаний когда-либо были сделаны. Наконец, к 1980-м годам с ростом заболеваемости раком молочной железы и толстой кишки правительство США взяло на себя обязательство провести Инициативу по здоровью женщин (WHI), исследование, в котором изучалась диета, направленная на снижение общего жира в рационе до 20% с ожиданием того, что Насыщенный жир также будет существенно уменьшен. Следовательно, углеводы были увеличены в рационе. Подробности будут обсуждаться позже.
Так что достаточно строгий тест, похоже, невозможно сделать. И, что более важно, если то, что требуется для тщательной проверки гипотезы — «от 20 000 до 30 000 участников, необходимых для достижения удовлетворительной статистической силы», — тогда почему мы даже обсуждаем другие испытания , где номер участников меньше ? (И, конечно же, именно поэтому они должны были отклонить WHI как значимые, потому что у этого исследования как раз есть такая статистическая сила.) Эксперты эффективно распотрошили свой собственный случай. Если бы это было судебное расследование, судья теперь просто бы выбросил дело в мусор, и мы бы все пили кофе в холле (со сливками или без ), обсуждая, как это фиаско разыгралось и зачем мы вообще пришли в этот суд . И это подводит нас к третьему пункту.
3. Я ведь говорил, что первое правило медицины, как сказал Гиппократ, не наносить вреда, не так ли? Вроде бы, да, я это сделал. Еще в 1981 году Джеффри Роуз, пионер-мыслитель в области профилактической медицины, написал статью в BMJ о стратегии профилактической медицины the strategy of preventive medicine, и он указал на ту же проблему с растительными маслами, которые сегодня стоят перед нами. Снова эта история продолжает повторяться в этом мире, отчасти потому, что снова эти исследователи и власти не думают, что нужно делать эксперименты, необходимые для разрешения этого спора, и наконец выяснить, действительно ли гипотеза AHA истинна. Ведь эксперименты слишком трудно делать. (Представьте, если бы физики использовали этот довод, занимаясь своей наукой. Зачем напрягаться, чтобы собрать один миллиард долларов, чтобы создать единый ускоритель, ведь это же так трудно, ведь придется разрабатывать технологические детали по мере продвижения, и всего лишь потому, что это необходимо для ответа на следующий вопрос. Нет, это слишком тяжело, поэтому это никогда не будет сделано. Давайте даже не будем пытаться, ведь вместо этого мы можем спекулировать и притворяться, что знаем результат. Вздох.)
Как заметил Роуз, одно дело сказать людям не есть что-то, потому что мы эволюционировали, чтобы есть очень мало этого продукта, и есть хорошие доказательства того, что употребление в пищу меньше этого продукта уменьшит риск хронических заболеваний. Это то, что Роуз назвал устранением «неестественного фактора и восстановления « биологической нормальности », то есть условий, к которым предположительно мы генетически адаптированы». Как выразился Роуз: «Такие нормализующие меры [например, не курить], могут считаться безопасными, и поэтому мы должны быть готовы защищать их на основе разумной презумпции выгоды ».
Но говорить людям есть что-то новое для их окружающей среды — вводить неестественный фактор, чем практически является любое растительное масло (за исключением оливкового масла, если ваш предки происходят из Средиземноморья или Среднего Востока), что было связано с Роузом и касается нас сегодня — это совершенно другое предложение. Теперь вы предполагаете, что этот неестественный фактор является защищающим, так же, как мы предполагаем, что препарат может быть защитным, понижая наше кровяное давление или холестерин. И поэтому ситуация отличается от ситуации, если бы эти власти AHA пришли к выводу, что мы все должны принимать статины профилактически или бета-блокаторы. Дело в том, что никто никогда не согласился бы с таким предложением на лекарство без широкомасштабных клинических испытаний, демонстрируя, что выгоды намного перевешивают риски. Поэтому, даже если гипотеза AHA является столь же разумной и убедительной, как это считают авторы AHA, она должна быть проверена. Они буквально говорят (не образно, буквально), что растительные масла — соевое, рапсовое и т. д. так же полезны, как статины, и поэтому мы все должны их потреблять. Может быть, так, но прежде чем мы это сделаем (или, по крайней мере, до того, как это сделаю я), у них есть моральная и этическая обязанность строго проверить эту гипотезу так же, как если бы они советовали нам всем принимать наркотик. И тогда, должно быть, они должны сделать это дважды, поскольку фундаментальный принцип хорошей науки также является независимой репликацией. И здесь нам нужна хорошая наука.
