Коронавирусное.
Сказание о проблемах клинических исследований в темные времена в трех частях с эпиграфами и гиперссылками.
Часть 1. Глубоко теоретическая.
«Ложка, товарищи солдаты, состоит из трех частей:
держала, черпала и перемычки».
Любое хорошее исследование (клиническое, доклиническое и т.д.) состоит из трех основных частей:
· вопроса, на который надо ответить;
· методов, которые применяются для поиска ответов на вопрос, и
· ответа.
Отсутствие любого из этих основных компонентов делает исследование бессмысленным, а результаты – такими, которые можно выбросить в мусорку или спустить в унитаз. Тут уже дело вкуса. Итак, по порядку.
В центре любого исследования лежит вопрос, на который надо найти ответ. К хорошему годному вопросу есть свои требования: он должен быть четко и конкретно сформулирован, на него принципиально можно дать однозначный ответ с помощью существующих знаний, он основан на текущем уровне знаний, ответ на вопрос дает новую информацию, которая на текущий момент отсутствует.
Методы – это инструментарий, с помощью которого исследователь ищет ответ на вопрос. Методов существует великое множество, но требование к ним достаточно простое: их использование должно позволить найти однозначный ответ на поставленный вопрос и в достаточной степени объяснить полученные результаты. Еще одно требование к методам – воспроизводимость исследования. Т.е. возможность повторения этого же исследования другими исследователями и получение ими точно того же ответа на точно тот же вопрос при использовании тех же методов.
К ответу, как уже понятно, тоже есть свои требования: он должен быть четким, однозначным и соответствовать вопросу, который был задан в начале.
Разберем на примере сферического клинического исследования:
Вопрос: работает ли препарат Х, если пациент болеет болезнью Y?
Методы: использование одно-двух-трех-четырехкратного ослепления, рандомизации, плацебо, сравнения с существующими препаратами и т.д.
Хороший ответ: Да работает / Нет, не работает.
Плохой ответ: Мы не можем однозначно сказать, работает оно или нет.
С одной стороны все написанное выше кажется интуитивно понятным. С другой – процент исследований, которые действительно соответствуют этим критериям, невелик, а процент мусора в информационной среде зашкаливающий. К сожалению, это очень удручает, а также вызывает боль в жизненно важных органах при попытке хоть как-то разобраться в вопросе. Дальше попробуем понять, почему так происходит, особенно во время пандемии Covid-19.
Часть 2. Тоже теоретическая, но уже менее глубоко.
«Если прибором измерять кое-как,
То он вам кое-что и покажет»
На днях я нашел статью, опубликованную в журнале Science еще в мае месяце. Соответственно, написана она была где-то в марте этого года (т.е. в те далекие времена, когда еще… можно было летать из Украины в ЕС; Скалецкая искала на карте Новые Санжары, чтобы поехать туда в обсервацию; все переживали по поводу собаки девушки из Уханя). Ссылка: https://science.sciencemag.org/content/368/6490/476
В этой статье авторы высказывают довольно сильную озабоченность, переходящую в тревогу, по поводу того, что уже тогда (напомню – в марте месяце) в статьях массово стали появляться утверждения вроде «в критических ситуациях проведение больших рандомизированных исследований не является допустимым и этичным», «с учетом неотложной ситуации могут быть допустимы некоторые отступления от стандартов вроде малого числа участников, использование невалидированных конечных точек, отсутствие рандомизации/ослепления» и т.д.
С точки зрения авторов в основе подобного подхода обычно лежит следующее ОШИБОЧНОЕ предположение (но не обязательно только оно):
«Небольшой объем информации, полученный прямо сейчас, даже если эта информация очень сомнительного качества, предпочтительнее расходования большого количества ресурсов на дотошное и длительное изучение проблемы.»
Теперь разберем, почему такой подход порочен.
Существующая логика разработки и тестирования новых лекарств подразумевает проведение достаточно большого количества небольших по размеру клинические исследований на ранних этапах (1-2 фаза), в которых обычно отсеивается большинство неработающих молекул. А те, которые показали что-то многообещающее, попадают в исследования с бОльшим числом участников (2-3 фаза), в которых окончательно подтверждается (либо нет) их эффективность. При этом следует учитывать тот факт, что преимущества новых лекарств редко бывают настолько значительными, что их можно уверенно обнаружить в небольших открытых нерандомизированных испытаниях.
Все было нормально, пока не началась пандемия. В этот момент у большинства сработал панический инстинкт «Надо же что-то делать, аааААА!!!». И вместо того, чтобы спокойно сесть и подумать, что именно и как именно делать, стада наукообразных леммингов начали со скоростью бешеного принтера выдавать на-гора тонны информации, которая не может ни доказать, ни опровергнуть абсолютно ничего. Изначально в этом преуспели китайские сумеречные гении, но, как показала практика, европейцы тоже недалеко ушли (вспомним хотя бы Дидье Рауля и его «работы» по гидроксихлорохину с азитромицином). В результате мы получили ворох проблем:
· Первая проблема – то, что в этой горе мусора теряются нормальные достоверные результаты. Поток информации увеличивается кратно и вычленять из него то, что было сделано качественно, становится все сложнее. По сути, идет непроизвольная DDoS атака системы анализа данных, подготовки мета-анализов, руководств, стандартов терапии, т.к. сотрудники, отвечающие за это, просто перегружены.
· Вторая проблема – резкое увеличение количества небольших плохо организованных клинических исследований чисто статистически увеличит число ложноположительных результатов, которые надо подтверждать/опровергать в исследованиях 2-3 фазы, то есть задействовать значительные ресурсы и время, которых в условиях пандемии зачастую нет.
· Третья проблема – число больных Covid-19 на ранних стадиях пандемии (когда счет идет на сотни инфицированных в сутки) – величина конечная. В клинические исследования можно включить еще меньше. Соответственно, это дефицитный ресурс, который надо использовать с умом, проверяя в первую очередь самые вероятные гипотезы (а не ректальное применение эфирного масла фиалки – если вы считаете, что это шутка, вынужден вас расстроить, кейс реальный).
Для этого нужна координация между разными группами исследователей, которой, по идее должны заниматься ВОЗ и национальные регуляторы, а также комиссии по биоэтике, не допускающие проведения дублирующих исследований и исследований с заведомо слабым дизайном. К сожалению, в этом месте у нас случился провал в мировом масштабе. И сейчас его последствия мы продолжаем разгребать.
В качестве доказательства такого нарушения координации авторы указывают, что на момент написания статьи в Северной Америке уже проходило около 20 клинических исследований гидроксихлорохина с заявленным числом участников более 75 000 (на секундочку, это в два раза больше, чем 3 фаза у любого из производителей вакцины на сегодняшний день). Другими словами – чрезмерные ресурсы были сконцентрированы на проверке одной гипотезы вместо того, чтобы проверять другие.
В качестве промежуточного вывода можно привести утверждение Национальной Медицинской Академии США времен вспышки лихорадки Эбола (2014-2015 гг.), в котором утверждается, что проведение клинических исследований является неотъемлемой частью ответа на развитие эпидемии, и «несмотря на ощущение срочности, исследования во время эпидемии по-прежнему должны подчиняться тем же основным научным и этическим требованиям, которые регулируют исследования с участием людей».
Часть 3. О масках.
«- Тетя Соня, как вам конфетка?
- Спасибо, очень вкусная.
- Странно, а почему ее Тузик дважды выплевывал?»
На днях с третьей попытки таки были опубликованы результаты рандомизированного клинического исследования «Effectiveness of Adding a Mask Recommendation to Other Public Health Measures to Prevent SARS-CoV-2 Infection in Danish Mask Wearers» (https://www.acpjournals.org/doi/10.7326/M20-6817), в котором датчане пытались оценить, помогает ли ношение хирургических масок снизить риск заражения Covid-19. За эту статью довольно крепко уцепились «борцы с намордниками», т.к. с их точки зрения статья доказала неэффективность ношения масок. В нескольких следующих абзацах попробуем понять, правы ли они, и могла ли эта работа что-то доказать в принципе.
Проанализируем это исследование с точки зрения того, что было изложено в предыдущих частях:
1. Вопрос. По этому пункту замечаний меньше всего. Существует гипотеза о том, что ношение масок снижает риск заражения. Основной вопрос – это то, что исследовали только ситуацию, когда маска надета на здорового человека(защита «на вдох»), тогда как применение маски по основному назначению при ношении больным («на выдох») не исследовалось.
2. Методы. Вот тут начинаются вопросы и их много:
- Участники. Исследователи планировали, что в группе без масок заразится 2% участников, а ношение масок сможет снизить этот риск на 50%. На основании этого, а также предположив, что 20% участников будут исключены из итоговых результатов, определили общее число участников как 6 000. На этой стадии все ОК. Пока что.
- Время проведения исследования. Первую половину набрали 12 апреля сего года и наблюдали до 15 мая, вторую – с 24 апреля до 2 июня. Проблема в том, что в Дании в это время уже прошла первая вспышка: общее число случаев заражения Covid-19 за все время исследования увеличилось с 6 369 до 11 934 (https://coronavirus.jhu.edu/map.html), т.е. в среднем около 110 случаев в сутки на всю страну (что, как понятно из текущей ситуации у нас, очень мало). С учетом того, что наблюдение проводили месяц (а это тоже очень мало), имеем высокий риск того, что участники просто не успели заразиться, а полученные результаты будут находиться на уровне статистической погрешности.
- Контроль ношения масок. Исследователи давали участникам формы для самоконтроля, полагаясь на их честность. Другими словами, контроль практически отсутствовал. В клинических исследованиях использование субъективных критериев не приветствуется, и считается допустимым только в ситуациях, когда нет возможности измерить параметр иначе (напр., шкала боли). Проблема с такими показателями в том, что они очень подвержены индивидуальному восприятию со стороны участника, а надежных механизмов, чтобы убрать фактор «индивидуального восприятия» из итоговых результатов у нас нет. Авторы честно заявляют, что только 46% участников, которые должны были носить маски, носили их согласно рекомендациям, еще 47% - в большинстве случаев носили согласно рекомендациям, 7% - совсем не соблюдали рекомендации. Проблема в том, что если проводить анализ среди этих прилежных 46%, размер выборки становится недостаточным, чтобы увидеть ожидаемые отличия (так и вышло).
- Режим ношения масок. На 30 дней выдавалось 50 масок с инструкцией менять их через 8 часов нахождения на улице. Такой подход не создает достаточного резерва масок для их комфортной замены, а также не соответствует большинству рекомендаций, согласно которым маски надо менять каждые 2 часа. Авторы подобный подход ничем не объясняют. Отдельно стоит отметить «рекомендательный» характер ношения/не ношения масок, который еще более способствует несоблюдению требований протокола исследования.
- Выявление случаев заражения. Пациентам выдали детальные инструкции о том, как делать экспресс-тест на антитела и брать мазок с поверхности носоглотки для ПЦР-теста. Тут есть сразу несколько моментов. Первое: ВОЗ еще весной в своих рекомендациях четко написал, что экспресс-тесты на антитела не должны использоваться в диагностических целях. Второе: результат ПЦР-теста критично зависит от того, насколько правильно был взят мазок. Если взять мазок не так/не там, тест будет ложноотрицательным. Отдавать эти процедуры на откуп участникам – кратно повышать риск того, что в результатах получится полная каша (а она в итоге и получилась). Не понимаю, почему нельзя было заключить договор с клиниками или лабораториями, которые бы квалифицированно забрали материал и провели адекватное тестирование. Отдельно стоит указать на то, что первые антитела (IgM) в организме появляются спустя 7-10 дней после заражения (иммуноглобулины IgG – еще позже), соответственно, реальная продолжительность исследования – не месяц, а три недели (чего, как мы все понимаем, тем более недостаточно).
- Результаты. В итоге в одной и второй группе заразилось около 1.5-2% участников, причем достоверных отличий между группами исследователи не увидели (что логично, исходя из того, что было написано выше). Так вот, эти величины меньше показателей чувствительности (частоты ложноположительных результатов) тестов на определение антител (для наборов, которые использовались в исследовании – около 2.5%). Таким образом, особенно учитывая малое число заражений по стране в целом, существует ненулевая вероятность того, что случаев заражения за время НЕ БЫЛО НИ В ОДНОЙ ГРУППЕ. Соответственно, в реальности имело место сравнение нуля с нулем, что с точки зрения статистики абсолютно бессмысленно.
Данный список вопросов к методологии исследования не является исчерпывающим, но даже одного из них вполне достаточно, чтобы поставить под сомнение валидность полученных результатов. А таких вопросов, как мы видим, вагон и маленькая тележка.
3. Ответ. К чести авторов, они сами пишут о том, что результаты не позволяют сделать определенные выводы, поскольку исследование имеет очень большое число ограничений. Как мы видим, в ходе такого исследования в принципе очень маловероятно было получить какие-то адекватные результаты.
Ну и вместо выводов:
1. Жаль, что хороший посыл и большое количество усилий было спущено в никуда, т.к. после проведения исследования человечество так и не узнало, работают ли хирургические маски в условиях Covid-19, и какой уровень защиты они обеспечивают. Если бы это исследование было проведено в другое время, в другом месте и с другим дизайном, пользы от него было бы намного больше.
2. Жаль, что статья таки попала в печать, так как ее теперь тягают по всему интернету как доказательство того, что «маски не работают» люди, которые дальше заголовка и резюме ничего не читают. Как видим, авторам дважды отказывали вовсе не из-за козней мировой закулисы / фарммафии / масонов / рептилоидов / ваш вариант, а просто из-за того, что исследование очень слабое с методологической точки зрения.
3. Сохраняйте критическое мышление. Фильтруйте информацию. Не болейте.
#covid19