Как читать научные новости: почему заголовок и исследование говорят разное
Если коротко: заголовок научной новости пишет не автор исследования, а редактор или пресс-служба, и его задача — привлечь внимание, а не передать осторожные выводы. Поэтому открывайте не только заголовок: ищите, на ком проводили эксперимент (люди, мыши или клетки), какого типа исследование (наблюдение или эксперимент с контролем) и сказано ли в самой работе то, что обещает заголовок.
Меня зовут Павел Ржавин, я инженер и люблю проверяемые утверждения. Привычка проверять «а что именно измерили?» — это навык, а не талант. Разберём, откуда берётся расхождение между заголовком и исследованием и как быстро его заметить, не будучи учёным.
Откуда берётся разрыв между заголовком и работой
Путь новости обычно такой: учёные публикуют статью, пресс-служба вуза или журнала готовит пресс-релиз, журналисты пишут новость по релизу, а редактор придумывает заголовок. На каждом шаге текст сокращается и упрощается, а оговорки — «в нашей выборке», «связь не доказывает причину», «только на мышах» — первыми вылетают как лишние.
Это не гипотеза, а измеренный эффект. В работе группы Сумнер, опубликованной в BMJ в 2014 году, исследователи сопоставляли пресс-релизы 20 британских университетов, научные статьи и новости. По описанию на сайте European Association of Science Editors, главный вывод такой: преувеличение в новостях сильно связано с преувеличением в пресс-релизах. Иначе говоря, искажение часто рождается ещё до журналиста, а исправить его можно, улучшив сами релизы.
Эксперимент о том, можно ли это исправить
Следующий вопрос: если пресс-службы будут писать аккуратнее, станет ли аккуратнее и пресса? Это проверили рандомизированным исследованием. В работе Адамс и коллег в BMC Medicine (2019) 312 медицинских пресс-релизов от девяти британских пресс-служб случайным образом разделили на группы: обычные, с утверждениями, приведёнными в соответствие с данными, с оговоркой о причинности и с обоими изменениями. Затем авторы разобрали 2257 новостных материалов.
Результат осторожный. Согласованные с данными утверждения улучшали соответствие заголовков доказательствам, но в строгом анализе «по назначенной группе» эффект был небольшим (56% против 52%). Зато в другом анализе разница выглядела куда сильнее, хотя сами авторы напоминают, что он корреляционный и причинность не доказывает. И важное для нашей темы: более аккуратные релизы не привлекали меньше внимания прессы. То есть честность не мешает новости быть прочитанной.
Для читателя вывод простой: качество заголовка зависит от цепочки людей, и вы не можете знать, где на ней что потерялось. Значит, проверять надо самому.
Пять вопросов к любой научной новости
На ком провели исследование
Мыши, клетки и компьютерные модели — это начало пути, а не готовое знание для человека. Если в заголовке написано «учёные нашли способ победить…», а в тексте глубоко внизу упомянуты лабораторные животные, считайте заголовок преувеличением. Многие журналисты и редакторы советуют мысленно дописывать к таким заголовкам «у мышей».
Что именно измерили
Исследование может показать, что у людей, которые часто делают А, чаще встречается Б. Это корреляция. Причинная связь требует другого: сравнения групп, где А меняли намеренно, и желательно случайного распределения участников. Слова «связано с», «ассоциируется» — признак наблюдения, а «приводит к», «вызывает», «защищает от» требуют более сильных доказательств. Если в заголовке стоит «вызывает», а в работе «ассоциировано», перед вами расхождение.
Сколько участников и каких
Маленькая выборка даёт шумные результаты, а узкая группа (студенты одного вуза, пациенты одной клиники) не обязательно похожа на вас. Хорошая новость называет число людей и то, кто они. Если в тексте этого нет, найдите это в аннотации исследования.
Кто за этим стоит
Посмотрите, где опубликована работа, прошла ли она рецензирование или это препринт, и кто финансировал. Препринт не обязательно плох, но его выводы ещё не проверены другими экспертами, и это нужно держать в уме.
Один ли это результат
Одна работа — гипотеза, несколько независимых повторений — уже основа. Громкие «прорывы» часто опираются на единственное исследование, которое потом не воспроизводят. Поэтому, увидев сенсацию, спросите себя: подтвердил ли это кто-нибудь ещё?
Как проверить за пять минут
Алгоритм, который я использую сам. Найдите в новости ссылку на исследование: серьёзное издание её даёт, а её отсутствие — повод насторожиться. Откройте аннотацию, она в свободном доступе почти всегда. Прочитайте раздел с методами и последнее предложение выводов. Сравните его с заголовком. Если слова разные по силе, доверяйте работе, а не заголовку.
Дополнительный приём: введите название исследования в поиск и посмотрите, что о нём пишут другие специалисты и издания. Если все новости повторяют один и тот же пресс-релиз слово в слово, независимого анализа в них нет.
Условный пример разбора
Возьмём выдуманный, но типичный заголовок: «Кофе защищает от болезней сердца». Разбираем по порядку. Первое: в тексте сказано, что исследователи опросили несколько тысяч человек о привычках и через годы посмотрели на их здоровье. Значит, это наблюдение, а не эксперимент: никто не назначал людям кофе. Второе: в работе, скорее всего, сказано «связано со сниженным риском», а не «защищает». Третье: любители кофе могут отличаться от остальных по десяткам признаков, от курения до сна, и часть из них исследователи учитывают, а часть нет. Эти скрытые различия называют смешивающими факторами, и именно они чаще всего превращают красивую корреляцию в ложную причину.
Что в итоге? Новость не обязательно неверна, но «защищает» в заголовке — это сильнее, чем может сказать такой дизайн исследования. Правильное прочтение: у любителей кофе в этой выборке риск ниже, причина неизвестна.
Слова-маркеры в тексте
Научитесь замечать осторожные слова: «может», «возможно», «предварительные данные», «в нашей выборке», «требуется подтверждение». Если новость написана без единой оговорки, а исследование было небольшим, это почти всегда упрощение. И наоборот: если автор приводит ограничения работы и мнение независимого эксперта, перед вами, скорее всего, добросовестный материал.
Отдельно относитесь к абсолютным числам и относительным. Фраза «риск вырос на 50%» звучит страшно, но если исходный риск был один случай на десять тысяч, то полтора случая на десять тысяч — совсем другая история. Хорошая новость называет оба числа.
Что делать с результатом проверки
Не нужно впадать в цинизм и считать всю науку в СМИ враньём. Большинство новостей — не ложь, а упрощение, и ваша задача состоит в том, чтобы вернуть недостающие оговорки. Если вы решаете что-то важное, например меняете питание или лечение, опираться на одну новость нельзя в любом случае: обращайтесь к обзорам и к врачу. Новость — повод узнать больше, а не руководство к действию.
Коротко
Заголовок и исследование расходятся потому, что между ними несколько редакторских шагов, и оговорки теряются по пути. Измерения показывают, что преувеличение в новостях тесно связано с преувеличением в пресс-релизах. Смотрите, на ком провели работу, корреляция это или эксперимент, сколько участников и повторял ли кто-то результат. Сверяйте заголовок с аннотацией: если сила слов разная, верьте исследованию.
Пока нет комментариев