Если коротко: когда заголовок говорит «X приводит к Y» или «X повышает риск Y», он часто опирается на корреляцию, то есть на то, что два показателя меняются вместе. Это не доказывает, что один вызывает другой: причиной может быть третий фактор, обратная связь или просто случайность. Чтобы понять, можно ли верить заголовку, задайте пять вопросов, о которых ниже: что именно сравнивали, сколько данных, нет ли общей причины, в какую сторону идёт связь и было ли это эксперимент или наблюдение.
Я Рома Байтов, строю продукты и верю в маленькие команды. В продуктовой работе на каждом шагу приходится отличать «метрика выросла после запуска» от «метрика выросла из-за запуска». Те же ловушки встречаются и в новостях, поэтому разберём их на примерах.
Что такое корреляция и почему её так легко принять за причину
Корреляция — это согласованное изменение двух величин: когда одна растёт, другая тоже растёт (или падает). Мозг устроен так, что видит в согласованности причину: «после этого — значит, вследствие этого». В логике это называют ошибкой «cum hoc ergo propter hoc» (латинское «с этим, значит, из-за этого»). Википедия описывает три основных варианта, почему связь между A и B не означает, что A вызывает B: B вызывает A (обратная причинность), оба вызваны третьим фактором C, либо связь вообще случайна.
Классический пример из той же статьи: с ростом продаж мороженого растёт число утоплений. Значит ли это, что мороженое приводит к утоплениям? Конечно нет: оба показателя растут в жаркую погоду, когда люди едят мороженое и чаще купаются. Мороженое и утопления связаны через третий фактор — жару. Если бы чиновник решил запретить мороженое, чтобы снизить число утоплений, он потратил бы силы зря.

Случайные совпадения: почему их можно найти где угодно
Самое наглядное доказательство, что совпадение ничего не значит, — проект Тайлера Вигена «Spurious Correlations». Автор сравнил на своём сайте 25 237 показателей попарно, около 636 миллионов сравнений, и показал самые красивые совпадения. Например, там встречается связь между поисковыми запросами «batman» и числом охранников в Оклахоме. Конечно, нет никакой причины, по которой интерес к Бэтмену должен влиять на штат охраны.
Виген сам предупреждает: любой достаточно большой набор данных даст сильные корреляции совершенно случайно. Это как с лотереей: вероятность того, что выиграет конкретный человек, ничтожна, но вероятность того, что кто-то выиграет, высока. Если искать связь между всем и всем, красивые графики найдутся обязательно. Проблема начинается, когда кто-то выбирает из миллионов пар одну, придумывает ей объяснение и публикует как открытие.
Хитрости графиков: оси, годы и тренды
На том же сайте автор перечисляет приёмы, из-за которых связь выглядит сильнее, чем она есть. Во-первых, обрезанные оси: если шкала начинается не с нуля, небольшое отличие превращается в «взлёт». Во-вторых, годы как основа сравнения: в любом году происходит множество несвязанных событий, и если две величины просто растут со временем, они дадут высокую корреляцию. В-третьих, выбросы и малая выборка: одна необычная точка способна сделать связь «значимой», а на десяти наблюдениях любой результат шаткий.
Отсюда практическое правило: если в статье корреляцию показывают двумя линиями по годам, просто тренд, а не связь, — это повод усомниться. Реальная связь должна проявляться и при сравнении людей или объектов в один и тот же момент, а не только в совпадающей динамике во времени.
Как читать заголовок: пять вопросов
Первый вопрос: что сравнивали? Если в заголовке «кофе продлевает жизнь», уточните, кто пил кофе и кто не пил. Люди, которые пьют кофе, и те, кто не пьёт, могут отличаться образом жизни, доходом, здоровьем. Второй: сколько данных? «В исследовании участвовали 12 человек» — это не тот масштаб, на котором делают выводы для населения.
Третий: нет ли общей причины? Спросите, что могло влиять на обе величины. Пример из Википедии: связь между привычкой спать в обуви и головной болью по утрам объясняется не обувью, а тем, что человек лёг спать пьяным. Четвёртый: в какую сторону идёт связь? Люди, которые чаще ходят к врачу, чаще болеют, но больны они не от врачей. Пятый: это эксперимент или наблюдение? Если участников случайным образом разделили на группы, и одна получила воздействие, другая нет, у такого вывода больше веса, чем у простого сопоставления данных.

Слова-индикаторы в заголовках
Есть формулировки, по которым видно, что перед вами корреляция: «связан с», «ассоциирован», «повышает риск», «чаще встречается у». Честные заголовки так и пишут. Формулировки «вызывает», «приводит к», «лечит», «убивает» требуют намного более сильных доказательств — обычно экспериментов, повторённых разными группами. Если в самом тексте исследования написано «связь», а в заголовке стало «причина», вся история — на совести редактора.
И второй сигнал: в статье не указана ни выборка, ни источник данных, ни ссылка на исследование. Тогда проверить утверждение невозможно, и относиться к нему нужно как к слуху.
Мини-пример: как рождается ложный вывод
Представьте заголовок: «Люди, которые завтракают, реже страдают от лишнего веса». Что за ним может стоять? Возможно, завтрак действительно помогает. Но не менее вероятно, что те, кто завтракает, в среднем больше следят за режимом, лучше спят и больше двигаются, и именно эти привычки влияют на вес. Тогда завтрак здесь лишь маркер общего образа жизни: если заставить завтракать человека, который иначе живёт, ничего не изменится. Заголовок же нам подсказывает простой рецепт, а реальность сложнее.
Именно так выглядит третий фактор в реальности: не одна таинственная переменная, а набор привычек, которые идут вместе. Исследователи пытаются учесть их в расчётах, но полностью устранить влияние всех скрытых факторов в наблюдательных данных практически невозможно, поэтому серьёзные авторы пишут «связано», а не «вызывает», и просят подтверждения в эксперименте.
Полезная привычка: прежде чем делиться новостью, найдите в ней глагол. Если в тексте исследования написано «ассоциировано», а в заголовке «приводит», вы нашли расхождение, которое нужно знать вашим читателям. Если вы пересказываете такой материал, берите точную формулировку, а не броскую.
Как это работает в продуктах и в жизни
В моей работе ловушка выглядит так: после обновления приложения число покупок выросло на 5%. Было ли дело в обновлении? Возможно, совпало с сезоном, с рекламой или с праздником. Поэтому для проверки причинности запускают эксперимент: одной случайной половине пользователей показывают новую версию, другой старую, и сравнивают. В жизни полностью повторить такой опыт не получится, но привычка спрашивать «а что ещё могло изменить обе вещи?» избавляет от большинства ошибок.
Коротко
Совпало — не значит вызвало. Связь между двумя показателями может объясняться третьим фактором, обратной причинностью или случайностью, а среди миллионов пар данных красивое совпадение найдётся всегда. В заголовке ищите слова «связан» и «вызывает» и разницу между ними, смотрите на размер выборки, на шкалу графика и на то, был ли это эксперимент. А если не можете проверить, просто не делайте выводов.


Пока нет комментариев