Серия «Статистический анализ»

Смертность в Китае выше в каждой возрастной группе. А вот если посчитать общую смертность, то получается наоборот! Это не ошибка в подсчетах. Это то, что называется парадоксом Симпсона.

Парадокса тут нет, но и не так просто сообразить почему так получается.

Обратите внимание, что выживаемость сильно зависит от возраста - чем старше, тем больше смертность. А теперь представьте, что в Италии в основном заразились старики, а значит общая смертность определяется в основном стариками. В Китае же заразилась в основном молодежь и общая смертность определяется смертностью молодых людей. Вот и получается, что суммируя людей всех возрастов мы реально сравниваем не Италию с Китаем, а стариков с молодежью.

Если бы количество заразившихся стариков и молодежи в Китае было бы в той же пропорции, что и в Италии, то никакого парадокса бы и небыло.

Картинка взята из научной статьи, посвященной этому парадоксу

В результате статистического анализа методом линейной регрессии получилась модель колебания моего веса с четырьмя переменными - тремя численными (колебания температуры, давления и влажности) и одной категориальной "'сегодня суббота (ДА/НЕТ)".

Вот как выглядит модель моего веса рассчитанного по формуле (синяя линия) и реальные данные (серая линия).

Модель объясняет 22% вариации веса (со статистической значимостью pval=0.0005). Все параметры модели статистически значимы, т.е. наблюдаемую зависимость от давления, температуры, влажности и дня недели нельзя объяснить случайностью.

Особенность влияния субботы на мой вес оказалась очевидной - жена по субботам ходит на рынок и покупает что-то такое, от которого мне просто невозможно отказаться и не съесть (типо персики, копченая рыба).

С температурой и влажностью сложнее. Очевидным кажется, что с повышением и того и другого я больше пью жидкости. Однако это температура воздуха и влажность на улице, где я провожу не более часа в день, а остальное время в помещениях с постоянной температурой влажностью (кондиционеры всегда работают). Кроме того, взвешиваюсь я на утро после туалета, что должно убирать всю выпитую вечером жидкость из измеренного веса. Так что я именно ем больше.

Но почему рост температуры вызывает аппетит, хотя все отмечают обратное. Думаю дело в кондиционере - чем выше температура на улице, тем прохладнее воздух кажется при входе в помещение.

С зависимостью от атмосферного давления совсем ничего не могу предположить. Каким-то образом оно влияет на мой аппетит.

Начну издалека, но думаю так будет понятнее о чем я (если нет, то это про поправку на множественную проверку гипотез).

Тиктокер демонстрирует суперспособность: с завязанными глазами бросает мяч и попадает в кольцо. И это не видеомонтаж. Как такое может быть? Опытный пикабушник скажет: баян и жульничество! Он тысячу раз бросал мяч и не попадал, но один раз случайно у него получилось вот это он и показал.

Но этот тиктокер не так прост. У него есть абсолютно надежные доказательства, что все это он делал только один раз и забросить мяч у него получилось с первого раза! Да он даже мячик и кольцо видит первый раз в жизни! Он действительно обладает суперспособностью или тут где-то жульничество? Догадываетесь в чем дело? Тиктокер не повторял бросок тысячу раз, это правда. Вместо этого он сделал тысячу разных трюков, не повторяя их.

Кто-то может решить, что с этим очень просто разобраться – потребуем у тиктокера повторение трюка, вот сразу обман и выяснится! И в следующий раз нам приносят видео, где другой тиктокер подбрасывает монетку два раза и оба раза она падает на ребро. Никакого монтажа, никакого удаления неудачных попыток подбрасывания. Все так и произошло с первого раза.

Догадываетесь как это получилось? Он просто проделал по два раза подряд десять тысяч разных трюков!

Думаете это не имеет отношение к жизни!? Имеет! И подобное регулярно происходит в медико-биологических исследованиях.

Дело в том, что сейчас есть возможность быстро и дешево измерять множество параметров живого организма. Типичное измерение активности генов делается в течение нескольких дней, стоит около $100 и выдает данные об активности десятков тысяч генов.

Теперь вы понимаете, как легко можно провести исследование и “доказать”, что музыка Вивальди, например, влияет на активность генов в раковых клетках. Причем можно даже показать, что это влияние повторяется в нескольких экспериментах. Просто из десятков тысяч результатов отбираем нужное и публикуем!

Никогда не занимался эконометрикой, но в последнее время курс рубля настолько хорошо моделируется линейной регрессией, что я решил попробовать сделать прогноз.

Диагностика модели.

1. Тест на нормальное распределение ошибки (Jarque-Bera test)

P-value = 0.441. Отклонения от нормального распределения не наблюдается.

2. Тест на гетероскедастичность (Breusch-Pagan test).

P-value = 0.044. Тут проблема - непостоянство дисперсии, но не такое уж и большое судя по графику, потому ничего с этим делать не будем, "сойдет и так".

3. Тест на независимость (автокорреляцию) ошибок (Durbin-Watson Test).

p-value < 2.2e-16. Да, есть автокорреляция и по идее линейная регрессия и оценка доверительных интервалов некорректна. Опять же по графику видно, что эти “автокоррелирующие” отклонения от линии не так чтобы сильно больше изменений, связанных с трендом. Потому “сойдет и так”, посмотрим что получится.