Объяснение значений p и статистической значимости

В статистике значения p обычно используются при проверке гипотез для t-тестов, тестов хи-квадрат, регрессионного анализа, ANOVA и различных других статистических методов.

Хотя они настолько распространены, люди часто неправильно интерпретируют p-значения, что может привести к ошибкам при интерпретации результатов анализа или исследования.

В этой статье объясняется, как понятно и практично понимать и интерпретировать значения p.

Проверка гипотезы

Чтобы понять p-значения, нам сначала нужно понять концепцию проверки гипотез .

Тестовая гипотеза — это формальный статистический тест, который мы используем, чтобы отвергнуть или не отвергнуть гипотезу. Например, мы можем предположить, что новое лекарство, метод или процедура имеет определенные преимущества перед существующими лекарством, методом или процедурой.

Чтобы проверить это, мы можем выполнить проверку гипотезы, в которой мы используем нулевую и альтернативную гипотезу:

Нулевая гипотеза – между новым методом и старым методом нет никакого эффекта или разницы.

Альтернативная гипотеза . Между новым методом и старым методом существует эффект или разница.

Значение p показывает, насколько достоверна нулевая гипотеза с учетом выборочных данных. В частности, если предположить, что нулевая гипотеза верна, значение p говорит нам о вероятности получения эффекта, по крайней мере, такого же большого, как тот, который мы фактически наблюдали в выборочных данных.

Если значение p проверки гипотезы достаточно низкое, мы можем отвергнуть нулевую гипотезу. В частности, когда мы проводим проверку гипотез, нам нужно с самого начала выбрать уровень значимости. Обычно выбирают уровни значимости 0,01, 0,05 и 0,10.

Если значения p ниже нашего уровня значимости, то мы можем отвергнуть нулевую гипотезу.

В противном случае, если значение p равно или превышает наш уровень значимости, мы не сможем отвергнуть нулевую гипотезу.

Как интерпретировать значение P

Классическое определение p-значения:

Значение p — это вероятность наблюдения выборочной статистики, которая, по крайней мере, столь же экстремальна, как и ваша выборочная статистика, при условии, что нулевая гипотеза верна.

Например, предположим, что завод заявляет, что производит шины средним весом 200 фунтов. Аудитор предполагает, что фактический средний вес шин, произведенных на этом заводе, отличается на 200 фунтов. Итак, он выполняет проверку гипотезы и обнаруживает, что значение p теста составляет 0,04. Вот как интерпретировать это значение p:

Если завод действительно производит шины средним весом 200 фунтов, то в 4% всех проверок будет достигнут эффект, наблюдаемый в выборке, и более из-за случайной ошибки выборки. Это говорит нам о том, что получение выборочных данных, полученных аудитором, было бы довольно редким явлением, если бы завод действительно производил шины средним весом 200 фунтов.

В зависимости от уровня значимости, используемого при проверке этой гипотезы, аудитор, скорее всего, отклонит нулевую гипотезу о том, что фактический средний вес шин, производимых на этом заводе, действительно составляет 200 фунтов. Выборки данных, полученные им в ходе аудита, не очень соответствуют нулевой гипотезе.

Как не интерпретировать значение P

Самое большое заблуждение относительно значений p заключается в том, что они соответствуют вероятности совершения ошибки при отклонении истинной нулевой гипотезы (так называемая ошибка I рода).

Есть две основные причины, по которым значения p не могут соответствовать частоте ошибок:

1. Значения P рассчитываются на основе предположения, что нулевая гипотеза верна и что разница между данными выборки и нулевой гипотезой просто случайна. Таким образом, p-значения не могут сказать вам вероятность того, что нулевое значение будет истинным или ложным, поскольку оно на 100% верно с точки зрения вычислений.

2. Хотя низкое значение p указывает на то, что ваши выборочные данные маловероятны, если предположить, что ноль верен, значение p все равно не может сказать вам, какой из следующих случаев более вероятен:

• Ноль является ложным
• Нулевое значение верно, но у вас странный образец

По сравнению с предыдущим примером, вот правильный и неправильный способ интерпретации значения p:

• Правильная интерпретация: если предположить, что завод производит шины средним весом 200 фунтов, вы получите наблюдаемую разницу, полученную в вашей выборке, или более значительную разницу в 4% проверок из-за случайной выборки.
• Неправильная интерпретация: если вы отвергаете нулевую гипотезу, вероятность того, что вы допустите ошибку, составляет 4%.

Примеры интерпретации значений P

Следующие примеры иллюстрируют правильные способы интерпретации p-значений в контексте проверки гипотез.

Пример 1

Телефонная компания утверждает, что 90% ее клиентов довольны ее услугами. Чтобы проверить это утверждение, независимый исследователь собрал простую случайную выборку из 200 клиентов и спросил их, удовлетворены ли они своим обслуживанием, на что 85% ответили утвердительно. Значение p, связанное с этой выборкой данных, оказалось равным 0,018.

Правильная интерпретация значения p: если предположить, что 90% клиентов действительно удовлетворены своим обслуживанием, исследователь получит наблюдаемую разницу, которую он получил в своей выборке, или более значительную разницу в 1,8% проверок из-за случайной выборки. ошибка. .

Пример 2

Компания изобретает новый аккумулятор для телефонов. Компания утверждает, что эта новая батарея будет работать как минимум на 10 минут дольше, чем старая. Чтобы проверить это утверждение, исследователь берет простую случайную выборку из 80 новых и 80 старых батарей. Новые батареи работают в среднем 120 минут со стандартным отклонением 12 минут, а старые батареи работают в среднем 115 минут со стандартным отклонением 15 минут. Значение p, полученное в результате теста на разницу средних значений генеральной совокупности, составляет 0,011.

Правильная интерпретация значения p: если предположить, что новая батарея работает в течение того же или меньшего времени, чем старая батарея, исследователь получит наблюдаемую разницу или более значительную разницу в 1,1% исследований из-за ошибки случайной выборки.