Eine erklärung der p-werte und der statistischen signifikanz

In der Statistik werden p-Werte häufig beim Hypothesentest für T-Tests, Chi-Quadrat-Tests, Regressionsanalysen, ANOVAs und verschiedene andere statistische Methoden verwendet.

Obwohl sie so häufig vorkommen, werden p-Werte häufig falsch interpretiert, was zu Fehlern bei der Interpretation der Ergebnisse einer Analyse oder Studie führen kann.

In diesem Artikel wird klar und praktisch erklärt, wie man p-Werte versteht und interpretiert.

Hypothesentest

Um p-Werte zu verstehen, müssen wir zunächst das Konzept des Hypothesentests verstehen.

Eine Testhypothese ist ein formaler statistischer Test, den wir verwenden, um eine Hypothese abzulehnen oder nicht abzulehnen. Wir können beispielsweise die Hypothese aufstellen, dass ein neues Medikament, eine neue Methode oder ein neues Verfahren bestimmte Vorteile gegenüber einem aktuellen Medikament, einer aktuellen Methode oder einem aktuellen Verfahren hat.

Um dies zu testen, können wir einen Hypothesentest durchführen, bei dem wir eine Null- und Alternativhypothese verwenden:

Nullhypothese – Es gibt keinen Effekt oder Unterschied zwischen der neuen Methode und der alten Methode.

Alternativhypothese – Es gibt einen Effekt oder Unterschied zwischen der neuen Methode und der alten Methode.

Ein p-Wert gibt an, wie glaubwürdig die Nullhypothese angesichts der Stichprobendaten ist. Unter der Annahme, dass die Nullhypothese wahr ist, sagt uns der p-Wert insbesondere die Wahrscheinlichkeit, einen Effekt zu erzielen, der mindestens so groß ist wie der, den wir tatsächlich in den Stichprobendaten beobachtet haben.

Wenn der p-Wert eines Hypothesentests niedrig genug ist, können wir die Nullhypothese ablehnen. Insbesondere wenn wir Hypothesentests durchführen, müssen wir von Anfang an ein Signifikanzniveau auswählen. Übliche Optionen für Signifikanzniveaus sind 0,01, 0,05 und 0,10.

Wenn die p-Werte unter unserem Signifikanzniveau liegen, können wir die Nullhypothese ablehnen.

Andernfalls können wir die Nullhypothese nicht ablehnen, wenn der p-Wert unserem Signifikanzniveau entspricht oder größer ist.

So interpretieren Sie einen P-Wert

Die klassische Definition eines p-Werts lautet:

Ein p-Wert ist die Wahrscheinlichkeit, eine Stichprobenstatistik zu beobachten, die mindestens so extrem ist wie Ihre Stichprobenstatistik, vorausgesetzt, die Nullhypothese ist wahr.

Angenommen, eine Fabrik gibt an, Reifen mit einem Durchschnittsgewicht von 200 Pfund herzustellen. Ein Prüfer geht davon aus, dass das tatsächliche Durchschnittsgewicht der in diesem Werk produzierten Reifen um 200 Pfund davon abweicht. Also führt er einen Hypothesentest durch und stellt fest, dass der p-Wert des Tests 0,04 beträgt. So interpretieren Sie diesen p-Wert:

Wenn die Fabrik tatsächlich Reifen mit einem durchschnittlichen Gewicht von 200 Pfund herstellt, erzielen 4 % aller Audits aufgrund zufälliger Stichprobenfehler den in der Stichprobe beobachteten Effekt oder mehr. Dies zeigt uns, dass der Erhalt der vom Prüfer erhaltenen Beispieldaten recht selten wäre, wenn die Fabrik tatsächlich Reifen mit einem Durchschnittsgewicht von 200 Pfund produzierte.

Abhängig vom Signifikanzniveau dieses Hypothesentests würde der Prüfer wahrscheinlich die Nullhypothese ablehnen, dass das tatsächliche Durchschnittsgewicht der in diesem Werk hergestellten Reifen tatsächlich 200 Pfund beträgt. Die Datenproben, die er während des Audits erhalten hat, stimmen nicht sehr gut mit der Nullhypothese überein.

Wie man einen P-Wert nicht interpretiert

Das größte Missverständnis über p-Werte besteht darin, dass sie der Wahrscheinlichkeit entsprechen, einen Fehler zu machen, indem eine echte Nullhypothese abgelehnt wird (sogenannter Fehler vom Typ I).

Es gibt zwei Hauptgründe, warum p-Werte nicht mit der Fehlerrate übereinstimmen können:

1. P-Werte werden auf der Grundlage der Annahme berechnet, dass die Nullhypothese wahr ist und dass der Unterschied zwischen den Stichprobendaten und der Nullhypothese einfach auf Zufall zurückzuführen ist. P-Werte können Ihnen also nicht die Wahrscheinlichkeit sagen, dass der Nullwert wahr oder falsch ist, da er aus Sicht der Berechnungen zu 100 % wahr ist.

2. Obwohl ein niedriger p-Wert darauf hinweist, dass Ihre Stichprobendaten unter der Annahme, dass Null wahr ist, unwahrscheinlich sind, kann Ihnen ein p-Wert dennoch nicht sagen, welcher der folgenden Fälle wahrscheinlicher ist:

• Die Null ist falsch
• Der Nullwert ist wahr, aber Sie haben eine seltsame Probe erhalten

Im Vergleich zum vorherigen Beispiel gibt es hier eine richtige und eine falsche Art, den p-Wert zu interpretieren:

• Richtige Interpretation: Angenommen, die Fabrik produziert Reifen mit einem Durchschnittsgewicht von 200 Pfund, würden Sie die beobachtete Differenz erhalten, die Sie in Ihrer Stichprobe erhalten haben , oder eine extremere Differenz in 4 % der Audits aufgrund von Zufallsstichproben.
• Falsche Interpretation: Wenn Sie die Nullhypothese ablehnen, besteht eine Wahrscheinlichkeit von 4 %, dass Sie einen Fehler machen.

Beispiele für die Interpretation von P-Werten

Die folgenden Beispiele veranschaulichen die korrekte Interpretation von p-Werten im Zusammenhang mit Hypothesentests.

Beispiel 1

Eine Telefongesellschaft gibt an, dass 90 % ihrer Kunden mit ihrem Service zufrieden sind. Um diese Behauptung zu testen, hat ein unabhängiger Forscher eine einfache Zufallsstichprobe von 200 Kunden zusammengestellt und sie gefragt, ob sie mit ihrem Service zufrieden seien, was 85 % mit „Ja“ beantwortet haben. Der dieser Datenprobe zugeordnete p-Wert betrug 0,018.

Richtige Interpretation des p-Werts: Unter der Annahme, dass 90 % der Kunden tatsächlich mit ihrem Service zufrieden sind, würde der Forscher den beobachteten Unterschied erhalten, den er in seiner Stichprobe erhalten hat, oder einen extremeren Unterschied in 1,8 % der Audits aufgrund einer Zufallsstichprobe Fehler. .

Beispiel 2

Ein Unternehmen erfindet einen neuen Akku für Telefone. Das Unternehmen gibt an, dass diese neue Batterie mindestens 10 Minuten länger läuft als die alte Batterie. Um diese Behauptung zu überprüfen, entnimmt ein Forscher eine einfache Zufallsstichprobe von 80 neuen Batterien und 80 alten Batterien. Neue Batterien halten durchschnittlich 120 Minuten bei einer Standardabweichung von 12 Minuten und alte Batterien laufen durchschnittlich 115 Minuten bei einer Standardabweichung von 15 Minuten. Der p-Wert, der sich aus dem Test auf Unterschiede in den Populationsmittelwerten ergibt, beträgt 0,011.

Korrekte Interpretation des p-Werts: Unter der Annahme, dass die neue Batterie genauso lange oder kürzer funktioniert als die alte Batterie, würde der Forscher in 1,1 % der Studien aufgrund fehlerhafter Zufallsstichproben den beobachteten Unterschied oder einen extremeren Unterschied erhalten.