Hoe post-hoc paarsgewijze vergelijkingen uit te voeren in r

Een eenrichtings-ANOVA wordt gebruikt om te bepalen of er al dan niet een statistisch significant verschil bestaat tussen de gemiddelden van drie of meer onafhankelijke groepen.

Een eenrichtings-ANOVA gebruikt de volgende nul- en alternatieve hypothesen:

• H ₀ : Alle groepsgemiddelden zijn gelijk.
• H _A : Niet alle groepsgemiddelden zijn gelijk.

Als de totale p-waarde van de ANOVA onder een bepaald significantieniveau ligt (bijvoorbeeld α = 0,05), dan verwerpen we de nulhypothese en concluderen we dat niet alle groepsgemiddelden gelijk zijn.

Om erachter te komen welke groepsgemiddelden verschillend zijn, kunnen we vervolgens post-hoc paarsgewijze vergelijkingen uitvoeren.

Het volgende voorbeeld laat zien hoe u de volgende post-hoc paarsgewijze vergelijkingen in R kunt uitvoeren:

• De Tukey-methode
• De Scheffe-methode
• De Bonferroni-methode
• De Holm-methode

Voorbeeld: One-way ANOVA in R

Stel dat een docent wil weten of drie verschillende studietechnieken al dan niet tot verschillende toetsscores bij studenten leiden. Om dit te testen wijst ze willekeurig 10 studenten toe om elke studietechniek te gebruiken en registreert ze hun examenresultaten.

We kunnen de volgende code in R gebruiken om een eenrichtings-ANOVA uit te voeren om te testen op verschillen in gemiddelde examenscores tussen de drie groepen:

 #create data frame
df <- data.frame(technique = rep(c(" tech1 ", " tech2 ", " tech3 "), each= 10 ),
                 score = c(76, 77, 77, 81, 82, 82, 83, 84, 85, 89,
                           81, 82, 83, 83, 83, 84, 87, 90, 92, 93,
                           77, 78, 79, 88, 89, 90, 91, 95, 95, 98))

#perform one-way ANOVA
model <- aov(score ~ technique, data = df)

#view output of ANOVA
summary(model)

            Df Sum Sq Mean Sq F value Pr(>F)  
technical 2 211.5 105.73 3.415 0.0476 *
Residuals 27 836.0 30.96                 
---
Significant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

De totale p-waarde van de ANOVA (0,0476) is kleiner dan α = 0,05, dus we zullen de nulhypothese verwerpen dat de gemiddelde examenscore voor elke studietechniek hetzelfde is.

We kunnen post-hoc paarsgewijze vergelijkingen uitvoeren om te bepalen welke groepen verschillende gemiddelden hebben.

De Tukey-methode

Het is het beste om de post-hocmethode van Tukey te gebruiken wanneer de steekproefomvang van elke groep gelijk is.

We kunnen de ingebouwde TukeyHSD()- functie gebruiken om de Tukey post-hoc-methode in R uit te voeren:

 #perform the Tukey post-hoc method
TukeyHSD(model, conf. level = .95 )

  Tukey multiple comparisons of means
    95% family-wise confidence level

Fit: aov(formula = score ~ technique, data = df)

$technical
            diff lwr upr p adj
tech2-tech1 4.2 -1.9700112 10.370011 0.2281369
tech3-tech1 6.4 0.2299888 12.570011 0.0409017
tech3-tech2 2.2 -3.9700112 8.370011 0.6547756

Uit het resultaat kunnen we zien dat de enige p-waarde (“ p adj ”) kleiner dan 0,05 het verschil is tussen techniek en techniek 3.

We zouden dus kunnen concluderen dat er slechts een statistisch significant verschil is in de gemiddelde examenscores tussen studenten die Techniek 1 en Techniek 3 gebruikten.

De Scheffe-methode

De Scheffe-methode is de meest conservatieve post-hoc paarsgewijze vergelijkingsmethode en levert de breedste betrouwbaarheidsintervallen op bij het vergelijken van groepsgemiddelden.

We kunnen de functie ScheffeTest() uit het DescTools- pakket gebruiken om de post-hoc-methode Scheffe in R uit te voeren:

 library (DescTools)

#perform the Scheffe post-hoc method
ScheffeTest(model)

  Posthoc multiple comparisons of means: Scheffe Test 
    95% family-wise confidence level

$technical
            diff lwr.ci upr.ci pval    
tech2-tech1 4.2 -2.24527202 10.645272 0.2582    
tech3-tech1 6.4 -0.04527202 12.845272 0.0519 .  
tech3-tech2 2.2 -4.24527202 8.645272 0.6803    

---
Significant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1'''156

Uit de resultaten kunnen we zien dat er geen p-waarden lager dan 0,05 zijn, dus we zouden kunnen concluderen dat er geen statistisch significant verschil is in gemiddelde examenscores tussen de groepen.

De Bonferroni-methode

Het is het beste om de Bonferroni-methode te gebruiken als u een reeks geplande paarsgewijze vergelijkingen wilt uitvoeren.

We kunnen de volgende syntaxis in R gebruiken om de Bonferroni post hoc-methode uit te voeren:

 #perform the Bonferroni post-hoc method
pairwise. t . test (df$score, df$technique, p. adj = ' bonferroni ')

	Pairwise comparisons using t tests with pooled SD 

data: df$score and df$technique 

      tech1 tech2
tech2 0.309 -    
tech3 0.048 1.000

P value adjustment method: bonferroni

Uit het resultaat kunnen we zien dat de enige p-waarde kleiner dan 0,05 het verschil is tussen techniek en techniek 3.

We zouden dus kunnen concluderen dat er slechts een statistisch significant verschil is in de gemiddelde examenscores tussen studenten die Techniek 1 en Techniek 3 gebruikten.

De Holm-methode

De Holm-methode wordt ook gebruikt als u vooraf een reeks geplande paarsgewijze vergelijkingen wilt uitvoeren en deze heeft meestal een nog grotere kracht dan de Bonferroni-methode, dus verdient deze vaak de voorkeur.

We kunnen de volgende syntaxis in R gebruiken om de Holm post-hoc-methode uit te voeren:

 #perform the Holm post-hoc method
pairwise. t . test (df$score, df$technique, p. adj = ' holm ')

	Pairwise comparisons using t tests with pooled SD 

data: df$score and df$technique 

      tech1 tech2
tech2 0.206 -    
tech3 0.048 0.384

P value adjustment method: holm

Uit het resultaat kunnen we zien dat de enige p-waarde kleiner dan 0,05 het verschil is tussen techniek en techniek 3.

We zouden dus opnieuw kunnen concluderen dat er slechts een statistisch significant verschil is in de gemiddelde examenscores tussen studenten die Techniek 1 en Techniek 3 gebruikten.

Aanvullende bronnen

De volgende tutorials bieden aanvullende informatie over ANOVA en post-hoc testen:

Hoe F-waarde en P-waarde in ANOVA te interpreteren
De complete gids: ANOVA-resultaten rapporteren
Tukey vs. Bonferroni vs. Scheffe: Welke test moet u gebruiken?