ANOVA jednoczynnikowa i testy post hoc - interpretacja, założenia i po co poprawka

Jednoczynnikowa analiza wariancji (ANOVA) to standard, gdy porównujesz średnie w trzech lub więcej grupach: trzech metodach nauczania, czterech oddziałach szpitala, kilku grupach wiekowych. Sam wynik ANOVA mówi tylko, że gdzieś między grupami jest różnica. Które grupy się różnią, pokazują dopiero testy post hoc, a wybór konkretnego testu nie jest kosmetyką. W przykładzie poniżej test Tukeya i test Games-Howella na tych samych danych wskazują różne pary grup.

Przejdziemy przez logikę testu F, miary efektu, założenia, wariant Welcha, problem wielokrotnych porównań i zapis wyniku w APA 7.

Po co ANOVA, skoro jest test t

Przy trzech grupach możesz wykonać trzy testy t (A z B, A z C, B z C). Problem w tym, że każdy test na poziomie 0,05 niesie 5% ryzyka fałszywego alarmu, a ryzyka się kumulują. Prawdopodobieństwo co najmniej jednego błędu I rodzaju w serii niezależnych testów to 1 - 0,95^k:

Przy czterech grupach co czwarte takie badanie „znalazłoby" różnicę nawet wtedy, gdy w populacji żadnej nie ma. ANOVA testuje wszystkie średnie jednym testem, a testy post hoc kontrolują łączny poziom błędu przy porównaniach par. Więcej o tym ryzyku przeczytasz we wpisie o błędzie I i II rodzaju oraz mocy testu.

Jak działa analiza wariancji: statystyka F

Nazwa jest myląca, bo ANOVA porównuje średnie, ale robi to przez porównanie dwóch źródeł zmienności. Zmienność międzygrupowa mówi, jak bardzo średnie grup rozchodzą się wokół średniej ogólnej. Zmienność wewnątrzgrupowa mówi, jak bardzo osoby różnią się w obrębie tej samej grupy, czyli jaki jest „szum".

F = MS_między / MS_wewnątrz, gdzie MS = SS / df
df_między = k - 1, df_wewnątrz = N - k

Gdy hipoteza zerowa jest prawdziwa (wszystkie średnie populacyjne równe), F oscyluje wokół 1. Im bardziej średnie grup różnią się w porównaniu z rozrzutem wewnątrz grup, tym większe F i mniejsze p.

Przykład na przykładowych danych

Przykładowe dane: 30 studentów losowo przydzielono do trzech form zajęć (po 10 osób), a następnie przeprowadzono test wiedzy (0-40 pkt).

Klasyczna ANOVA daje SS_między = 180,07 i SS_wewnątrz = 542,90, czyli MS_między = 90,03 i MS_wewnątrz = 20,11. Stąd F(2, 27) = 4,48, p = 0,021. Średnie grup się różnią. Zanim jednak przejdziesz do porównań, spójrz na odchylenia standardowe: w warsztatach rozrzut jest niemal trzy razy większy niż w pozostałych grupach. Część osób skorzystała z warsztatów bardzo dużo (31-33 pkt), część prawie nic (14-15 pkt).

Programy statystyczne pokazują ten wynik w tabeli analizy wariancji. Warto umieć ją przeczytać, bo promotorzy często proszą o nią w aneksie:

Suma kwadratów całkowita rozkłada się na część międzygrupową i wewnątrzgrupową (180,07 + 542,90 = 722,97), a stopnie swobody analogicznie (2 + 27 = 29). Średni kwadrat to suma kwadratów podzielona przez stopnie swobody, a F to iloraz dwóch średnich kwadratów: 90,03 / 20,11 = 4,48.

Założenia ANOVA i jak je sprawdzić

• Niezależność obserwacji: każda osoba należy do jednej grupy i jest mierzona raz. Gdy te same osoby mierzysz kilka razy, potrzebujesz ANOVA z powtarzanymi pomiarami.
• Zmienna zależna ilościowa, a jej rozkład w każdej grupie zbliżony do normalnego. Przy równych i niemałych grupach ANOVA jest dość odporna na umiarkowane odstępstwa.
• Jednorodność wariancji w grupach, sprawdzana testem Levene'a. To założenie jest ważniejsze, zwłaszcza gdy grupy mają różne liczebności.

W przykładzie test Shapiro-Wilka nie wykazał odstępstw od normalności w żadnej grupie (wszystkie p > 0,42). Test Levene'a był natomiast wyraźnie istotny, F(2, 27) = 10,35, p < 0,001 (wersja oparta na medianie: F(2, 27) = 9,28, p < 0,001). Wariancje nie są jednorodne, więc klasyczne F i test Tukeya, które zakładają wspólną wariancję, nie są tu najlepszym wyborem. Szczegóły interpretacji testu opisuje wpis o jednorodności wariancji i teście Levene'a.

ANOVA Welcha przy nierównych wariancjach

ANOVA Welcha (1951) nie zakłada równych wariancji: każda grupa jest ważona odwrotnością swojej wariancji, a mianownikowe stopnie swobody są korygowane i zwykle nie są liczbą całkowitą. W przykładzie Welch daje F(2; 16,61) = 5,57, p = 0,014. Wniosek o różnicy między grupami się utrzymał. W zapisie z ułamkowymi stopniami swobody oddziel je średnikiem, żeby przecinek dziesiętny nie mylił się z separatorem.

Coraz więcej metodologów zaleca Welcha jako wariant domyślny, bo przy równych wariancjach traci niewiele mocy, a przy nierównych chroni przed błędem. Jeśli twoja uczelnia oczekuje klasycznej ANOVA, raportuj ją, ale przy istotnym teście Levene'a dołącz Welcha i oprzyj na nim wniosek.

Wielkość efektu: eta² i omega²

Wynik F i p nie mówią, jak duża jest różnica. Do ANOVA raportuje się eta kwadrat albo omega kwadrat:

η² = SS_między / SS_całkowite
ω² = (SS_między - df_między × MS_wewnątrz) / (SS_całkowite + MS_wewnątrz)

W przykładzie η² = 180,07 / 722,97 = 0,25, a ω² = 0,19. Eta kwadrat opisuje odsetek zmienności w próbie wyjaśniony przynależnością do grupy, ale przeszacowuje efekt w populacji, szczególnie przy małych próbach. Omega kwadrat koryguje to przeszacowanie, dlatego przy 10 osobach w grupie jest uczciwszą miarą. Według umownych progów Cohena (0,01 mały, 0,06 średni, 0,14 duży) oba wyniki wskazują na efekt duży. W jednoczynnikowej ANOVA eta kwadrat i cząstkowe eta kwadrat są sobie równe; różnią się dopiero w planach wieloczynnikowych. Szerzej o miarach efektu pisze wpis wielkość efektu: dlaczego ważniejsza niż p.

Testy post hoc: Tukey a Games-Howell

Test Tukeya (HSD) porównuje wszystkie pary średnich, kontrolując łączny błąd I rodzaju, i korzysta ze wspólnej wariancji wszystkich grup. Test Games-Howella (Games i Howell, 1976) liczy błąd standardowy osobno dla każdej pary i koryguje stopnie swobody, dlatego nadaje się przy nierównych wariancjach i liczebnościach. Wyniki obu testów dla przykładowych danych:

Test Tukeya „widzi" różnicę między warsztatami a wykładem, bo to największa różnica średnich, a błąd standardowy jest w tym teście taki sam dla każdej pary. Ta wspólna wariancja jest jednak zawyżona przez warsztaty, więc różnica 3,1 pkt między e-learningiem a wykładem (dwie grupy o małym rozrzucie) ginie w szumie. Games-Howell ocenia każdą parę jej własną zmiennością: dwie stabilne grupy różnią się istotnie, a różnica warsztatów z wykładem, choć większa, jest niepewna, bo wyniki w warsztatach są bardzo rozproszone.

Przy nierównych wariancjach właściwy jest Games-Howell, a wniosek brzmi: e-learning dał wyższe wyniki niż wykład, natomiast warsztaty dały wyniki bardzo zróżnicowane i ich przewagi nie da się jednoznacznie potwierdzić. To lepsza i uczciwsza historia niż „warsztaty są najlepsze", którą sugerowałyby same średnie.

Poprawka Bonferroniego (p pomnożone przez liczbę porównań) to prostsza alternatywa, przydatna przy kilku zaplanowanych porównaniach. Przy porównaniu wszystkich par jest zwykle bardziej zachowawcza niż Tukey. Gdy rozkłady są silnie nienormalne lub dane porządkowe, zamiast ANOVA użyj testu Kruskala-Wallisa z testem Dunna.

Zapis wyniku ANOVA w APA 7

Raportujesz statystyki opisowe grup (najlepiej w tabeli), wynik testu Levene'a, wynik ANOVA ze stopniami swobody, dokładne p i miarę efektu, a potem porównania post hoc z nazwą testu. Przykład dla omawianych danych:

Ze względu na niejednorodność wariancji (test Levene'a, F(2, 27) = 10,35, p < 0,001) zastosowano jednoczynnikową analizę wariancji z poprawką Welcha. Forma zajęć różnicowała wyniki testu wiedzy, F(2; 16,61) = 5,57, p = 0,014, ω² = 0,19. Porównania post hoc testem Games-Howella wykazały, że studenci uczący się w formie e-learningu (M = 21,1, SD = 2,60) uzyskali wyższe wyniki niż studenci uczestniczący w wykładzie (M = 18,0, SD = 2,45), p = 0,034. Różnice między warsztatami (M = 24,0, SD = 6,90) a pozostałymi grupami nie były istotne statystycznie.

Co odpowiedzieć promotorowi

Na pytanie, dlaczego nie klasyczna ANOVA i Tukey, odpowiadasz wynikiem testu Levene'a: wariancje różniły się istotnie, a największe odchylenie standardowe było niemal trzykrotnie większe od najmniejszego, więc zastosowano procedury, które nie zakładają równości wariancji. Na pytanie, dlaczego warsztaty nie wypadły lepiej, choć mają najwyższą średnią, odpowiadasz rozrzutem wyników w tej grupie i szerokością przedziałów ufności. Taka odpowiedź pokazuje, że rozumiesz dane, a nie tylko przepisujesz p z programu. Pamiętaj też, że 10 osób w grupie daje niską moc dla efektów średnich, co należy zaznaczyć w ograniczeniach badania.

Typowe błędy w pracach

• Seria testów t zamiast ANOVA z post hoc, bez jakiejkolwiek kontroli wielokrotnych porównań.
• Interpretowanie testów post hoc po nieistotnej ANOVA jako głównego wyniku, bez zaznaczenia, że to analiza eksploracyjna.
• Pominięcie testu Levene'a albo jego zignorowanie, gdy jest istotny.
• Brak miary efektu albo podanie samego „F = 4,48, p < 0,05" bez stopni swobody.
• Opis „grupa C jest najlepsza" na podstawie samych średnich, bez wyników porównań par.

Gdy masz więcej niż jeden czynnik (na przykład forma zajęć i płeć), przejdź do ANOVA dwuczynnikowej i efektu interakcji. ANOVA z testem Levene'a, wariantem Welcha i testami post hoc (Tukey, Games-Howell, Dunn) jest częścią wyliczenia automatycznego; analizę wybierasz w kreatorze wyceny, a po opłaceniu wgrywasz plik w panelu i wskazujesz z listy kolumn zmienną grupującą i zależną. Raport dostajesz z tabelami w standardzie APA.

Najczęstsze pytania

Co oznacza wynik ANOVA?

Istotny wynik ANOVA oznacza, że co najmniej dwie średnie w grupach różnią się w stopniu trudnym do wyjaśnienia przypadkiem. Nie mówi, które to grupy. Do tego służą testy post hoc, a o sile różnicy informuje eta kwadrat lub omega kwadrat.

Który test post hoc wybrać?

Przy równych wariancjach i podobnych liczebnościach najczęściej wybiera się test Tukeya. Gdy test Levene'a jest istotny albo grupy mocno różnią się liczebnością, lepszy jest test Games-Howella. Bonferroni sprawdza się przy kilku zaplanowanych porównaniach.

Co zrobić, gdy test Levene'a jest istotny?

Zamiast klasycznej ANOVA zastosuj ANOVA Welcha, która nie zakłada równych wariancji, a do porównań par test Games-Howella. W pracy zapisz wynik testu Levene'a i uzasadnij tym wybór wariantu.

Czym różni się eta kwadrat od omega kwadrat?

Eta kwadrat to odsetek zmienności wyjaśniony przez czynnik w próbie i zwykle przeszacowuje efekt w populacji. Omega kwadrat koryguje to przeszacowanie, dlatego jest mniejsza i lepiej sprawdza się przy małych próbach.

Czy można robić testy post hoc, gdy ANOVA jest nieistotna?

Formalnie test Tukeya i Games-Howella nie wymagają istotnej ANOVA, ale w praktyce prac dyplomowych porównania par po nieistotnym wyniku ogólnym traktuje się jako eksploracyjne. Jeśli porównania wynikają z hipotez postawionych przed badaniem, lepiej zaplanować je jako kontrasty.