Wielkość efektu - dlaczego ważniejsza niż p i jak ją interpretować

Wartość p odpowiada na pytanie, czy wynik da się łatwo wytłumaczyć przypadkiem. Nie mówi natomiast, jak duża jest różnica albo jak silny jest związek. Do tego służy wielkość efektu. W tym wpisie pokazujemy na liczbach, dlaczego ten sam efekt może raz być „istotny”, a raz nie, omawiamy najczęstsze miary (d Cohena, g Hedgesa, r, η², cząstkowe η², ω², V Craméra, iloraz szans) i podajemy tabelę umownych progów z komentarzem, kiedy z nich korzystać, a kiedy nie.

Czym jest wielkość efektu

Wielkość efektu to liczba opisująca siłę zjawiska niezależnie od liczebności próby: o ile odchyleń standardowych różnią się średnie, jak silnie zmienne są skorelowane, jaki procent zmienności wyjaśnia czynnik. Wartość p zależy jednocześnie od wielkości efektu i od liczby badanych. Przy bardzo dużej próbie nawet znikoma różnica daje p < 0,001, a przy małej próbie wyraźny efekt może wyjść nieistotny.

Dlatego podręcznik APA zaleca raportowanie wielkości efektu przy każdym teście, najlepiej razem z przedziałem ufności. Promotorzy i recenzenci coraz częściej pytają o nią wprost, a w czasopismach naukowych to standard. O tym, czego nie mówi sama wartość p, piszemy szerzej we wpisie wartość p: co naprawdę oznacza i czego nie.

Ten sam efekt, różne p: przykład liczbowy

Przykładowe dane: w każdym wariancie dwie grupy różnią się dokładnie o 0,4 odchylenia standardowego, czyli d = 0,40. Zmienia się tylko liczba osób w grupie.

Efekt jest identyczny w każdym wierszu, a mimo to pierwszy wynik jest nieistotny, drugi ledwo przekracza próg (dolna granica przedziału leży tuż nad zerem), a ostatni daje p < 0,001. Gdybyś czytał tylko p, uznałbyś, że w czwartym badaniu efekt jest „najsilniejszy”. To błąd: silniejszy jest tylko dowód, że efekt nie jest zerowy. Zmienia się też szerokość przedziału ufności. Przy 20 osobach w grupie dane są zgodne zarówno z brakiem efektu, jak i z efektem dużym, a przy 200 osobach efekt jest oszacowany dość precyzyjnie.

Najważniejsze miary i kiedy ich używać

d Cohena i g Hedgesa (różnica dwóch średnich)

d = (M₁ - M₂) / SD_łączne

d Cohena wyraża różnicę średnich w jednostkach odchylenia standardowego. Używasz go przy teście t dla prób niezależnych i, w wersji liczonej z różnic (d_z), przy teście t dla prób zależnych. Przykładowe dane: kobiety (M = 20,6, SD = 5,5) i mężczyźni (M = 17,6, SD = 4,6) po 45 osób dają d = 0,59, 95% CI [0,16; 1,01].

g Hedgesa to d z poprawką na małą próbę, bo zwykłe d lekko zawyża efekt w małych grupach. Przy 45 osobach w grupie różnica jest kosmetyczna (g = 0,58). Przy 10 osobach w grupie d = 0,80 zmienia się w g = 0,77. Jeśli grupy są małe, podawaj g.

d dla prób zależnych: d_z czy d_av

Przy pomiarze przed i po u tych samych osób możesz policzyć d na dwa sposoby. d_z dzieli średnią różnicę przez odchylenie standardowe różnic, a d_av przez średnie z odchyleń obu pomiarów. Przykładowe dane: natężenie bólu u 24 pacjentów przed terapią (M = 5,9, SD = 1,8) i po niej (M = 4,5, SD = 2,2), t(23) = 4,33, p < 0,001. Pomiary są silnie skorelowane (r = 0,71), więc d_z = 0,88, a d_av = 0,70. d_z dobrze opisuje moc testu, a d_av łatwiej porównać z badaniami na grupach niezależnych. Obie wersje są poprawne, ale w pracy napisz, którą podajesz.

r (korelacja i testy nieparametryczne)

Współczynnik korelacji r jest sam w sobie miarą efektu. Można go też policzyć z wyniku testu t (r = √(t² / (t² + df))), co dla przykładu powyżej daje r = 0,28. Przy testach U Manna-Whitneya i Wilcoxona najczęściej podaje się r = z / √N. W przykładowych danych z naszego wpisu o zapisie APA daje to r = 0,36 dla testu U i r = 0,67 dla testu Wilcoxona.

η² i cząstkowe η² (ANOVA)

Eta kwadrat (η²) to część całkowitej zmienności wyniku wyjaśniona przez czynnik: η² = SS_efektu / SS_całkowite. Przykładowe dane: trzy grupy po 30 osób uczone różnymi metodami, F(2, 87) = 4,99, p = 0,009, η² = 0,10. Metoda nauczania wyjaśnia więc około 10% zmienności wyników testu.

Cząstkowe η² liczy się inaczej: SS_efektu / (SS_efektu + SS_błędu). W ANOVA jednoczynnikowej obie miary są równe. Różnią się w układach wieloczynnikowych, gdzie cząstkowe η² pomija zmienność wyjaśnioną przez inne czynniki. Przykładowe dane z układu 2 × 2 (120 osób): dla pierwszego czynnika η² = 0,07, a cząstkowe η² = 0,08, dla drugiego η² = 0,12, a cząstkowe η² = 0,13. Cząstkowe η² podaje domyślnie SPSS, więc w pracy napisz wprost, którą miarę raportujesz, i nie sumuj cząstkowych wartości dla kilku czynników. O układach z kilkoma czynnikami piszemy we wpisie ANOVA dwuczynnikowa i efekt interakcji.

ω² (mniej obciążona alternatywa dla η²)

η² opisuje próbę i lekko przeszacowuje efekt w populacji, szczególnie przy małych grupach. Omega kwadrat (ω²) koryguje to obciążenie. W przykładzie z trzema metodami nauczania ω² = 0,08 wobec η² = 0,10. Przy dużych próbach różnica maleje.

V Craméra (chi-kwadrat)

V = √(χ² / (N × (k - 1)))

Tutaj k to mniejsza z liczb wierszy i kolumn tabeli. W tabeli 2 × 2 V jest równe współczynnikowi φ. Przykładowe dane: 120 studentów, χ²(1, N = 120) = 8,69, p = 0,003, V = 0,27. Progi interpretacji V zależą od rozmiaru tabeli, co pokazuje tabela niżej. Więcej o samym teście w tekście chi-kwadrat: kiedy i jakie założenia.

Iloraz szans (OR)

Iloraz szans porównuje szanse zdarzenia w dwóch grupach i jest naturalną miarą efektu w tabeli 2 × 2 oraz w regresji logistycznej. W przykładzie ze studentami szansa skorzystania z pomocy psychologicznej była u studentów stacjonarnych 3,05 raza większa niż u niestacjonarnych, 95% CI [1,44; 6,47]. OR = 1 oznacza brak efektu, a przedział, który nie obejmuje 1, odpowiada wynikowi istotnemu.

Umowne progi interpretacji

Najczęściej cytowane progi pochodzą z książki Jacoba Cohena z 1988 roku. Dla ilorazu szans często korzysta się z przeliczeń z pracy Chen, Cohen i Chen (2010).

Cohen sam zastrzegał, że te wartości są umowne i mają służyć tylko wtedy, gdy nie masz lepszego punktu odniesienia. W wielu dziedzinach „mały” efekt ma duże znaczenie praktyczne, na przykład w profilaktyce zdrowotnej obejmującej tysiące osób. W innych „średni” efekt w warunkach laboratoryjnych okazuje się nieistotny w praktyce. Najlepiej porównać swój wynik z efektami z podobnych badań, które cytujesz w części teoretycznej. Progi dla ilorazu szans zależą dodatkowo od częstości zdarzenia: w przykładzie ze studentami jest ona wysoka (30% w grupie niestacjonarnej), więc tabela Chena nie przekłada się na niego wprost.

Jak raportować wielkość efektu z przedziałem ufności

Wielkość efektu z próby to oszacowanie, więc ma swój błąd. Przedział ufności pokazuje, jak precyzyjne jest to oszacowanie. Przykładowe zapisy w polskim tekście (przecinek dziesiętny, granice rozdzielone średnikiem):

• t(88) = 2,78, p = 0,007, d = 0,59, 95% CI [0,16; 1,01]
• r(78) = 0,39, p < 0,001, 95% CI [0,19; 0,56]
• χ²(1, N = 120) = 8,69, p = 0,003, V = 0,27; OR = 3,05, 95% CI [1,44; 6,47]
• F(2, 87) = 4,99, p = 0,009, η² = 0,10, ω² = 0,08

W tekście dopisz jedno zdanie interpretacji, na przykład „różnica była umiarkowana” albo „związek był słaby do umiarkowanego”, i odnieś je do badań, które przywołujesz w części teoretycznej. Jak czytać przedziały, wyjaśniamy we wpisie przedział ufności: jak go interpretować i raportować, a pełny format zapisu wyników w tekście zapis wyników w APA 7.

Jak opisać wielkość efektu w dyskusji wyników

W rozdziale z wynikami wystarczy liczba z przedziałem i krótka etykieta. W dyskusji promotor oczekuje czegoś więcej: odpowiedzi na pytanie, co ten efekt znaczy w praktyce. Pomagają w tym trzy proste zabiegi:

• Przełożenie efektu na jednostki skali. Różnica d = 0,59 w przykładzie ze stresem to około 3 punkty w kwestionariuszu 0-40, co możesz porównać z normami testu.
• Porównanie z innymi badaniami. Jeśli w cytowanych pracach podobna różnica wynosiła d = 0,30-0,40, twój wynik jest na ich tle wyraźny, nawet jeśli według progów Cohena to efekt średni.
• Ocena precyzji. Szeroki przedział, jak [0,16; 1,01], oznacza, że prawdziwy efekt może być zarówno mały, jak i duży, i to dobry argument za powtórzeniem badania na większej próbie.

Przykładowe zdanie do dyskusji: „Kobiety deklarowały wyższy poziom stresu niż mężczyźni, a różnica była umiarkowana (około 3 punktów, d = 0,59). Szeroki przedział ufności wskazuje jednak, że wielkość tej różnicy w populacji wymaga potwierdzenia na większej próbie”.

Wielkość efektu przy planowaniu próby

Wielkość efektu przydaje się już przed badaniem. Żeby oszacować, ile osób potrzebujesz, musisz założyć, jakiego efektu się spodziewasz. Dla d = 0,50, α = 0,05 i mocy 80% test t potrzebuje około 64 osób w każdej grupie, a dla d = 0,20 już około 394. Takie obliczenia zrobisz w kalkulatorze wielkości próby, a więcej o planowaniu liczebności przeczytasz we wpisie ile respondentów potrzebujesz.

Typowe błędy

• Wniosek „efekt jest duży, bo p < 0,001”. Małe p mówi o sile dowodu, a nie o sile efektu.
• Raportowanie samego p bez żadnej miary efektu, szczególnie przy testach nieparametrycznych i chi-kwadrat.
• Nazwanie cząstkowego η² po prostu „eta kwadrat” albo zsumowanie cząstkowych wartości dla kilku czynników.
• Mechaniczne przyklejanie etykiet „mały, średni, duży” bez odniesienia do dziedziny.
• Interpretowanie V Craméra dla dużej tabeli według progów dla tabeli 2 × 2.
• Uznanie nieistotnego wyniku z małej próby za dowód braku efektu, mimo że przedział ufności obejmuje efekty średnie i duże.

W raportach z naszego wyliczenia automatycznego przy każdym teście podajemy dopasowaną miarę efektu. Zakres analiz dla swoich hipotez sprawdzisz w kreatorze wyceny.

Najczęstsze pytania

Jak interpretować d Cohena?

Według umownych progów Cohena d = 0,20 to efekt mały, 0,50 średni, a 0,80 duży. d wyraża różnicę średnich w odchyleniach standardowych, więc d = 0,50 oznacza, że średnie różnią się o pół odchylenia. Progi traktuj orientacyjnie i porównuj wynik z podobnymi badaniami.

Jak interpretować eta kwadrat?

η² = 0,01 to efekt mały, 0,06 średni, a 0,14 duży. Wartość η² = 0,10 oznacza, że czynnik wyjaśnia około 10% zmienności wyniku. Zaznacz, czy podajesz zwykłe, czy cząstkowe η², bo w układach wieloczynnikowych różnią się.

Czy przy wyniku nieistotnym też podawać wielkość efektu?

Tak. Wielkość efektu z przedziałem ufności pokazuje, czy brak istotności wynika z bardzo małego efektu, czy ze zbyt małej próby. To ważna informacja do dyskusji wyników.

Jaką miarę efektu podać przy teście Manna-Whitneya?

Najczęściej r = z / √N, gdzie z to statystyka standaryzowana testu, a N łączna liczebność. Progi są takie jak dla korelacji: 0,10, 0,30 i 0,50. Spotyka się też korelację rangowo-dwuseryjną.

Czym różni się d Cohena od g Hedgesa?

g Hedgesa to d Cohena z poprawką na małą próbę. Przy kilkudziesięciu osobach w grupie różnica jest pomijalna, przy kilkunastu warto podać g.