Istotność statystyczna i wartość p - co naprawdę oznacza (i czego nie)

Istotność statystyczna to pojęcie, które pojawia się w każdej pracy z częścią empiryczną, a jednocześnie jedno z najczęściej źle rozumianych. Zdanie „p < 0,05, więc hipoteza została potwierdzona” brzmi naturalnie, ale mówi o wiele więcej, niż wartość p jest w stanie powiedzieć. W tym wpisie znajdziesz poprawną definicję p, listę typowych nieporozumień opartą na oświadczeniu Amerykańskiego Towarzystwa Statystycznego, przykład pokazujący różnicę między istotnością a wielkością efektu oraz zasady zapisu w stylu APA.

Istotność statystyczna - co to jest

Każdy test statystyczny zaczyna się od hipotezy zerowej (H₀), która zwykle mówi „nie ma różnicy” albo „nie ma związku”. Na jej podstawie można przewidzieć, jakie wyniki byłyby typowe, gdyby była prawdziwa. Wartość p odpowiada na pytanie: jak często, przy prawdziwej H₀ i spełnionych założeniach testu, otrzymalibyśmy wynik co najmniej tak skrajny jak ten z naszych danych?

Przykład: porównujesz dwie grupy i test t daje p = 0,024. Znaczy to, że gdyby w populacji nie było żadnej różnicy, różnica tak duża jak Twoja lub większa pojawiałaby się w około 2,4% powtórzeń takiego badania. Wynik jest więc dość „zaskakujący” z punktu widzenia H₀. Wynik nazywamy istotnym statystycznie, gdy p jest mniejsze od przyjętego z góry poziomu istotności α. Jak poprawnie formułować obie hipotezy, opisuje wpis o hipotezie zerowej i alternatywnej.

Istotność statystyczna p 0,05 - skąd ten próg

Poziom istotności α to próg, który ustalasz przed analizą. Najczęściej wynosi 0,05, rzadziej 0,01 lub 0,10. Oznacza akceptowane ryzyko błędu I rodzaju, czyli odrzucenia hipotezy zerowej, która w rzeczywistości jest prawdziwa. Przy α = 0,05 godzisz się, że w średnio 5 na 100 badań, w których efektu nie ma, test i tak „coś wykryje”.

Wartość 0,05 to konwencja przyjęta w XX wieku dla wygody, a nie granica wynikająca z matematyki. Rozróżnij dwie rzeczy:

• α ustalasz z góry i jest taka sama dla całej analizy,
• p wylicza program z Twoich danych i jest inna dla każdego testu.

Gdy wykonujesz wiele testów, ryzyko fałszywego alarmu rośnie. Przy 20 niezależnych testach, w których H₀ jest prawdziwa, szansa na co najmniej jeden wynik z p < 0,05 wynosi 1 - 0,95²⁰, czyli około 64%. Dlatego przy porównaniach wielokrotnych stosuje się poprawki, o których piszemy przy ANOVA i testach post-hoc. Związek α z mocą testu i błędem II rodzaju opisuje wpis o błędach I i II rodzaju.

Czego wartość p nie oznacza

W 2016 roku Amerykańskie Towarzystwo Statystyczne (ASA) opublikowało oświadczenie w sprawie wartości p (Wasserstein i Lazar, 2016). Było to pierwsze oficjalne stanowisko ASA w sprawie konkretnej praktyki statystycznej. Zawiera sześć zasad, które w uproszczeniu brzmią tak:

1. Wartość p wskazuje, jak bardzo dane są niezgodne z określonym modelem statystycznym (np. z hipotezą zerową).
2. Wartość p nie jest prawdopodobieństwem, że badana hipoteza jest prawdziwa, ani prawdopodobieństwem, że dane powstały wyłącznie przez przypadek.
3. Wnioski naukowe i decyzje praktyczne nie powinny zależeć tylko od tego, czy p przekroczyło określony próg.
4. Poprawne wnioskowanie wymaga pełnego i przejrzystego raportowania, a nie wybierania tylko „istotnych” wyników.
5. Wartość p ani istotność statystyczna nie mierzą wielkości efektu ani wagi wyniku.
6. Sama wartość p nie jest dobrą miarą siły dowodu na rzecz modelu lub hipotezy.

W praktyce oznacza to, że poniższe zdania są błędne, choć często pojawiają się w pracach dyplomowych:

Obszerniejszą listę 25 takich nieporozumień, dotyczących też przedziałów ufności i mocy, przygotowali Greenland i współpracownicy (2016). To dobra lektura, jeśli piszesz dyskusję wyników i chcesz uniknąć nadinterpretacji.

Wartość p a wielkość efektu - przykład

Najlepiej widać to na liczbach. Poniżej trzy porównania dwóch grup na przykładowych danych. W każdej grupie odchylenie standardowe wynosi 10 punktów, a zmienia się tylko różnica średnich i liczebność.

Badanie A jest „istotne”, ale różnica wynosi 1 punkt na skali, na której ludzie typowo różnią się o 10 punktów, a więc efekt jest bardzo mały. Badanie B jest „nieistotne”, choć efekt jest wyraźny; po prostu próba była za mała, a przedział ufności jest bardzo szeroki i obejmuje zarówno zero, jak i dużą różnicę. Badanie C ma ten sam efekt co B, ale dwa razy więcej osób, i przekracza próg. Wniosek: p miesza w sobie wielkość efektu i liczebność próby. Dlatego obok p raportuje się wielkość efektu i przedział ufności, a znaczenie praktyczne wyniku ocenia na podstawie efektu (więcej we wpisie o tym, dlaczego wielkość efektu jest ważniejsza niż p).

P value interpretacja i zapis w APA 7

Podręcznik publikacyjny APA (2020) zaleca podawanie dokładnych wartości p, a nie samych oznaczeń „istotne” czy „p < 0,05”. Najważniejsze zasady:

• Podawaj dokładne p z dwoma lub trzema miejscami po przecinku, np. p = 0,024 albo p = 0,31.
• Gdy program pokazuje 0,000, pisz p < 0,001. Zapis „p = 0,000” jest błędny, bo p nigdy nie jest dokładnie zerem.
• Symbol p pisz kursywą, ze spacjami wokół znaku równości.
• Zawsze podawaj statystykę testu ze stopniami swobody oraz wielkość efektu, a najlepiej także przedział ufności.
• W tekście anglojęzycznym APA pomija zero przed kropką dla wartości, które nie mogą przekroczyć 1 (p = .024). W polskich pracach zwykle zapisuje się p = 0,024 z przecinkiem; trzymaj się wymagań swojej uczelni i bądź konsekwentny.

Przykładowy zapis w tekście: „Osoby z grupy eksperymentalnej uzyskały wyższe wyniki (M = 56,0; SD = 10,0) niż osoby z grupy kontrolnej (M = 50,0; SD = 10,0), t(58) = 2,32, p = 0,024, d = 0,60, 95% CI [0,83; 11,17]”. Gotowe wzorce dla innych testów znajdziesz we wpisie o tym, jak zaraportować wynik testu w APA 7.

Test jednostronny czy dwustronny

Domyślnie programy podają p dla testu dwustronnego, który sprawdza różnicę w obu kierunkach. Test jednostronny ma sens tylko wtedy, gdy hipoteza kierunkowa została sformułowana przed zebraniem danych i wynik w przeciwnym kierunku nie miałby dla Ciebie znaczenia. W przykładzie C dwustronne p = 0,024, a jednostronne p = 0,012, bo przy symetrycznym rozkładzie t jest ono dokładnie dwa razy mniejsze. Właśnie dlatego zmiana testu na jednostronny po obejrzeniu wyników jest nieuczciwa: przy p = 0,08 „zamienia” wynik nieistotny w istotny. Jeżeli stosujesz test jednostronny, zaznacz to wyraźnie w opisie metody i uzasadnij kierunek hipotezy.

Osobna sprawa to gwiazdki w tabelach (* p < 0,05, ** p < 0,01, *** p < 0,001). APA dopuszcza je w tabelach, o ile objaśnisz je w nocie pod tabelą, ale w tekście lepiej podać dokładną wartość. Same gwiazdki ukrywają różnicę między p = 0,011 a p = 0,049.

Wyniki „na granicy istotności”

Co zrobić z p = 0,051 albo p = 0,06? Pokusa jest duża: „wynik na granicy istotności”, „tendencja do istotności”, „wynik prawie istotny”. Takie sformułowania są krytykowane, bo działają tylko w jedną stronę. Nikt nie pisze o p = 0,049 „wynik ledwo istotny, prawie nieistotny”. Wasserstein, Schirm i Lazar (2019) poszli dalej i zaproponowali, by w ogóle zrezygnować z określenia „istotny statystycznie”, a raportować dokładne p razem z oszacowaniem efektu i jego niepewnością.

W pracy dyplomowej zwykle nie musisz iść tak daleko, bo promotor oczekuje decyzji względem α = 0,05. Rozsądne postępowanie przy wyniku tuż powyżej progu wygląda tak:

• zapisz dokładną wartość, np. p = 0,056, i uczciwie stwierdź, że wynik nie osiągnął przyjętego poziomu istotności,
• podaj wielkość efektu i przedział ufności, aby czytelnik ocenił, czy efekt może mieć znaczenie praktyczne,
• w dyskusji napisz, że do rozstrzygnięcia potrzebna byłaby większa próba, zamiast ogłaszać „trend”,
• nie zmieniaj po fakcie testu dwustronnego na jednostronny ani nie usuwaj obserwacji tylko po to, by zejść poniżej 0,05.

Co odpowiedzieć promotorowi lub recenzentowi

Jeśli usłyszysz pytanie „co oznacza to p?”, bezpieczna odpowiedź brzmi: „Gdyby w populacji nie było różnicy, wynik tak duży jak nasz lub większy uzyskalibyśmy w około 2,4% badań, więc odrzucamy hipotezę zerową na poziomie 0,05. Wielkość efektu wynosi d = 0,60, czyli jest umiarkowana”. Taka odpowiedź pokazuje, że rozumiesz logikę testu i nie mylisz istotności z siłą efektu.

Dobrym przykładem jest badanie B z tabeli wyżej. Wynik p = 0,112 nie pozwala odrzucić hipotezy zerowej, ale przedział ufności od -1,48 do 13,48 punktu pokazuje, że dane są zgodne zarówno z brakiem różnicy, jak i z różnicą większą niż jedno odchylenie standardowe. Uczciwy wniosek brzmi więc „badanie nie rozstrzyga”, a nie „grupy się nie różnią”. Zdanie o rozstrzygnięciu zostawiasz badaniu z większą próbą, a w dyskusji możesz wskazać, ile osób byłoby potrzebnych.

Przy pytaniu o wynik nieistotny odpowiedz, że brak istotności nie dowodzi braku efektu, a przedział ufności pokazuje, jakie wartości efektu są zgodne z danymi. Raporty przygotowane przez kreator wyceny analizy zawierają przy każdym teście dokładne p, wielkość efektu i, gdzie to możliwe, przedział ufności, w formacie APA.

Najczęstsze pytania

Co oznacza p < 0,05?

Oznacza, że gdyby hipoteza zerowa była prawdziwa, wynik co najmniej tak skrajny jak uzyskany pojawiałby się rzadziej niż w 5% badań. Przy poziomie istotności 0,05 odrzucasz wtedy hipotezę zerową. Nie mówi to nic o tym, jak duży jest efekt.

Czy p = 0,000 to poprawny zapis?

Nie. Program zaokrągla bardzo małą wartość do trzech miejsc i pokazuje 0,000, ale p nigdy nie jest równe zeru. W pracy zapisz p < 0,001.

Czy wynik nieistotny oznacza, że nie ma różnicy?

Nie. Oznacza tylko, że dane nie dają podstaw do odrzucenia hipotezy zerowej. Przy małej próbie realny efekt często pozostaje nieistotny, dlatego warto podać przedział ufności i wielkość efektu.

Jak opisać wynik p = 0,06?

Podaj dokładną wartość i stwierdź, że wynik nie osiągnął przyjętego poziomu istotności. Dołącz wielkość efektu i przedział ufności. Unikaj określeń typu „prawie istotny” czy „tendencja”, które są krytykowane przez statystyków.

Czym różni się poziom istotności od wartości p?

Poziom istotności α ustalasz przed analizą, najczęściej 0,05, i jest to akceptowane ryzyko błędu I rodzaju. Wartość p program wylicza z danych dla każdego testu. Wynik jest istotny, gdy p jest mniejsze od α.