Wartość p - co naprawdę oznacza (i czego nie)

Wartość p to prawdopodobieństwo uzyskania takiego (lub bardziej skrajnego) wyniku, przy założeniu, że hipoteza zerowa jest prawdziwa. Małe p sugeruje, że dane są mało zgodne z hipotezą zerową.

Czego p NIE mówi: nie jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa, ani miarą wielkości efektu. Istotny wynik przy ogromnej próbie może być trywialny praktycznie. Dlatego zawsze raportuj wielkość efektu i przedziały ufności obok p.

Przykład nieporozumienia: p = 0,03 NIE znaczy „jest 3% szans, że hipoteza zerowa jest prawdziwa" ani „97% szans, że efekt jest realny". Znaczy tylko: gdyby efektu nie było, taki lub silniejszy wynik pojawiłby się w około 3% badań. Typowy błąd to również traktowanie granicy 0,05 jak wyroczni - p = 0,049 i p = 0,051 to praktycznie ten sam wynik.

Dlatego dobre raportowanie to p RAZEM z wielkością efektu i przedziałem ufności. Duża próba potrafi uczynić istotnym efekt bez znaczenia praktycznego, a mała - „przeoczyć" efekt realny. Nie pisz „wysoce istotne" bez podania liczb.

Poprawne rozumienie wartości p chroni przed najczęstszym błędem interpretacyjnym w pracach empirycznych. W naszych raportach obok p podajemy wielkość efektu i, gdzie trzeba, przedział ufności, a opis słowny wyjaśnia, co wynik oznacza w praktyce - to część opisu wyników.