Błąd I i II rodzaju oraz moc testu

Każdy test statystyczny może się pomylić na dwa sposoby. Błąd I rodzaju to fałszywy alarm - odrzucenie hipotezy zerowej, gdy naprawdę jest prawdziwa (wykrycie efektu, którego nie ma). Jego prawdopodobieństwo to poziom istotności alfa, zwykle 0,05.

Błąd II rodzaju to sytuacja odwrotna - nieodrzucenie hipotezy zerowej, choć efekt realnie istnieje (przeoczenie prawdziwego efektu). Jego prawdopodobieństwo oznacza się beta. Moc testu to 1 minus beta: prawdopodobieństwo, że wykryjesz efekt, który faktycznie występuje.

Te wielkości są ze sobą powiązane. Obniżając alfa (surowszy próg), zmniejszasz ryzyko fałszywego alarmu, ale rośnie ryzyko przeoczenia efektu. Moc rośnie natomiast wraz z wielkością próby, wielkością efektu i mniejszym rozrzutem danych - dlatego zbyt mała próba to główna przyczyna „braku istotności".

Przykład: przyjmuje się zwykle moc 0,80 (80% szans na wykrycie realnego efektu). Analiza mocy przed badaniem pozwala policzyć, ilu potrzeba uczestników, by tę moc osiągnąć. Typowy błąd to interpretowanie nieistotnego wyniku jako „udowodniono brak efektu" - to może być po prostu zbyt słaby (mało liczny) test.

Planowanie mocy i próby to fundament rzetelnego badania. Docelową liczbę uczestników oszacujesz w kalkulatorze wielkości próby, a dobór testu pod konkretne hipotezy - z pomocą asystenta doboru analiz. Dzięki temu unikniesz zarówno fałszywych alarmów, jak i przeoczonych efektów.