Wielkość próby badawczej - wzór, analiza mocy i ilu respondentów potrzebujesz

Pytanie „ile osób muszę przebadać?” pada zwykle na seminarium, zanim powstanie choćby jedno pytanie ankiety. Odpowiedź „im więcej, tym lepiej” niczego nie załatwia, a „100, bo tak się przyjmuje” nie obroni się przed recenzentem. Wielkość próby badawczej da się wyliczyć, ale najpierw musisz wiedzieć, do czego ta próba ma służyć: do oszacowania odsetka w populacji czy do sprawdzenia hipotezy testem statystycznym. To dwa różne rachunki i w tym wpisie znajdziesz oba, z policzonymi przykładami.

Dwa pytania, dwa sposoby liczenia

• Badanie opisowe (sondażowe): chcesz oszacować, jaki odsetek populacji ma daną cechę, np. ilu studentów pracuje zawodowo. Wtedy liczysz próbę ze wzoru dla frakcji, ustalając poziom ufności i dopuszczalny błąd oszacowania.
• Badanie weryfikujące hipotezy: chcesz porównać grupy albo sprawdzić związek między zmiennymi. Wtedy liczysz próbę z analizy mocy, ustalając oczekiwaną wielkość efektu, poziom istotności i moc testu.

W wielu pracach dyplomowych występują oba elementy: opis odsetków odpowiedzi i kilka hipotez. Rozsądnie jest policzyć oba warianty i przyjąć większą z wartości albo jasno napisać, który cel jest nadrzędny.

Wielkość próby badawczej - wzór dla frakcji

Klasyczny wzór (Cochran, 1977) dla dużej populacji wygląda tak:

n₀ = z² × p × (1 - p) / e²

• z to wartość z rozkładu normalnego odpowiadająca poziomowi ufności: 1,645 dla 90%, 1,96 dla 95%, 2,576 dla 99%,
• p to spodziewany odsetek osób z daną cechą (gdy nic nie wiesz, przyjmij 0,5, bo daje największą, najbezpieczniejszą próbę),
• e to dopuszczalny błąd oszacowania, zapisany jako ułamek (5 punktów procentowych to 0,05).

Przykład: poziom ufności 95%, p = 0,5, błąd 5 punktów procentowych. Liczysz n₀ = 1,96² × 0,5 × 0,5 / 0,05² = 3,8416 × 0,25 / 0,0025 = 384,15. Wynik zaokrąglasz zawsze w górę, więc potrzebujesz 385 osób. Stąd bierze się popularna liczba „około 400 respondentów” w badaniach opinii.

Jak zmienia się wynik przy innych założeniach (populacja duża, p = 0,5):

Zmniejszenie błędu o połowę wymaga mniej więcej czterokrotnie większej próby, bo błąd stoi we wzorze w kwadracie. Jeśli z wcześniejszych badań wiesz, że cecha dotyczy około 20% populacji, możesz przyjąć p = 0,2: przy 95% ufności i błędzie 5 punktów wychodzi wtedy 246 osób zamiast 385.

Poprawka na populację skończoną

Gdy badasz niewielką, policzalną populację (np. pracowników jednego szpitala, uczniów jednej szkoły), wynik ze wzoru można zmniejszyć poprawką na populację skończoną:

n = n₀ / (1 + (n₀ - 1) / N)

gdzie N to liczebność całej populacji. Dla 95% ufności, błędu 5 punktów i p = 0,5:

Widać, że przy dużych populacjach poprawka prawie nic nie zmienia: dla miasta i dla całego kraju potrzebna próba jest niemal taka sama. Ma za to duże znaczenie, gdy populacja liczy kilkaset osób. Te same obliczenia wykonasz w darmowym kalkulatorze wielkości próby, który korzysta z tego wzoru razem z poprawką na populację skończoną.

Analiza mocy - ile osób do testu statystycznego

Jeśli celem badania jest sprawdzenie hipotezy, wzór dla frakcji nie wystarczy. Potrzebna jest analiza mocy, która łączy cztery wielkości: liczebność próby, wielkość efektu, poziom istotności α (zwykle 0,05) i moc testu, czyli prawdopodobieństwo wykrycia efektu, jeśli on naprawdę istnieje (zwykle 0,80). Znając trzy z nich, wyliczasz czwartą. Pojęcia mocy i błędów decyzyjnych opisuje wpis o błędzie I i II rodzaju oraz mocy testu.

Najtrudniejszy element to oczekiwana wielkość efektu. Najlepiej wziąć ją z podobnych badań opisanych w literaturze. Gdy takich danych brak, sięga się po umowne progi Cohena (1988): mały, średni i duży efekt. Poniżej wyniki dla α = 0,05 (test dwustronny) i mocy 0,80, policzone tak samo jak w programie G*Power (Faul i in., 2007):

Dwie rzeczy rzucają się w oczy. Po pierwsze, wykrycie małego efektu wymaga setek osób, czego zwykle nie da się zrobić w pracy licencjackiej czy magisterskiej. Po drugie, plan z powtarzanym pomiarem (te same osoby przed i po) jest dużo „tańszy” niż porównanie dwóch odrębnych grup. Jeśli zbierzesz 30 osób na grupę, a efekt jest średni (d = 0,5), moc testu t wyniesie tylko około 0,48, czyli realny efekt wykryjesz mniej więcej w co drugim takim badaniu. O tym, jak rozumieć same miary d, f, r i w, przeczytasz we wpisie o wielkości efektu.

Próba a porównania w podgrupach

Wzór dla frakcji daje liczebność potrzebną do oszacowania odsetka w całej próbie. Jeżeli w pracy chcesz porównywać odsetki w podgrupach (np. wśród osób w pięciu kategoriach wieku), błąd oszacowania w każdej z nich będzie znacznie większy. Przy 385 osobach podzielonych równo na 5 grup w każdej zostaje 77 osób, a błąd przy 95% ufności rośnie z 5 do około 11 punktów procentowych. Odsetki 40% i 50% w dwóch podgrupach mogą więc nie różnić się istotnie, choć wyglądają na wyraźnie różne.

Jeśli najważniejsze w Twojej pracy są porównania grup, licz wymaganą liczebność dla najmniejszej podgrupy, a nie dla całości. To samo dotyczy tabel krzyżowych w teście chi-kwadrat: przy wielu kategoriach i małej próbie część komórek ma zbyt małe liczności oczekiwane, a test traci wiarygodność (więcej we wpisie o założeniach testu chi-kwadrat). Czasem rozsądniej jest połączyć rzadkie kategorie, np. trzy najstarsze grupy wieku w jedną, już na etapie planowania badania.

Minimalna wielkość próby - czy istnieje jedna liczba?

Nie ma uniwersalnego minimum, które pasuje do każdego badania. Krążące w internecie „30 osób” bierze się z tego, że przy około 30 obserwacjach rozkład średniej z próby często jest już zbliżony do normalnego. To argument za stosowaniem testów parametrycznych, a nie dowód, że 30 osób wystarczy do wykrycia efektu. Przy średnim efekcie, jak widać w tabeli wyżej, 30 osób na grupę to wyraźnie za mało.

Funkcjonują też reguły kciuka dla konkretnych analiz, np. dla regresji wielorakiej popularna jest reguła N ≥ 50 + 8m, gdzie m to liczba predyktorów (Green, 1991). Przy 5 predyktorach daje to co najmniej 90 osób. Takie reguły są wygodne, ale słabsze niż analiza mocy, bo z góry zakładają średnią siłę efektu (przy małych efektach potrzeba znacznie więcej osób). W pracy lepiej powołać się na policzoną analizę mocy, a regułę podać najwyżej jako dodatkowe uzasadnienie.

Zapas na braki i niski zwrot ankiet

Wyliczona liczba to liczba kompletnych, poprawnych odpowiedzi. W praktyce część ankiet wraca niepełna, część osób rezygnuje z drugiego pomiaru. Dlatego wynik dzielisz przez spodziewany odsetek użytecznych odpowiedzi. Przykład: test t wymaga 64 osób na grupę, a spodziewasz się 10% odpadnięć, więc planujesz 64 / 0,9 = 71,1, czyli 72 osoby na grupę. Przy badaniu sondażowym z 385 osobami i spodziewanym zwrotem 70% musisz rozesłać ankietę do co najmniej 550 osób. Jak postępować z niepełnymi odpowiedziami, opisuje wpis o brakach danych.

Wielkość próby reprezentatywnej to nie tylko liczebność

Wzór dla frakcji zakłada, że próba została wylosowana z populacji. Jeśli ankietę wypełnia 400 osób z grupy na Facebooku, wynik nie stanie się reprezentatywny tylko dlatego, że osiągnięto „wymaganą” liczbę. Błąd losowy maleje wraz z liczebnością, ale błąd systematyczny, wynikający z tego, kto w ogóle trafił do próby, nie maleje wcale. Duża, ale stronnicza próba daje bardzo precyzyjne oszacowanie niewłaściwej wartości.

O reprezentatywności decyduje przede wszystkim sposób doboru: losowanie z operatu (pełnej listy jednostek populacji), dobór warstwowy albo kwotowy odtwarzający strukturę populacji, kontrola odmów udziału (Szreder, 2010). W pracach dyplomowych najczęściej stosuje się dobór celowy lub dostępny i to jest w porządku, pod warunkiem że uczciwie to opiszesz i nie uogólnisz wniosków na całą populację. Rodzaje doboru omawia osobny wpis o doborze próby badawczej.

Jak uzasadnić liczebność w pracy

Uzasadnienie wielkości próby umieszczasz w rozdziale metodologicznym, przy opisie osób badanych i procedury. Przykład dla badania z hipotezą o różnicy między dwiema grupami:

Wielkość próby oszacowano a priori za pomocą analizy mocy dla testu t dla prób niezależnych. Przy założeniu średniej wielkości efektu (d = 0,5), poziomie istotności α = 0,05 i mocy 0,80 wymagana liczebność wynosiła 64 osoby w każdej grupie. Uwzględniając około 10% niekompletnych odpowiedzi, zaplanowano badanie 72 osób w grupie.

Przykład dla badania sondażowego: „Przy 95% poziomie ufności, maksymalnym błędzie oszacowania 5 punktów procentowych i populacji liczącej około 1 000 osób minimalna liczebność próby wynosiła 278 osób”. Jeśli próba już została zebrana i jest mniejsza, niż wynika z obliczeń, nie licz tak zwanej mocy obserwowanej z uzyskanego wyniku, bo niczego nowego nie wnosi. Lepiej podaj przedziały ufności i wielkości efektów oraz opisz małą liczebność jako ograniczenie badania.

Analizę mocy można też odwrócić i zapytać, jaki najmniejszy efekt da się wykryć przy liczebności, którą realnie zbierzesz. Przy 40 osobach na grupę, α = 0,05 i mocy 0,80 test t wykryje efekt od d = 0,63 wzwyż, a przy 25 osobach na grupę dopiero od d = 0,81, czyli efekt duży. Taki rachunek przydaje się w rozmowie z promotorem: zamiast obiecywać „istotne wyniki”, mówisz jasno, jakie efekty Twoje badanie jest w stanie uchwycić, a jakie mogą pozostać niewykryte.

Gdy dane są już zebrane, opis próby i dobrane do niej analizy możesz zamówić w kreatorze wyceny analizy. Przy ankietach z wieloma pytaniami pomocna będzie też strona o analizie wyników ankiety.

Najczęstsze pytania

Ile osób potrzeba do badania ankietowego?

Przy dużej populacji, 95% poziomie ufności i błędzie 5 punktów procentowych wychodzi 385 osób. W mniejszej populacji wystarczy mniej, np. 278 osób przy populacji liczącej 1 000. Jeśli badanie testuje hipotezy, policz też analizę mocy i przyjmij większą wartość.

Czy 30 osób to wystarczająca próba?

Zwykle nie. Liczba 30 bierze się z argumentu o rozkładzie średniej, a nie z analizy mocy. Przy średnim efekcie i dwóch grupach test t wymaga około 64 osób na grupę, a 30 osób na grupę daje moc tylko około 0,48.

Skąd wziąć wielkość efektu do analizy mocy?

Najlepiej z wcześniejszych badań o podobnym temacie i podobnej metodzie. Gdy takich danych brak, stosuje się umowne progi Cohena, najczęściej średni efekt. Wybór efektu opisz w metodologii, bo od niego zależy cały wynik obliczeń.

Czy duża próba gwarantuje reprezentatywność?

Nie. Liczebność zmniejsza błąd losowy, ale nie usuwa błędu wynikającego ze stronniczego doboru. O reprezentatywności decyduje przede wszystkim sposób doboru, np. losowanie z pełnej listy jednostek populacji.

Gdzie policzyć wielkość próby?

Dla badań sondażowych wystarczy kalkulator oparty na wzorze dla frakcji z poprawką na populację skończoną. Dla testów statystycznych potrzebna jest analiza mocy, np. w programie G*Power albo w pakietach statystycznych R i Pythona.