Poprawka Bonferroniego - porównania wielokrotne, metoda Holma i kiedy je stosować

Poprawka Bonferroniego chroni przed fałszywymi odkryciami, gdy wykonujesz kilka testów statystycznych w ramach jednego pytania. Polega na podzieleniu poziomu istotności α przez liczbę testów k albo, równoważnie, na pomnożeniu każdego p przez k. Przy sześciu porównaniach i α = 0,05 wynik uznajesz za istotny dopiero wtedy, gdy p < 0,0083.

W pracach dyplomowych poprawka pojawia się przy porównaniach par po ANOVA lub teście Kruskala-Wallisa, przy analizie wielu tabel krzyżowych i przy macierzach korelacji. W tym wpisie zobaczysz, skąd bierze się problem porównań wielokrotnych, jak policzyć poprawkę Bonferroniego, dlaczego metoda Holma jest od niej lepsza, czym jest kontrola FDR, kiedy poprawki nie stosować i jak opisać wszystko w APA 7.

Problem porównań wielokrotnych

Każdy test na poziomie α = 0,05 daje 5% szans na wynik istotny, gdy w populacji nie ma żadnego efektu, czyli na błąd I rodzaju. Przy jednym teście to akceptowalne ryzyko. Przy wielu testach szanse się kumulują. Prawdopodobieństwo co najmniej jednego fałszywego alarmu w serii k niezależnych testów, nazywane rodzinnym poziomem błędu (ang. family-wise error rate, FWER), wynosi:

FWER = 1 - (1 - α)^k

Przy 20 testach prawie dwie trzecie badań, w których nie ma żadnej zależności, „znalazłyby” coś istotnego. To dokładnie sytuacja studenta, który zestawia każdą zmienną metryczkową z każdym pytaniem ankiety i opisuje te wyniki, które wyszły poniżej 0,05. Więcej o samym błędzie I rodzaju przeczytasz w tekście o błędzie I i II rodzaju oraz mocy testu, a o tym, czego p nie mówi, we wpisie wartość p: co naprawdę oznacza.

Poprawka Bonferroniego: jak liczyć

Poprawkę możesz zastosować na dwa równoważne sposoby. Wybierz jeden i trzymaj się go w całej pracy.

• Korekta progu: porównujesz każde surowe p z progiem α/k. Przy k = 4 i α = 0,05 próg wynosi 0,0125.
• Korekta p: mnożysz każde p przez k (wynik większy od 1 zapisujesz jako 1) i porównujesz z α = 0,05. Tak raportuje skorygowane p większość programów, w tym SPSS.

Przykład: test daje p = 0,02 przy czterech porównaniach. Według pierwszego sposobu 0,02 > 0,0125, według drugiego 0,02 · 4 = 0,08 > 0,05. W obu przypadkach wynik nie jest istotny po korekcie. Częsty błąd to zastosowanie obu sposobów naraz: pomnożenie p przez k i porównanie go z α/k, co liczy poprawkę podwójnie.

Bonferroni gwarantuje, że FWER nie przekroczy α niezależnie od tego, czy testy są ze sobą powiązane. Płaci za to mocą: im więcej testów, tym trudniej wykryć prawdziwy efekt. Przy kilku testach to niewielki koszt, przy kilkudziesięciu ogromny.

Rodzina testów: co liczyć jako k

Najwięcej wątpliwości budzi pytanie, ile wynosi k. Odpowiedź: liczba testów w jednej rodzinie, czyli w grupie testów, które razem odpowiadają na jedno pytanie albo jedną hipotezę. Typowe rodziny w pracy dyplomowej:

• porównania par po jednym teście ogólnym (ANOVA, Kruskal-Wallis, chi-kwadrat dla tabeli większej niż 2×2): przy g grupach k = g(g - 1)/2, więc dla czterech grup k = 6,
• kilka wskaźników tej samej hipotezy, na przykład porównanie płci na pięciu podskalach jednego kwestionariusza: k = 5,
• macierz korelacji traktowana jako całość: przy 6 zmiennych to 15 korelacji.

Nie traktuj jako jednej rodziny wszystkich testów w całej pracy. Osobne hipotezy, zaplanowane przed badaniem i odpowiadające na różne pytania, zwykle testuje się każdą na poziomie 0,05. Granicę rodziny wyznaczasz przed analizą i opisujesz w rozdziale metodologicznym.

Poprawka Holma krok po kroku

Sture Holm (1979) zaproponował sekwencyjną wersję Bonferroniego, która kontroluje FWER tak samo skutecznie, a nigdy nie jest od niego słabsza. Procedura:

1. Uporządkuj wartości p od najmniejszej do największej: p₍₁₎ ≤ p₍₂₎ ≤ ... ≤ p_(k).
2. Najmniejszą porównaj z α/k, drugą z α/(k - 1), trzecią z α/(k - 2) i tak dalej.
3. Odrzucaj kolejne hipotezy, dopóki p mieści się pod progiem. Przy pierwszym p powyżej progu zatrzymaj się: ta i wszystkie dalsze hipotezy zostają nieodrzucone.

Skorygowane p według Holma to (k - i + 1) · p_(i), przy czym każda kolejna wartość nie może być mniejsza od poprzedniej. Ponieważ najmniejsze p jest mnożone przez k, a następne przez coraz mniejsze liczby, Holm odrzuca zawsze co najmniej tyle hipotez co Bonferroni, często więcej. Nie ma więc powodu, by w pracy wybierać klasycznego Bonferroniego, jeśli program oferuje Holma.

Przykład: Bonferroni, Holm i FDR na tych samych wynikach

Przykładowe dane: studentka porównała poziom zadowolenia z opieki w czterech grupach wiekowych pacjentów (18-29, 30-44, 45-59, 60 i więcej lat). Test Kruskala-Wallisa był istotny, więc wykonała porównania par testem Dunna. Sześć par dało następujące p (już uporządkowane):

• Bez korekty istotnych byłoby 5 z 6 porównań.
• Bonferroni (próg 0,05/6 = 0,0083 albo p · 6) zostawia 2 istotne porównania.
• Holm zostawia 3: 0,004 < 0,0083, 0,008 < 0,0100 i 0,012 < 0,0125, a przy 0,030 > 0,0167 procedura się zatrzymuje.
• Benjamini-Hochberg zostawia 5, bo kontroluje inny rodzaj błędu (opis niżej).

Wniosek z Holma: najstarsi pacjenci różnili się od dwóch najmłodszych grup, a grupa 18-29 lat różniła się też od grupy 45-59 lat. Ta sama tabela pokazuje, że wybór metody korekty zmienia liczbę „odkryć”, dlatego metodę ustalasz przed analizą, a nie po obejrzeniu wyników.

Kontrola FDR: procedura Benjaminiego-Hochberga

Bonferroni i Holm pilnują, żeby w całej rodzinie nie pojawił się ani jeden fałszywy wynik. Benjamini i Hochberg (1995) zaproponowali łagodniejszy cel: kontrolę odsetka fałszywych odkryć (ang. false discovery rate, FDR) wśród wszystkich wyników uznanych za istotne. Przy FDR = 5% godzisz się, że średnio co dwudzieste „odkrycie” może być przypadkowe.

Procedura: uporządkuj p rosnąco, porównaj i-tą wartość z progiem i · α / k i znajdź największe i, dla którego p_(i) mieści się pod progiem. Ta hipoteza i wszystkie z mniejszym p są istotne. W przykładzie piąta wartość 0,041 jest mniejsza od 5 · 0,05 / 6 = 0,0417, więc istotnych jest pięć porównań. FDR pasuje do analiz eksploracyjnych z wieloma testami, na przykład przeglądu kilkudziesięciu korelacji, w których chcesz wskazać kandydatów do dalszych badań. W porównaniach post hoc w pracy dyplomowej standardem pozostaje Holm albo Bonferroni.

Kiedy stosować poprawkę Bonferroniego, a kiedy nie

Poprawka nie jest obowiązkowa przy każdym zestawie testów. Armstrong (2014) zaleca ją przede wszystkim w trzech sytuacjach: gdy wiele testów służy sprawdzeniu jednej ogólnej hipotezy, gdy fałszywy wynik niesie poważne konsekwencje i gdy wykonujesz dużo testów bez wcześniej zaplanowanych hipotez. Perneger (1998) zwrócił z kolei uwagę, że rutynowa korekta zwiększa ryzyko przeoczenia prawdziwych efektów, i zalecił po prostu jasno opisywać, ile testów wykonano i dlaczego.

• Stosuj: porównania par po istotnym teście ogólnym, gdy procedura nie ma własnej kontroli błędu (na przykład test Dunna, seria testów U Manna-Whitneya, porównania odsetków w tabeli większej niż 2×2).
• Stosuj: wiele testów dla podskal lub pozycji, które razem sprawdzają jedną hipotezę.
• Nie dokładaj: przy testach Tukeya i Games-Howella, które już kontrolują błąd dla wszystkich par. Bonferroni na wynikach Tukeya to podwójna korekta.
• Zwykle nie stosujesz: przy kilku osobnych, zaplanowanych hipotezach odpowiadających na różne pytania badawcze.

Jak dobrać test post hoc do ANOVA, opisują wpisy ANOVA i testy post hoc oraz ANOVA Welcha z testem Games-Howella, a test Dunna po teście rangowym tekst o teście Kruskala-Wallisa.

Poprawka Bonferroniego w chi-kwadrat i porównaniach odsetków

Przy tabeli krzyżowej większej niż 2×2 istotny test chi-kwadrat nie mówi, które komórki odpowiadają za zależność. Są dwa popularne rozwiązania z poprawką:

• Skorygowane reszty standaryzowane z progiem po korekcie. Zamiast 1,96 przyjmujesz wartość krytyczną z rozkładu normalnego dla α/k, gdzie k to liczba komórek: dla 4 komórek próg wynosi 2,50, dla 6 komórek 2,64. Przykład tabeli 3×2 z resztami -2,70 i 3,62 znajdziesz we wpisie o tabeli krzyżowej; obie przekraczają próg 2,64, więc wniosek utrzymuje się także po korekcie.
• Porównania odsetków parami (test z dla dwóch proporcji lub tabele 2×2) z korektą Bonferroniego albo Holma. Przy trzech grupach są to trzy porównania; sam test opisujemy we wpisie o porównaniu dwóch proporcji.

Poprawka Bonferroniego w SPSS i jamovi

• SPSS, ANOVA: Analyze > Compare Means > One-Way ANOVA > Post Hoc, zaznacz Bonferroni. W kolumnie Sig. pojawią się p już pomnożone przez liczbę porównań.
• SPSS, testy nieparametryczne w nowym oknie: Analyze > Nonparametric Tests > Independent Samples. Po istotnym teście Kruskala-Wallisa tabela Pairwise Comparisons podaje kolumnę Adj. Sig. z korektą Bonferroniego.
• SPSS, tabele krzyżowe: w oknie Cells zaznacz Compare column proportions i Adjust p-values (Bonferroni method). Litery w komórkach oznaczają kolumny, które różnią się istotnie po korekcie.
• jamovi: w ANOVA i w analizach z porównaniami post hoc w sekcji Post Hoc Tests wybierasz korektę z listy (No correction, Tukey, Scheffe, Bonferroni, Holm).

Jeśli program podaje tylko surowe p, policz korektę sam: w arkuszu pomnóż p przez k, a dla Holma posortuj p i pomnóż kolejno przez k, k - 1, k - 2 i tak dalej, pilnując, by skorygowane p nie malało.

Jak opisać poprawkę w APA 7

W metodach napisz, jaką korektę zastosowano i do jakiej rodziny testów. W wynikach zaznacz, że podajesz p skorygowane. Przykład dla danych z tabeli wyżej:

Zadowolenie z opieki różniło się istotnie między grupami wiekowymi (test Kruskala-Wallisa). Porównania par przeprowadzono testem Dunna, a wartości p skorygowano metodą Holma ze względu na sześć porównań. Pacjenci w wieku 60 lat i więcej różnili się od pacjentów w wieku 18-29 lat (p_Holm = 0,024) i 30-44 lata (p_Holm = 0,040), a grupa 18-29 lat różniła się od grupy 45-59 lat (p_Holm = 0,048). Pozostałe różnice nie były istotne po korekcie.

Gdy stosujesz korektę progu zamiast korekty p, napisz wprost: „za istotne uznano wyniki z p < 0,0083 (poprawka Bonferroniego dla sześciu porównań)”.

Typowe błędy

• Podwójna korekta: p pomnożone przez k i porównane z α/k albo Bonferroni nałożony na wyniki Tukeya.
• Skorygowane p większe od 1. Wartość obcinasz do 1.
• Źle policzone k, na przykład 4 zamiast 6 porównań przy czterech grupach.
• Jedna wspólna korekta dla wszystkich testów w pracy, przez co nic nie zostaje istotne, albo brak jakiejkolwiek korekty przy kilkudziesięciu testach eksploracyjnych.
• Wybór metody korekty po obejrzeniu, która daje więcej istotnych wyników.
• Brak informacji, czy podane p są surowe, czy skorygowane.

W raportach z porównaniami wielokrotnymi podajemy p skorygowane i nazwę zastosowanej poprawki, a testy post hoc dobiera się do danych (Tukey, Games-Howell albo Dunn). Jeśli twoje hipotezy wymagają wielu porównań, opisz je w kreatorze wyceny, a system zaproponuje pasujące analizy.

Najczęstsze pytania

Jak policzyć poprawkę Bonferroniego?

Podziel poziom istotności przez liczbę testów w rodzinie, na przykład 0,05 / 5 = 0,01, i porównuj z tym progiem surowe p. Równoważnie możesz pomnożyć każde p przez liczbę testów (wynik powyżej 1 zapisujesz jako 1) i porównać z 0,05. Nie stosuj obu sposobów naraz.

Kiedy stosować poprawkę Bonferroniego?

Gdy wykonujesz kilka testów odpowiadających na to samo pytanie, przede wszystkim przy porównaniach par po istotnym teście ogólnym, jeśli test post hoc nie ma własnej kontroli błędu. Przy kilku osobnych, zaplanowanych hipotezach zwykle się jej nie stosuje.

Czym różni się poprawka Holma od Bonferroniego?

Obie kontrolują ryzyko co najmniej jednego fałszywego wyniku w rodzinie testów. Holm porównuje uporządkowane p z coraz łagodniejszymi progami α/k, α/(k-1) i tak dalej, dzięki czemu odrzuca co najmniej tyle hipotez co Bonferroni, a często więcej.

Czy po teście Tukeya trzeba stosować poprawkę Bonferroniego?

Nie. Test Tukeya, podobnie jak Games-Howell, sam kontroluje łączny błąd dla wszystkich porównań par. Dodanie Bonferroniego oznaczałoby podwójną korektę i niepotrzebną utratę mocy.

Jak zastosować poprawkę Bonferroniego w teście chi-kwadrat?

Przy tabeli większej niż 2×2 porównuj skorygowane reszty standaryzowane z progiem po korekcie, na przykład 2,64 zamiast 1,96 dla sześciu komórek, albo porównuj odsetki parami i mnóż p przez liczbę porównań. W SPSS służy do tego opcja Compare column proportions z korektą Bonferroniego.