Regresja liniowa - interpretacja wyników i założenia, które trzeba sprawdzić

Regresja liniowa pozwala przewidywać wartość zmiennej ilościowej na podstawie jednej lub kilku innych zmiennych i ocenić, ile każda z nich wnosi, gdy pozostałe są kontrolowane. Dlatego jest tak popularna w pracach magisterskich: zamiast pięciu osobnych korelacji dostajesz jeden model, który mówi, co ma znaczenie po uwzględnieniu całej reszty. Wyniki regresji są jednak wiarygodne tylko wtedy, gdy model spełnia kilka założeń, i o te założenia recenzenci pytają najczęściej.

Poniżej znajdziesz interpretację współczynników B i beta, R², skorygowanego R² i testu F, pełną diagnostykę modelu na przykładowych danych oraz tabelę wyników w standardzie APA 7.

Regresja liniowa prosta i wieloraka

W regresji prostej jest jeden predyktor, w regresji wielorakiej kilka. Model ma postać:

Y = b₀ + b₁X₁ + b₂X₂ + ... + b_kX_k + e

Stała b₀ to przewidywana wartość Y, gdy wszystkie predyktory są równe zero. Współczynniki b mówią, o ile zmienia się przewidywane Y, gdy dany predyktor rośnie o jedną jednostkę, a pozostałe predyktory mają stałe wartości. Składnik e to reszta, czyli różnica między wynikiem rzeczywistym a przewidzianym przez model. Większość założeń regresji dotyczy właśnie reszt, a nie surowych zmiennych.

Zmienna zależna musi być ilościowa. Jeśli przewidujesz zdarzenie typu tak/nie, potrzebujesz regresji logistycznej. Predyktory mogą być ilościowe albo dychotomiczne (kodowane 0/1); zmienną kategorialną o kilku kategoriach zamieniasz na zmienne zero-jedynkowe. Czym regresja różni się od korelacji, opisuje wpis korelacja a regresja.

Przykład na przykładowych danych

Przykładowe dane: 60 studentów. Zmienna zależna to wynik egzaminu (0-100 pkt, M = 50,18, SD = 12,79). Predyktory: liczba godzin nauki tygodniowo (M = 9,27, SD = 3,51), średnia długość snu w godzinach (M = 6,96, SD = 0,76) i poziom stresu na skali 10-40 (M = 25,85, SD = 4,86). Korelacje między zmiennymi:

Wszystkie trzy predyktory korelują z wynikiem, a sen i stres są dość silnie powiązane ze sobą (osoby bardziej zestresowane śpią krócej). To ostatnie będzie miało znaczenie przy interpretacji.

R², skorygowane R² i test F

Model z trzema predyktorami jest istotny statystycznie, F(3, 56) = 29,94, p < 0,001. Test F sprawdza hipotezę, że wszystkie współczynniki (poza stałą) są równe zero, czyli że model nie przewiduje lepiej niż sama średnia.

R² = 0,62 oznacza, że model wyjaśnia 62% zmienności wyników egzaminu. Każdy dodany predyktor podnosi R², nawet zupełnie przypadkowy, dlatego przy porównywaniu modeli i przy większej liczbie predyktorów raportuje się skorygowane R², które uwzględnia liczbę zmiennych i liczebność próby. Tutaj wynosi 0,60, więc korekta jest niewielka. Błąd standardowy oszacowania to 8,14 pkt: o tyle typowo myli się model, przewidując wynik pojedynczej osoby.

Interpretacja współczynników B i beta

Współczynnik niestandaryzowany B czytasz w jednostkach zmiennych: każda dodatkowa godzina nauki tygodniowo wiąże się z wynikiem wyższym średnio o 2,10 pkt, przy stałym poziomie snu i stresu. Wzrost stresu o 1 punkt skali wiąże się z wynikiem niższym o 0,93 pkt. Przedział ufności dla B pokazuje precyzję: dla godzin nauki prawdziwy efekt leży prawdopodobnie między 1,46 a 2,73 pkt.

Współczynnik standaryzowany β (beta) to ten sam efekt wyrażony w odchyleniach standardowych. Pozwala porównać siłę predyktorów mierzonych w różnych jednostkach. Godziny nauki (β = 0,58) są tu najsilniejszym predyktorem, stres (β = -0,36) drugim. Do przewidywania konkretnych wartości używasz B: dla osoby uczącej się 10 godzin, śpiącej 7 godzin i mającej 25 pkt stresu model przewiduje 34,291 + 2,097 × 10 + 2,961 × 7 - 0,934 × 25, czyli około 52,6 pkt (do takich obliczeń bierz współczynniki z większą liczbą miejsc po przecinku niż w tabeli).

Stałej zwykle się nie interpretuje, jeśli zero nie jest realną wartością predyktorów. Nikt nie śpi zero godzin, więc 34,29 pkt to wartość czysto rachunkowa.

Dlaczego sen przestał być istotny

Sen koreluje z wynikiem (r = 0,33, p = 0,011), a w modelu jest nieistotny (p = 0,103). To nie błąd. W modelu bez stresu współczynnik snu wynosił 6,61 i był istotny (p < 0,001), a po dodaniu stresu spadł do 2,96. Sen i stres dzielą sporą część wariancji, więc po kontroli stresu niewiele zostaje dla snu. W pracy napiszesz, że sen nie wnosi unikalnego wkładu ponad stres i godziny nauki, a nie, że „sen nie ma związku z wynikiem". Jeśli hipoteza mówi, że stres działa na wynik poprzez sen, to pytanie o mediację, a nie o samą regresję.

Regresja hierarchiczna: o ile poprawia się model

Ten sam mechanizm widać, gdy predyktory wprowadzasz blokami. W kroku 1 model z godzinami nauki i snem wyjaśnia 54% wariancji (R² = 0,54). W kroku 2 dodajesz stres i R² rośnie do 0,62. Przyrost ΔR² = 0,08 jest istotny, F(1, 56) = 11,01, p = 0,002. Przy jednym dodanym predyktorze ten test daje to samo p, co test t dla jego współczynnika w pełnym modelu. Regresję hierarchiczną stosuje się, gdy hipoteza brzmi „czy X wyjaśnia coś ponad zmienne kontrolne", na przykład czy stres przewiduje wynik po uwzględnieniu wieku, płci i czasu nauki. Kolejność bloków ustalasz przed analizą na podstawie teorii, a nie po obejrzeniu wyników.

Założenia regresji liniowej i diagnostyka

Zanim zinterpretujesz współczynniki, sprawdź założenia. Wyniki diagnostyki dla przykładowego modelu:

Liniowość i homoskedastyczność (stała wariancja reszt) ocenia się przede wszystkim na wykresie reszt względem wartości przewidywanych. Punkty powinny tworzyć poziomą chmurę bez wzoru. Lejek rozszerzający się w prawo oznacza heteroskedastyczność, łuk oznacza związek nieliniowy. Test Breuscha-Pagana nie wykazał tu problemu.

Normalność dotyczy reszt, nie zmiennych. Częsty błąd to sprawdzanie testem Shapiro-Wilka rozkładu wyniku egzaminu i godzin nauki, a pominięcie reszt. Przy większych próbach umiarkowane odstępstwa od normalności reszt mają niewielki wpływ na wnioski.

Współliniowość oznacza, że predyktory są ze sobą tak silnie powiązane, że model nie potrafi rozdzielić ich wpływu. Współczynniki stają się niestabilne, a ich błędy standardowe rosną. Za sygnał ostrzegawczy przyjmuje się zwykle VIF powyżej 5, a za poważny problem VIF powyżej 10; oba progi są umowne. W przykładzie najwyższy VIF to 1,67, więc korelacja snu ze stresem (-0,59) nie zaburza modelu.

Obserwacje wpływowe to osoby, których usunięcie wyraźnie zmienia współczynniki. Odległość Cooka powyżej 1 to sygnał poważny, a powyżej 4/n (tutaj 0,067) warto się takim osobom przyjrzeć. W przykładzie 6 osób przekracza 4/n, żadna nie zbliża się do 1, a żadna reszta standaryzowana nie przekracza 3. Po wyłączeniu tych 6 osób kierunek i istotność godzin nauki oraz stresu się nie zmieniły, a sen nadal był nieistotny (p = 0,066). Taki test odporności opisujesz jednym zdaniem; więcej o wykrywaniu takich przypadków przeczytasz we wpisie o wartościach odstających.

Co zrobić, gdy założenia są złamane

• Związek nieliniowy: dodaj człon kwadratowy predyktora albo przekształć zmienną (np. logarytm).
• Heteroskedastyczność: użyj odpornych błędów standardowych (HC3) albo przekształć zmienną zależną.
• Silna współliniowość: usuń jeden z dublujących się predyktorów albo połącz je w jeden wskaźnik.
• Obserwacja wpływowa: sprawdź, czy to błąd danych; jeśli nie, raportuj model z nią i bez niej.
• Za mało osób: przy kilku predyktorach często przyjmuje się co najmniej kilkanaście obserwacji na predyktor, a dokładniej wyznacza się liczebność analizą mocy (zobacz ile respondentów potrzebujesz).

Tabela wyników i opis w APA 7

Tabelę współczynników przygotuj jak w przykładzie powyżej: B, błąd standardowy, β, t, p i przedział ufności, a pod tabelą R², skorygowane R² i wynik testu F. Kolumnę VIF możesz przenieść do opisu diagnostyki. Zasady formatowania tabel opisuje wpis jak zbudować tabelę wyników w APA 7. Opis w tekście:

Przeprowadzono analizę regresji liniowej wielorakiej z wynikiem egzaminu jako zmienną zależną oraz liczbą godzin nauki, długością snu i poziomem stresu jako predyktorami. Założenia modelu zostały spełnione (VIF ≤ 1,67; test Breuscha-Pagana, p = 0,153; normalny rozkład reszt). Model był istotny statystycznie, F(3, 56) = 29,94, p < 0,001, i wyjaśniał 62% wariancji wyników (R² = 0,62, skorygowane R² = 0,60). Istotnymi predyktorami były liczba godzin nauki, B = 2,10, β = 0,58, p < 0,001, oraz poziom stresu, B = -0,93, β = -0,36, p = 0,002. Długość snu nie wnosiła istotnego wkładu, B = 2,96, β = 0,18, p = 0,103.

Typowe błędy

• Interpretacja B jako efektu przyczynowego w badaniu przekrojowym. Piszesz „wiązał się z", nie „powodował".
• Porównywanie siły predyktorów na podstawie B zamiast β, gdy zmienne mają różne jednostki.
• Sprawdzanie normalności zmiennych zamiast reszt.
• Raport samego R² bez testu F i bez skorygowanego R².
• Wrzucenie do modelu kilkunastu predyktorów przy 60 osobach i interpretowanie każdego istotnego wyniku.
• Pominięcie informacji o diagnostyce. Jedno zdanie o sprawdzonych założeniach zamyka większość pytań recenzenta.

Regresja liniowa z pełną diagnostyką (reszty, homoskedastyczność, VIF, obserwacje wpływowe) i tabelą w standardzie APA to jedna z analiz dostępnych w wyliczeniu automatycznym. Analizę wybierasz w kreatorze wyceny, a predyktory i zmienną zależną wskazujesz z listy kolumn po wgraniu pliku w panelu; przy modelach nietypowych, na przykład wielopoziomowych, wycenę przygotowuje statystyk. Zakres pomocy przy całej pracy opisuje strona statystyka do pracy magisterskiej.

Najczęstsze pytania

Jak interpretować współczynnik B w regresji liniowej?

B mówi, o ile jednostek zmienia się przewidywana wartość zmiennej zależnej, gdy predyktor rośnie o jedną jednostkę, a pozostałe predyktory pozostają stałe. Znak wskazuje kierunek związku. Do oceny precyzji użyj 95% przedziału ufności dla B.

Czym różni się B od beta?

B jest wyrażone w oryginalnych jednostkach zmiennych i służy do przewidywania konkretnych wartości. Beta to współczynnik standaryzowany, wyrażony w odchyleniach standardowych, dzięki czemu pozwala porównać siłę predyktorów mierzonych w różnych jednostkach.

Jakie założenia ma regresja liniowa?

Liniowy związek, niezależność reszt, stała wariancja reszt (homoskedastyczność), rozkład reszt zbliżony do normalnego, brak silnej współliniowości predyktorów i brak obserwacji o nadmiernym wpływie. Większość z nich ocenia się na podstawie reszt modelu, a nie surowych zmiennych.

Co oznacza R² i skorygowane R²?

R² to odsetek zmienności zmiennej zależnej wyjaśniony przez model. Skorygowane R² uwzględnia liczbę predyktorów i liczebność próby, więc nie rośnie automatycznie po dodaniu przypadkowej zmiennej. Przy kilku predyktorach raportuj obie wartości.

Jaki VIF jest za wysoki?

Najczęściej przyjmuje się, że VIF powyżej 5 to sygnał ostrzegawczy, a powyżej 10 poważny problem współliniowości. Progi są umowne, dlatego przy wartościach granicznych sprawdź też korelacje między predyktorami i stabilność współczynników.