Analiza skupień - metoda k-średnich i Warda, liczba skupień, interpretacja profili

Analiza skupień (ang. cluster analysis) to grupa metod, które dzielą osoby lub obiekty na skupienia tak, aby osoby w tym samym skupieniu były do siebie podobne, a różniły się od osób z innych skupień. W odróżnieniu od porównywania grup nie znasz z góry przynależności do grup: grupy powstają dopiero z danych.

W pracach dyplomowych analiza skupień służy do budowania typologii: profili studentów, segmentów klientów, typów pacjentów czy grup gmin o podobnej sytuacji. W tym wpisie pokazujemy dwie najczęściej używane metody, k-średnich i hierarchiczną metodę Warda, a potem na przykładzie liczbowym przechodzimy przez standaryzację, wybór liczby skupień, interpretację profili i opis wyników w pracy.

Kiedy stosować analizę skupień

Analiza skupień odpowiada na pytanie „jakie typy osób (obiektów) występują w badanej grupie?”. Pasuje do problemów badawczych w rodzaju: „Jakie profile motywacji i stresu można wyróżnić wśród studentów?” albo „Na jakie segmenty dzielą się klienci sklepu internetowego?”. Nie służy do testowania hipotez o różnicach między grupami, które już istnieją, takimi jak płeć czy kierunek studiów; do tego są testy porównujące grupy. Grupować można też obiekty, a nie ludzi: w pracach z ekonomii czy geografii skupienia tworzy się z powiatów, gmin albo przedsiębiorstw opisanych kilkoma wskaźnikami, a zasady postępowania są te same. W każdym przypadku liczba obiektów powinna być wyraźnie większa niż liczba zmiennych, a każde skupienie powinno mieć na tyle dużą liczebność, by jego opis był wiarygodny.

Metoda zawsze coś znajdzie, nawet w danych bez wyraźnych grup. Dlatego wynik analizy skupień traktuj jako propozycję podziału, którą trzeba ocenić: czy skupienia są dobrze rozdzielone, czy mają sensowną interpretację i czy podobny podział wychodzi inną metodą.

Metoda k-średnich i metoda Warda

Metoda k-średnich

Ty podajesz liczbę skupień k, a algorytm losuje k punktów startowych (centroidów), przypisuje każdą osobę do najbliższego centroidu, przelicza centroidy jako średnie przypisanych osób i powtarza te kroki, aż przypisania przestaną się zmieniać. Kryterium jest jak najmniejsza suma kwadratów odległości osób od środków ich skupień (WSS). Wynik zależy od punktów startowych, dlatego program powinien uruchomić algorytm wiele razy i wybrać najlepsze rozwiązanie. Metoda dobrze radzi sobie z dużymi próbami i najlepiej wykrywa skupienia zwarte i zbliżone wielkością.

Hierarchiczna metoda Warda

Na początku każda osoba jest osobnym skupieniem. W każdym kroku łączy się te dwa skupienia, których połączenie najmniej zwiększa wewnątrzgrupową sumę kwadratów (Ward, 1963). Proces trwa, aż wszyscy znajdą się w jednym skupieniu, a jego przebieg pokazuje dendrogram, czyli drzewo połączeń. Liczbę skupień wybierasz, „przecinając” drzewo w miejscu, gdzie odległość kolejnego połączenia gwałtownie rośnie. Metoda nie wymaga podawania k z góry, ale przy kilku tysiącach osób staje się ciężka obliczeniowo.

Częsta i dobra praktyka to połączenie obu: metodą Warda ustalasz liczbę skupień i punkty startowe, a metodą k-średnich dopracowujesz podział.

Przygotowanie danych: standaryzacja i wybór zmiennych

Obie metody opierają się zwykle na odległości euklidesowej, więc zmienne o dużym rozrzucie liczbowym dominują nad pozostałymi. Jeśli czas nauki mierzysz w minutach (setki), a motywację na skali 1-5, odległość będzie praktycznie odległością w minutach. Dlatego przed analizą zmienne mierzone w różnych jednostkach standaryzuje się do wyników z (średnia 0, odchylenie standardowe 1). W przykładzie poniżej pokazujemy, co dzieje się bez tego kroku.

• Wybieraj zmienne, które wynikają z celu typologii. Każda dodatkowa zmienna zmienia podział, a zmienne bez związku z problemem tylko go rozmywają.
• Unikaj kilku silnie skorelowanych zmiennych mierzących to samo, bo ten wymiar dostaje wtedy większą wagę. Można je zastąpić jednym wskaźnikiem, np. wynikiem z analizy czynnikowej, o której piszemy we wpisie EFA vs PCA.
• Sprawdź wartości skrajne: pojedyncza nietypowa osoba potrafi utworzyć osobne skupienie albo przesunąć centroid. Sposoby ich wykrywania opisujemy w tekście o wartościach odstających.
• Dla zmiennych jakościowych odległość euklidesowa nie ma sensu. Przy danych mieszanych stosuje się np. odległość Gowera i metody hierarchiczne albo k-medoidów; o poziomach pomiaru piszemy we wpisie zmienne nominalne, porządkowe i ilościowe.

Ile skupień wybrać

Nie ma jednego testu, który wskaże „prawdziwą” liczbę skupień. Decyzję opierasz na kilku przesłankach jednocześnie:

• Metoda łokcia: wykres WSS dla kolejnych k. Szukasz miejsca, w którym spadek WSS wyraźnie słabnie.
• Współczynnik sylwetki (Rousseeuw, 1987): dla każdej osoby porównuje odległość od własnego skupienia z odległością od najbliższego cudzego. Średnia bliska 1 oznacza dobrze rozdzielone skupienia, około 0 skupienia nakładające się. Wybierasz k z najwyższą średnią sylwetką; wartości powyżej 0,5 uznaje się za wyraźną strukturę, a 0,26-0,50 za strukturę słabą do umiarkowanej (Kaufman i Rousseeuw, 1990).
• Dendrogram metody Warda: duży skok wysokości połączeń.
• Interpretowalność i liczebność: skupienie z 4 osobami albo dwa skupienia nie do odróżnienia w opisie to sygnał, że k jest za duże.

Analiza skupień k-średnich: przykład

Przykładowe dane: 180 studentów, trzy zmienne. Motywacja wewnętrzna to średnia z pozycji na skali 1-5 (M = 3,38; SD = 0,78), stres egzaminacyjny to suma punktów w zakresie 10-50 (M = 29,46; SD = 8,88), a czas samodzielnej nauki to minuty w tygodniu (M = 417,78; SD = 208,68). Zmienne zestandaryzowano, a metodę k-średnich uruchomiono 50 razy z różnych punktów startowych dla k od 2 do 6.

Przejście z dwóch do trzech skupień obniża WSS o 123,8, a każde kolejne już tylko o 13-31, więc łokieć wypada przy k = 3. Tu też średnia sylwetka jest najwyższa (0,412). Dendrogram metody Warda prowadzi do tego samego wniosku: ostatnie połączenia zachodzą na wysokościach około 7, 16 i 20, więc największy skok pojawia się przy łączeniu trzech skupień w dwa. Podział Warda na trzy skupienia jest zbieżny z wynikiem k-średnich (skorygowany indeks Randa ARI = 0,82, gdzie 1 oznacza pełną zgodność). Sama wartość sylwetki 0,41 mieści się w przedziale struktury słabej do umiarkowanej, co przy danych kwestionariuszowych jest typowe; w pracy napisz to wprost, zamiast przedstawiać skupienia jako ostro rozdzielone.

Interpretacja profili skupień

Profile czytasz przez średnie w każdym skupieniu, najlepiej w wynikach z, bo wtedy od razu widać, co jest wysoko, a co nisko względem całej próby. Skupienie 1 (43% próby) to studenci z wysoką motywacją i długim czasem nauki przy stresie nieco poniżej przeciętnej. Skupienie 2 (31%) wyróżnia się wysokim stresem (ponad jedno odchylenie standardowe powyżej średniej) przy przeciętnej motywacji i czasie nauki. Skupienie 3 (26%) ma niską motywację, mało nauki i niski stres, co sugeruje dystans wobec studiów.

Nazwy skupień nadajesz sam, ale muszą wynikać z liczb. Unikaj nazw wartościujących, których dane nie uzasadniają, i podawaj liczebności. Wykres liniowy lub słupkowy ze średnimi z dla każdego skupienia to najczytelniejszy sposób pokazania profili w pracy.

Częsty błąd to sprawdzanie analizą wariancji, czy skupienia „istotnie różnią się” zmiennymi, na których powstały. Różnią się z definicji, bo algorytm tak je zbudował, więc p takiej ANOVA niczego nie dowodzi. Możesz opisowo podać, ile zmienności każdej zmiennej wyjaśnia podział (w przykładzie η² = 0,64 dla motywacji, 0,67 dla stresu i 0,62 dla czasu nauki). Testy mają sens dopiero dla zmiennych zewnętrznych, które nie brały udziału w grupowaniu, np. średniej ocen (wtedy ANOVA z testami post hoc) albo roku studiów (wtedy test chi-kwadrat).

Co się dzieje bez standaryzacji

Ten sam algorytm na surowych danych daje zupełnie inny podział. Skupienia różnią się wtedy prawie wyłącznie czasem nauki (średnio 131, 391 i 637 minut), bo minuty mają rozrzut setek, a motywacja kilku dziesiątych. Zgodność z rozwiązaniem po standaryzacji jest niska (ARI = 0,39). Taki wynik jest w praktyce podziałem studentów według jednej zmiennej, a nie typologią.

Sprawdzenie stabilności skupień

Promotor może zapytać, czy podział nie jest przypadkowy. Najprostszy sposób to podzielić próbę losowo na dwie połowy, w każdej osobno wyznaczyć skupienia i sprawdzić, czy obie wersje przypisują osoby podobnie. W przykładzie dwie połowy po 90 osób dały rozwiązania zgodne ze sobą na poziomie ARI = 0,88, a każde z nich było zgodne z rozwiązaniem dla całej próby (ARI = 0,91 i 0,96). Drugim sprawdzeniem jest porównanie z inną metodą, tak jak zrobiliśmy to z metodą Warda. Jeśli zgodność spada poniżej mniej więcej 0,5, skupienia są niestabilne i lepiej zmniejszyć ich liczbę albo przemyśleć dobór zmiennych.

Analiza skupień w SPSS, R i jamovi

• SPSS: Analyze > Classify > Hierarchical Cluster (metoda Warda, dendrogram, odległość euklidesowa podniesiona do kwadratu) oraz Analyze > Classify > K-Means Cluster. Standaryzację wykonasz wcześniej przez Analyze > Descriptive Statistics > Descriptives z opcją zapisu wartości standaryzowanych.
• R: funkcje scale(), kmeans(x, centers = 3, nstart = 50), hclust(dist(x), method = "ward.D2"), a sylwetkę policzysz pakietem cluster.
• jamovi: moduł snowCluster dodaje analizę k-średnich i hierarchiczną z wykresami.

W SPSS pamiętaj, że okno k-średnich domyślnie wykonuje mało iteracji i jeden start, więc zwiększ liczbę iteracji i sprawdź, czy wynik nie zmienia się po przemieszaniu kolejności osób w pliku.

Jak opisać analizę skupień w pracy

W metodach podaj zmienne użyte do grupowania i powód ich wyboru, sposób standaryzacji, miarę odległości, metodę (np. Warda, a następnie k-średnich), liczbę startów algorytmu i kryteria wyboru liczby skupień. W wynikach pokaż tabelę lub wykres kryteriów, liczebności skupień i ich profile.

W celu wyodrębnienia profili studentów przeprowadzono analizę skupień metodą k-średnich na zestandaryzowanych wynikach motywacji wewnętrznej, stresu egzaminacyjnego i czasu nauki (50 losowych startów). Na podstawie metody łokcia, średniej szerokości sylwetki (0,41 dla trzech skupień wobec 0,40 dla dwóch i 0,35 dla czterech) oraz dendrogramu metody Warda wybrano rozwiązanie trzyskupieniowe, zgodne z podziałem hierarchicznym (ARI = 0,82). Wyodrębniono skupienia: zaangażowanych (n = 78), zestresowanych (n = 56) i zdystansowanych (n = 46).

Typowe błędy

• Brak standaryzacji zmiennych mierzonych w różnych jednostkach.
• Liczba skupień przyjęta bez uzasadnienia albo wybrana tylko dlatego, że „ładnie wygląda”.
• Jedno uruchomienie k-średnich bez wielu punktów startowych.
• ANOVA na zmiennych grupujących jako „dowód” różnic między skupieniami.
• Wrzucenie do analizy wszystkich zmiennych z ankiety, w tym jakościowych zakodowanych liczbami.
• Brak sprawdzenia stabilności, np. inną metodą lub na losowej połowie próby.

Analiza skupień z pomocą statystyka

Analiza skupień jest realizowana w ścieżce „Statystyk indywidualnie”: w kreatorze wybierasz opcję Statystyk, opisujesz cel typologii i zmienne, a wycena jest bezpłatna. Analizę liczy statystyk ręcznie, a wybór zmiennych i liczby skupień omawiasz z nim przez czat w panelu. Jeśli skupienia mają powstać z odpowiedzi ankietowych, przeczytaj też o naszym podejściu do analizy wyników ankiety.

Najczęstsze pytania

Czym różni się metoda k-średnich od metody Warda?

W metodzie k-średnich liczbę skupień podajesz z góry, a algorytm przesuwa osoby między skupieniami, aż suma kwadratów odległości od środków będzie najmniejsza. Metoda Warda jest hierarchiczna: łączy osoby krok po kroku, a liczbę skupień wybierasz z dendrogramu. Często używa się obu po kolei.

Jak wybrać liczbę skupień?

Łącz kilka kryteriów: wykres sumy kwadratów wewnątrz skupień (metoda łokcia), średnią szerokość sylwetki, skok na dendrogramie metody Warda oraz to, czy skupienia da się sensownie nazwać i czy nie są zbyt małe. Żadne kryterium samo nie rozstrzyga.

Czy przed analizą skupień trzeba standaryzować zmienne?

Tak, jeśli zmienne są mierzone w różnych jednostkach lub mają bardzo różny rozrzut. Bez standaryzacji zmienna o największych liczbach zdominuje odległości i podział będzie w praktyce podziałem według niej.

Jaka wartość współczynnika sylwetki jest dobra?

Według Kaufmana i Rousseeuwa średnia powyżej 0,70 oznacza silną strukturę, 0,51-0,70 rozsądną, 0,26-0,50 słabą, a poniżej 0,26 brak wyraźnej struktury. Przy danych z ankiet wartości około 0,3-0,5 są częste.

Czy można testować różnice między skupieniami ANOVA?

Nie dla zmiennych, na podstawie których utworzono skupienia, bo różnice są skutkiem samego algorytmu. ANOVA lub test chi-kwadrat mają sens dla zmiennych zewnętrznych, które nie brały udziału w grupowaniu.