Rzetelność a trafność - czym się różnią, rodzaje i jak je opisać w pracy

Rzetelność i trafność to dwa warunki dobrego pomiaru, które w pracach dyplomowych często się myli albo traktuje jak synonimy. Rzetelność dotyczy powtarzalności i spójności pomiaru: czy narzędzie daje stabilne wyniki. Trafność to inne pytanie: czy narzędzie mierzy naprawdę to, co ma mierzyć, i czy wnioski wyciągane z wyników są uzasadnione. Poniżej znajdziesz rodzaje rzetelności i trafności, ważne rozróżnienie między trafnością narzędzia a trafnością całego badania oraz wskazówki, jak opisać oba pojęcia w pracy.

Trafność a rzetelność - różnica na jednym przykładzie

Klasyczna ilustracja to waga łazienkowa, która zawsze zaniża wynik o 5 kg. Jest bardzo rzetelna, bo pięć ważeń z rzędu daje prawie ten sam wynik. Jest jednak nietrafna, bo systematycznie myli się co do prawdziwej masy. Odwrotna sytuacja nie jest możliwa: waga, która przy każdym ważeniu pokazuje coś innego, nie może być trafna, bo jej wynik w dużej części jest przypadkowy.

Stąd zasada, którą warto zapamiętać: rzetelność jest warunkiem koniecznym trafności, ale nie wystarczającym. Narzędzie nierzetelne nie może być trafne, a narzędzie rzetelne może być nietrafne.

Przykład z praktyki: kwestionariusz stresu ma wysoką spójność wewnętrzną (α = 0,90), ale jego pozycje w rzeczywistości mierzą lęk. Narzędzie jest rzetelne, a jego trafność jako miary stresu jest wątpliwa. Częsty błąd w pracach polega na podaniu samej alfy jako „dowodu jakości” narzędzia, bez słowa o trafności.

Rzetelność testu - rodzaje

Rzetelność testu opisuje, w jakim stopniu wynik jest wolny od błędu losowego. Ocenia się ją na kilka sposobów, zależnie od tego, jakie źródło błędu nas interesuje.

W pracach dyplomowych najczęściej liczy się spójność wewnętrzną, bo wymaga tylko jednego pomiaru. Jak interpretować alfę Cronbacha i jaką wartość uznać za dobrą, opisujemy we wpisie alfa Cronbacha - co to i jaka wartość jest dobra.

Stabilność bada się, mierząc te same osoby dwa razy. W przykładowym badaniu 45 osób wypełniło skalę dwukrotnie w odstępie czterech tygodni, a korelacja wyników wyniosła r = 0,81; p < 0,001. To dobry wynik dla cechy, która nie powinna się zmieniać w ciągu miesiąca. Dla stanów, takich jak bieżący nastrój, niska korelacja test-retest jest oczekiwana i nie świadczy o złym narzędziu.

Zgodność sędziów ma znaczenie, gdy dane powstają z ocen, na przykład gdy dwie osoby klasyfikują wypowiedzi do kategorii. W przykładowych danych dwóch oceniających przypisało 60 wypowiedzi do trzech kategorii i zgodziło się w 48 przypadkach (80%). Zgodność oczekiwana przy przypadkowym przydziale wynosiła około 35%, więc kappa Cohena wyniosła κ = 0,69. Sam odsetek zgodności zawyża obraz, bo część zgodności jest przypadkowa, i właśnie dlatego podaje się kappę. Wartości od 0,61 do 0,80 opisuje się zwykle, za Landisem i Kochem, jako znaczną zgodność.

Rodzaje trafności narzędzia

Klasyczny podział wyróżnia trzy rodzaje trafności narzędzia pomiarowego. Współczesne standardy testowe, opracowane przez AERA, APA i NCME i wydane po polsku jako „Standardy dla testów stosowanych w psychologii i pedagogice”, traktują trafność jako jedną cechę, popieraną różnymi rodzajami dowodów. W pracy dyplomowej możesz posługiwać się klasycznymi nazwami, bo nadal są powszechnie używane w podręcznikach metodologii i w podręcznikach testów.

Trafność treściowa

Trafność treściowa mówi, czy pozycje narzędzia dobrze reprezentują mierzone pojęcie. Kwestionariusz satysfakcji z pracy, który pyta tylko o wynagrodzenie, pomija relacje ze współpracownikami, warunki i treść pracy, więc ma niską trafność treściową. Ocenia się ją zwykle przez analizę definicji pojęcia i opinie ekspertów, a nie przez obliczenia. W kwestionariuszu własnym to najczęściej jedyna trafność, którą da się uzasadnić, więc opisz, z jakiej definicji wyprowadziłeś pytania. Pomaga w tym dobra operacjonalizacja zmiennych.

Trafność fasadowa

Trafność fasadowa to wrażenie badanego, że narzędzie mierzy to, co deklaruje. Nie jest dowodem trafności w ścisłym sensie, bo opiera się na pozorach, a nie na danych. Ma jednak znaczenie praktyczne: badani chętniej i uczciwiej odpowiadają na pytania, które wydają im się sensowne. W metodologii pracy nie przedstawiaj trafności fasadowej jako argumentu za jakością narzędzia. Możesz wspomnieć, że sprawdziłeś ją w badaniu pilotażowym, pytając uczestników o zrozumiałość pytań.

Trafność kryterialna

Trafność kryterialna mówi, czy wyniki narzędzia wiążą się z zewnętrznym wskaźnikiem, czyli kryterium. Gdy kryterium mierzy się w tym samym czasie, mówi się o trafności diagnostycznej (współbieżnej), a gdy później, o trafności prognostycznej. Przykład na przykładowych danych: wynik testu predyspozycji do nauki matematyki u 112 uczniów korelował z oceną z matematyki na koniec semestru, r(110) = 0,42; p < 0,001. Związek o umiarkowanej sile jest argumentem za trafnością prognostyczną testu.

Trafność kryterialną ocenia się zwykle korelacją, więc warto znać różnicę między korelacją Pearsona a Spearmana, opisaną we wpisie korelacja Pearsona czy Spearmana. Trudność polega najczęściej na znalezieniu dobrego kryterium, bo samo kryterium też musi być trafne i rzetelne.

Trafność teoretyczna

Trafność teoretyczna (nazywana też trafnością konstruktu, pojęciową) mówi, czy narzędzie zachowuje się zgodnie z teorią mierzonego pojęcia. Sprawdza się ją kilkoma sposobami: wynik powinien korelować z miarami podobnych konstruktów (trafność zbieżna), słabo korelować z miarami konstruktów niezwiązanych (trafność różnicowa), różnicować grupy, które według teorii powinny się różnić, i mieć strukturę czynnikową zgodną z założeniami. Analizę struktury czynnikowej omawiamy w tekście EFA a PCA - jaka jest różnica. Pojęcie trafności teoretycznej spopularyzowali Cronbach i Meehl w artykule z 1955 roku.

Trafność wewnętrzna i zewnętrzna - trafność badania, nie narzędzia

To miejsce, w którym studenci mylą się najczęściej. Trafność treściowa, kryterialna i teoretyczna dotyczą narzędzia pomiarowego. Trafność wewnętrzna i zewnętrzna dotyczą planu całego badania, czyli tego, czy wnioski z badania są uprawnione. W klasycznym ujęciu Shadisha, Cooka i Campbella wyróżnia się cztery rodzaje trafności wnioskowania: trafność wniosków statystycznych, wewnętrzną, teoretyczną (konstruktu) i zewnętrzną.

Trafność wewnętrzna mówi, czy zaobserwowana zależność może być uznana za przyczynową. Jest wysoka w eksperymencie z losowym przydziałem do grup, a niska w badaniu korelacyjnym, w którym nie kontrolowano zmiennych zakłócających. Typowe zagrożenia to zmienne uboczne, samoselekcja do grup, ubywanie badanych w trakcie badania, zdarzenia między pomiarami i efekt powtórnego badania.

Trafność zewnętrzna mówi, czy wyniki można uogólnić na inne osoby, miejsca i czasy. Zależy głównie od doboru próby i warunków badania. Badanie studentów jednej uczelni ma ograniczoną trafność zewnętrzną względem wszystkich studentów w Polsce, nawet jeśli narzędzie jest bardzo dobre.

Między trafnością wewnętrzną a zewnętrzną często trzeba wybierać. Ścisła kontrola warunków w laboratorium podnosi trafność wewnętrzną, ale sztuczna sytuacja może obniżać trafność zewnętrzną. W pracy dyplomowej wystarczy pokazać, że znasz te zagrożenia i umiesz wskazać, które dotyczą Twojego badania. Robi się to zwykle w podrozdziale o ograniczeniach, opisanym we wpisie dyskusja wyników w pracy magisterskiej.

Jak opisać rzetelność i trafność w pracy

W części metodologicznej opisujesz każde narzędzie osobno. Przy skali standaryzowanej podajesz autorów (i autorów polskiej adaptacji), to, co skala mierzy, oraz informacje o rzetelności i trafności z podręcznika lub artykułu adaptacyjnego. Następnie podajesz rzetelność policzoną na Twojej próbie, zwykle jako alfę Cronbacha dla każdej podskali. Przykładowy fragment, ze wszystkimi wartościami przykładowymi:

Rzetelność skali w badaniach adaptacyjnych wynosiła α = 0,88, a jej trafność teoretyczną potwierdzono analizą czynnikową i korelacjami z miarami pokrewnych konstruktów. W niniejszym badaniu współczynnik alfa Cronbacha wyniósł 0,86.

Przy kwestionariuszu własnym nie masz danych z podręcznika, więc opisz, jak zadbałeś o trafność treściową (definicja pojęcia, konsultacja z promotorem lub ekspertami, pilotaż), i podaj rzetelność tych części, które tworzą skale. Pojedyncze pytania o fakty, takie jak wiek czy staż pracy, nie mają alfy Cronbacha i nie trzeba jej dla nich liczyć.

W dyskusji wracasz do trafności, ale już w sensie całego badania: piszesz o ograniczeniach trafności wewnętrznej (na przykład plan przekrojowy) i zewnętrznej (na przykład próba dostępna). Jeśli rzetelność którejś skali na Twojej próbie okazała się niska, też to omawiasz, bo niska rzetelność osłabia obserwowane korelacje.

Najczęstsze błędy

• Podawanie samej alfy Cronbacha jako dowodu, że narzędzie jest dobre. Alfa mówi o spójności, a nie o tym, co skala mierzy.
• Mylenie trafności narzędzia z trafnością badania. „Badanie ma wysoką trafność, bo użyto standaryzowanego testu” łączy dwa różne pojęcia.
• Liczenie alfy dla całego kwestionariusza złożonego z kilku skal i pytań metryczkowych. Alfę liczy się osobno dla każdej skali lub podskali.
• Traktowanie trafności fasadowej jako dowodu trafności.
• Brak informacji o polskiej adaptacji narzędzia. Rzetelność i trafność wersji oryginalnej nie przenoszą się automatycznie na tłumaczenie.
• Wniosek przyczynowy w badaniu o niskiej trafności wewnętrznej, czyli pisanie o wpływie na podstawie korelacji.

Rzetelność skal na Twojej próbie policzysz razem z resztą analiz. Alfa Cronbacha z analizą pozycji i analiza czynnikowa są w zakresie wyliczenia automatycznego, a ich zestaw dla Twoich narzędzi pokaże kreator wyceny analizy. Opis narzędzi i ich jakości w metodologii piszesz samodzielnie, na podstawie podręczników testów i wyników z raportu.

Najczęstsze pytania

Czym różni się trafność od rzetelności?

Rzetelność mówi, czy pomiar jest dokładny i powtarzalny, a trafność, czy narzędzie mierzy to, co ma mierzyć. Narzędzie może być rzetelne i nietrafne, na przykład waga, która zawsze zaniża wynik o tyle samo. Narzędzie nierzetelne nie może być trafne.

Co to jest trafność kryterialna?

To stopień, w jakim wyniki narzędzia wiążą się z zewnętrznym wskaźnikiem, czyli kryterium. Jeśli kryterium mierzy się w tym samym czasie, mówi się o trafności diagnostycznej, a jeśli później, o prognostycznej. Ocenia się ją zwykle współczynnikiem korelacji.

Czym jest trafność wewnętrzna i zewnętrzna?

To cechy planu badania, a nie narzędzia. Trafność wewnętrzna mówi, czy zaobserwowaną zależność można uznać za przyczynową, a trafność zewnętrzna, czy wyniki da się uogólnić na inne osoby, miejsca i czasy. W pracy dyplomowej omawia się je zwykle przy ograniczeniach badania.

Czy trafność fasadowa wystarczy do opisania trafności kwestionariusza własnego?

Nie. Trafność fasadowa to tylko wrażenie badanych, że pytania dotyczą deklarowanego tematu. Przy kwestionariuszu własnym lepiej opisać trafność treściową: z jakiej definicji wyprowadzono pytania, kto je oceniał i co wykazał pilotaż.

Jak sprawdzić rzetelność testu we własnym badaniu?

Najprościej policzyć alfę Cronbacha dla każdej skali lub podskali na zebranych danych. Jeśli badasz te same osoby dwa razy, możesz policzyć korelację test-retest, a gdy dane pochodzą z ocen kilku osób, zgodność sędziów, na przykład kappę Cohena.