Po co w ogóle wielkość efektu, skoro jest p-value?
„p < 0,05 jest, ale czy to w ogóle ważne?”
Wielu badaczy zna to uczucie: test wyszedł istotny, w tabeli świeci się „p < 0,05”, a mimo tego trudno odpowiedzieć na kluczowe pytanie: czy ten wynik ma jakiekolwiek znaczenie w praktyce? Odbiorca raportu – menedżer, lekarz, nauczyciel, klient – nie pyta, czy efekt jest „istotny statystycznie”, tylko czy jest wart zachodu. Ma wiedzieć, czy opłaca się zmienić procedurę, wprowadzić nową terapię, wdrożyć program szkoleniowy albo napisać rekomendację.
P-value mówi wyłącznie, jak bardzo dane są niezgodne z hipotezą zerową przy założeniu, że ta hipoteza jest prawdziwa. Nie mówi natomiast, jak duży jest efekt. Bardzo duża próba może dać istotne p dla minimalnych, praktycznie nieodczuwalnych różnic. Z kolei w małym badaniu p może być „nieistotne”, choć efekt w rzeczywistości jest całkiem spory – po prostu brakuje mocy statystycznej.
Istotność statystyczna kontra istotność praktyczna
Istotność statystyczna oznacza, że wynik ma małe prawdopodobieństwo wystąpienia przy założeniu braku efektu (np. p < 0,05). Istotność praktyczna (kliniczna, biznesowa) dotyczy tego, czy rozmiar różnicy lub zależności jest na tyle duży, by realnie coś zmieniać w świecie. To są dwa różne pytania.
Przykład z badań klinicznych: nowy lek obniża objaw o ułamek punktu na skali, ale badanie ma kilka tysięcy pacjentów. Prawdopodobnie dostaniemy bardzo małe p-value. Jednak pacjent faktycznie nie czuje poprawy. Statystyka mówi „tak”, praktyka „nie bardzo”. Bez wielkości efektu i bez dobranego progu „efektu klinicznie istotnego” trudno to uczciwie zakomunikować.
Z kolei w edukacji czy psychologii, gdzie efekty bywają subtelne, mała wielkość efektu może mieć ogromne znaczenie na poziomie populacji (np. niewielka poprawa wyniku testu po programie, który można wprowadzić masowo). Dlatego sam wynik „istotne/nieistotne” to za mało – odbiorca musi wiedzieć „jak duża” jest zmiana.
Jak wielkość efektu uzupełnia p-value i przedziały ufności
Trzy elementy dają pełniejszy obraz:
p-value – mówi coś o tym, na ile niecodzienny byłby taki wynik przy założeniu braku efektu;
wielkość efektu – pokazuje rozmiar różnicy, korelacji czy zmiany;
przedział ufności dla wielkości efektu – informuje, jaka jest niepewność tego oszacowania.
Sam p-value nie odróżnia maleńkiego efektu w gigantycznej próbie od dużego efektu w małej próbie. Wielkość efektu uzupełnia informację o mocy wpływu, a przedział ufności sygnalizuje, czy oszacowanie jest precyzyjne, czy raczej „rozmyte”. W raporcie dobrze jest pokazywać te trzy elementy obok siebie – wtedy odbiorca ma szansę na rozsądną interpretację.
Co zyskuje odbiorca raportu, gdy widzi wielkość efektu
Dla osoby podejmującej decyzje liczby muszą przekładać się na konsekwencje. Wielkość efektu w raporcie pomaga między innymi:
porównać efekty różnych interwencji (np. który program szkoleniowy działa mocniej),
oszacować, czy koszt wdrożenia ma sens przy danym „zysku efektu”,
porównać własne wyniki z literaturą (czy efekt jest podobny, większy, mniejszy),
rozpoznać, czy efekt jest stabilny (przedziały ufności), czy raczej „loteryjny”.
Dobrze opisane wielkości efektu ułatwiają przekład wyników na język decyzji. Odbiorca nie musi zgadywać, czy różnica jest ważna – widzi skalę zjawiska i rozumie, co to może oznaczać w codziennej pracy.
Źródło: Pexels | Autor: RDNE Stock project
Czym jest wielkość efektu – definicja bez żargonu
Intuicyjne ujęcie: jak duża jest różnica lub związek
Najprościej: wielkość efektu mówi, jak duży jest efekt, który nas interesuje. Może to być:
różnica średnich między dwiema grupami,
siła związku między dwiema zmiennymi,
różnica w częstości występowania jakiegoś zjawiska (ryzyko, odsetek),
zmiana w czasie (np. przed vs po interwencji).
Często w raportach używa się wskaźników standaryzowanych (np. Cohen’s d, r, η²), które pozwalają porównywać efekty między badaniami, mimo różnych skal pomiaru. Jednocześnie nie warto gubić z oczu efektu w oryginalnej skali, bo to on jest najbardziej zrozumiały dla praktyka (np. „średnio 5 punktów więcej na teście” jest bardziej namacalne niż „d = 0,50”).
Efekt na skali oryginalnej a efekt standaryzowany
Efekt na skali oryginalnej to np. różnica średnich w punktach, milimetrach, sekundach. Dzięki niemu czytelnik widzi, jak duża jest zmiana w jednostkach, które mają dla niego znaczenie.
Efekt standaryzowany przelicza tę różnicę na liczbę odchyleń standardowych lub inny „uogólniony” wymiar. Przykłady:
Cohen’s d – różnica średnich wyrażona w odchyleniach standardowych,
r – korelacja od –1 do 1, informująca o sile i kierunku związku,
η² – proporcja wariancji wyjaśnionej przez daną zmienną (0–1).
Efekt standaryzowany jest szczególnie użyteczny, gdy chcesz:
porównać wyniki badań używających różnych testów lub skal,
łączyć wyniki w metaanalizach,
przekazać w skrócie, czy efekt jest mały, średni czy duży w ramach danej dziedziny.
W praktycznym raporcie najlepiej pokazać oba poziomy: „średnia różnica wyniosła 4,2 punktu (Cohen’s d = 0,55, 95% CI [0,30; 0,80])”.
Wielkości efektu można pogrupować według tego, co mierzą:
Różnice – między grupami, stanami, czasami pomiaru (d, g, Glass Δ, różnice średnich, różnica ryzyka).
Związki / korelacje – między zmiennymi ilościowymi (r Pearsona, r Spearmana, R², β w regresji).
Proporcje i ryzyko – jak często coś się wydarza w grupie A vs B (iloraz szans OR, ryzyko względne RR, Number Needed to Treat – NNT).
Efekt wariancji – jaka część zróżnicowania wyników jest wyjaśniana przez czynnik (η², ηp², ω², f).
Dobór właściwego wskaźnika zależy więc od typu danych i pytania badawczego: czy interesuje cię przewaga jednej metody, siła związku, czy może różnica w częstości występowania zjawiska.
Trzy główne rodziny wskaźników wielkości efektu
Użyteczne jest proste rozróżnienie na trzy rodziny:
Wskaźniki oparte na różnicach – Cohen’s d, Hedges g, różnica średnich, różnica ryzyka. Dobrze opisują, „o ile” grupy różnią się od siebie.
Wskaźniki wariancji – R², η², ηp², ω². Informują, jaki procent różnic w wynikach da się przypisać danej zmiennej.
Wskaźniki probabilistyczne – OR, RR, NNT, „probability of superiority” (prawdopodobieństwo, że losowo wybrana osoba z grupy A ma wyższy wynik niż z grupy B). Tłumaczą efekt w kategoriach szans/ryzyka.
Świadome dobranie rodziny wskaźników do swojego pytania badawczego bardzo ułatwia późniejsze opisanie wielkości efektu w raporcie w sposób sensowny i czytelny.
Najczęściej używane wielkości efektu – krótka mapa terenu
Różnice dwóch grup: Cohen’s d, Hedges g, Glass Δ
Dla klasycznego porównania dwóch grup (t-test, eksperyment prosty kontrola vs grupa badawcza) najczęściej stosuje się:
Cohen’s d – różnica średnich podzielona przez łączone odchylenie standardowe. Dobra, gdy wariancje w grupach są podobne i próby nie są ekstremalnie małe.
Hedges g – odmiana d z poprawką na małe próby (zmniejsza lekkie przeszacowanie efektu przy małych n).
Glass Δ – różnica średnich podzielona przez odchylenie standardowe tylko w grupie kontrolnej. Przydatna, gdy manipulacja mocno zmienia zmienność w grupie eksperymentalnej.
W raportach naukowych najczęściej widnieje Cohen’s d. Jeżeli jednak bada się małe grupy (np. kilkanaście osób) lub warunki są bardzo asymetryczne, lepiej rozważyć Hedges g. Opisując wynik, dobrze jest podać zarówno różnicę w punktach, jak i zstandaryzowaną wielkość efektu.
Zależności między zmiennymi: r, R², standaryzowane beta
Gdy badanie dotyczy związku między zmiennymi ilościowymi (np. poziom stresu a wydajność, czas pracy a zarobki), podstawowe wskaźniki to:
r Pearsona – siła liniowego związku dla zmiennych ilościowych, od –1 do 1.
r rang Spearmana – korelacja dla danych porządkowych albo przy naruszeniach założeń Pearsona.
R² – w regresji: jaki odsetek wariancji zmiennej zależnej wyjaśnia model (0–1, często prezentowane jako %).
Beta standaryzowane – w regresji wielokrotnej pokazują relatywną siłę predyktorów; im wyższa bezwzględna wartość beta, tym silniejszy związek przy kontroli innych zmiennych.
W opisie wyników sam r niewiele mówi bez kontekstu. Warto dodać interpretację ilościową (np. „wzrost o jeden punkt na skali X wiąże się średnio ze wzrostem o 0,4 punktu na skali Y”) albo odnieść się do wartości R² („model wyjaśnia ok. 25% zróżnicowania wyników”).
Dane kategoryczne i ryzyko: phi, Cramér’s V, OR, RR
Jeżeli analizujesz tabele kontyngencji (np. leczenie: tak/nie × poprawa: tak/nie), przydają się wskaźniki:
phi – siła związku dla tabeli 2×2 (od 0 do 1 przy korelacji dodatniej).
Cramér’s V – uogólnienie phi na większe tabele (np. 3×4).
OR – iloraz szans – jak bardzo szanse wystąpienia zdarzenia różnią się między grupami (OR = 2 oznacza, że szansa jest dwukrotnie większa).
RR – ryzyko względne – stosunek prawdopodobieństw (np. ryzyko choroby w grupie narażonej / ryzyko w grupie nienarażonej).
W raportach medycznych i epidemiologicznych OR i RR są często ważniejsze niż samo p, bo mówią wprost, jak bardzo zmienia się ryzyko. Opis w języku naturalnym usprawnia odbiór: „w grupie A ryzyko było ~dwa razy wyższe niż w grupie B (RR ≈ 2,0; 95% CI [1,3; 3,1])”.
ANOVA i modele wielowymiarowe: η², ηp², f, beta
Przy analizie wariancji (ANOVA, MANOVA) i bardziej złożonych modelach najczęściej pojawiają się:
η² (eta squared) – część wariancji wyjaśniona przez daną zmienną niezależną względem całkowitej wariancji.
ηp² (partial eta squared) – wariancja wyjaśniona przez dany czynnik względem wariancji pozostałej po „odjęciu” innych czynników; to częsty wybór w raportach APA.
f – miara efektu powiązana z η²; używana przy planowaniu mocy statystycznej i analizie a priori.
Standaryzowane beta w regresji – omawiane już wyżej, kluczowe przy modelach predykcyjnych.
W opisach wyników ANOVA dobrze jest połączyć informację o istotności, miarze efektu i różnicach między konkretnymi poziomami czynnika. Samo „ηp² = 0,06” niewiele powie odbiorcy, jeśli nie zobaczy, jak przekłada się to na różnice w średnich.
Które wskaźniki pojawiają się najczęściej
Jak często stosować „małe, średnie, duże” i co z tym zrobić
Klasyczne progi (np. dla Cohen’s d: 0,2 – mały, 0,5 – średni, 0,8 – duży) kuszą prostotą. Problem w tym, że te granice są w dużej mierze umowne i nie zawsze pasują do konkretnej dziedziny. W psychologii „średni” efekt może być czymś zupełnie innym niż w badaniach nad nowymi lekami czy w ekonomii.
Zamiast automatycznie przypinać etykiety, można podejść do tego tak:
Podaj wartość liczbową (np. d = 0,35, r = 0,18, ηp² = 0,07).
Dodaj krótką interpretację jakościową (np. „efekt niewielki, ale spójny z wynikami wcześniejszych badań w tej dziedzinie”).
Odnieś się do kontekstu – ile to znaczy dla pacjenta, ucznia, klienta, organizacji?
Jeśli korzystasz z progów „mały/średni/duży”, dobrze jest wskazać, według czego je przyjmujesz: standardów danej dziedziny, metaanaliz czy klasycznych propozycji (np. Cohena). Krótkie dopowiedzenie usuwa niepewność u czytelnika: „d = 0,40, co według kryteriów X odpowiada efektowi małemu do średniego”.
Jak opisywać wielkość efektu w tekście raportu
Najwięcej trudności sprawia często nie samo obliczenie, ale ubranie wyniku w słowa. Poniżej kilka schematów, które można wprost kopiować i dopasowywać do swoich danych.
Dla różnic międzygrupowych (np. t-test, ANOVA):
„Grupa interwencyjna uzyskała średnio X punktów więcej niż grupa kontrolna (różnica M = 4,2; 95% CI [1,8; 6,6]), co odpowiada efektowi średniej wielkości (Cohen’s d = 0,55).”
„W porównaniu z warunkiem A, w warunku B czas reakcji skrócił się przeciętnie o 120 ms (Hedges g = 0,45), co wskazuje na niewielką, ale spójną poprawę.”
Dla korelacji i regresji:
„Wyższy poziom X wiązał się z wyższym poziomem Y (r = 0,30; 95% CI [0,12; 0,47]); model wyjaśniał ok. 9% zróżnicowania wyników (R² = 0,09).”
„Po uwzględnieniu wieku i płci, każdy dodatkowy punkt na skali motywacji przewidywał średnio wzrost wyniku o 0,4 punktu na teście osiągnięć (β = 0,28, p < 0,01).”
Dla ryzyka i danych kategorycznych:
„W grupie otrzymującej lek poprawę odnotowano u 60% osób, wobec 40% w grupie placebo (RR = 1,50; 95% CI [1,10; 2,05]; NNT ≈ 5).”
„U osób narażonych na czynnik X szansa wystąpienia objawu była około dwa razy większa niż u osób nienarażonych (OR = 2,1; 95% CI [1,4; 3,3]).”
Jeżeli pojawia się obawa, że tekst „puchnie” od liczb, można część wartości przenieść do tabel lub wykresów, a w samym tekście zostawić 1–2 kluczowe wskaźniki z komentarzem w języku naturalnym.
Łączenie wielkości efektu z przedziałami ufności
Sam pojedynczy wskaźnik (np. d = 0,40) daje tylko punktowe oszacowanie. Dopiero przedział ufności pokazuje, jak bardzo wynik jest niepewny. Dwa efekty o tej samej wartości mogą mieć zupełnie różną wiarygodność, jeżeli jeden pochodzi z próby 40 osób, a drugi z 400.
Praktyczny sposób prezentacji:
„Cohen’s d = 0,40, 95% CI [0,10; 0,70]” – efekt prawdopodobnie niewielki do średniego, ale z dość szeroką niepewnością.
„RR = 1,8, 95% CI [1,6; 2,1]” – dość precyzyjne oszacowanie; mało prawdopodobne, by efekt był bliski zeru.
W tekście można to przetłumaczyć na prosty komentarz: „rzeczywista wielkość efektu jest najpewniej dodatnia i niewielka” albo „oszacowanie jest obarczone dużą niepewnością; w świetle tych danych trudno jednoznacznie stwierdzić, jak mocny jest efekt”. Taki dopisek pomaga odbiorcy uniknąć przeceniania „ładnych” wartości z małych prób.
Wielkość efektu a znaczenie praktyczne
Naturalna wątpliwość: jak przełożyć liczby na realne decyzje? Tutaj przydatne są trzy pytania pomocnicze:
Skala jednostki – ile to jest „0,4 punktu” na 10-stopniowej skali, a ile na 100-punktowym teście?
Częstość zjawiska – czy 20% redukcja ryzyka dotyczy zjawiska bardzo częstego, czy rzadkiego?
Koszt / wysiłek – co trzeba „zainwestować”, żeby uzyskać tę zmianę? Czas, pieniądze, zasoby organizacji?
Efekt statystycznie „mały” może mieć ogromne znaczenie, jeśli dotyczy zdrowia publicznego i milionów osób. Z kolei „duży” efekt w małej, specyficznej populacji może okazać się praktycznie mało istotny, jeśli interwencja jest bardzo kosztowna lub trudna do wdrożenia.
Dobrym zabiegiem jest dodanie jednego zdania, które osadza wynik w realiach:
„Różnica o 3 punkty na tym teście odpowiada mniej więcej jednej ocenie w górę w systemie szkolnym.”
„Z punktu widzenia lekarza rodzinnego oznacza to, że na każde 10 osób poddanych badaniu przesiewowemu jedna dodatkowo uniknie hospitalizacji.”
Prezentacja graficzna wielkości efektu
Nawet najlepiej opisane liczby bywają dla części odbiorców trudne w odbiorze. Wykresy potrafią wyjaśnić w sekundę to, co w tekście zajmuje pół strony. Kilka form wizualizacji, które dobrze „niosą” wielkość efektu:
Wykresy średnich z błędami (np. z przedziałami ufności) – pokazują różnice między grupami i niepewność oszacowań.
Forest plot – świetny przy wielu efektach jednocześnie (np. różne podgrupy, różne badania).
Wykresy punktowe i liniowe – gdy ważny jest trend lub zależność (np. korelacje, zmiany w czasie).
Wykresy słupkowe dla ryzyka – np. liczba zdarzeń na 100 osób w każdej grupie.
W podpisach pod wykresami można delikatnie „przemycić” najważniejszą interpretację, aby czytelnik nie musiał od razu sięgać do teksu głównego: „Różnica między grupami jest umiarkowana (d ≈ 0,5) i stosunkowo precyzyjnie oszacowana (wąskie przedziały ufności).”
Jak opisywać wielkość efektu w streszczeniu i wniosku praktycznym
Autorzy często mają obawę, że w krótkich formach (streszczenie, executive summary) nie ma miejsca na dodatkowe wskaźniki. Da się jednak wpleść wielkość efektu nawet w kilka linijek.
Przykładowa kompozycja dla streszczenia naukowego:
„Interwencja X zwiększyła średni wynik na skali Y o 4,2 punktu (d = 0,55; 95% CI [0,30; 0,80]), co odpowiada efektowi średniej wielkości.”
„Częstość zdarzenia Z była niższa w grupie interwencyjnej (RR = 0,65; 95% CI [0,50; 0,85]; NNT ≈ 9).”
Przykładowa kompozycja dla raportu dla decydentów/praktyków:
„Program wprowadza umiarkowaną poprawę (średnio o kilka punktów na skali Y, efekt d ≈ 0,5), co w praktyce oznacza, że u większości uczniów widoczna jest jakościowa zmiana w funkcjonowaniu.”
„Każde 10 osób objętych programem pozwala uniknąć mniej więcej jednego dodatkowego przypadku Z w ciągu roku.”
Klucz polega na tym, by nie kopiować do streszczenia wszystkich wskaźników, lecz 1–2 najbardziej znaczące, połączone z krótkim wytłumaczeniem „ile to jest w praktyce”.
Błędy w opisie wielkości efektu, które łatwo naprawić
Najczęstsze potknięcia nie wynikają ze złej woli, tylko z pośpiechu lub nawyków redakcyjnych. Kilka z nich można wyeliminować prostą korektą stylu.
Redukowanie wyniku do p-wartości – „efekt istotny/nieistotny” bez informacji, jak duży jest. Rozwiązanie: dodać choć jedną miarę efektu z krótką interpretacją.
Podawanie samego d, r, OR bez przedziału ufności – czytelnik nie wie, jak szacunkowo pewny jest wynik. Rozwiązanie: dołączyć 95% CI tam, gdzie to możliwe.
Nadmierne poleganie na etykietach „mały/średni/duży” – bez odniesienia do kontekstu dziedziny. Rozwiązanie: krótki komentarz, co to znaczy w tej konkretnej sytuacji.
Mieszanie wskaźników bez wyjaśnienia – raz ηp², raz R², raz d, ale czytelnik nie wie, dlaczego użyto akurat ich. Rozwiązanie: na początku sekcji wyników krótko zaznaczyć, jakie wskaźniki będą stosowane i przy jakich analizach.
Zaokrąglanie „po uważaniu” – czasem do jednego, czasem do trzech miejsc po przecinku. Rozwiązanie: przyjąć spójny standard (np. 2 miejsca po przecinku dla miar efektu, 95% CI zapisane do dwóch miejsc) i się go trzymać.
Świadome opisanie wielkości efektu zwiększa przejrzystość raportu i ułatwia innym korzystanie z wyników – czytelnik nie musi się domyślać, „czy to dużo, czy mało”, bo dostaje liczby razem z ich znaczeniem.
Jak dobrać wskaźnik wielkości efektu do typu analizy
Gdy rodzajów wskaźników jest wiele, pojawia się naturalne pytanie: „który mam wybrać u siebie?”. Można oprzeć się na prostym drzewie decyzyjnym.
Dwie grupy, wynik liczbowy (t-test, prosty eksperyment): różnica średnich + Cohen’s d lub Hedges g.
Więcej grup lub czynniki (ANOVA): różnice średnich między kluczowymi poziomami + η²/ηp² (lub f, gdy ważne jest planowanie mocy).
Związek dwóch zmiennych liczbowych (korelacja, prosta regresja): r oraz, w razie potrzeby, R² + przełożenie na jednostki oryginalne.
Wiele predyktorów (regresja wielokrotna, modele liniowe): standaryzowane beta, R², a przy danych mieszanych również miary specyficzne dla modelu (np. pseudo-R²).
Dane kategoryczne, ryzyko (tabele kontyngencji, modele logistyczne): OR lub RR, ewentualnie NNT przy interwencjach klinicznych, plus phi / Cramér’s V, gdy ważna jest ogólna siła związku.
Jeśli analiza jest bardziej zaawansowana (np. modele wielopoziomowe, analiza przeżycia), często istnieją dobrze przyjęte w danej dziedzinie konwencje raportowania efektów. Wtedy pomocne bywa przejrzenie kilku niedawno opublikowanych artykułów z tego obszaru i dopasowanie stylu do dominującego standardu.
Jak opisywać wielkość efektu przy wynikach „na granicy istotności”
Szczególnie kłopotliwe są sytuacje, gdy p = 0,06 czy 0,07. Kuszące bywa wówczas określenie „trend w pożądanym kierunku” i pominięcie samej wielkości efektu. Tymczasem właśnie w takich sytuacjach efekt i przedział ufności są najcenniejsze.
Można zapisać to na przykład tak:
„Różnica między grupami wyniosła średnio 2,1 punktu (d = 0,30; 95% CI [–0,02; 0,62], p = 0,07). Oszacowanie sugeruje niewielki efekt, jednak dane są zbyt niepewne, by wnioskować z dużą pewnością o jego istnieniu.”
„RR = 0,75; 95% CI [0,55; 1,02]; chociaż wynik nie osiągnął konwencjonalnego poziomu istotności, sugeruje możliwe zmniejszenie ryzyka, wymagające potwierdzenia w większej próbie.”
Taki opis nie „sprzedaje” danych ponad to, co naprawdę niosą, a jednocześnie przekazuje czytelnikowi, jak duży <empotencjalnie mógłby być efekt, gdyby badanie miało większą moc.
Wielkość efektu a metaanaliza i porównywanie badań
Jeżeli celem jest porównywanie wyników z innymi projektami lub planowanie metaanalizy, opis efektów nabiera dodatkowego znaczenia. Dobrą praktyką staje się wtedy:
Przygotowanie wyników do metaanalizy krok po kroku
Gdy z tyłu głowy jest myśl, że ktoś może uwzględnić wyniki w przeglądzie systematycznym, dobrze ułatwić mu życie. Nie wymaga to skomplikowanych zabiegów statystycznych, raczej uporządkowania informacji.
Pomocny jest prosty zestaw elementów, które pozwalają później przeliczyć wyniki na potrzebne wskaźniki:
Podanie surowych średnich i odchyleń standardowych w każdej grupie (oraz liczebności), a nie tylko różnicy i p-wartości.
Opis dokładnego typu miary (np. „wynik w skali Y, zakres 0–40, wyższy wynik = większe nasilenie objawów”).
Jasne określenie kierunku efektu (czy „więcej” to lepiej, czy gorzej; czy mniejsza liczba zdarzeń jest korzystna).
Podanie wzoru analizy (np. „ANCOVA z kontrolą wyniku początkowego”), co ułatwia interpretację miar efektu.
W raporcie technicznym czy artykule naukowym warto w aneksie zamieścić tabelę „dla metaanalityków”: surowe parametry, liczebności, wskaźniki wielkości efektu i ich przedziały ufności. Dla czytelnika raportu głównego będzie to tylko dodatkowa tabela, dla osoby agregującej wyniki – ogromne ułatwienie.
Przykładowa zwięzła informacja w sekcji wyników może wyglądać tak:
„Grupa interwencyjna: M = 21,3, SD = 5,8, n = 72; grupa kontrolna: M = 24,7, SD = 6,2, n = 70 (d = –0,56; 95% CI [–0,90; –0,23]). Dane szczegółowe znajdują się w tabeli A1 w aneksie.”
Spójność sposobu raportowania między badaniami
Jeżeli prowadzony jest cykl projektów lub kolejne edycje programu, sposób opisywania efektów najlepiej ujednolicić już na etapie planowania. Ułatwia to późniejsze porównania w czasie.
Przydaje się krótki „stylbook” statystyczny w zespole badawczym, np. dokument na kilka stron, który określa:
jakie miary efektu są standardem dla poszczególnych typów analiz,
jak wygląda sposób zapisu (kolejność: efekt, 95% CI, p),
jaki jest schemat interpretacji słownej (np. co zespół zwykle nazywa „umiarkowaną” czy „dużą” zmianą),
jakie wykresy są domyślne (np. forest plot dla wielu porównań, wykres różnic średnich dla głównego wyniku).
Dzięki temu kolejny raport nie zaczyna się „od zera”, a czytelnicy, którzy znają wcześniejsze opracowania, mogą intuicyjnie rozumieć prezentowane liczby. To także sposób na ograniczenie sporów redakcyjnych na końcowym etapie pisania.
Opis wielkości efektu w badaniach pilotażowych i eksploracyjnych
Przy małych próbach i badaniach pilotażowych pojawia się obawa: czy w ogóle wolno raportować wielkość efektu, skoro oszacowania są bardzo niepewne? Właśnie tam opis efektu, połączony z wyraźnym zaznaczeniem niepewności, ma duże znaczenie dla dalszego planowania.
Kilka prostych zasad, które pomagają zachować uczciwość opisu:
Unikanie kategorycznych ocen („silny efekt”, „skuteczna interwencja”) na rzecz języka wskazującego na wstępne rozpoznanie („wstępnie sugeruje to istotną poprawę”).
Obowiązkowe podanie szerokich przedziałów ufności i krótkie wskazanie, że oszacowania mogą się znacząco zmienić w większej próbie.
Powiązanie efektu z planowaniem mocy kolejnych badań – np. „Zaobserwowana wielkość efektu (d ≈ 0,4) została wykorzystana do oszacowania potrzebnej liczebności w badaniu głównym”.
Przykładowa neutralna fraza:
„W badaniu pilotażowym zaobserwowano efekt średniej wielkości (d = 0,45; 95% CI [–0,05; 0,95]), przy czym szeroki przedział ufności wskazuje na dużą niepewność oszacowania. Wynik traktujemy jako punkt wyjścia do zaplanowania badania na większej próbie.”
Wielkość efektu w badaniach jakościowych i mieszanych
W projektach mieszanych często rodzi się pytanie, czy i jak łączyć liczbowe miary efektu z materiałem jakościowym. Obie perspektywy mogą się bardzo dobrze uzupełniać, jeśli są świadomie połączone.
Jednym ze sposobów jest zestawienie wskaźników ilościowych z cytatami lub opisami przypadków, które pokazują „jak wygląda w praktyce” dana wielkość efektu. Przykład:
„Średnia poprawa na skali funkcjonowania społecznego wyniosła 5 punktów (d = 0,60). W wywiadach uczestnicy opisywali tę zmianę jako ‘łatwiejsze rozpoczynanie rozmowy’ oraz ‘mniejsze unikanie spotkań’.”
W podejściu mieszanym liczby nie są jedynym językiem, ale nadal pełnią rolę kotwicy – pokazują z grubsza rozmiar zmiany, a materiał jakościowy dopowiada, jak ta zmiana jest przeżywana i rozumiana przez uczestników.
Prezentowanie wielkości efektu w komunikacji medialnej i popularnonaukowej
Jeśli wyniki trafiają nie tylko do raportu technicznego, lecz także do komunikatu prasowego, broszury dla pacjentów czy materiału dla mediów, poziom szczegółowości trzeba dostosować do odbiorcy, nie gubiąc sensu.
Pomagają w tym trzy proste reguły:
Jeden główny wskaźnik liczbowy – np. „o jedną trzecią mniej przypadków”, „średnio o kilka punktów wyższy wynik”, bez całego „ogonu” technicznych skrótów.
Prosty obraz liczbowy – przeliczenie na liczby całkowite: „zamiast 10 osób na 100, problem dotyczy około 7 osób na 100”.
Ostrożny język – bez obietnic typu „rewolucyjny efekt” czy „przełomowa metoda”. Można podkreślić znaczenie, ale z zachowaniem realizmu.
Jeśli w komunikacie pojawia się ogólne stwierdzenie („znacząca poprawa”), w tle – w pełnym raporcie lub załączniku – powinny stać konkretne liczby. Daje to jednocześnie przystępność przekazu i przejrzystość dla osób chcących sięgnąć głębiej.
Wielkość efektu w raportach ewaluacyjnych w organizacjach
W praktyce instytucji (szkoły, szpitale, NGO, firmy) miary statystyczne często budzą dystans. Z drugiej strony zarząd, sponsorzy czy partnerzy chcą wiedzieć, „czy to działa” i „na ile się opłaca”. Opis wielkości efektu można tu mocno uprościć, zachowując sens merytoryczny.
Sprawdza się struktura, w której liczby są od razu powiązane z decyzjami:
Co się zmieniło – „Średni poziom objawów spadł o X punktów (efekt średniej wielkości).”
U ilu osób – „Około połowa uczestników odnotowała poprawę co najmniej o Y punktów.”
Co to znaczy operacyjnie – „Dla pracy szkoły oznacza to, że w każdej klasie jest średnio 2–3 uczniów mniej wymagających intensywnego wsparcia.”
Jeżeli odbiorcy nie korzystają na co dzień z miar typu d czy OR, te skróty mogą się pojawić w tabeli lub aneksie, a w treści głównej raportu skupić można się na bardziej intuicyjnych opisach i prostych przeliczeniach.
Jak rozmawiać o wielkości efektu w zespole badawczym
Opis efektu to nie tylko kwestia techniczna, ale i komunikacyjna. W projektach interdyscyplinarnych (np. psycholog + lekarz + statystyk) często każdy ma inny nawyk mówienia o wynikach. Zamiast to zwalczać, można świadomie to ujednolicić.
Pomaga proste pytanie zadane podczas omawiania wyników: „Jak jednym zdaniem opisałabyś/ opisałbyś tę wielkość efektu komuś, kto ma 5 minut i nie otworzy tabeli?”. Takie krótkie zdanie można później wprost wykorzystać w streszczeniu czy wniosku praktycznym.
Wspólne ustalenie języka (np. kiedy stosujemy określenia „niewielki, ale istotny praktycznie” vs. „umiarkowany efekt”) zmniejsza ryzyko, że w różnych częściach dokumentu ta sama liczba będzie nazywana raz „dużą zmianą”, a raz „ograniczoną poprawą”.
Wielkość efektu przy analizach podgrup i interakcjach
Efekty rzadko są jednakowe dla wszystkich. Gdy badanie obejmuje różne podgrupy (np. wiek, płeć, poziom wyjściowy), pojawia się pokusa mnożenia analiz. Wtedy szczególnie przydaje się spójny sposób prezentacji wielkości efektu.
Praktyczne podejście obejmuje kilka kroków:
Wyraźne wskazanie, które analizy podgrup są kluczowe (zaplanowane z góry), a które eksploracyjne.
Podanie efektu w każdej podgrupie w tej samej miarze (np. d lub OR) i formie (z 95% CI).
Opis wielkości różnic między podgrupami, a nie tylko samej istotności interakcji.
Przykładowa struktura opisu:
„Efekt interwencji był większy u osób z wyjściowo wysokim poziomem objawów (d = 0,70; 95% CI [0,30; 1,10]) niż u osób z niskim poziomem (d = 0,20; 95% CI [–0,10; 0,50]). Interakcja grupa × poziom wyjściowy osiągnęła istotność statystyczną (p < 0,05), co sugeruje, że korzyść z programu koncentruje się u bardziej obciążonych uczestników.”
Taki opis pomaga uniknąć pochopnego stwierdzenia „program działa tylko w jednej grupie”. Zamiast tego widać, jak bardzo różnią się efekty i jak duża jest niepewność w każdej podgrupie.
Wielkość efektu a analiza kosztów i korzyści
W wielu obszarach (szczególnie w zdrowiu publicznym, polityce społecznej czy edukacji) sam rozmiar efektu to dopiero połowa historii. Druga połowa to cena, jaką trzeba zapłacić za jego osiągnięcie.
Prosty sposób na powiązanie efektu z kosztami to obliczenie „kosztu jednostki efektu”, np.:
koszt na jednego uczestnika, u którego udało się uniknąć zdarzenia niepożądanego (połączenie NNT z kosztem programu),
koszt na jednostkę poprawy na kluczowej skali (np. koszt jednej „oceny w górę” lub jednego standardowego odchylenia).
Przykładowy opis dla decydentów może wyglądać tak:
„Program prowadzi do umiarkowanej poprawy wyników (d ≈ 0,45), co przekłada się na około 3–4 dodatkowe zaliczenia egzaminu na 100 uczniów. Koszt przeszkolenia i prowadzenia zajęć wynosi około X zł na jednego dodatkowego ucznia, który dzięki programowi zdaje egzamin.”
Tego typu powiązanie sprawia, że wielkość efektu przestaje być oderwaną liczbą, a staje się jednym z parametrów w bardzo konkretnym rachunku „czy warto w to wchodzić i na jaką skalę”.
Minimalnie istotna zmiana z perspektywy uczestnika
Nawet spora statystycznie zmiana może być dla uczestnika ledwo zauważalna – i odwrotnie, pozornie „mały” efekt może oznaczać dużą ulgę. W niektórych dziedzinach używa się pojęcia minimalnie istotnej zmiany (MCID – minimal clinically important difference), czyli takiej różnicy, którą dana grupa uznaje za sensowną lub odczuwalną.
Jeśli istnieją w literaturze progi MCID dla używanej skali, dobrze jest odnieść efekt właśnie do nich. Przykład:
„Za minimalnie istotną klinicznie uznaje się zmianę o co najmniej 4 punkty na skali X. W badaniu średnia poprawa wyniosła 5,2 punktu, a 60% uczestników przekroczyło próg MCID.”
Gdy brakuje ustalonych progów, można posłużyć się bardziej opisowym podejściem: zapytać uczestników, jak oceniają zmiany, i zestawić to z wielkością efektu. Zdarza się, że liczbowy efekt jest „tylko” średni, ale większość uczestników deklaruje, że zmiana była dla nich ważna – taki sygnał warto wprost odnotować.
Dokumentowanie decyzji interpretacyjnych
Opisywanie wielkości efektu zawsze zawiera element decyzji: który wskaźnik wybrać, jak go nazwać, jak mocno akcentować znaczenie praktyczne. Dobrą praktyką jest krótkie udokumentowanie tych decyzji – choćby w notatkach projektowych czy w aneksie metodologicznym.
Można w nim zapisać m.in.:
dlaczego wybrano konkretne miary efektu (np. z powodów porównywalności z wcześniejszymi badaniami),
jak ustalono progi interpretacji (np. odwołanie do metaanalizy z danej dziedziny),
w jaki sposób weryfikowano, czy opis słowny (np. „umiarkowany efekt”) jest spójny w całym tekście.
Najczęściej zadawane pytania (FAQ)
Po co liczyć wielkość efektu, skoro mam p-value?
p-value odpowiada tylko na pytanie, jak mało prawdopodobny byłby zaobserwowany wynik przy założeniu, że efektu w ogóle nie ma. Nie mówi nic o tym, czy różnica czy związek są duże, małe, czy w praktyce niezauważalne. Przy bardzo dużej próbie nawet minimalne, nieistotne z punktu widzenia życia codziennego różnice mogą wyjść „statystycznie istotne”.
Wielkość efektu opisuje rozmiar różnicy lub siły związku. Dzięki temu odbiorca raportu może ocenić, czy wynik ma sens praktyczny: czy opłaca się zmienić procedurę, wdrożyć nowy program, przepisać inny lek. p-value i wielkość efektu nie zastępują się, tylko uzupełniają.
Czym się różni istotność statystyczna od istotności praktycznej?
Istotność statystyczna (np. p < 0,05) mówi, że wynik byłby rzadki, gdyby w rzeczywistości nie było żadnego efektu. To informacja o „nietypowości” danych względem hipotezy zerowej, a nie o sile efektu.
Istotność praktyczna (kliniczna, biznesowa, edukacyjna) dotyczy tego, czy rozmiar efektu ma realne znaczenie w działaniu. Nowy lek może obniżyć objaw o ułamek punktu na skali – pacjent nie odczuje różnicy, choć p będzie bardzo małe. Z drugiej strony niewielka poprawa wyniku testu w dużej populacji uczniów może przełożyć się na duży zysk społeczny. Tę różnicę widać dopiero po spojrzeniu na wielkość efektu.
Jak prosto wytłumaczyć, czym jest wielkość efektu?
Najprościej: to miara tego, „jak duża” jest różnica lub zależność, którą badamy. Może opisywać różnicę średnich między grupami (np. pacjenci po terapii vs bez terapii), siłę korelacji między dwiema zmiennymi (np. stres a satysfakcja z pracy) albo różnicę w częstości jakiegoś zjawiska (np. odsetek nawrotów choroby).
W praktyce warto pokazywać zarówno efekt w oryginalnej skali („średnio 5 punktów więcej na teście”), jak i w wersji standaryzowanej (np. „Cohen’s d = 0,50”). Odbiorca widzi wtedy jednocześnie, jak duża jest zmiana w znanych mu jednostkach i jak ten efekt wypada na tle innych badań.
Kiedy podawać efekt na skali oryginalnej, a kiedy standaryzowanej (np. Cohen’s d)?
Dla praktyka najbardziej zrozumiały jest efekt w oryginalnych jednostkach: punkty testowe, milimetry, sekundy, procenty. Menedżer czy lekarz od razu widzi, czy np. różnica o kilka punktów na skali objawów jest dla pacjenta odczuwalna.
Efekt standaryzowany (Cohen’s d, r, η²) przydaje się, gdy chcesz porównać wyniki z innymi badaniami, łączyć dane w metaanalizie albo zwięźle określić, czy efekt jest mały, średni czy duży w danej dziedzinie. W raportach badawczych najlepiej pokazywać oba poziomy, np.: „różnica średnich = 4,2 punktu, Cohen’s d = 0,55”.
Jak wielkość efektu współgra z p-value i przedziałami ufności w raporcie?
Te trzy elementy tworzą spójny obraz wyniku:
p-value – sygnalizuje, na ile zaskakujący jest wynik przy braku efektu,
wielkość efektu – pokazuje, jak duża jest różnica, korelacja lub zmiana,
przedział ufności dla wielkości efektu – informuje o precyzji oszacowania (czy wynik jest stabilny, czy „rozmyty”).
Jeżeli w raporcie pokazujesz tylko p-value, odbiorca nie wie, czy masz do czynienia z mikroskopijnym efektem w ogromnej próbie, czy z dużym efektem w małej próbie. Dopiero zestawienie p, wielkości efektu i jej przedziału ufności pozwala rozsądnie ocenić, na ile wynik jest jednocześnie istotny statystycznie, praktycznie i wiarygodnie oszacowany.
Jaką wielkość efektu wybrać: Cohen’s d, r, η², OR, RR itd.?
Wybór zależy głównie od typu danych i pytania badawczego. Przy porównaniu dwóch średnich (np. grupa kontrolna vs eksperymentalna) zwykle stosuje się wskaźniki oparte na różnicach, takie jak Cohen’s d, Hedges g czy po prostu różnica średnich. Gdy interesuje cię siła związku między zmiennymi ilościowymi, naturalnym wyborem będzie korelacja r lub współczynniki regresji i R².
Dla danych dotyczących częstości, ryzyka czy szans (np. ile osób zachorowało w grupie A vs B) przydatne są wskaźniki probabilistyczne: iloraz szans (OR), ryzyko względne (RR), Number Needed to Treat (NNT). W analizach wariancji (ANOVA) korzysta się z η², ηp² czy ω², które mówią, jaki procent zróżnicowania wyników wyjaśnia dany czynnik. Kluczowe pytanie brzmi: czy opisujesz przewagę jednej metody, siłę związku, czy różnicę w częstości zjawiska – i pod to dobierasz wskaźnik.
Jak opisać wielkość efektu w rozdziale „Wyniki”, żeby była zrozumiała dla odbiorcy?
Pomaga prosty schemat: najpierw krótko nazwać efekt, potem podać liczby, a na końcu krótko zinterpretować znaczenie. Na przykład: „Osoby po szkoleniu osiągały wyższe wyniki w teście kompetencji niż osoby bez szkolenia (średnio o 4,2 punktu więcej, Cohen’s d = 0,55, 95% CI [0,30; 0,80]), co wskazuje na efekt średniej wielkości o potencjalnym znaczeniu praktycznym”.
Dzięki temu ktoś, kto nie czuje się pewnie w statystyce, widzi od razu: kierunek efektu (kto ma wyższy wynik), jego rozmiar (w znanych jednostkach i w wersji standaryzowanej) oraz szacunkową niepewność (przedział ufności). Z kolei osoba bardziej zaawansowana ma wszystkie potrzebne parametry do dalszych porównań z literaturą.
