Normalizacja

Normalizacja to nadawanie znaczenia konkretnym wynikom pomiaru (Hornowska, 2001). Podstawą interpretacji indywidualnego wyniku jest określenie, jak osoba badana wypada na tle innych osób, należących do konkretnej grupy odniesienia. Aby dokonać takiej interpretacji musimy wiedzieć, jakie wyniki uzyskują inne osoby z danej grupy, które badane są tą metodą. Dane te stanowią podstawę opracowania norm pozwalających stwierdzić czy wynik uzyskany przez osobę badaną jest wynikiem wysokim, przeciętnym czy też niskim.

Aby zobrazować znaczenie norm, wyobraźmy sobie, że do badania kompetencji „podejmowanie decyzji” stosujemy test jednokrotnego wyboru, składający się z 50 pytań. Maksymalny wynik, jaki osoba wykonująca test może uzyskać w tym teście to 100 punktów (po 2 pkt za każde pytanie).

Marcin uzyskał 28 punktów (czyli udzielił 28% poprawnych odpowiedzi), zaś Ewa 32 punkty (czyli poprawnie odpowiedziała na 32% pytań). Czy te dwie osoby, które przetestowaliśmy prezentują wystarczający poziom kom-petencji „podejmowanie decyzji”, aby objąć stanowisko menedżerskie, na którym oczekiwany jest co najmniej poziom przeciętny w tym obszarze?

Nawet dysponując informacjami na temat proporcji poprawnych odpo-wiedzi osoby badanej w danym teście, ale nie posiadając tabeli norm, nie możemy zinterpretować w pełni uzyskanego przez tę osobę wyniku. Inaczej bowiem ocenimy wynik Marcina i Ewy, gdy dowiemy się, że średni wynik w tym teście, w reprezentatywnej grupie menedżerów wynosi M = 59,4 a ina-czej, jeżeli średni wynik w tej grupie to M = 30,1 pkt. W pierwszym wariancie zarówno Marcin jak i Ewa wypadli znacznie poniżej przeciętnej, w porówna-niu do grupy menedżerów. Natomiast w drugim scenariuszu wynik Marcina jest nieco poniżej wyniku przeciętnego, zaś wynik Ewy nieco powyżej.

Ale czy te różnice są istotne? I czy wynik Marcina jest istotnie gorszy od wyniku Ewy? Znając średni wynik w grupie porównawczej, dysponuje-my już pewnymi informacjami, aby nadać znaczenie indywidualnym wyni-kom pomiaru. Jednak nie są to dane wystarczające. Do stworzenia tabeli norm brakuje nam jeszcze informacji o tym, jak zróżnicowane są wyniki w grupie odniesienia (w tym przypadku w grupie menedżerów). Miarą zróżnicowania wyników jest odchylenie standardowe (SD) – im wyższe, tym zróżnicowanie wyników w grupie większe. Jeżeli w analizowanym przykładzie odchylenie standardowe wyników w teście na podejmowanie decyzji wynosi SD = 8,7, to różnica pomiędzy wynikami Marcina i Ewy nie

jest znacząca. Natomiast gdyby odchylenie standardowe w tym przypadku wyniosło by SD = 2,5; różnica pomiędzy wynikami obu badanych osób by-łaby bardzo istotna. Na jakiej podstawie można wysnuć takie wnioski?

Rysunek 1. Rozkład normalny badanej zmiennej i orientacyjny procent populacji prezentujący określoną jej wartość

Źródło: opracowanie własne, μ – średnia; σ – odchylenie standardowe.

W normalizacji wyników przyjmujemy, że badana zmienna (np. po-ziom konkretnej kompetencji zawodowej) posiada w populacji rozkład normalny. Oznacza to, że w całej populacji (np. Polaków w wieku produk-cyjnym) istnieje określony odsetek osób o konkretnym poziomie natężenia mierzonej zmiennej. Punktem wyjścia do interpretacji konkretnego rezultatu pomiaru jest wartość średnia, odzwierciedlająca przeciętne nasilenie badanej zmiennej w populacji. Natomiast za jednostkę oddalenia wyniku od średniej najczęściej przyjmuje się jedno odchylenie standardowe.

Przekładając właściwości rozkładu normalnego na wyniki pomiaru kompetencji (np. „podejmowanie decyzji”), z rysunku 1 można odczytać, że niecałe 16% osób prezentuje badaną kompetencję na poziomie wyższym od średniego o co najmniej jedno odchylenie standardowe. Z kolei nieco powyżej 2% osób prezentuje badaną kompetencję na poziomie wyższym od średniego o dwa odchylenia standardowe. Obszar pomiędzy μ – σ (średnia minus jedno odchylenie standardowe) oraz μ + σ (średnia plus jedno odchy-lenie standardowe) wskazuje na wyniki uznawane za przeciętne. Obszar ten obejmuje łącznie nieco ponad 68% wyników.

Wynik standardowy „z”

Normy standardowe powstają poprzez przekształcenie wyniku suro-wego (np. suma punktów uzyskanych w teście na „podejmowanie decyzji”) na wynik standardowy (wynik obliczony wg odpowiedniego wzoru mówią-cy o tym, jak bardzo wynik uzyskany przez osobę badaną odchyla się od wyniku przeciętnego). Wynik standardowy obliczamy zgodnie ze wzorem:

gdzie: z – to wynik standardowy; Xi – to wynik uzyskany; X – to wynik średni.

Ogólnie przyjęta klasyfikacja wyników „z” pozwala na następującą interpretację (por. Hornowska, 2001): –2z i poniżej – wyniki bardzo niskie;

–1z do –2z – wyniki niskie; –1z do +1z – wyniki przeciętne; +1z do +2z – wyniki wysokie; +2z i powyżej – wyniki bardzo wysokie.

Skala wyników „z” jest rzadko wykorzystywana w prezentacji wyni-ków ponieważ w skali tej wartość „0” nie oznacza początku skali (a wartość przeciętną). Dlatego wyniki „z” przekształca się dalej na jedną z bardziej popularnych skal standardowych. Skal tych jest wiele i każda z nich charak-teryzuje się różną ilością przedziałów. Do jednych z najczęściej stosowa-nych w diagnozie indywidualnej skal standardowych, opartych na modelu rozkładu normalnego, należy skala staninowa (wynik w skali staninowej = 2z + 5). Jest to skala 9-punktowa, gdzie wyniki 1, 2 i 3 oznaczają wyniki niskie; 4, 5 i 6 – przeciętne; 7, 8 i 9 – wysokie.

Wracając do przykładu Marcina i Ewy, tabela 11 zawiera podsumo-wanie ich wyników w teście badającym kompetencję „podejmopodsumo-wanie decy-zji” we wszystkich czterech rozważanych wariantach.

Tabela 11. Interpretacja wyników uzyskanych teście w zależności od wyników uzyskanych w grupie odniesienia

M = 59,4 M = 30,1 Wyniki (średnia

i odchylenie standardowe)

dla grupy odniesienia: SD = 8,7 SD = 2,5 SD = 8,7 SD = 2,5

Osoba badana WS z WP z WP z WP z WP

MARCIN 28 -3,61 1 -12,56 1 -0,24 5 -0,84 3

EWA 32 -3,15 1 -10,96 1 0,22 5 0,76 7

Wariant: A B C D

Źródło: opracowanie własne. Legenda: WS – wynik surowy (suma punktów uzyskanych w teście kompetencyjnym z obszaru podejmowania decyzji); z – wynik standardowy; WP – wynik przeliczony (w tym przypadku na skali staninowej, czyli od 1 do 9).

z = xi –s x

Przykład ten pokazuje, jak istotnie zmienia się interpretacja wyniku surowego (sumy punktów uzyskanych w teście kompetencyjnym) w za-leżności od tego, jakie wyniki uzyskują inne osoby (z grupy odniesienia).

Jak widać, tylko w jednym ze scenariuszy (wariant C – stosunkowo niska średnia i wysokie odchylenie standardowe) zarówno Marcin, jak i Ewa spełniają minimalne oczekiwania stawiane na stanowisku (co najmniej przeciętny poziom kompetencji podejmowanie decyzji). Również, tylko w jednym scenariuszu (wariant D – stosunkowo niska średnia i niskie od-chylenie standardowe) Marcin i Ewa istotnie różnią się w zakresie uzyska-nych wyników.

Bardzo ważnym etapem w opracowywaniu norm dla danego narzędzia jest odpowiednie zdefiniowanie grupy odniesienia. Można wyróżnić normy ogólnokrajowe (np. obejmujące populację wszystkich dorosłych Polaków) oraz normy lokalne – (np. dla menedżerów w branży). Specyficznym przy-kładem norm lokalnych są normy obliczone na podstawie wyników uzyska-nych tyko w jednej organizacji (normy wewnątrzorganizacyjne). Wybór grupy odniesienia ma kluczowe znaczenie dla interpretacji wyników. Inne wnioski zostaną wyciągnięte, gdy na wynik konkretnej osoby będzie po-równywany do przeciętnych wyników uzyskiwanych w grupie wszystkich menedżerów, a inne gdy będzie porównywany do wyników w grupie mene-dżerów zatrudnionych w konkretnej organizacji.

Interpretacja wyników zorientowana na kryterium

Warto w tym miejscu podkreślić, że opisywany wyżej normatyw- ny sposób interpretacji wyników pomiaru nie jest jedynym podejściem.

W ocenie kompetencji zawodowych często stosuje się interpretację wy- ników zorientowaną na kryterium – nazywaną również interpretacją zo-rientowaną na standard lub poziom wykonania (por. Hornowska, 2001).

W podejściu tym nie ma znaczenia jak osoba oceniana wypada na tle in-nych. Istotne jest, czy uzyskany wynik jest zgodny z wcześniej ustalonym standardem – wzorcem, który obowiązuje osoby na danym stanowisku, czy też w całej organizacji. W wielu systemach ocen okresowych, czy też procesach Assessment & Development Center wyniki pracowników po-równywane są do kryteriów behawioralnych, opisanych na odpowiednich skalach. W tej sytuacji ważne jest, czy oceniany pracownik spełnia kryte-ria opisane np. na poziomie trzecim na pięciostopniowej skali, a nie jak wiele osób uzyskało wyniki wyższe od tego pracownika. Podejście to jest uzasadnione, gdy (Jurek, 2012b):

 w organizacji posiadamy bardzo dobrze zdefiniowany zakres wymagań;

 istnieją dowody empiryczne, że spełnienie tych wymagań jest niezbędne dla pełnionej roli i realizowanych zadań (zobacz rozdział 9 w części po-święconej trafności profilu kompetencji);

 narzędzia oceny kompetencji są poprawnie skonstruowane, tzn., że rze-telnie wskazują stopień spełnienia wymaganych kryteriów.

Pomiar normatywny versus ipsatywny

Drugą alternatywą dla podejścia normatywnego w diagnozie są tzw.

metody ipsatywne, w których punktem odniesienia dla wyniku uzyskanego przez osobę badaną w zakresie jednej kompetencji są wyniki tej osoby, uzy-skane w zakresie innych kompetencji. Nie ma znaczenia, jak osoba wypada na tle grupy, tylko która z badanych kompetencji jest oceniona u niej naj-wyżej (stanowi jej mocną stronę), a która kompetencja oceniana jest u niej najsłabiej. Na przykład w trakcie procesu doradztwa zawodowego istotne może być wskazanie obszarów kompetentnego działania, w których osoba radząca się wypada najlepiej, nawet jeżeli uzyskane przez nią wyniki są przeciętne. Ipsatywne podejście do interpretacji wyników można wykorzy-stywać przede wszystkim w pracy indywidualnej z klientem – choć i tak sposób ten wiąże się z wyraźnymi ograniczeniami. Dobrym rozwiązaniem jest łączenie tego sposobu interpretacji wyników z podejściem normatyw-nym lub zorientowanormatyw-nym na kryterium.