Behawioralne skale obserwacyjne

Behawioralne skale obserwacyjne, nazywane również behawioralnymi zakotwiczonymi skalami szacunkowymi (ang. Behaviorally Anchored Ra-ting Scales) – w skrócie BARS – zbudowane są z opisów krańców skali, które odnoszą się do skrajnie negatywnych i skrajnie pozytywnych (ideal-nych) zachowań, niemal niespotykanych w codziennej pracy. Zakotwiczenie może odnosić się również do opisów zachowań charakteryzujących pośred-nie wartości skali. Tak szczegółowe rozpisapośred-nie charakterystyki poszcze- gólnych punktów skali ma na celu zminimalizowanie subiektywizmu osób dokonujących oceny. Wykorzystywane w praktyce narzędzia różnią się szczegółowością opisów. Tabela 16 zawiera przykład skali, w której rozpi-sano co drugi punkt. Kategorie odpowiedzi, które są nieopisane oznaczają oceny pośrednie (pomiędzy sąsiadującymi opisami). W praktyce zaznacza się je wówczas, gdy oceniana osoba w różnych sytuacjach zachowuje się na różnym poziomie.

Tabela 16. Przykład behawioralnej skali obserwacyjnej typu BARS, z opisanymi wybranymi kategoriami odpowiedzi

Źródło: Kostera M. (1997), Zarządzanie personelem…

Przykładem behawioralnych skal obserwacyjnych z zakotwiczeniem wybranych kategorii odpowiedzi jest również Katalog Kompetentnego Działania znajdujący się w załączniku 3. Fragment tego narzędzia zawiera tabela 17.

Tabela 17. Fragment behawioralnej skali obserwacyjnej A1. KOMUNIKOWANIE I PRZEKONYWANIE

Przekazywanie innym informacji oraz przekonywanie innych do własnego stanowiska.

WSKAŹNIKI SKALA OCENY

1 2 3 4 5 6 7 8 9

Lp. Nazwa

poziom niski poziom przeciętny poziom wysoki 1 się głównie w zakresie swojej specjalizacji.

Prezentując opinię zwraca uwagę, że jest to jego własne zdanie.

Z dużą pewnością tematy z obszaru jego specjalizacji.

Źródło: Jurek P., Olech M., Katalog Kompetentnego Działania – Obszar Społeczny.

W załączonych narzędziach zastosowano dziewięciopunktową skalę oceny (od 1 – poziom bardzo niski do 9 – poziom bardzo wysoki), ale tylko trzy punkty skali opisano w kategoriach zachowań (punkty: 2, 5 oraz 8 – czyli środkowe wartości trzech przedziałów skali: niski, przeciętny, wyso-ki). Rozwiązanie takie pozwala na pewną swobodę w interpretacji

poszcze-gólnych punktów skali, co może narażać wyniki oceny na zniekształcenia.

Z drugiej strony umieszczenie opisów zachowań dla trzech poziomów po-zwala na wyraźne ich rozróżnienie, co ułatwia obserwację osób w trakcie realizacji zadań. Ponadto przy tak rozbudowanej strukturze kompetencji (każda kompetencja składa się z kilku wskaźników) ograniczenie opisów do trzech poziomów jest wymogiem praktycznym.

Nieco innym wariantem behawioralnej skali obserwacyjnej jest rozpi-sanie zachowań charakterystycznych dla każdego poziomu oceny. Przykła-dem jest narzędzie zastosowane w ocenie pracowników w firmie Polifarb Cieszyn – Wrocław S.A. (por. tabela 18).

Tabela 18. Fragment formularza oceny kompetencji „Zarządzanie ludźmi”

stosowanego w Polifarb Cieszyn – Wrocław S.A.

Poziomy oceny – typowe zachowania ZARZĄDZANIE

Poziomy oceny – typowe zachowania

Źródło: Sobolewska D., Zagrabska A. (2007), Ocena zmienia kulturę…

Narzędzie zamieszczone w tabeli 18 różni się od załączonego w Kata-logu Kompetentnego Działania (por. tabela 17) następującymi aspektami:

zawiera mniej poziomów skali (4); zawiera opisy zachowań charaktery-stycznych dla wszystkich punktów skali oraz inaczej podkreśla różnice po-między kolejnymi poziomami opanowania kompetencji. W przykładzie z tabeli 18 zastosowano elementy tzw. skali addytywnej. Skala addytywna polega na dodawaniu do kolejnych poziomów kompetentnego działania po-zytywnych zachowań, które nie pojawiły się na wcześniejszych poziomach.

Jednocześnie dalsze poziomy zawierają w sobie wszystkie pozytywne za-chowania z poziomów poprzednich. Doskonale widać to we wskaźniku

„Ocenianie podwładnych”: na poziomie 2 osoba „różnicuje oceny w zespo-le”; na poziomie 3 dodatkowo „motywując najlepszych i rozwijając pra-cowników słabych”; podczas gdy na poziomie 4 dodatkowo „jest mentorem i coachem w organizacji”. W przypadku skal z Katalogu Kompetentnego Działania różnicowanie kolejnych poziomów opiera się na następujących charakterystykach: 1) liczba popełnianych błędów; 2) waga popełnianych błędów/przejawianych trudności oraz 3) trudność i złożoność zadania/

sytuacji. Sam rdzeń zachowania nie zmienia się.

Porównując zamieszczone powyżej przykłady behawioralnych skal obserwacyjnych, można dostrzec, że poziom szczegółowości opisów za-chowań, a także szerokość definicyjna ocenianych aspektów (kompetencji

lub wskaźników danych kompetencji) mogą być bardzo różne. Można przy-jąć, że im bardziej dokładne opisy zachowań, odwołujące się do przykłado-wych sytuacji, tym oceny dokonywane na ich podstawie będą zawierały mniej subiektywnych elementów. Niewątpliwą zaletą skal behawioralnych jest ich funkcja rozwojowa. W oparciu o wyniki oceny dokonanej z wyko-rzystaniem skali obserwacyjnej łatwiej jest udzielić osobie ocenianej rzetel-nych informacji zwrotrzetel-nych. Narzędzia te zawierają opisy zachowań, które można odnieść do konkretnych doświadczeń ocenianych osób.

W efekcie badania z wykorzystaniem behawioralnej skali obserwa-cyjnej uzyskujemy ocenę ogólną kompetencji, która jest średnią lub domi-nantą (w zależności od podejścia) obliczoną z wartości przypisanych do wszystkich wskaźników składających się na daną kompetencję. W przy-padku metod oceny, w których pracownik oceniany jest przez kilka osób lub kilka grup osób, ocenę ogólną danej kompetencji otrzymujemy po-przez uśrednienie ocen obliczonych dla poszczególnych źródeł (zob. Filip-kowska, Jurek, Molenda, 2004; Jurek, 2006). Dzięki uśrednieniu skala obserwacyjna, dostarcza nam wyniki liczbowe w przedziale skali stosowa-nej w ocenie (np. od 1 do 9). Wynik ten orientacyjnie odpowiada miejscu, jakie oceniony pracownik zajmuje na skali rozwoju kompetencji. Wynik ten, w przeciwieństwie do kwestionariuszy i testów, nie jest odnoszony do tabeli norm, tylko od razu podlega interpretacji w kategoriach zachowań opisanych w skalach.

Badania porównawcze z wykorzystaniem zarówno kwestionariuszy jak i skal obserwacyjnych nie ujawniają różnic pomiędzy właściwościami psychometrycznymi, które można przypisać samej konstrukcji narzędzia.

W eksperymencie, w którym uczestnicy (N = 60) dokonywali oceny kompe-tencji „komunikatywność”⁴ dwóch bohaterów kilkuminutowych filmów, wykorzystując do tego dwa niezależne narzędzia (kwestionariusz i skala obserwacyjna), nie odnotowano istotnych różnic w zakresie rzetelności obu narzędzi (por. tabela 19).

4 W kompetencji komunikatywność badane były następujące aspekty: (1) precyzyjność w wypo-wiadaniu się; (2) aktywne słuchanie; (3) upewnianie się, czy jest się dobrze rozumianym; (4) pre-zentowanie swojego zdania; (5) wspieranie przekazu odpowiednią „mową ciała”.

Tabela 19. Porównanie właściwości psychometrycznych kwestionariusza oraz skali obserwacyjnej na przykładzie oceny kompetencji komunikatywność Analizowany parametr Kwestionariusz Skala obserwacyjna

α Cronbacha 0,926 0,903

Moc dyskryminacyjna pozycji od 0,82 do 0,95 od 0,82 do 0,91

Wariancja wyników ocen 1,236 1,122

Rozstęp ocen (różnica pomiędzy

oceną najniższą, a najwyższą) 3,4 3,55

Korelacja pomiędzy ocenami

(r Pearsona) r = 0,89 (p < 0,01)

Źródło: Jurek P. (2008), Ewaluacja wybranych narzędzi i metod…

Zarówno w przypadku kwestionariusza wykorzystanego w badaniu, jak i behawioralnej skali obserwacyjnej uzyskano bardzo satysfakcjonujące wskaźniki zgodności wewnętrznej testów oraz mocy dyskryminacyjnej po-zycji testowych. Wysoka korelacja pomiędzy wynikami uzyskanymi przy wykorzystaniu obu narzędzi pozwala przyjąć, że dostarczają one wyników oceny w zakresie tego samego kryterium.

Oceny dokonywane za pomocą obu narzędzi były analizowane rów-nież pod kątem ich trafności. Trafność oceny została obliczona na podstawie odchylenia oceny dokonanej przez uczestnika badania od oceny ekspertów (specjalistów z dziedziny komunikacji) – im większa różnica tym niższa trafność. Wyniki porównania wskazują, że nie ma różnic pomiędzy trafno-ścią ocen dokonywanych za pomocą kwestionariusza (średnie odchylenie od oceny ekspertów = 0,44), a trafnością ocen dokonywanych w oparciu o ska-le obserwacyjne (średnie odchyska-lenie od ocen ekspertów = 0,41). Różnica nie jest istotna również na poziomie statystycznym (Jurek, 2008).

Przy braku różnic pomiędzy kwestionariuszem i skalą obserwacyjną w zakresie podstawowych właściwości psychometrycznych (rzetelność, traf-ność), o wyborze konkretnego narzędzia decydują jego walory praktyczne.

Zaletą kwestionariuszy jest możliwość ich normalizowania. Przewagą tych narzędzi jest też krótszy – w porównaniu do skal obserwacyjnych – czas wypełniania. Natomiast zaletą skal obserwacyjnych jest możliwość ich za-stosowania w pracy nad rozwojem osoby ocenianej. Proces oceny z wyko-rzystaniem skal obserwacyjnych jest też bardziej transparentny – ocenie podlegają szczegółowo opisane zachowania wskazujące na ostateczny wy-nik pomiaru kompetencji, ponieważ dokonywane oceny nie zostają prze-kształcane.