Kwestionariusz oceny kompetentnego działania

Kwestionariusz jest jednym z najbardziej powszechnych narzędzi psychometrycznych. Najczęściej konstruuje się je w celu diagnozy osobo-wości, postaw lub innych zmiennych psychologicznych, których pomiar dokonywany jest w ramach badań (np. poziomu stresu, lęku, satysfakcji).

Istnieje kilka rodzajów kwestionariuszy różniących się konstrukcją pozycji testowych, sposobem udzielania odpowiedzi oraz obliczania wyników (por.

Zawadzki, 2006).

Kwestionariusze wykorzystywane w ocenie kompetencji zawodowych najczęściej mają taką samą postać jak popularne kwestionariusze do badania osobowości. Specyfika dotyczy treści pozycji oraz skali oceny. Przykłado-we kPrzykłado-westionariusze pozwalające na ocenę kompetencji zostały zamieszczo-ne w formie załączników w niniejszej publikacji (zob. Załącznik 3). Frag-ment jednego z nich zawiera tabela 15.

Tabela 15. Fragment kwestionariusza samooceny kompetencji Instrukcja:

Kwestionariusz składa się z 20 stwierdzeń opisujących sposób, w jaki można zachowy-wać się w pracy. Przy każdym stwierdzeniu zaznacz na pięciostopniowej skali, jak czę-sto tak właśnie się zachowujesz. Odpowiadając uwzględnij wyłącznie Twoje zachowanie w sytuacjach zawodowych. Poszczególne poziomy skali oznaczają:

1 – Nigdy, 2 – Rzadko, 3 – Czasami, 4 – Często, 5 – Zawsze.

Ważne jest, aby Twoje odpowiedzi były zgodne z tym, jak w rzeczywistości zachowu-jesz się, a nie jak powinieneś/aś lub chciałbyś/aś się zachowywać.

Stwierdzenia:

Twoje odpowiedzi

Lp. Opis zachowania

nigdy rzadko czasami często zawsze

1 Szybko dostosowuję swoje zachowanie do

zmieniającej się sytuacji. 1 2 3 4 5

2 Tak długo szukam rozwiązania, aż znajdę takie,

które spełni ustalone oczekiwania. 1 2 3 4 5

3 Unikam niestandardowych i niesprawdzonych

rozwiązań. 1 2 3 4 5

Źródło: Jurek P., Olech M., Kwestionariusz Kompetentnego Działania – Obszar Osobisty i Organiza-cyjny.

Zgodnie z instrukcją do tego kwestionariusza, zadaniem osoby bada-nej jest oszacowanie przy każdym opisie zachowania, jak często zachowanie to pojawia się codziennej pracy. W przypadku kwestionariuszy stosowanych w ocenie 180 i 360 stopni, a także podczas obserwacji uczestniczącej, in-strukcja zawiera polecenie oszacowania tego, jak często dane zachowanie jest obserwowane u osoby ocenianej. Skala odpowiedzi zawiera pięć kate-gorii opisujących częstość występowania danego zachowania. Skala często-ści nie jest jedyną możliwą do zastosowania w ocenie kompetencji. Innymi skalami oceny, najczęściej stosowanymi w kwestionariuszach tego typu są:

 skala postaw/opinii: 1 – zdecydowanie nie zgadzam się; 2 – raczej się nie zgadzam; 3 – i tak, i nie; 4 – raczej się zgadzam; 5 – zdecydowanie się zgadzam.

 skala opisowa: 1 – stwierdzenie zdecydowanie nie opisuje mojego/jego zachowania; 2 – raczej nie opisuje mojego/jego zachowania; 3 – nie je-stem w stanie zdecydować, czy dane stwierdzenie opisuje moje/jego za-chowanie; 4 – raczej opisuje moje/jego zaza-chowanie; 5 – zdecydowanie opisuje moje/jego zachowanie.

 skala rozwoju kompetencji: 1 – niski; 2 – podstawowy; 3 – dobry;

4 – zaawansowany; 5 – wybitny.

 skala spełnienia oczekiwań: 1 – zdecydowanie poniżej oczekiwań;

2 – poniżej oczekiwań; 3 – zgodny z oczekiwaniami; 4 – powyżej ocze-kiwań; 5 – zdecydowanie powyżej oczekiwań. Jest to skala relatywna, zawiera bowiem informacje o oczekiwanym poziomie zachowania.

Relatywizm skali obniża obiektywność szacunków.

Warto podkreślić, że w arkuszach oceny nie trzeba umieszczać cyfr odpowiadających konkretnym opisom. Szczególnie wówczas, gdy zachodzi obawa, że skala zostanie utożsamiona ze skalą szkolną lub inną powszech-nie stosowaną w danym środowisku. Wówczas przy każdym stwierdzeniu zamieszcza się wyłącznie kategorie opisowe, którym dopiero przy zliczaniu wyników nadaje się odpowiednie wartości liczbowe.

Podane wyżej przykłady kategorii odpowiedzi na stwierdzenia zawar-te w kwestionariuszu zawierają po pięć opcji. Niekiedy rekomendowane są również skale z sześcioma i siedmioma kategoriami, rzadziej z większą liczbą odpowiedzi. W metodologii badań społecznych od lat istnieje dysku-sja na temat wad i zalet skal parzystych oraz nieparzystych, a także nad optymalną ich długością. Wybór skal ma wpływ na przebieg badania, ale również na właściwości psychometryczne narzędzia.

Istnieje wiele publikacji szczegółowo prezentujących krok po kroku procedury tworzenia kwestionariuszy (np. Guilford, 1954; Anastasi, Urbina, 1999; Hornowska, 2001; Shaughnessy, Zechmeister, Zechmeister, 2002;

Brzeziński, 2003; Zawadzki, 2006). W kontekście oceny kompetencji moż-na wyróżnić moż-następujące etapy konstruowania kwestiomoż-nariuszy:

 Etap 1. Definiowanie kryterium oceny – wybór modelu kompetencji.

Jest to etap, który może przysparzać autorom kwestionariuszy mających badać kompetencje zawodowe najwięcej trudności. W literaturze, jak i praktyce biznesowej nie ma zgody co do liczby, definicji i zakresu kompetencji (zob. rozdział 2). Oczywiście zdarzają się wyjątki, np.

w przypadku teorii kompetencji społecznych – te jednak rzadko wyczer-pują zapotrzebowanie w zakresie oceny i rozwoju zachowań pracowni-ków. Uwzględniając wspomniane tu trudności, celem tego etapu jest stworzenie lub odwołanie się do modelu teoretycznego. Etap ten powi-nien odpowiadać również na pytania praktyczne: jakich informacji o przyszłych osobach badanych potrzebujemy, co tak naprawdę chcemy zbadać? Warto w tym miejscu dodać, że rozwiązaniem dla tego typu trudności jest odejście w tworzeniu narzędzi psychometrycznych od strategii teoretycznej (dedukcyjnej) i przyjęcie strategii wewnętrznej (indukcyjnej) (zob. Zawadzki, 2006). Ten drugi sposób postępowania zakłada możliwość wyjścia od puli wskaźników (zachowań), jakie chce się badać. W przypadku kompetencji wygląda to tak, że mamy pulę za-chowań, na których ocenie nam zależy, nie wiemy jednak ile kompeten-cji zachowania te opisują. Praca nad narzędziem pozwala na uzyskanie odpowiedzi na to pytanie. Podejście to jest uznawane przez praktyków za bardziej użyteczne i przez to chętniej stosowane w praktyce tworze-nia narzędzi oceny.

 Etap 2. Wybór typu kwestionariusza. Na tym etapie należy zdecydo-wać jaką formę przyjmie badanie i wykorzystywane w nim narzędzie.

Znaczenie ma np. treść instrukcji (inna dla kwestionariuszy samooceny, inna dla oceny dokonywanej przez inne osoby), a także rodzaj, długość i forma graficzna skali odpowiedzi.

 Etap 3. Opracowanie pozycji testowych – stwierdzeń opisujących konkretne zachowania. Wybór typu kwestionariusza pociąga za sobą wytyczne dotyczące pracy nad pozycjami testowymi. W przypadku skal standardowych, autorzy przygotowują wstępną pulę opisów zachowań świadczących o posiadaniu danej kompetencji. Stwierdzenia te powinny wyczerpywać definicję danej kompetencji. Dodatkowo pozycje

kwe-stionariusza powinny odwoływać się do różnych poziomów trudności.

Ostatnim krokiem jest ocena formalnych właściwości stwierdzeń (ich zrozumiałość, poprawność językowa, jasność i precyzyjność sformuło-wań). Wstępna pula pozycji już na tym etapie może zostać poddana we-ryfikacji pod względem trafności, np. przez badanie metodą sędziów kompetentnych.

 Etap 4. Opracowane eksperymentalnej wersji kwestionariusza. Już na etapie wersji eksperymentalnej należy ustalić kolejność pozycji w kwestionariuszu, klucz, formę graficzną arkuszy testowych i arkuszy odpowiedzi, instrukcje dla osób badanych i osób przeprowadzających badanie.

 Etap 5. Przeprowadzanie badania pilotażowego i analiza właściwo-ści psychometrycznych pozycji testowych. Wyniki badań pilotażo-wych, dzięki przeprowadzonym analizom psychometrycznym, dostar-czają wskazówek do budowy ostatecznej wersji narzędzia. W badaniu pilotażowym autorzy powinni uwzględnić reprezentatywność próby – zarówno w zakresie doboru osób badanych jak i ich liczebności. Do za-kresu analizy psychometrycznej wchodzą metody opisane w rozdziale 3.

Pozwalają one na ocenę właściwości poszczególnych pozycji, a także na obliczenie wskaźników rzetelności i trafności całego narzędzia.

 Etap 6. Naniesienie poprawek i opracowanie procedur stosowania narzędzia. Na tym etapie, w zależności od wyników analiz oraz ilości poprawek, autorzy muszą podjąć decyzję o kontynuowaniu prac (po-przez naniesienie poprawek) lub o rekonstrukcji narzędzia, co skutkuje cofnięciem się nawet do etapu 3.

 Etap 7. Dalsze badania walidacyjne i normalizacyjne. W przypadku kompetencji zawodowych szczególnie istotne jest dostarczenie dalszych wyników potwierdzających trafność diagnostyczną oraz prognostyczną danego kwestionariusza.

W efekcie badania kompetencji za pomocą kwestionariusza uzysku-jemy tzw. wynik surowy. Jest to suma punktów wynikających z udzielonych odpowiedzi. Punktacja odpowiedzi odczytywana jest za pomocą klucza, który zawiera informacje na temat liczby punktów przypisanej konkretnej kategorii. Klucz odpowiedzi zawiera również informacje o tym, które stwierdzenia przypisane są do poszczególnych kompetencji poddanych oce-nie (zob. przykład klucza odpowiedzi w załączniku 4). Wynik surowy zosta-je następnie odniesiony do tabeli norm. Na tej podstawie odczytany zosta-jest tzw.

wynik przeliczony, który podlega interpretacji, a dokładnie wskazuje na poziom rozwoju danej kompetencji. W wielu organizacjach odstępuje się od procedury normalizacji wyników uzyskanych w rezultacie oceny z zastoso-waniem kwestionariuszy. Efektem tego odstępstwa jest wyraźne ogranicze-nie interpretacji wyników (por. rozdział 3).