___________________________________________________________________________
O wybranych aspektach i funkcjach ewaluacji.
Próba podejścia pragmatycznego
Natalia Bartosz1), Irina Piróg-Nabokowa1), Monika Bartosiewicz-Niziołek2), Wioletta Kozak2) 1)
KGHM CUPRUM sp. z o.o. Centrum Badawczo-Rozwojowe, Wrocław, n.bartosz@cuprum.wroc.pl, i.pirog@cuprum.wroc.pl
2)
Polskie Towarzystwo Ewaluacyjne,
monika.bartosiewicz-niziolek@pte.org.pl, wioletta.kozak@pte.org.pl Streszczenie
W artykule przeglądowo omówiono zagadnienia związane z ewaluacją realizowaną w projek-tach przede wszystkim komercyjnych. W prezentowanym ujęciu akcent został położony na kwestie związane z funkcjonowaniem przedsiębiorstw, a dokładniej z ewaluacją jego opty-malnego funkcjonowania. Szczegółowo zostały przedstawione funkcje ewaluacji, a także znaczenie roli zamawiającego i wykonawcy w tym procesie. W kolejnej części artykułu zostało omówione studium przypadku na przykładzie firmy z branży ciepłowniczej wraz z korzyściami dla przedsiębiorstwa wynikającymi z wdrożonej ewaluacji. W artykule przedstawiono również standardy metodologiczne, rekomendowane dla poprawnie prowadzonych działań w ramach ewaluacji. Autorzy artykułu chcą zwrócić uwagę przedsiębiorstw (którym zależy na osiągnię-ciu jak najlepszych rezultatów w prowadzonych projektach) na istotę ewaluacji, która umożliwia wykluczenie działań zbędnych czy nieefektywnych oraz uzupełnienie przedsięwzięć o nowe, pożądane elementy. Ewaluacja nie tylko pomaga zaoszczędzić czasu i pieniędzy, ale również przynosi wiele innych korzyści przedsiębiorstwu oraz ułatwia mu drogę do sukcesu zarówno ekonomicznego jak i społecznego.
Słowa kluczowe: ewaluacja, projekty komercyjne, metodologia
About some aspects and function of evaluation.
Attempt of pragmatic approach
Abstract
This article reviewed by discussing issues related to the evaluation in commercial projects. Especially they are presented in detail functions of the evaluation, and also the important roles’ meaning of contracting authority and a contractor. In the next part of this article has been discussed the case study on the example of the heating sector, along with the benefits for the company resulting from the implemented evaluation. The article also presents methodological standards recommended for correctly conducted operations under the evaluation.
Wstęp
Ewaluacja najprościej i najkrócej rozumiana jest jako określenie wartości czegoś [13], a w naukach społecznych traktowana jako proces badawczy nastawiony na praktykę i polegający na zbieraniu i dokonywaniu syntezy dowodów, który kulminuje się we wnioskach o sytuacji, wartości, jakości, znaczeniu programu, produktu, per-sonelu, polityki, propozycji lub planu [2]. Ewaluacja jest znana na świecie od około stu lat, zaś w naszym kraju pojawiła się w połowie lat 90. Z chwilą przystąpienia Polski do Unii Europejskiej ewaluacja zaczęła się intensywnie rozwijać w związku z realizacją inicjatyw finansowanych w ramach Funduszy Strukturalnych [9]. Zagad-nienie podjęte w artykule dotyczy aktualnego i wciąż wymagającego dyskusji pro-blemu, jakim jest konstruowanie nowoczesnych narzędzi zarządzania różnymi przedsięwzięciami, zarówno o charakterze społecznym (miękkim), jak i infrastruktu-ralnym, zgodnych z wymogami współczesnej metodologii i praktyki oceniania efek-tywności projektów. W tym ujęciu ewaluacja polega na wykorzystaniu różnorodnych metod badawczych (zarówno ilościowych, jak i jakościowych) do gromadzenia rze-telnej i wiarygodnej wiedzy, która umożliwia oszacowanie wartości danego działania (programu/obiektu) za pomocą określonych kryteriów [11]. Ewaluacja, co należy podkreślić, zawsze ma charakter praktyczny, określający wartość merytoryczną projektu i realizację zakładanych celów. Porównanie rezultatów osiągniętych i zakła-danych, analiza innych czynników i uwzględnienie subiektywnych ocen uczestników projektu może dać pełniejszy obraz całości wdrażanego działania.
1. Definicja ewaluacji oraz jej funkcje
Spośród wielu definicji ewaluacji na uwagę zasługuje następująca: Ewaluacja to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć rzetelnych i przydatnych informacji, pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym. Często dotyczy ona procesu określenia wartości lub waż-ności działania, polityki lub programu [11].
Według Polskiego Towarzystwa Ewaluacyjnego (PTE) ewaluacja jest rozumiana jako:
Ocena wartości projektu z zastosowaniem określonych kryteriów, w celu je-go usprawnienia, rozwoju lub lepszeje-go rozumienia.
Zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości projektu przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych. Ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności
pro-jektu w kontekście założonych celów, porównywanie rezultatów propro-jektu ze wstępnymi zamierzeniami [12].
Ewaluacja może być wykorzystywana do różnych celów i w związku z tym pełni różne funkcje [12]. Jej funkcja edukacyjna polega na zbieraniu informacji, służących lepszemu zrozumieniu procesu realizacji danego przedsięwzięcia i dochodzenia do założonych efektów. Dzięki niej można się dowiedzieć, z czego wynikały napotkane w trakcie realizacji trudności, dlaczego pewne działania zakończyły się porażką, a jakie czynniki zdecydowały o sukcesie danego projektu. W tym przypadku ewaluacja służy sformułowaniu wniosków i wykorzystaniu zdobytych doświadczeń, w celu op-tymalizacji działań. Rozwojowa funkcja ewaluacji służy udoskonaleniom – wsparciu
systemu zarządzania, kształtowaniu kolejnych interwencji w taki sposób, by lepiej odpowiadały potrzebom i oczekiwaniom osób, do których są skierowane, podejmo-waniu jedynie takich działań, które są najbardziej efektywne, czyli zapewniają naj-lepsze rezultaty przy najniższych nakładach. Funkcja ta służy usprawnieniu realiza-cji danego przedsięwzięcia oraz podnoszeniu jego jakości.
Funkcja decyzyjna sprowadza się do wykorzystania zdobytej wiedzy do modyfiko-wania dotychczasowych działań. Zmiany można wprowadzać zarówno w odniesieniu do przedsięwzięć, które są w trakcie realizacji, jak i do nowych, które znajdują się na etapie projektowania lub są planowane w przyszłości. Decyzje podejmowane w opar-ciu o wyniki ewaluacji mogą polegać na zaniechaniu działań, które są nieefektywne lub mało użyteczne dla odbiorców, realizowaniu zadań w inny niż dotychczas sposób lub zastosowaniu nowych rozwiązań, dotychczas niewykorzystywanych.
Kolejna funkcja ewaluacji ma charakter sprawozdawczy, podsumowujący i służy przedstawieniu uzyskanych wyników. Za jej pomocą można dokonać rozliczenia – wykazać, co udało się osiągnąć, a które z zaplanowanych celów nie zostały zreali-zowane oraz wyjaśnić powody tego stanu rzeczy. Dzięki ewaluacji można badać trwałość osiągniętych rezultatów, a także efekty odroczone czy wykraczające poza bezpośrednich odbiorców danych działań.
Funkcja informacyjno-promocyjna wiąże się z rozpowszechnieniem wyników ewaluacji, w celu uzyskania poparcia dla danej inicjatywy oraz zwiększenia wiary-godności i poprawy wizerunku instytucji, która ją realizowała. Z funkcją proceduralną mamy natomiast do czynienia wtedy, gdy ewaluacja jest prowadzona ze względu na wymóg sponsora/fundatora przedsięwzięcia. Należy zwrócić uwagę, że omawiane funkcje trzeba traktować jako łączące się i wchodzące wzajemnie w interakcje, zaś proponowany podział ma na celu zwrócenie uwagi na ich zróżnicowany i szeroki charakter. Warto też zaznaczyć, że poszczególne funkcje ewaluacji, ze względu na swoją uniwersalność, mogą być wykorzystywane w odniesieniu do ewaluacji różno-rodnych rodzajów projektów – zarówno komercyjnych, jak i społecznych czy eduka-cyjnych.
2. Korzyści dla przedsiębiorstw wynikające z ewaluacji
We wszystkich zawodach sprawni, skuteczni menedżerowie i fachowcy, czy są kie-rownikami przedsiębiorstw, czy administratorami w służbie publicznej, czy konsul-tantami w organizacjach, czy politykami, czy związkowcami, muszą nabrać biegłości w sztuce „odczytywania” sytuacji, w których próbują czymś zarządzać czy coś orga-nizować [7]. Zdaniem autora proces nabywania owej biegłości przebiega dwutoro-wo: intuicyjnie (dzięki doświadczeniu i zdolnościom) oraz empirycznie – jako analiza i diagnoza organizacji. Oba te procesy wzajemnie się uzupełniają i dopełniają, two-rząc współczesny paradygmat myślenia o kulturze organizacji, rozumianej jako spo-sób działania oraz predyspozycje do działania pewnymi sposobami [5]. Kultura ta wiąże się ze wszystkimi wymiarami funkcjonowania firmy, w tym ze sferą aksjolo-giczną (wartości), etyczną czy także estetyczną [10]. Każda bowiem organizacja, bez względu na jej szczegółowe sprofilowanie, działa w obszarze ludzkiej aktywno-ści i relacji międzyludzkich, opiera się na zasobach ludzkich, konkretnych osobach z ich bagażem doświadczeń, potrzeb, wartości, postaw, w końcu osobistych intere-sów. Jak zauważa D. Lock [5], kultura wiąże się też z typem organizacji przyjętym w firmie, który umożliwia jej członkom skoordynowanie swoich zachowań z działa-niami innych osób.
Dlatego też w procesie zarządzania organizacjami poszukiwane są odpowiedzi na pytania: Od czego zależy sukces organizacji?, Jak są zorganizowane i
wykorzy-stane zasoby firmy?, Jak organizacja reaguje na zmiany? [8]. Pomocy udzielić może
właśnie ewaluacja, która pozwala na spojrzenie z różnych perspektyw: zewnętrznej i wewnętrznej oraz tworzy nową jakość zarządzania, wynikającą z pełniejszego ro-zumienia samej organizacji i roli w niej poszczególnych pracowników. Powinni oni mieć odpowiedni zakres informacji na temat funkcjonowania swojej organizacji oraz być włączeni w proces podejmowania decyzji. Współczesne procedury ewaluacyjne umożliwiają takie właśnie włączanie szerokich kręgów pracowników i klientów orga-nizacji w procesy decyzyjne. Ewaluacje coraz częściej znacznie wykraczają poza samo zbieranie informacji i danych, stanowiąc punkt wyjścia do negocjacji, dialogu i spotkania [3]. Ewaluacja może więc stać się czynnikiem zmiany społecznej po-przez stymulowanie nowych procedur analizy wewnętrznej organizacji oraz bardziej merytoryczne wspomaganie procedury podejmowania decyzji.
Ewaluacja może też służyć wielu innym, konkretnym celom, w zależności od przyjętych kryteriów szacowania wartości danego przedsięwzięcia, np. określenia stopnia zgodności prowadzanych działań ze strategią przedsiębiorstwa (kryterium trafności), ich dostosowania do potrzeb poszczególnych grup docelowych (kryterium adekwatności), a także przydatności z punktu widzenia odbiorców (kryterium uży-teczności), poziomu realizacji założonych celów (kryterium skuuży-teczności), stosunku poniesionych nakładów do uzyskanych efektów (kryterium efektywności), jak rów-nież ich utrzymywania się w czasie (kryterium trwałości), czy szerszego oddziaływa-nia (kryterium wpływu). Dobór kryteriów ewaluacyjnych jest uzależniony od konkret-nych potrzeb informacyjkonkret-nych przedsiębiorstwa, niemniej jednak, podobnie jak po-szczególne funkcje ewaluacji, kryteria te mają charakter uniwersalny i mogą być wykorzystywane w odniesieniu do różnorodnych przedsięwzięć.
Poza profitami ekonomicznymi, ewaluacja może przynieść przedsiębiorstwu sze-reg innych korzyści, w tym np. [4]:
demokratyzację procesu podejmowania decyzji, skutkującą np. mniejszym oporem wobec wprowadzanych zmian,
inicjowanie dialogu między uczestnikami/interesariuszami ewaluacji, ujawnienie doświadczeń społecznych widzianych ich oczyma,
tworzenie klimatu pobudzającego rozwój indywidualny i organizacyjny, uspołecznienie procesu monitoringu oznaczającego „regularne jakościowe
i ilościowe pomiary lub obserwacje zjawiska (…) przeprowadzane przez z góry określony czas [14]. Tym samym swoista obserwacja zachodzących procesów, refleksja, dotycząc zachodzących zjawisk i działań, stanowiąc podstawę doświadczenia, umożliwia w następnych krokach optymalizację dalszych kroków.
Dzięki ewaluacji wprowadzone są elementy społecznej racjonalności i wrażliwo-ści zarówno w procesie planowania, realizacji, jak i popularyzacji działań. W opinii L. Korporowicz [4], ewaluacja sprzyja również refleksji nad rzeczywistymi celami i wartościami, które leżą u podstaw tych działań w konkretnym środowisku [4].
Poza tymi korzyściami ewaluacja niesie jeszcze inną wartość – nie mniej ważną w kontekście funkcjonowania biznesu – odpowiedzialności za realizowany program lub podejmowane działania. Współczesne korporacje lub instytucje, wdrażające programy społeczne, coraz silniej akcentują swoją odpowiedzialność za efektyw-ność tych działań. Społeczna odpowiedzialefektyw-ność biznesu (CSR) staje się nieodłączną cechą nowoczesnej kultury organizacyjnej [1], zaś ewaluacja instrumentem pogłę-biania odpowiedzialności organizacji za swoje działania. Każda organizacja czy
firma, która jest świadoma konieczności ciągłego uczenia się oraz doskonalenia, a także rozumie potrzebę wprowadzania zmian, powinna zdecydować się na prowa-dzenie ewaluacji.
3. Rola zamawiającego i wykonawcy
Ewaluację można prowadzić samodzielnie lub ją zlecić. Powierzenie tego zadania zewnętrznemu wykonawcy nie zwalnia zamawiającego z odpowiedzialności za ja-kość ewaluacji, która w dużej mierze zależy również od kompetencji zlecającego, jak i od jego współdziałania z realizatorem.
Kompetentny zamawiający wie, czemu służy ewaluacja, nie myli jej z kon-trolą, w związku z czym nie ukrywa napotkanych trudności i niepowodzeń, nie oczekuje laurki, ale obiektywnej identyfikacji zarówno mocnych, jak i słabych stron realizowanego przedsięwzięcia, dzięki której możliwe będzie jego do-skonalenie. Świadomość korzyści wynikających z ewaluacji sprawia, że realizuje się ją z autentycznej potrzeby i chęci wprowadzenia zmian, a nie dlatego, że jest to wymagane i traktowane jako powszechnie przyjmowana procedura. Kompetencje po stronie zlecającego służą również nadzorowaniu jakości zleconej ewaluacji. Jeśli zlecający nie będzie wiedział, czego wymagać od wykonawcy (ewaluatora – rozu-mianego jako niezależny podmiot (instytucja) przeprowadzający proces ewaluacji na zlecenie instytucji zarządzającej) [15] – jak powinno wyglądać poprawnie zaprojek-towane i przeprowadzone badanie, analiza danych czy proces wnioskowania, mo-żemy otrzymać zamiast profesjonalnej pracy – rzetelnych wyników, miarodajnych wniosków i użytecznych rekomendacji, lichy, niewiarygodny, powielony produkt – tzw. pseudoewaluację.
Kompetencje wykonawcy są kluczowe dla ewaluacji. Powinien on mieć wiedzę i umiejętności z zakresu badań ewaluacyjnych, znajomość obszaru danego przedsię-wzięcia, a także gotowość do pełnego zaangażowania się w prowadzone prace, w tym również – niejednokrotnie w sposób krytyczny oceniać podejmowane działania.
Współpraca zlecającego z ewaluatorem obejmuje kilka etapów – fazę przygoto-wawczą, wyłonienia wykonawcy, realizacji badania, opracowania raportu, a także rozpowszechnienia wyników [12]. W fazie przygotowawczej, czyli przed przystąpie-niem do ewaluacji, zamawiający powinien oszacować posiadane zasoby – przede wszystkim czas oraz środki finansowe, które może na nią przeznaczyć. Ponadto należy wyznaczyć kompetentne osoby, które określą główne założenia procesu lub wypracują je wspólnie z wykonawcą, będą ściśle z nim współpracować na etapie realizacji badania i odbioru raportu. Od budżetu i czasu realizacji ewaluacji będzie zależał jej zakres, czyli to, jak dużo kwestii obejmie badanie. Częstym błędem za-mawiających jest niedostosowanie tych parametrów do oczekiwań wobec ewaluacji. Na tym etapie zlecający powinien również zebrać tzw. dane zastane, czyli wszelkie materiały potrzebne w prowadzeniu badania – dokumenty towarzyszące realizacji poszczególnych działań, dane z monitoringu, sprawozdania, ekspertyzy, raporty, dane teleadresowe osób, które będą uczestniczyć w badaniu.
W procesie wyłaniania realizatora ewaluacji nie należy kierować się wyłącznie ceną oferowanej usługi. Doświadczenie uczy, że najtańsi wykonawcy, których cena znacznie odbiega od pozostałych oferentów, oszczędzają np. poprzez przerzucanie części obowiązków na zamawiającego, zatrudnianie niedoświadczonych osób czy pobieżne i nierzetelne prowadzenie badań. Dlatego należy punktować również me-rytoryczne aspekty oferty – proponowaną koncepcję oraz dotychczasowe
doświad-czenie (w tym w danym obszarze, najlepiej potwierdzone referencjami). Profesjona-lizm i zaangażowanie wykonawcy stanowią niezbędny warunek udanej ewaluacji.
Na etapie realizacji badania istotne jest zapewnienie ewaluatorowi dostępu do różnorodnych źródeł informacji oraz wspieranie go w prowadzeniu prac badaw-czych. Rolą zamawiającego jest nadzorowanie jakości badania przy jednoczesnym nieingerowaniu w jego wyniki oraz zapewnienie realizatorowi pełnej niezależności i obiektywizmu. Należy zadbać o anonimowość osób badanych i poufność przeka-zywanych informacji. Jedną z zasadniczych wartości ewaluacji jest szczerość – respondenci nie mogą obawiać się konsekwencji ujawnienia swoich opinii.
Forma raportu ewaluacyjnego oraz sposób prezentacji uzyskanych wyników powinny zostać wcześniej ustalone i dostosowane do potrzeb zlecającego. Zama-wiający może zgłosić uwagi do raportu, ale niedopuszczalne jest jego cenzurowanie czy wywieranie presji na ewaluatorze, np. w celu przedstawienia pewnych kwestii w korzystniejszym świetle. Wszelkie zmiany treści raportu muszą być zaakceptowane przez wykonawcę. Tworzenie użytecznych rekomendacji wymaga ścisłej kooperacji, która zapobiega ich formułowaniu przez ewaluatora w sposób zbyt ogólny, nietrafio-ny czy nierealistycznietrafio-ny. Należy też uzgodnić adresatów i terminietrafio-ny realizacji poszcze-gólnych zaleceń.
Precyzyjne określenie roli zamawiającego i wykonawcy są tak samo istotne w procesie ewaluacji, ponieważ ich współdziałanie determinuje jej jakość i przydat-ność.
4. Ewaluacja w projektach komercyjnych – studium przypadku
Jak w sytuacji konkretnej firmy może funkcjonować ewaluacja? Posłużmy się przy-kładem opartym na doświadczeniu jednej z autorek artykułu – przedsiębiorstwa z branży energetyki cieplnej.
Nie jest celem artykułu szczegółowy opis metodologii badania, ze względu na fakt, że każde przedsiębiorstwo i poddane ewaluacji zjawiska czy procesy wymagają zastosowania specyficznych metod ewaluacji. W każdej firmie pakiet narzędzi ewa-luacyjnych powinien zostać dobrany i opracowanym z uwzględnieniem specyfiki przedsiębiorstwa. W omawianym przypadku zarząd przedsiębiorstwa zdecydował się na tego rodzaju badania w sytuacji specyficznej: oto na rynek wchodziły inne, równie atrakcyjne sposoby ogrzewania mieszkań i domów, oparte na nowoczesnych technologiach, co powodowało, że przedsiębiorstwa, które oferowały od dłuższego czasu usługi, zaczęły powoli tracić przewagę jako dostarczyciele ciepła. Dlatego też zarządzający tymi spółkami podjęli decyzję o przeprowadzeniu badań wśród klien-tów i szczegółowej analizie kwestii związanych z zagadnieniami dotyczących jakości świadczonych usług, a także innymi obszarami, przedstawionymi poniżej.
Badaniem zostały objęte następujące obszary stosowanie standardów obsługi klienta:
a) jakość świadczonych usług,
b) system organizacji i zarządzania przedsiębiorstwem. Postawiono następujące pytania badawcze:
I. Jak funkcjonują przyjęte standardy obsługi klienta w następujących obszarach: 1. Zasady generalne
Czy i w jakim stopniu wygląd i zachowanie się pracowników kształtuje wize-runek firmy?
Czy i w jakim stopniu przyjęte standardy obsługi klienta wpływają na pozy-skiwanie nowych klientów i utrzymanie starych?
Czy przyjęty system obsługi klientów jest adekwatny do ich oczekiwań? W jakim stopniu przyjęty system obsługi klienta usprawnia organizację pracy
i przepływ informacji?
2. Strategiczni klienci biznesowi
a) W jakim stopniu standardy obsługi klientów biznesowych spełniają ich ocze-kiwania?
3. Obsługa w zakresie przyłączenia do sieci: a) Jaka jest przyjęta procedura realizacji zlecenia?
b) Czy przyjęte formy dokumentowania ułatwiają proces realizacji zlecenia? c) W jaki sposób prowadzona jest dokumentacja merytoryczna i
organiza-cyjna?
d) Jak przebiega współpraca między poszczególnymi działami?
e) W jakim stopniu informacje przekazywane klientowi są adekwatne do jego potrzeb?
4. System rozliczeń:
a) W jakim stopniu przyjęty system rozliczeń jest dostosowany do potrzeb klientów i możliwości organizacyjnych firmy?
b) Czy przyjęty system dokumentowania rozliczeń jest dla klienta jasny i zro-zumiały (Czy klient wie, za co płaci?).
II. Czy i w jakim stopniu jakość usług zależna jest od motywowania pracowników? III. Jakie czynniki zakłócają prawidłowe funkcjonowanie procesu obsługi klienta? Badanie ewaluacyjne zostało oparte na następujących kryteriach badawczych:
Adekwatność podejmowanych działań do potrzeb klienta. Trafność procedur obsługi klienta.
Stosowalność przyjętych standardów obsługi klienta.
Zgodność realizacji zleceń z przyjętymi procedurami i harmonogramem. Sprawność działań.
Efektywność organizacji firmy. Jakość świadczonych usług.
Istotność wewnętrznego systemu motywacyjnego.
W trakcie ewaluacji badaniu poddano przedstawicieli pracowników na różnych szczeblach organizacji w przedsiębiorstwie (od członków zarządu do szeregowych pracowników), klientów indywidualnych (mieszkańców bloków) oraz klientów komer-cyjnych (firmy) za pomocą różnych metod badawczych: ankiety, wywiadu, obserwa-cji, analizy dokumentów; zastosowano studium przypadku jako metodę syntetyzują-cą i weryfikująsyntetyzują-cą informacje otrzymane z różnych źródeł.
Prezentacja szczegółowych metod oraz ich opis wykracza poza ramy niniejszego opracowania, ze względu na obszerny charakter dokładnie opisanych metod. Zain-teresowanych czytelników zapraszamy do kontaktu. Jednak warto podkreślić, że ze względu na kastomizowany charakter badań, każde przedsiębiorstwo powinno kon-struować autorskie narzędzia, uwzględniające specyfikę metod badawczych wyko-rzystywanych w badaniach ewaluacyjnych.
Demokratyczne ujęcie i kultura organizacji w analizowanym przedsiębiorstwie polegała m.in. na tym, że omówienie wyników ewaluacji odbyło się w trzech gru-pach, reprezentujących różnych przedstawicieli zakładu. Wyniki te posłużyły dyskusji
nad wartością zawartych w raporcie wniosków oraz – wspólnemu z ewaluatorami – wypracowaniu pomysłów na przyszłość. Ciekawym doświadczeniem dla ewaluatora był moment, gdy podczas wspólnej pracy nad rekomendacjami i wdrażaniem wnio-sków, jeden z członków zarządu na przedstawione przez zwykłego pracownika cie-kawe rozwiązania zapytał: Dlaczego pan o tym do tej pory nie mówił? – na co pra-cownik odpowiedział: – Bo mnie nikt o to nie pytał.
Ta ewaluacja pokazała, że współudział zwykłych pracowników w budowaniu marki firmy jest nie do przecenienia, zaś umiejętnie prowadzony dialog poprawia jakość organizacji.
5. Istota poprawności metodologicznej badań ewaluacyjnych
Proces ewaluacji powinien być nieodłącznym elementem działań kierowanych nie tylko do konsumentów, ale i pracowników. W tym miejscu warto zwrócić uwagę na poprawność metodologiczną planowanej ewaluacji, a także sam sposób jej prowa-dzenia. Ma to szczególne znaczenie w przypadku projektów finansowanych przez samą firmę, w których ewaluacja realizowana przez zewnętrzne podmioty zwiększa poczucie bezpieczeństwa uczestników tego procesu, a tym samym wpływa na efekt końcowy, zwiększając rzetelność i obiektywność uzyskanych wyników.
W ramach programu wspierania aktywności fizycznej „Bądź zdrowy z wyboru” [6], KGHM Cuprum spółka z o.o. – Centrum Badawczo-Rozwojowe podjęło ewalua-cję, umożliwiającą ocenę wartości merytorycznej prowadzonych działań. Cuprum CBR uznało, że tego typu prace umożliwią ciągłe doskonalenie programu, poprawę jego efektów oraz stały rozwój. Kompletowanie oraz bieżąca analiza wyników badań ewaluacyjnych pozwalała na szybką i trafną interpretację zachodzących procesów.
Kompleksowe podejście było niezwykle istotne, ze względu na to, że program był szeroko zakrojony i obejmował niemalże 100 osób. Jego założenia opierały się na działaniach skierowanych do wewnątrz firmy, czyli były zaprojektowane dla osób zatrudnionych w szkodliwych warunkach. Wyspecjalizowana kadra przeanalizowała potrzeby i możliwości pracowników oraz ich oczekiwania w obszarze profilaktyki zdrowotnej. Starano się stworzyć kastomizowany model pilotażowego programu profilaktycznego dla osób zatrudnionych w O/ZG „Rudna”. Zaspokojenie potrzeb uczestników oraz uzyskanie jak najlepszych rezultatów, które pozwolą na podnie-sienie jakości życia, było kwestią priorytetową. KGHM Cuprum zdecydowało się zaplanować i przeprowadzić ewaluację w taki sposób, aby obejmowała ona działa-nia związane z każdym etapem projektu, co zostało zilustrowane poniżej (rys. 1).
Rys. 1. Schemat prowadzenia ewaluacji (opracowanie własne na podstawie [12]) Dzięki tak zaplanowanemu procesowi ewaluacji można zdiagnozować obszary, w których rezultaty nie są zadowalające, a także w łatwy sposób reagować na wszelkie niedociągnięcia, przyczyniając się do szybkiej poprawy aspektów, które są znaczące dla zainteresowanych. Często nawet małe modyfikacje, takie jak np. zmiana miejsca ćwiczeń, przesunięcie godzin lub dni warsztatów czy sposób komu-nikacji o zachodzących zmianach, mają duży wpływ na sukces całości programu.
Ważną kwestią pozostaje współpraca pomiędzy wykonawcą a zamawiającym w trakcie całego procesu ewaluacji. Celem obu stron – wykonawcy i zamawiającego – powinno być dobro projektu, a w tym przypadku uczestnika programu. Zrozumie-nie deficytów, ewentualnych błędów i Zrozumie-niedociągnięć, a także formułowaZrozumie-nie wniosków i rekomendacji oraz bieżące ich wdrażanie, może przesądzić o wyniku realizowane-go przedsięwzięcia. Nie do przecenienia jest tu obiektywne spojrzenie z zewnątrz na dane zagadnienie – bez tego typu perspektywy trudno byłoby odkryć niektóre błęd-ne założenia czy sformułować poprawbłęd-ne wnioski, a rzetelna ocena efektywności, skuteczności czy trafności programu byłaby wówczas bardzo utrudniona.
Podsumowanie
Każda firma dążąca do osiągnięcia optymalnych efektów, powinna rozważyć wdro-żenie ewaluacji prowadzonej zgodnie ze standardami etycznymi i metodologicznymi, która pozwoli zidentyfikować działania pożądane czy najbardziej efektywne oraz wyeliminować zbędne. Przystępując do realizacji projektu, zakładamy osiągnięcie konkretnego celu, lecz niekiedy okazuje się, że jego osiągnięcie nie jest możliwe.
Ewaluacja ex-ante
- realizowana przed rozpoczęciem właściwych działań - pozwala na ocenę ich
trafności Ewalaucja mid-term - realizowana podczas trwania programu - pozwala ocenić poszczególne etapy procesu osiągania rezultatów Ewalaucja ex-post - realizowana po zakończeniu programu - pozwala na ocenę stopnia realizacji zakładanych celów i ocenę końcową rezultatów
Należy zatem zwrócić uwagę na czynniki, ułatwiające prawidłową realizację działań, jak również te, które utrudniają osiągnięcie założonego celu i rezultatów. Warto pamiętać, że skuteczność programów zależy od wielu czynników, które nie zawsze dają się przewidzieć w ramach potencjalnego ryzyka. Ich kontrola, szczególnie w przypadku tzw. czynnika ludzkiego, również będzie ograniczona, dlatego dla optymalizacji na-kładów związanych z projektem warto zainwestować w proces ewaluacji na wszyst-kich etapach prowadzonych działań. Poza monitoringiem zaplanowanych wskaźni-ków, ewaluacja pomoże w efektywniejszym zarządzaniu projektem, a także zmini-malizuje koszty ekonomiczne przy planowaniu inicjatyw o podobnych założeniach. Ważne, żeby takie prace były przemyślane i prowadzone zgodnie z zasadami meto-dologii badań społecznych, dzięki czemu przyniosą wiarygodne i rzetelne rezultaty o charakterze praktycznym, które będzie można wykorzystać w przyszłych projektach. Warto pamiętać o włączeniu ewaluacji na etapie przygotowawczym danego pro-gramu, ponieważ zbieranie danych i opinii uczestników prowadzonych działań oraz analiza tego materiału stanowi dobry fundament do kompleksowego poznania i oczekiwań ich odbiorców.
Skuteczność i jakość realizowanych programów czy projektów, w tym również komercyjnych, finansowanych przez przedsiębiorstwo, zależna jest od wielu czynni-ków. Dzięki ewaluacji można ocenić dane przedsięwzięcie na bazie wybranych kry-teriów oraz wprowadzać modyfikacje udoskonalające prowadzone działania.
Bibliografia
[1] Drucker P.F, 1999, Społeczeństwo pokapitalistyczne, Wydawnictwo Naukowe PWN, Warszawa.
[2] Fournier D.M., 2005, Evaluation, w: Encyclopedia of evaluation. Sage, ed. S. Mathison, Thousand Oaks, Calif., London, s. 139.
[3] Korporowicz L., 2000, Nowe twarze ewaluacji; w kierunku interwencji, analizy czy in-spiracji s.73-80, w: J. Kubin, J. Kwaśniewski (red.) Socjotechnika: kontrowersje, roz-wój, perspektywy, UW, IPSiR.
[4] Korporowicz, L., 2001. Rozumienie ewaluacji: Historia, która ma przyszłość, w: J.Ł. Grzelak, M.J. Sochocki (red.). Ewaluacja profilaktyki problemów dzieci i mło-dzieży. Warszawa: Pracownia Profilaktyki Problemowej, s.101-116.
[5] Lock D., 2002, Podręcznik zarządzania jakością, Wydawnictwo Naukowe PWN, Warszawa, s. 48.
[6] Materiały wewnętrzne KGHM Cuprum spółka z o.o. – Centrum Badawczo- -Rozwojowe wg projektu zrealizowanego dla KGHM Polska Miedź S.A. Zakładu Górniczego „Rudna” pt. „Opracowanie modelowej koncepcji programu pilotażowego profilaktyki zdrowotnej pracowników zatrudnionych w trudnych warunkach pracy – na przykładzie pracowników O/ZG „Rudna” – 11.2013 – 12.2014 r.
[7] Morgan, G., 2002, Obrazy organizacji, Wydawnictwo Naukowe PWN, Warszawa, s. 9. [8] Obłój K., 2010, Pasja i dyscyplina strategii, Wydawnictwo Poltex, Warszawa, s. 19. [9] Rozporządzenie Parlamentu Europejskiego i Rady (UE) NR 1303/2013 z dnia 17
grudnia 2013 r. ustanawiające wspólne przepisy dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójno-ści, Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich oraz Europejskiego Funduszu Morskiego i Rybackiego oraz ustanawiające przepisy ogól-ne dotyczące Europejskiego Funduszu Rozwoju Regionalogól-nego, Europejskiego Fun-duszu Społecznego, FunFun-duszu Spójności i Europejskiego FunFun-duszu Morskiego i Ry-backiego oraz uchylające rozporządzenie Rady (WE) nr 1083/2006.
Netografia
1. Coleman J. 6 składowych wyższej kultury organizacyjnej http://www.hbrp.pl/news.php?id=1026) 2. http://ewalaucja.gov.pl 3. http://pte.org.pl/o-ewaluacji/ 4. http://sjp.pwn.pl/szukaj/ewaluacja-.html 5. http://synonimy.proffnet.com/monitoring.html 6. http://tech.money.pl/przemysl/slownik-pojec-ue/ewaluator-evaluator-447460.html
