Polsko-Amery-kańska Szkoła Biznesu w paź-dzierniku tego roku wręczy-ła już po raz osiemnasty swoim absol-wentom ame-rykańskie cer-tyfikaty oraz świadectwa ukończenia studiów podyplomowych. Kie-dy Szkoła zaczynała swoją działalność przed dwunastu laty, wielu sceptyków wró-żyło jej żywot nie dłuższy niż czas finanso-wania jej w ramach grantu USAID (United States Agency of International Develop-ment). Życie jednak pokazało, że była to bardzo pesymistyczna prognoza, która nie spełniła się. Wydaje mi się, że przyczyn tak długiego żywota Szkoły można upatrywać nie tylko w fakcie dużych potrzeb rynko-wych w owym okresie, ale również w cią-głym kontrolowaniu jakości oferowanego produktu.
Założono, że produkt to proces naucza-nia. Może on być postrzegany przez słucha-czy dobrze lub źle. Chcąc ocenić produkt przyjęto, że jego ocenianymi cechami będą: tematyka zajęć, materiały do zajęć, instruk-torzy, metody nauczania.
Szkoła prowadzi zajęcia w formie trzy-dniowych sesji weekendowych. Każda se-sja poświęcona jest odrębnej tematyce. Za-sadniczo tematyka sesji nie ulegała zmianie. W początkowych edycjach Szkoły prowa-dzonych w języku angielskim najpierw tylko przez instruktorów amerykańskich, potem przez amerykańskich i polskich po-ruszano następujące tematy:
• Wprowadzenie do gospodarki rynkowej (elementy makro- i mikroekonomii), • Rachunkowość (sprawozdania finansowe,
rachunkowość zarządcza),
• Finansowe koncepcje dla menedżerów (wartość pieniądza w czasie, efektywność inwestycji),
• Komunikacja w zarządzaniu,
• Zarządzanie w złożonych organizacjach, • Zarządzanie kapitałem ludzkim (HRM), • Marketing,
• Zarządzanie operacyjne, • Zarządzanie strategiczne.
W edycjach polskojęzycznych doda-no sesję
• Wybrane zagadnienia prawne zarządza-nia.
Zajęcia były oceniane przez słuchaczy dwukrotnie: raz bezpośrednio po zakończe-niu sesji (tzw. ocena posesyjna), drugi raz na zakończenie zajęć w Szkole (ocena końco-wa). Ocena posesyjna miała dać możliwość
natychmiastowego wypowiedzenia się słu-chaczy o jakości zajęć prowadzonych w ra-mach sesji. Arkusz oceny został tak zapro-jektowany, by wyrażenie opinii o zajęciach zajęło jak najmniej czasu, ale by równocze-śnie można było wyciągnąć wnioski o tym, jak przebiegały zajęcia. Pytania dotyczące jednego z przykładowych tematów sesji obejmują zarówno sposób przygotowania tematu, jak i sposób prowadzenia zajęć przez instruktora. Ponadto słuchacz może wyrazić swoją opinię wykraczającą poza aspekty poruszane w pytaniach – w części „Inne uwagi”. Ankieta oceny sesji daje po-gląd o opinii słuchaczy formułowanej nie-jako na gorąco, tuż po zakończeniu zajęć. Ponieważ opinie formułowane natychmiast po zajęciach mogą zawierać swego rodza-ju przekłamania (np. słuchacze są zado-woleni, że instruktor skrócił zajęcia, moż-na pójść wcześniej do domu i fakt ten jest w pierwszej chwili postrzegany pozytyw-nie), przeprowadza się ponowną ocenę na
zakończenie całego programu zajęć. Ocena ta obejmuje wszystkie sesje i każda z sesji jest oceniania przez słuchacza pod wzglę-dem jakości materiałów, instruktorów, sto-sowanych metod nauczania oraz ogólnego wrażenia. Ponadto ocenie podlega cały pro-gram Szkoły; słuchacze wskazują najbar-dziej i najmniej przydatne ich zdaniem se-sje; oceniają instruktorów wskazując trzech najlepszych i najgorszych; oceniają Szkołę nie tylko od strony procesu dydaktycznego, ale też od strony organizacyjnej (co było naj-lepsze, co najgorsze). Pewne pytania mają potwierdzić wcześniej wystawione oce-ny oraz pokazać, jakiego produktu (temat, sposób przedstawienia) oczekuje klient. In-formacje uzyskane z ankiety miały pomóc przygotować produkt, jakiego oczekują klienci – potencjalni słuchacze kolejnych edycji Szkoły. Przy konstruowaniu
ankie-ty zwrócono specjalną uwagę na skalę ocen – wprowadzenie ocen literowych (A - bar-dzo dobra, …., E - barbar-dzo zła) zamiast cy-frowych (1-5) było celowe, gdyż ten ostatni sposób oceny poprzez zbytnie skojarzenie z tradycyjnym systemem ocen w szkole (5 - bardzo dobry,…, 2 - niedostateczny) nie spełniał swego zadania.
Ocena każdej sesji była przeprowadzana przez instruktora na koniec zajęć tej sesji. Wyniki były analizowane przez instrukto-rów (a szczególnie instruktora-lidera sesji) i kierownika Szkoły. Wszystkie ankiety są przechowywane wraz z dokumentacją se-sji. Dla instruktorów szczególnie cenne były uwagi i komentarze do sesji.
Ocena końcowa była przeprowadzana przez kierownika Szkoły. Wyniki tej oce-ny były przedyskutowywane z instruktora-mi. Dzięki temu można było dopasowywać program Szkoły do zmieniających się po-trzeb otoczenia, z którego rekrutowali się słuchacze. Zmianie uległa zawartość
niektó-rych sesji, wprowadzono nowe sesje – w stosunku do pierwot-nego programu dodatkowo po-jawiły się sesje z komunikacji społecznej, zarządzania ope-racyjnego i prawnych aspek-tów zarządzania, natomiast zrezygnowano ze wskaza-nych jako najmniej przydat-ne (zachowania konsumenta, marketing eksportu, systemy informatyczne w pracy biuro-wej). Nastąpiły również zmia-ny organizacyjne: zamiast sesji czterodniowych po oko-ło osiem godzin lekcyjnych dziennie, wprowadzono sesje trzydniowe po dziesięć
go-dzin lekcyjnych dziennie. Kolejne zmiany dotyczyły organizacji zajęć – moment roz-poczęcia sesji przesunięto z piątku rano na piątek po południu, by umożliwić uczestnic-two w sesji tym, którzy pracują i nie chcą prosić szefa o wolny dzień lub wcześniej-sze zwolnienie.
Nie ukrywam, że wyniki ankiet były czasa-mi podstawą do trudnych rozmów z wykładow-cami-instruktorami; powtarzająca się negatyw-na ocenegatyw-na instruktora była przyczyną rozstania się z niektórymi z nich. Ostateczną decyzję o wykluczeniu instruktora z zespołu podejmo-wał lider sesji – wykładowca odpowiadający za stronę merytoryczną sesji, dobierający instruk-torów i odpowiadający za jakość sesji.
Kształtowanie się wyników ankiet oce-ny końcowej przedstawiono dla wybraoce-nych edycji Szkoły na wykresach. Przy
opraco-wywaniu wyników przyjęto, że ocenie A odpowiada 5 punktów, ocenie B – 4, oce-nie C – 3, oceoce-nie D – 2 i oceoce-nie E – 1 punkt. Na wykresach pokazano średnią ocenę dla każdego z ocenianych aspektów.
W edycji XII (rys. 1) za najsłabszą uczestnicy uznali sesję z marketingu ocenia-jąc na relatywnie niskim poziomie zarówno metody nauczania, jak i instruktorów. W po-dobnej sytuacji znalazła się sesja z zarządza-nia operacyjnego, jednak wysoko ocenione materiały do tej sesji stawiały ją w lepszej pozycji. Życie pokazało, że wystarczyło wy-mienić jednego z instruktorów w tej sesji, by w kolejnych edycjach Szkoły sesja ta była oceniana jako jedna z najlepszych.
Oprócz analizy ocen sesji danej edy-cji analizowano również zmianę ocen sesji w stosunku do ocen uzyskanych w
poprzed-niej edycji (przykład takiego porównania przedstawiono na rys. 2). Wartości poka-zane na wykresie odzwierciedlają procento-wą zmianę średniej oceny uzyskanej w edy-cji XIII w stosunku do oceny z edyedy-cji XII. Widoczne znaczne pogorszenie oceny sesji z marketingu zaowocowało zmianą wykła-dowcy-lidera sesji.
Generalnie rzecz biorąc sesje Szkoły zostały ocenione przez słuchaczy stosun-kowo wysoko. Pokazany na rys. 3 prze-krój ocen ogólnych sesji dla kilku edycji Szkoły realizowanych w latach 1996 (edy-cja VIII) – 2003 (edy(edy-cja XVIII) 1 wskazu-je, że proces sprawdzania jakości i ciągła poprawa jakości sesji dały efekty; śred-nia ocena wszystkich sesji Szkoły oscy-luje wokół oceny dobrej (niektóre sesje zbliżają się do oceny bardzo dobrej) i
na-wet ocena sesji z marketin-gu po podjęciu odpowied-nich działaniach znacznie się poprawiła.
Przydatność sesji Szko-ły (rys. 4) oceniano na pod-stawie wskazanych trzech najbardziej przydatnych se-sji; za wskazanie sesji na pierwszym miejscu przy-dzielano 3 punkty, za drugie miejsce 2 punkty i za trzecie – 1 punkt. Ocena ostateczna jest procentowym udziałem liczby punktów w stosunku do maksymalnej możliwej do zdobycia liczby punk-tów – taką liczbę punkpunk-tów daje wskazanie sesji przez wszystkich ankietowanych jako najbardziej przydat-nej na pierwszym miejscu. Jak widać, do najbardziej przydatnych, zdaniem słu-Rys.2. Porównanie ocen sesji dla dwu kolejnych edycji Polsko-Amerykańskiej Szkoły Biznesu
Tabela
Edycja XVIII
Najlepsi instruktorzy Najgorsi instruktorzy Wynik
Instruktor I II III TAK I II III NIE
A 0 0 0 B 1 3 2 1 1 9 -6 C 1 1 3 1 1 1 6 -3 D 0 3 5 19 -19 E 1 1 1 6 0 6 F 1 3 9 1 2 1 8 1 G 4 2 1 17 0 17 H 0 6 2 1 23 -23 I 2 1 1 9 0 9 J 2 1 7 0 7 K 1 3 9 0 9 L 1 3 0 3 M 0 0 0 N 0 0 0
chaczy, należą sesje z rachunkowości za-rządczej, finansowych koncepcji dla mena-dżera i zarządzania strategicznego, najmniej przydatna (lub obojętna) okazała się sesja z zagadnień prawnych. Na uwagę zasługuje zmniejszająca się przydatność sesji z wpro-wadzenia do gospodarki rynkowej, sytuację tą można wytłumaczyć wzrastającą świa-domością społeczeństwa i większą znajo-mością zasad gospodarki rynkowej kadry menedżerskiej. W początkowych edycjach sesja ta spełniała bardzo ważną rolę – poka-zywała m.in. zasadę działania giełdy, tłuma-czyła istotę prawa popytu itp., dzisiaj więk-szość osób z wykształceniem wyższym ma podstawowe wiadomości związane z funk-cjonowaniem gospodarki wolnorynkowej – obniżająca się ocena przydatności może być sygnałem do podjęcia działań zmierza-jących do zmiany zawartości tej sesji bądź do zmiany jej tematyki.
Kolejny aspekt oceny procesu nauczania w Szkole to ocena realizatorów tego proce-su nazywanych tu instruktorami. W końco-wej ankiecie słuchacze wskazywali trzech najlepszych i trzech najsłabszych instrukto-rów. Ze względu na obowiązujący na uczel-ni system wynagradzauczel-nia za prowadzeuczel-nie zajęć na studiach podyplomowych (stawki godzinowe w zależności od stopnia nauko-wego) uzyskanie przez instruktora oceny pozytywnej nie mogło znaleźć odzwiercie-dlenia w formie finansowej, jedyną formą wyróżnienia było podanie tego faktu do
wia-domości zespołu wykładowców. Z punktu widzenia kierowania Szkołą i dbania o jej jakość, praktyczną przydatność miały tyl-ko oceny negatywne – uzyskanie oceny ne-gatywnej mogło skutkować wykluczeniem z zespołu wykładowców. Przykładowe wy-niki oceny instruktorów pokazano w tabeli. Liczby pokazują, ilu słuchaczy danego in-struktora wskazało na I, II, lub III miejscu wśród najlepszych i najgorszych. Wynik li-czony jest punktowo: za pierwsze miejsce – 3 punkty, za drugie – 2 punkty, za trzecie – 1 punkt, za najlepsze pozycję punkty do-datnie, za najgorsze pozycje – punkty ujem-ne, wynik jest sumą uzyskanych punktów. Jak widać z tabeli, wśród instruktorów zna-leźli się tacy, którzy byli postrzegani przez słuchaczy bardzo pozytywnie (instruktor G), bardzo negatywnie (instruktorzy D i H) oraz tacy, którzy pozostali „neutralni” (instruk-torzy A, M, N).
Pytania zadawane w ankiecie oceny koń-cowej miały również dostarczyć informacji o spełnieniu (bądź nie) oczekiwań słucha-czy. Jeżeli słuchacz ocenił nawet stosun-kowo nisko sesje, ale Szkoła spełniła jego oczekiwania, to raczej nastawienie słucha-cza było pozytywne. Ważne też dla kierowa-nia Szkołą były informacje o korzyściach, jakich słuchacz doświadczył dzięki uczest-niczeniu w sesjach. Najczęściej wskazywa-ną przez słuchaczy korzyścią było zastoso-wanie w praktyce (w swojej pracy) tego, czego nauczyli się na zajęciach.
Komen-tarzom nieraz towarzyszyło zdziwienie, że „to” naprawdę działa.
Na zakończenie chciałabym podzielić się bardzo osobistą refleksją jako wykła-dowcy, a nie jako kierownika Szkoły. My, wykładowcy, jesteśmy przyzwyczajeni do oceniania studentów. Wiele osób „z tej strony” może obawiać się oceny wysta-wianej przez studenta. Pierwsze doświad-czenia z taką oceną mogą być nawet i bo-lesne. Pamiętam, jak kilkanaście lat temu w ankiecie studenci ocenili mnie jako oso-bę „nieprzystępną”, „ucinającą dyskusje”, itp. – był to prawie szok. Jednak po prze-myśleniu całej sytuacji musiałam im przy-znać rację. Po raz pierwszy prowadziłam zajęcia z nowego przedmiotu, wyznaczy-łam sobie bardzo ambitny (obszerny) pro-gram do realizacji i nie chciałam tracić cza-su na zbędne, moim zdaniem, dyskusje. To powodowało, że jakiekolwiek dyskusje na tematy leżące „tuż obok tematu wykładu“ ucinałam w zarodku w obawie, że nie zdą-żę z materiałem. Studenci w ankietach po-kazali mi, że czasem większą korzyścią dla nich będzie poświęcenie duszego czasu na zgłębienie jednego tematu i poszerzenie go o praktyczne aspekty, aniżeli omówie-nie dwu tematów jedyomówie-nie od strony teore-tycznej. I za to im dziękuję.
1) W okresie 1996-2003 w niektórych latach or-ganizowano dwie edycje Szkoły; jedna z edycji roz-poczynała się w semestrze zimowym, druga w seme-strze letnim danego roku akademickiego.