Wszyscy eksperci potwierdzili hipotezę o kompetencjach cyfrowych jako narzędziu, nie zaś celu interwencji samym w sobie – szkolenia powinny mieć charakter relacyjny, odpowiadając na potrzeby beneficjantów lub nawet je rozbudzając. Zamiast kursu z obsługi edytora Word należy uczyć pisania CV przy jego użyciu, z kolei nabywanie kompetencji w zakresie wykorzystania e-usług trzeba rozpocząć od obsługi konta internetowego czy zakupów online. Oznacza to konieczność uwzględnienia zróżnicowanych potrzeb i ukierunkowanie oferty na redukcję nierówności społecznych oraz budowanie kapitału społecznego i kulturowego.
Storybook Dads
Finansowanie: środki pozyskiwane z grantów oraz dotacje osób prywatnych i firm Zasięg terytorialny: Wielka Brytania
Krótki opis: Projekt jest skierowany do specyficznej grupy odbiorców, mianowicie do rodzin, które zostały rozdzielone z powodu pobytu w więzieniu jednego z rodziców. Destrukcyjny wpływ takiej rozłąki zarówno dla dzieci, jak i dla rodziców stał się inspiracją dla działalności Storybook Dads. Więźniowie są zachęcani do czytania bajek specjalnie dla swoich dzieci, co jest nagrywane i w formie CD lub DVD wysyłane do ich dzieci.
85 płyt z bajkami przez więźniów
Mocne strony: • projekt jest skierowany do grupy zagrożonej wykluczeniem cyfrowym i społecznym, • do nabywania kompetencji cyfrowych motywuje chęć podtrzymania więzi z rodziną, • zaangażowanie w projekt może pomoc zdobyć kwalifikacje przydatne na rynku pracy, • projekt ma bardzo duże znaczenie społeczne,
• formuła projektu powodowała u wszystkich osób biorących udział wzrost świadomości na temat możliwości, jakie stwarzają technologie cyfrowe.
Ryzyka: • nie można przewidzieć, jak duża grupa więźniów zaangażuje się w projekt,
• kompetencje cyfrowe bezpośrednio rozwinięto u stosunkowo niewielkiej grupy osób (500 przeszkolonych więźniów). Źródła: http://www.storybookdads.org.uk/page120.html, http://www.storybookdads.org.uk/Storybook%20Dads%20Annual%20Review%202013.pdf, http://www.theguardian.com/lifeandstyle/2008/nov/01/storybook-dads-soldiers-prison, http://www.insidetime.org/info-help-results.asp?sID=150 http://www.bbc.com/news/uk-england-devon-18578113, http://archive.excellencegateway.org.uk/page.aspx?o=B476636A-C299-46ED-A29E-0BF62ACBFC89, https://akoaotearoa.ac.nz/mi/download/ng/file/group-3300/making-a-difference-in-prison-with-storybook-dads.pdf, http://apps.charitycommission.gov.uk/Showcharity/RegisterOfCharities/CharityWithoutPartB.aspx?RegisteredC harityNumber=1101208&SubsidiaryNumber=0
Storybook Dads – projekt, który doczekał się wielu głosów uznania ze względu na swój wszechstronny dobroczynny wpływ społeczny – jest wynikiem działania organizacji pozarządowej założonej w 2003 roku. Projekt jest skierowany do specyficznej grupy odbiorców, mianowicie do rodzin, które zostały rozdzielone z powodu pobytu w więzieniu jednego z rodziców. Destrukcyjny wpływ takiej rozłąki zarówno dla dzieci, jak i dla rodziców stał się inspiracją dla działalności Storybook Dads. Więźniowie są zachęcani do czytania bajek specjalnie dla swoich dzieci, co jest nagrywane i w formie CD lub DVD wysyłane do ich dzieci. Oprócz niewątpliwej korzyści płynącej z podtrzymywania relacji społecznych, zaletą rozwiązania jest wzrost kompetencji cyfrowych więźniów biorących udział w projekcie. Są oni szkoleni, aby móc przygotowywać nagrania pod względem audiowizualnym, usuwać niepotrzebne fragmenty czy dodawać efekty dźwiękowe. Zyskanie tego rodzaju umiejętności zwiększa ich szanse na uzyskanie zatrudnienia po zwolnieniu z więzienia. W ramach samego projektu Storybook Dads jest już obecnie zatrudnionych siedmiu byłych więźniów. Zasięg działalności Storybook Dads to obecnie ponad 100 zakładów karnych na terenie Wielkiej Brytanii i ponad 200 tysięcy osób biorących corocznie w projekcie. W ramach utworzonej sieci współpracujących placówek więziennych 500 więźniów zostało przeszkolonych, aby poprawiać nagrania i wzbogacać warstwę audiowizualną. Proces ten jest ciągły, aktywność organizacji jest zaś dostosowywana do potrzeb więźniów w poszczególnych placówkach. Finansowanie projektu ma charakter mieszany: według danych za 2013 rok, pozyskano środki w wysokości ponad 208 tysięcy funtów, z czego ponad 80% pochodziło z grantów, a 11% – z darowizn. Sukcesu organizacji dowodzi wiele zdobytych nagród, między innymi TalkTalk Digital Heroes Awards, For Chris Dredger’s work for positive social change w 2011 roku czy European e-inclusion Award – Be a Part of IT (small organisations) for using technology to challenge social exclusion w 2012 roku. Podsumowując projekt Storybook Dads, należy podkreślić, że jest to znakomity przykład zdiagnozowania w grupie zagrożonej wykluczeniem społecznym jednego z jej istotniejszych problemów (zanik relacji rodzinnych) i podjęcie działania, aby za pomocą możliwości technologii cyfrowych rozwiązać ten problem. Kompetencje cyfrowe bezpośrednio rozwinięto u stosunkowo niewielkiej grupy osób (500 przeszkolonych więźniów), ale formuła projektu powodowała u wszystkich osób biorących w nim udział wzrost świadomości na temat możliwości, jakie stwarzają technologie cyfrowe.
Podniesieniu efektywności działań służy, omawiana wcześniej, analiza motywacji do uczestnictwa: dla osób niepełnosprawnych może nią być wyjście z domu, dla seniorów – nadążanie za tendencjami, dla osób młodszych – możliwość atrakcyjnego zagospodarowania wolnego czasu, dla animatorów – przetestowanie własnych zdolności organizacyjnych. To właśnie od głębokości tych motywacji będzie zależeć trwałość (żywotność) projektu. Wynikające z relacyjnego podejścia elastyczność, modułowość i różnorodność interwencji należy uwzględnić zarówno w realizowanych na dużą skalę, ogólnopolskich projektach w ramach działania 3.1 Programu Operacyjnego Polska Cyfrowa, jak i w mniejszych, bardziej zogniskowanych (pozwalających jednak na większą elastyczność i innowacyjność) przedsięwzięciach w ramach działania 3.2 tego programu operacyjnego.
7.4 JAK MONITOROWAĆ I EWALUOWAĆ?
EWALUACJA
W świetle przeprowadzonych wywiadów, monitorowanie i ewaluacja są najczęściej postrzegane jako niezwykle problematyczna kwestia. Wymóg ich prowadzenia narzucony jest na wszystkie projekty finansowane ze środków publicznych oraz zasadniczo wszystkie finansowane ze środków niepublicznych i uzasadniany jest dwutorowo – poprzez funkcję optymalizacyjną i kontrolną. Obie służą lepszemu wydatkowaniu środków, jednak beneficjenci często umniejszają pierwszą funkcję na korzyść tej drugiej. Przykładem może być program grantowy MKiDN
86 poświęcony edukacji medialnej – będący rzadkim przykładem przeprowadzenia zewnętrznej ewaluacji samego programu grantowego. Ewaluacja pokazała, że grantobiorcy traktują ewaluację nie jako przydatne dla nich narzędzie, lecz jako wymóg powodujący zbędne, dodatkowe obciążenia. Okazało się, że beneficjenci nie prowadzą dobrowolnej ewaluacji projektów mimo opracowania przez resort darmowych, wzorcowych narzędzi ewaluacyjnych. Eksperci wskazywali na wyzwania związane z wdrażaniem zmian wynikających z ewaluacji projektów, szczególnie w trakcie ich realizacji – często z powodów formalnych lub leku grantobiorców przed niewywiązaniem się z wymogu osiągania założonych przez grantodawcę celów. Powoduje to sytuację, w której prawdziwe wnioski z ewaluacji, jeśli jest prowadzona, zostają wewnątrz organizacji – natomiast grantobiorca otrzymuje oficjalną, ugładzoną wersję ewaluacji. Problemem jest również brak odpowiednich kompetencji do realizowania działań ewaluacyjnych – jedynie największe organizacje posiadają odpowiednie kompetencje, lub nawet dedykowane stanowiska w ramach swojego zespołu.
Równocześnie w analizowanych przez nas projektach wielu grantodawców nie oczekiwało prowadzenia ewaluacji i ograniczali swoją rolę wyłącznie do kontrolowania formalnych założeń zapisanych we wniosku. W wielu dużych, wieloletnich projektach realizowanych w ramach poprzedniej perspektywy finansowej, nie założono innej ewaluacji niż ewaluacja ex post.
Zakres podejmowanych działań na rzecz ewaluacji projektów jest skromny – wśród nich dwa wydają się szczególnie użyteczne:
transzowość przekazywanych środków, warunkowana pomyślnymi rezultatami ewaluacji śródokresowej – dzięki podziałowi szkolenia na części, najwyższą sankcją za niepowodzenie jest zaprzestanie dofinansowania, co istotnie ogranicza obciążenia administracyjne realizacji projektu,
transparentność procesu oceny, w szczególności jej publikowanie, które pomaga potencjalnym beneficjentom lepiej formułować plany co do charakterystyki projektu – w tym przypadku ze szczególną mocą ujawnia się funkcja optymalizacyjna.
Warto podkreślić, że jako przykłady dobrych praktyk często są wskazywane projekty finansowane ze środków prywatnych. Przykładowo, Akademia Orange to projekt, w którym bieżąca ewaluacja działań grantobiorców (w tym ewaluacja typu mid-term) jest połączona z transzowym modelem przyznawania środków.
Ewaluacja bywa na tyle trudna, że nie jest odosobnionym przypadkiem tworzenie specjalnych stanowisk służących merytorycznemu wsparciu wnioskujących. Jako dobrą praktykę należy wskazać prowadzenie ciągłych działań badawczych i ewaluacyjnych m.in. w ramach projektów Program Rozwoju Bibliotek czy Latarnicy Polski Cyfrowej. Projekty te wyróżniają się spośród większości projektów, w których nie jest przewidziana żadna forma ewaluacji skuteczności działań. Należy przy tym podkreślić znaczenie prowadzenia ewaluacji zewnętrznej obok wewnętrznie realizowanych badań.
Z ewaluacją wiąże się kwestia certyfikacji szkoleń. W Polsce do certyfikacji są stosowane dwa międzynarodowe standardy certyfikacji: Europejski Certyfikat Umiejętności Komputerowych ECDL oraz Europejski Certyfikat Kompetencji Informatycznych ECCC. Zdaniem ekspertów mają one zastosowanie w zaawansowanych szkoleniach – w przypadku szkoleń podstawowych narzucają zbyt sztywne ramy. Wymagają one w szczególności przekazywania kompetencji zbyt zaawansowanych, związanych ze specjalistycznym wykorzystaniem sprzętu i oprogramowania. Eksperci wskazywali że standard ECDL jest szczególnie trudny do zastosowania w przypadku projektów typu „pierwszego kontaktu” i nakierowanych na relacyjnie rozumiane kompetencje cyfrowe. Negatywnie oceniali przypadki, gdy te certyfikaty były wymagane w projektach realizowanych w latach 2007-2013 – powinny to być ich zdaniem standardy opcjonalne.
Niezwykle istotnym elementem ewaluacji projektów są wskaźniki monitorowania – w przypadku rozwoju e-kompetencji zarówno mierniki produktu takie jak Liczba przeszkolonych osób jak i rezultatu odgrywają kluczową rolę w systemie monitorowania całego programu. Ze względu na fakt, że celem państwa w zakresie e-kompetencji powinno być zapewnienie dostępu do możliwości nauki umiejętności cyfrowych dla osób wykluczonych, tego typu mierniki i ich agregaty na poziomie programu są kluczowym elementem systemu monitorowania.
MONITORING
O ile ewaluacja jest, jak się wydaje, drażliwym tematem dla beneficjentów, choć jej metodyka jest dość dobrze rozpoznana, o tyle nie dotyczy to monitoringu, ponieważ jego istota zakłada, że za pomocą kilku relatywnie prostych wskaźników można w stanie z dużą dokładnością pokazać zmiany w analizowanym obszarze, na przykład – co jest interesujące z perspektywy niniejszego raportu – wzrost kompetencji cyfrowych wynikający
87 bezpośrednio z przeprowadzonej interwencji publicznej. Tymczasem trudno wyłączyć oddziaływanie interwencji publicznej spod zakresu globalnych tendencji, co utrudnia skuteczny pomiar wskaźników rezultatu.
Szczególnie trudnym zadaniem jest oddzielenie wpływu postępu technicznego na wartości wskaźników monitorowania – doświadczenia poprzednich perspektyw finansowych pokazały, że mierniki oddziaływania były spełnione z naddatkiem, ze względu na samoczynny wzrost poziomu dostępu, wynikający między innymi ze zmieniających się aspiracji i wzorców wykorzystania mediów oraz zmieniającej się oferty rynkowej (spadające ceny dostępu do sieci i jego nowe formy, takie jak Internet mobilny).
W wypadku osób wykluczonych cyfrowo od lat jednak można zaobserwować niewielką naturalną zmianę wskaźników. Istnieje więc duża szansa, że wszystkie odnotowane zmiany wskaźników można uznać za skutki interwencji publicznej.
Kolejnym problemem związanym ze wskazaną wcześniej zmiennością obszaru kompetencji cyfrowych jest trudność zbudowania odpowiednich wskaźników, ujmujących poziom i rozwój e-kompetencji, szczególnie w ich ujęciu relacyjnym.
System monitorowania każdego dokumentu strategicznego jest powiązany z jego celami. Celem szczegółowym Programu Operacyjnego Polska Cyfrowa w zakresie e-kompetencji jest „Zwiększenie stopnia oraz poprawa umiejętności korzystania z internetu, w tym e-usług publicznych”. Podstawowy wskaźnik – stosowany także w tym programie operacyjnym – to odsetek osób regularnie korzystających z Internetu (przez co rozumie się osoby przynajmniej raz w tygodniu korzystające z Internetu). Ważnym wskaźnikiem jest również odsetek osób, które nigdy nie korzystały z Internetu – ujmujący specyficzną grupę osób, które przestały korzystać z Internetu. Oba te podstawowe wskaźniki tworzą łącznie relatywnie odporną na upływ czasu (i związaną z nim zmianę technologiczną) kluczową miarę stopnia e-inkluzji obywateli. Wskazane byłoby stosowanie – jako wskaźnika uzupełniającego – odsetka osób korzystających w sposób zapośredniczony (przez co rozumie się osoby niepotrafiące korzystać z nowych technologii, ale zyskujące do nich dostęp dzięki pomocy innych osób, najczęściej członków rodziny). W Polsce kwestię tę przeanalizowano dokładniej w badaniu World Internet Project Poland36. Drugim istotnym wskaźnikiem uzupełniającym mógłby być odsetek osób, które przestały korzystać z Internetu (co wiąże się zazwyczaj ze zmianą lub z utratą pracy albo z pogorszeniem warunków finansowych danej osoby). Trzeci ważny wskaźnik uzupełniający dotyczyłby przyczyn niekorzystania z Internetu.
Istotne miary korzystania z Internetu dotyczą także dostępnego sprzętu i miejsca jego użytkowania (w tym w zakresie korzystania z sieci). Osoby wykluczone cyfrowo mieszkają w gospodarstwach zarówno z dostępem do Internetu (zwykle wielopokoleniowych), jak i bez dostępu do Internetu, mają także różny poziom dostępu do sprzętu: komputerów stacjonarnych i laptopów, telefonów komórkowych i smartfonów oraz tabletów. Czynniki związane z dostępem, choć nie są kluczowe, nadal mogą rzutować na możliwość i sposób korzystania. Analiza sprzętu dostępnego dla beneficjentów końcowych i formy korzystania z Internetu powinny być elementem monitorowania projektów dotyczących e-kompetencji. Na poziomie gminy ważne są ponadto statystyki dostępności Internetu (o odpowiedniej przepustowości) oraz sprzętu i infrastruktury (na przykład sieci bezprzewodowej) w instytucjach publicznych, które mogą wspierać działania e-integracyjne. Inwentaryzacja sprzętu, jako jednego z podstawowych czynników powodzenia projektów e-kompetencyjnych, powinna być elementem tworzenia lokalnego planu rozwoju e-kompetencji.
36 http://www.worldinternetproject.net
88 Schemat 11. Wskaźniki monitorowania umiejętności cyfrowych społeczeństwa
Źródło: Opracowanie własne.
Wymienione proste wskaźniki korzystania należy uzupełnić o miary wskazujące przyczyny, sposoby i różnorodność form korzystania, których skonstruowanie może jednak powodować problemy. Przykładem takiej miary jest indeks dywersyfikacji działań podejmowanych przez użytkowników Internetu, będący częścią badania Eurostatu „ICT Households survey” i obejmujący dwanaście różnych działań opartych na kompetencjach cyfrowych, ale zdefiniowanych w ujęciu relacyjnym (na przykład korzystanie z mediów społecznościowych czy bankowość elektroniczna). Istotne byłoby również wprowadzenie długofalowego monitoringu skutków związanych z następstwami podnoszenia kompetencji, na przykład zmiany pracy. Jest to wskaźnik bardziej relacyjny niż dwie stosowane wcześniej miary, oparte na listach sześciu umiejętności korzystania z komputera (miara stosowana w badaniach do 2012 roku) i korzystania z Internetu (miara stosowana w badaniach do 2013 roku). Indeks umiejętności internetowych obejmował na przykład używanie wyszukiwarki, wysyłanie maili z załącznikami, wysyłanie wiadomości na grupy czatowe lub fora dyskusyjne, wykonywanie rozmów telefonicznych przez telefon, wymianę plików w serwisach peer-to-peer i tworzenie stron internetowych. W ostatnich latach można dostrzec zmianę w podejściu Unii Europejskiej do pomiaru e-kompetencji, polegającą na położeniu nacisku na wskaźniki relacyjnie traktujące e-umiejętności. Przykładem może być zastąpienie we wzorcowym kwestionariuszu „ICT usage in households and by individuals” z 2014 roku wskaźnika mierzącego poziom umiejętności internetowych (stosowanego jako wskaźnik rezultatu dla piątego celu szczegółowego w Programie Operacyjnym Polska Cyfrowa) wskaźnikiem mierzącym różnorodność korzystania („Diversification index for the activities realised online by internet users”). Każdy wskaźnik oparty na katalogu kilku lub kilkunastu umiejętności jest do pewnego stopnia arbitralny i nie należy uznawać go za całościowy indeks korzystania przez jednostkę. Istotne jest jednak wykorzystywanie wskaźników relacyjnych w miejsce miar opartych wyłącznie na umiejętnościach informacyjnych.
Ważne byłoby również wprowadzenie długofalowego monitoringu skutków związanych z następstwami podnoszenia kompetencji, na przykład zmiany pracy. Tego rodzaju monitoring wymaga jednak prowadzenia badań panelowych (takich jak „Diagnoza Społeczna”).
Podobne badanie kompetencji cyfrowych w ujęciu relacyjnym zostało przeprowadzone przez Alexandra van Deursena, Jana van Dijka i Ellen Helsper (2014) na podstawie ich teoretycznego modelu relacyjnych e-kompetencji. W ramach badania stworzyli oni katalog dwudziestu umiejętności podzielonych na pięć kluczowych obszarów, opierając się na cząstkowych typologiach użycia Internetu zawartych we wcześniejszych badaniach. Tymczasem w analizowanych przez nas projektach nie odnotowaliśmy prowadzenia badań lub monitoringu nabywanych kompetencji ujmowanych w ujęciu relacyjnym. Niezależnie więc od wskaźników stosowanych na potrzeby monitoringu działań w ramach finansowania z Programu Operacyjnego Polska Cyfrowa byłoby wskazane wypracowanie odpowiedniego standardu pomiaru e-kompetencji. Będący częścią takiego standardu katalog kompetencji mógłby być nie tylko narzędziem monitoringu i ewaluacji działań, ale także podstawą planowania działań szkoleniowych i instrumentem indywidualnego wyboru potrzebnych kompetencji.
Co istotne, bardziej złożone modele sposobu korzystania (nie zaś jedynie faktu korzystania) mogą służyć nie tylko monitorowaniu poziomu rozwoju e-integracji (mierzonej rosnącą liczbą i różnorodnością użyć), ale także analizowaniu różnic w sposobach korzystania przez poszczególne grupy społeczne.