RAPORT EWALUACJI POCZĄTKOWEJ (ex-ante) Obserwatorium losów zawodowych absolwentów uczelni wyższych

Transkrypt

1 RAPORT EWALUACJI POCZĄTKOWEJ (ex-ante) dotyczy realizacji projektu Obserwatorium losów zawodowych absolwentów uczelni wyższych w ramach Program Operacyjny Kapitał Ludzki Priorytet IV. Szkolnictwo wyższe i nauka Działanie 4.1. Wzmocnienie i rozwój potencjału dydaktycznego uczelni oraz zwiększenie liczby absolwentów kierunków o kluczowym znaczeniu dla gospodarki opartej na wiedzy Łódź, r. 1

2 Spis treści 1. Wstęp Charakterystyka projektu Metodologia ewaluacji początkowej w projekcie Zestawienie wyników badania ankietowego ewaluacja raportu z badania,,obserwatorium losów zawodowych absolwentów uczelni wyższych przeprowadzonego wśród Uczelni Zakończenie oraz wnioski i rekomendacje Załącznik

3 Wstęp Niniejszy raport stanowi wprowadzenie do kompleksowego programu ewaluacji projektu Obserwatorium losów zawodowych absolwentów uczelni wyższych. Prezentuje on wyniki ewaluacji raportu z badań przeprowadzonych w pierwszej fazie realizacji projektu. Zasadniczym źródłem danych wykorzystanym do przygotowania tego dokumentu były ankiety dotyczące oceny raportu z badania wstępnego (zrealizowanego wśród studentów, przedstawicieli uczelni i przedstawicieli pracodawców), które sformułowane zostały przez przedstawicieli uczelni wyższych. W raporcie bazowano również na informacjach z wniosku o dofinansowanie projektu, a konkretnie na takich jego elementach jak: charakterystyka projektu oraz harmonogram wdrażania ewaluowanego przedsięwzięcia. Zgodnie z powyższym opisem struktura raportu jest następująca: w rozdziale I dokonano charakterystyki projektu, koncentrując się przede wszystkim na założonych celach szczegółowych i planowanych rezultatach, których stopień osiągnięcia będzie analizowany w trakcie realizacji procesu ewaluacji projektu; w rozdziale II zaprezentowano założenia ewaluacji projektu Obserwatorium losów zawodowych absolwentów uczelni wyższych w tym cel, przedmiot i kryteria ewaluacji oraz podmioty, do których kierowane będą raporty ewaluacyjne; w rozdziale III przedstawiono metodologię ewaluacji początkowej projektu; rozdział IV prezentuje wyniki badania ankietowego dotyczącego ewaluacji raportu z badania przeprowadzonego w ramach projektu,,obserwatorium losów zawodowych absolwentów uczelni wyższych"; rozdział V zawiera wnioski i rekomendacje z przeprowadzonego badania. 3

4 1. Charakterystyka projektu W pierwszym rozdziale zaprezentowana zostanie krótka charakterystyka projektu, co ma pomóc we właściwym zrozumieniu motywów jakimi kierowano się przy projektowaniu całego badania ewaluacyjnego oraz poszczególnych narzędzi badawczych. Obserwatorium losów zawodowych absolwentów uczelni wyższych to projekt o charakterze innowacyjnym, realizowany na obszarze całej Polski od 1 września 2012 r. do 31 marca 2015 r. przez Akademię Humanistyczno - Ekonomiczną w Łodzi. Projekt współfinansowany jest ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego, Priorytetu IV Szkolnictwo wyższe i nauka, Działania 4.1. Wzmocnienie i rozwój potencjału dydaktycznego uczelni oraz zwiększenie liczby absolwentów kierunków o kluczowym znaczeniu dla gospodarki opartej na wiedzy. Głównym celem projektu Obserwatorium losów zawodowych absolwentów uczelni wyższych jest wzrost jakości działań uczelni wyższych w zakresie monitorowania losów absolwentów poprzez opracowanie, upowszechnienie i wdrożenie Obserwatorium Losów Zawodowych Absolwentów OLZA. Osiągnięciu celu głównego służy realizacja 5 wymienionych poniżej celów szczegółowych: 1) Wzrost wiedzy przedstawicieli Władz uczelni wyższych na temat ograniczeń metod badawczych, którymi obecnie prowadzony jest monitoring losów zawodowych absolwentów i na temat możliwości wykorzystania informacji o losach zawodowych absolwentów, 2) Wzrost ilości metod prowadzenia monitoringu losów zawodowych absolwentów poprzez opracowanie wstępnej wersji OLZA i strategii jego wdrażania, 3) Wzrost skuteczności metody OLZA poprzez przetestowanie jej w warunkach rzeczywistych, analizę rzeczywistych efektów i utworzenie 4

5 produktów finalnych, 4) Wzrost wiedzy pracowników uczelni wyższych na temat funkcjonowania innowacyjnej metody OLZA, 5) Wzrost ilości narzędzi pozwalających studentom/absolwentom na wybór najbardziej efektywnej ścieżki edukacyjno-zawodowej, dostosowanej do wymogów rynku pracy. Docelowo grupę odbiorów projektu stanowią: władze i pracownicy uczelni, absolwenci/studenci oraz pracodawcy. Warto zauważyć, że realizacja projektu może mieć pozytywne rezultaty nie tylko dla wymienionych grup docelowych, ale także między innymi dla kandydatów na studia, którzy dzięki projektowi będą mogli uzyskać między innymi wiedzę dotyczącą możliwości zatrudnienia dla siebie jako przyszłych absolwentów danej uczelni, czy też wiedzę dotyczącą możliwych zarobków, itp. Ponadto, realizacja projektu wydaje się mieć istotne znaczenie z punktu widzenia Ministerstwa Nauki i Szkolnictwa Wyższego, które zyskując wiedzę na temat losów zawodowych absolwentów, pośrednio będzie mogło monitorować uzyskiwane efekty kształcenia. Ustawa o szkolnictwie wyższym nakłada na uczelnie wyższe obowiązek przeprowadzania monitoringu karier zawodowych absolwentów. Stanowi o tym art. 13a ustawy, w którym czytamy: "uczelnia monitoruje kariery zawodowe swoich absolwentów w celu dostosowania kierunków studiów i programów kształcenia do potrzeb rynku pracy, w szczególności po trzech i pięciu latach od dnia ukończenia studiów. Niewątpliwie tego typu działania są potrzebne, mogą przynieść uczelniom wiele korzyści, jednak brak precyzyjnych zapisów dotyczących sposobu ich przeprowadzania rodzi szereg problemów. Ustawodawca nie precyzuje tego, jakimi metodami ma być prowadzony monitoring, ani też kto ma się nim zajmować. Ponadto uczelniom pozostawia się dowolność w konstruowaniu narzędzi badawczych, które mogą być od siebie tak różne, że w żaden sposób nie będzie można porównać ich wyników. Dodatkowo należy zauważyć, że uczelniom częstokroć trudno jest znaleźć chętnych do 5

6 udziału w takich badaniach, ponieważ wg ustawy absolwent nie posiada obowiązku uczestnictwa w nim. Jednocześnie należy zauważyć, że badania tego typu mogą przynieść wiele korzyści. Wśród nich należy przede wszystkim wymienić, sygnalizowaną wcześniej, możliwość ewaluacji programu studiów oraz ich udoskonalenie, co powinno przełożyć się na podniesienie jakości kształcenia. Tak więc, problemem, na który niniejszy projekt stanowi odpowiedź jest brak skutecznych, wystandaryzowanych instrumentów, procedur, metod i narzędzi prowadzenia monitoringu karier zawodowych absolwentów, z których mogłyby korzystać uczelnie wyższe po to aby realizować swoje obowiązki w zakresie badania losów zawodowych absolwentów. Zaprezentowane powyżej informacje obrazują stan i problemy monitoringu losów zawodowych absolwentów. Wydaje się, że realizacja niniejszego projektu powinna w znaczącym stopniu ową sytuację poprawić. W tym celu zaplanowano realizację następujących etapów projektu: 1) Opracowanie metodologii badania OLZA; 2) Przeprowadzenie badania ankietowego wśród absolwentów/studentów, uczelni oraz pracodawców; 3) Opracowanie oraz wysyłka raportu z ankiet przeprowadzonych wśród absolwentów/studentów, uczelni oraz pracodawców; 4) Opracowanie wstępnej strategii wdrażania OLZA; 5) Stworzenie wstępnej wersji platformy internetowej OLZA; 6) Opracowanie wstępnej wersji podręcznika wdrażania i prowadzenia OLZA oraz instrukcji instalacji i obsługi platformy OLZA; 7) Opracowanie ankiet ewaluacyjnych dla przedstawicieli uczelni, wśród których upowszechniona zostanie metoda OLZA realizowanych w trakcie testowania; 8) Testowanie metody OLZA m.in. poprzez: - tworzenie lub udoskonalanie bazy danych absolwentów, - dostosowanie narzędzi badawczych do potrzeb konkretnej uczelni, 6

7 - gromadzenie i analiza danych, - spotkania grupy roboczej, - opracowanie przez uczelnie testujące raportów z przeprowadzonych testów, - ewaluacja zewnętrzna OLZA, - opracowanie raportu prezentującego zmiany niezbędne w OLZA; 9) Opracowanie finalnej wersji OLZA - m.in. wprowadzenie wymaganych zmian i opracowanie finalnej wersji produktów; 10) Upowszechnienie innowacyjnej metody OLZA i włączenie jej do głównego nurtu polityki. Przeprowadzenie w/w prac będzie skutkować wypracowaniem zakładanych wskaźników projektu tj.: liczba uczelni, które wdrożyły innowacyjną metodę OLZA: 10; liczba narzędzi do monitorowania losów absolwentów: 1; liczba przedstawicieli uczelni, którzy zapoznają się z raportem: 100; liczba stworzonych wstępnych wersji platformy internetowej OLZA: 1; liczba stworzonych wstępnych wersji instrukcji obsługi platformy OLZA: 1; liczba stworzonych wstępnych wersji podręczników wdrażania i prowadzenia OLZA: 1; liczba uczelni wyższych, które przetestują metodę OLZA: 6; liczba stworzonych finalnych wersji platformy internetowej OLZA: 1; liczba stworzonych finalnych wersji instrukcji obsługi platformy OLZA: 1; liczba stworzonych finalnych wersji podręczników wdrażania i prowadzenia OLZA: 1; liczba przedstawicieli uczelni wyższych, którzy wzięli udział w konferencji: 50; liczba uczelni wyższych, do których rozesłano pakiety produktów projektu: 100; liczba stworzonych w generatorze profesjonalnych CV i biogramów: 50; liczba studentów korzystających z platformy: 50. 7

8 Wypracowanie zestawu wskaźników powinno przełożyć się na osiągnięcie planowanych celów szczegółowych, a tym samym do realizacji, przytoczonego na początku rozdziału, celu głównego. 2. Założenia procesu ewaluacji w projekcie Punktem wyjścia do stworzenia założeń procesu ewaluacji projektu Obserwatorium losów zawodowych absolwentów uczelni wyższych były m.in. poniższe zapisy z wniosku o dofinansowanie w/w przedsięwzięcia: Przeprowadzona będzie ewaluacja ex ante i ex post projektu za pomocą ankiet ewaluacyjnych, raportu; Sposób monitorowania wskaźników projektu to m.in. ankiety ewaluacyjne na początku i na końcu realizacji projektu; Przeprowadzona zostanie ewaluacja produktów projektu przez firmę zewnętrzną, której zostaną przekazane testowane produkty i raporty z uczelni biorących udział w testowaniu. Ewaluacja ta wykaże, czy OLZA jest to metoda faktycznie lepsza, bardziej skuteczna i efektywna kosztowo niż metody stosowane obecnie. Wyniki tej ewaluacji oraz wnioski przekazane przez testujące uczelnie będą przeanalizowane przez kadrę projektu, która podejmie decyzje związane z wprowadzeniem ewentualnych zmian do stworzonych w ramach projektu produktów. W związku z powyższym oraz biorąc pod uwagę harmonogram realizacji projektu ewaluacja będzie prowadzona przez cały okres realizacji projektu. W ramach procesu ewaluacji można wyróżnić następujące etapy: 1) Ewaluacja początkowa na jej potrzeby został przygotowany niniejszy raport. 2) Ewaluacja końcowa zostanie przeprowadzona w ostatniej fazie wdrażania projektu. Na jej potrzeby zostanie przygotowana końcowa ankieta ewaluacyjna ex-post. Badanie przeprowadzone zostanie na zakończenie realizacji projektu. 8

9 Ankieta ex-post będzie dołączana do wysyłanego pakietu produktów projektu. Oceniać ona będzie przydatność oraz funkcjonalność powstałej platformy internetowej OLZA. Jako ostatni element ewaluacji końcowej i całego procesu oceny zaplanowano przygotowanie raportu końcowego (podsumowującego), prezentującego i analizującego dane uzyskane w trakcie badania początkowego oraz końcowego. Celem głównym ewaluacji jest ocena przebiegu projektu i bieżące wspomaganie jego realizacji. Cel główny ewaluacji zostanie osiągnięty poprzez wymienione poniżej cele szczegółowe: identyfikacja potencjalnych problemów i trudności związanych z realizacją projektu; bieżące diagnozowanie zgodności realizacji celów i wskaźników projektu z przyjętymi założeniami; badanie stopnia osiągnięcia wskaźników projektu; ocena projektu pod kątem kryteriów ewaluacyjnych przedstawionych w dalszej części rozdziału; zidentyfikowanie mocnych i słabych stron projektu. Proces ewaluacji obejmie następujące obszary: ocena stopnia osiągnięcia wskaźników projektu; ocena przebiegu badań oraz wyników i rekomendacji będących wynikiem badań ilościowych i jakościowych przeprowadzonych wśród absolwentów/ studentów, przedstawicieli uczelni oraz pracodawców; ocena opracowanej wstępnej strategii wdrażania OLZA; ocena wstępnej wersji platformy internetowej OLZA; ocena wstępnej wersji podręcznika wdrażania i prowadzenia OLZA oraz instrukcji instalacji i obsługi platformy OLZA; ocena przebiegu prac nad opracowaniem przez uczelnie testujące raportów 9

10 z przeprowadzonych testów, ocena prac nad opracowaniem ankiet ewaluacyjnych dla przedstawicieli uczelni, wśród których upowszechniona zostanie metoda OLZA realizowanych w trakcie testowania ocena działań promocyjno upowszechniających. W tym miejscu warto podkreślić, iż głównym odbiorcą ewaluacji prowadzonej w ramach projektu Obserwatorium losów zawodowych absolwentów uczelni wyższych jest: Realizator projektu, w tym Kierownik projektu i władze Projektodawcy, Narodowe Centrum Badań i Rozwoju. Na zakończenie tej części raportu należy wskazać jeszcze kryteria, wedle których prowadzony będzie proces ewaluacji. trafność pozwala określić, czy cele projektu odpowiadały zidentyfikowanym problemom w obszarze objętym projektem i potrzebom odbiorców wsparcia; skuteczność pozwala określić, czy osiągnięte zostały rezultaty i cele projektu; użyteczność pozwala określić, czy realizacja projektu korzystnie wpłynęła na sytuację odbiorców wsparcia; trwałość efektów pozwala określić czy rezultaty projektu będą nadal widoczne po zakończeniu jego realizacji; oddziaływanie/wpływ pozwala określić, czy korzyści odniesione przez odbiorców wsparcia będą wpływać na ich bezpośrednie i pośrednie otoczenie. 10

11 3. Metodologia ewaluacji początkowej w projekcie Zasadniczym przedmiotem ewaluacji początkowej projektu Obserwatorium losów zawodowych absolwentów uczelni wyższych jest poznanie opinii na temat raportu z badania ukierunkowanego na wzrost jakości działań uczelni wyższych w zakresie monitorowania losów absolwentów uczelni wyższych. Raport z badań przeprowadzonych w ramach projektu,,obserwatorium losów zawodowych absolwentów uczelni wyższych został rozesłany listownie za pośrednictwem Poczty Polskiej w grudniu 2012 r. do 100 Uczelni w Polsce. Do Raportu dołączono pismo przewodnie z prośbą o odesłanie protokołu zdawczo-odbiorczego raportu z badania,,obserwatorium losów zawodowych absolwentów uczelni wyższych wraz z ankietą ewaluacyjną. Ankieta ta skierowana była do 50 uczelni publicznych oraz 50 uczelni niepublicznych, które w listopadzie 2012 roku wzięły udział w badaniu ankietowym (telefonicznym) przeprowadzanym przez firmę zewnętrzną. Badanie to miało na celu poznanie sposobów monitorowania losów zawodowych absolwentów przez polskie uczelnie, a następnie opracowanie narzędzia służącego poprawie efektywności monitorowania losów absolwentów. Ankieta składała się z 6 pytań w tym 5 pytań zamkniętych oraz 1 pytania otwartego. Ankieta zawierała również metryczkę (maksymalnie uproszczoną - tak aby zapewnić anonimowość potencjalnym respondentom). Szczegółowa analiza uzyskanych wyników badań zaprezentowana została w rozdziale IV niniejszego raportu. 3.1 Wskaźniki i zasady oceny ich osiągnięcia Przyjęto, iż wskaźnik dotyczący liczby przedstawicieli uczelni, którzy zapoznali się z raportem zostanie osiągnięty poprzez odesłanie 11

12 przez Uczelnie, które brały udział w badaniu, protokołu zdawczo-odbiorczego raportu wraz z ankietą ewaluacyjną ewaluacja raportu z badania,,obserwatorium losów zawodowych absolwentów uczelni wyższych. Docelowo ilość wysłanych i odesłanych protokołów zdawczo - odbiorczych oraz ankiet ewaluacyjnych jest taka sama i wynosi 100. Przyjęto, iż wskaźnik liczby uczelni, które wdrożyły innowacyjną metodę OLZA zostanie osiągnięty w przypadku otrzymania od 10 Uczelni w Polsce Uchwały Senatu Uczelni lub Zarządzenia Kanclerza w sprawie wdrożenia OLZA lub podpisanie listu intencyjnego zobowiązującego do wdrożenia OLZA. Przyjęto, iż wskaźnik liczba narzędzi do monitorowania losów absolwentów zostanie osiągnięty w przypadku otrzymania pozytywnego wyniku walidacji produktu. Przyjęto, iż wskaźniki: liczba stworzonych wstępnych wersji platformy internetowej OLZA, liczba stworzonych wstępnych wersji instrukcji obsługi platformy OLZA oraz liczba stworzonych wstępnych wersji podręczników wdrażania i prowadzenia OLZA zostaną osiągnięte po otrzymaniu protokołów zdawczo-odbiorczych dotyczących przekazania w/w produktów od Autorów. Przyjęto, iż wskaźnik liczba uczelni wyższych, które przetestują metodę OLZA zostanie osiągnięty w przypadku otrzymania przez Uczelnie testujące raportów z prowadzonych testów. Przyjęto, iż wskaźniki: liczba stworzonych finalnych wersji platformy internetowej OLZA, liczba stworzonych finalnych wersji instrukcji obsługi platformy OLZA, liczba stworzonych finalnych wersji podręczników wdrażania i prowadzenia OLZA zostaną osiągnięte po otrzymaniu protokołów zdawczo-odbiorczych dotyczących przekazania w/w produktów od Autorów. 12

13 Przyjęto, iż wskaźnik liczba przedstawicieli uczelni wyższych, którzy wzięli udział w konferencji zostanie osiągnięty w przypadku gdy lista uczestników konferencji będzie liczyła 50 osób. Przyjęto, iż wskaźnik liczba uczelni wyższych, do których rozesłano pakiety produktów projektu zostanie osiągnięty po otrzymaniu 100 potwierdzeń nadania przesyłki zawierającej również ankietę ewaluacyjną po zapoznaniu się z przesłanymi materiałami. Przyjęto, iż wskaźniki: liczba stworzonych w generatorze profesjonalnych CV i biogramów oraz liczba studentów korzystających z platformy zostanie osiągnięty w przypadku uzyskania 50 potwierdzeń z platformy. 4. Zestawienie wyników badania ankietowego - ewaluacja raportu z badania,,obserwatorium losów zawodowych absolwentów uczelni wyższych" przeprowadzonego wśród Uczelni Badanie ewaluacyjne dotyczące wstępnego badania uczelni, studentów/absolwentów i pracodawców przeprowadzone zostało w okresie grudzień 2012 r. marzec 2013 r. Badanie zrealizowano za pomocą techniki ankiety pocztowej, która wysłana została do 100 uczelni. Łącznie uzyskano 70 ankiet ex ante. Oznacza to, że uzyskano 70% poziom zwrotności ankiet, co jak na badanie realizowane w ten sposób (ankieta pocztowa) stanowi ponadstandardowy wynik (ocenia się, że wysoce zadawalający w przypadku ankiet pocztowych jest poziom zwrotów na poziomie 30-50%). Jednocześnie w tym miejscu należy podkreślić, że Projektodawca podejmował liczne próby zwiększenia poziomu zwrotu ankiet od Uczelni objętych badaniem, niestety mimo wielokrotnych ponagleń telefonicznych 13

14 i mailowych nie udało się osiągnąć zakładanego w projekcie stuprocentowego poziomu zwrotów. W tym miejscu należy dodać, że założony poziom zwrotów był określony w sposób nierealistyczny. Chyba bowiem w żadnym z zrealizowanych dotąd badań za pomocą techniki ankiety pocztowej takiego poziomu zwrotów nie udało się osiągnąć. 4.1 Analiza wyników badania 1. Proszę powiedzieć, czy ogólnie rzecz biorąc, raport z badań przeprowadzonych w ramach projektu Obserwatorium Losów Zawodowych Absolwentów uczelni wyższych zwiększył Pani/a wiedzę na temat badania losów zawodowych absolwentów? Tabela nr 1. Zwiększenie wiedzy na temat badania losów zawodowych absolwentów Odpowiedzi Liczba wskazań Rozkład [w %] Prezentacja graficzna Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie 3 4 Trudno powiedzieć 2 3 Razem % Źródło: Opracowanie własne. Dane zebrane na podstawie wyników badania ankietowego. Jak widzimy, celem pierwszego pytania było poznanie opinii pracowników uczelni na temat tego, czy przedstawiony raport zwiększył ich wiedzę na temat badania losów zawodowych absolwentów. Tym, co wymaga podkreślenia jest fakt, 14

15 że przedstawiciele aż 55 z 70 uczelni (co stanowi niemal 80% próby), którzy odesłali ankietę ewaluacyjną stwierdziło, że raport pogłębił ich wiedzę na temat badania losów zawodowych absolwentów. Przedstawiciele 13 uczelni (co stanowi 18% badanych) stwierdzili, że przedstawiony im raport tej wiedzy nie zwiększył, przy czym zdecydowaną opinię w tej kwestii wyrazili przedstawiciele tylko 3 uczelni, co stanowi 4% zrealizowanej próby. Reasumując, należy podkreślić, że zdaniem zdecydowanej większości badanych przedstawiony raport służy pogłębieniu wiedzy na temat sposobów badania losów zawodowych absolwentów, co pozwala na sformułowanie twierdzenia, iż raport cechuje się wysokim poziomem merytoryczności. 2. Czy raport zwiększył Pani/a wiedzę na temat ograniczeń i trudności w prowadzeniu badań losów zawodowych absolwentów? Tabela nr 2. Zwiększenie wiedzy na temat ograniczeń i trudności w badaniu losów absolwentów Odpowiedzi Liczba wskazań Rozkład [w %] Prezentacja graficzna Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie 2 3 Trudno powiedzieć 1 2 Razem % Źródło: Opracowanie własne. Dane zebrane na podstawie wyników badania ankietowego. Jak pokazują wyniki uzyskane w odpowiedzi na pytanie drugie, zaprezentowany uczelniom raport przyczynia się do zwiększenia ich wiedzy na temat ograniczeń i trudności związanych z prowadzeniem badań losów zawodowych absolwentów. 15

16 Opinię taką wyrażają bowiem przedstawiciele aż 50 uczelni (przy czym zdecydowanie z opinią taką zgadza się 15 uczelni, a 35 raczej wyrażoną opinię podziela). Zdecydowanie przeciwne zdanie na ten temat mają jedynie przedstawiciele 2 z 70 uczelni, a 17 kolejnych badanych, ocenia przedstawione wyniki badań w tym zakresie raczej krytycznie. Mniej lub bardziej krytyczna ocena przedstawicieli 19 uczelni, dotyczącą znaczenia raportu w odniesieniu do zwiększenia ich poziomu wiedzy na temat ograniczeń stosowanych dotąd sposobów monitorowania losów zawodowych absolwentów przez uczelnie, jakkolwiek istotna, nie podważa zasadniczo pozytywnej oceny zdecydowanej większości badanych w tym zakresie. Zdecydowana większość badanych stwierdza bowiem, że zaprezentowane w raporcie dane służą pogłębieniu wiedzy na ten temat. 3. Czy raport może być pomocny w projektowaniu przez uczelnie wyższe własnych badań losów zawodowych absolwentów? Tabela nr 3. Wyniki badań jako pomoc w projektowaniu badań losów absolwentów Odpowiedzi Liczba wskazań Rozkład [w %] Prezentacja graficzna Zdecydowanie tak Raczej tak Raczej nie 1 2 Zdecydowanie nie Trudno powiedzieć Razem % Źródło: Opracowanie własne. Dane zebrane na podstawie wyników badania ankietowego. 16

17 Celem kolejnego pytania, było sprawdzenie, czy w opinii badanych przedstawicieli uczelni wyższych, zaprezentowany im raport może być pomocny w projektowaniu własnych badań losów zawodowych absolwentów. Tym, co wymaga podkreślenia jest fakt, że przedstawiciele aż 63 badanych uczelni (co stanowi 90% zrealizowanej próby) stwierdzili, że raport może być w tym zakresie pomocny. Tylko 2 badanych wyraziło opinię przeciwną, a 5 nie miało w tym względzie jasno sprecyzowanego stanowiska. Wyniki te, po raz kolejny pokazują, iż przedstawiony uczelniom raport jest niezwykle wartościowy i może stanowić istotne wsparcie w organizacji procesu monitoringu losów zawodowych absolwentów. 4. Czy raport zwiększył Pani/a wiedzę na temat możliwości wykorzystywania informacji o losach zawodowych absolwentów przez uczelnie wyższe? Tabela nr 4. Rola raportu w zwiększeniu wiedzy na temat możliwości wykorzystywania informacji płynących z badań losów absolwentów Odpowiedzi Liczba wskazań Rozkład [w %] Prezentacja graficzna Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie Trudno powiedzieć Razem % Źródło: Opracowanie własne. Dane zebrane na podstawie wyników badania ankietowego. 17

18 Podobnie, do poprzednio omówionych, prezentują się rozkłady odpowiedzi uzyskane w oparciu o czwarte pytanie ankiety ewaluacyjnej. Badani zapytani o to, czy w ich przekonaniu raport zwiększył ich wiedzę na temat możliwości wykorzystania informacji o losach zawodowych absolwentów przez uczelnie, odpowiadają twierdząco. Zdecydowanie, opinię mówiącą o tym, że raport zwiększył wiedzę na temat możliwości wykorzystania informacji o losach absolwentów przez uczelnie, podzieliło 21% badanych, a kolejne 54% raczej z tak sformułowana opinią się zgodziło. Przeciwnego zdania było 23% badanych, przy czym zdaniem 20% raport raczej nie zwiększył ich wiedzy w sygnalizowanym zakresie, a opinię zdecydowanie krytyczną wyraziło jedynie 3% respondentów. 5. Czy Pani/a uczelnia jest zainteresowana skorzystaniem z projektowanej Platformy służącej badaniu losów zawodowych absolwentów? Tabela nr 5. Zainteresowanie uczelni skorzystaniem z platformy OLZA Odpowiedzi Liczba wskazań Rozkład [w %] Prezentacja graficzna Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie 3 4 Trudno powiedzieć Razem % Źródło: Opracowanie własne. Dane zebrane na podstawie wyników badania ankietowego. Jednym z kluczowych pytań, z punktu widzenia zasadności realizacji projektu OLZA, było pytanie o zainteresowanie uczelni skorzystaniem przez nie z projektowanej 18

19 platformy. Tym, co wymaga podkreślenia jest fakt, że zdecydowaną chęć skorzystania z platformy wyraziło aż 14 uczelni, a kolejne 20 jest platformą raczej zainteresowanych. Oznacza to, że mniej więcej połowa badanych podmiotów, nawet nie mając pełnej wiedzy na temat projektowanego przedsięwzięcia, pozytywnie ocenia sam pomysł utworzenia takiej platformy. Pamiętając o tym, że zgodnie z założeniami projektu, z platformy będzie mogło skorzystać łącznie 10 podmiotów, należy podkreślić, że zainteresowanie platformą, już w fazie wstępnej realizacji projektu, ponad trzykrotnie przewyższa założenia projektowe. Można oczekiwać, że w momencie zaprezentowania bardziej szczegółowych rozwiązań dotyczących projektowanej platformy, zainteresowanie to wyraźnie wzrośnie. Opinię tę zdają się uwiarygodniać kolejne dane, dotyczące grupy uczelni, które nie mają w sprawie zainteresowania skorzystaniem z platformy jasno sprecyzowanego stanowiska. Łącznie w grupie tej znajdują się 23 uczelnie (1/3 całej próby). Wydaje się, że istotna cześć z nich dołączy do grupy uczelni chcących partycypować w przedsięwzięciu. Może to oznaczać, że z platformy będzie chciało skorzystać łącznie ok. 70% badanych podmiotów. Jeśli chodzi o uczelnie nie wyrażające zainteresowania skorzystaniem z platformy OLZA, to w grupie tej znajduje się łącznie 13 z 70 badanych uczelni, przy czym tylko 3 uczelnie kategorycznie odrzucają możliwość skorzystania z platformy. Podsumowując, należy zauważyć, że uzyskane wyniki w sposób jednoznaczny wskazują na potrzebę utworzenia platformy OLZA, która dla wielu uczelni może stanowić istotne wsparcie w zakresie monitoringu losów zawodowych absolwentów, a przez to w podnoszeniu jakości i efektywności kształcenia. 6. Jeśli ma Pan/i jakieś uwagi dotyczące przedstawionego raportu, wyników i wniosków w nim zawartych prosimy o ich krótkie przedstawienie. Ostatnie z pytań znajdujących się w merytorycznej części kwestionariusza miało charakter otwarty i służyło poznaniu opinii dotyczących przedstawionego uczelniom raportu. Analiza ankiet pozwala stwierdzić, że uczelnie w zdecydowanej większości 19

20 pozytywnie oceniły przedstawiony im raport. Opinię taką zdaje się uprawomocniać fakt, iż z reguły przedstawiciele badanych uczelni nie zgłaszali uwag do raportu, a jeśli już takie się pojawiały, to w większości miały one charakter przychylny. Oto kilka ze sformułowanych opinii: [1] Raport pełny, bez zastrzeżeń czytelny; [2] Raport stanowi ciekawe opracowanie dotyczące problemów wynikających z monitorowania losów absolwentów; [3] Badania wskazują na to, iż uczelnie wyższe powinny położyć większy nacisk na współpracę z rynkiem pracy. Powstająca platforma będzie bardzo cennym źródłem informacji. Przedstawione wypowiedzi pozwalają wnioskować, że raport, mimo zgłaszanych przez niektórych respondentów zastrzeżeń, stanowi generalnie rzecz biorąc ważne i cenne źródło informacji na temat sposobów monitorowania losów zawodowych absolwentów przez uczelnie oraz problemów związanych z badaniami tego typu. Co więcej, wydaje się, że raport stanowi także niezwykle cenne źródło wiedzy dla projektodawcy, który wyniki i wnioski płynące z raportu może wykorzystać tworząc założenia platformy OLZA. 4.2 Analiza wyników badań dane metryczkowe Ostatnią część kwestionariusza ankiety stanowiła metryczka, której celem było określenie podstawowych charakterystyk osób, które zapoznały się z raportem z ramienia poszczególnych uczelni. Jeśli chodzi o rozkład pod względem płci, to większość badanych (66%), co przedstawia poniższa tabela i wykres, stanowiły kobiety. 20

21 Tabela nr 6. Płeć respondentów Odpowiedzi Liczba wskazań Rozkład [w %] Prezentacja graficzna Kobieta Mężczyzna Razem % Źródło: Opracowanie własne. Dane zebrane na podstawie wyników badania ankietowego. Warto podkreślić, że osobami, które wypełniały ankietę byli zarówno przedstawiciele władz uczelni (rektorzy, prorektorzy, dziekani, kanclerze), jak również kierownicy i pracownicy różnych jednostek organizacyjnych uczelni (biura karier, dział jakości kształcenia, dziekanat, itd.). Tym, co zwraca uwagę jest ponadto fakt, że w wielu uczelniach z raportem częstokroć zapoznało się kilka osób. Szczegółowe dane dotyczące tego zagadnienia prezentuje tabela nr 7. Tabela nr 7. Liczba osób, które zapoznały się z raportem z ramienia uczelni Odpowiedzi Liczba wskazań Rozkład [w %] 1-2 osoby osoby i więcej osób Razem % Źródło: Opracowanie własne. Dane zebrane na podstawie wyników badania ankietowego. 21

22 Jak widzimy, w przypadku większości spośród badanych uczelni (59%) z przesłanym raportem zapoznały się 1 lub 2 osoby. Warto raz jeszcze podkreślić, że w przypadku pozostałych niemal 40% uczelni raport przeczytała większa grupa osób (często 5 i więcej). Oznacza to, że dla wielu uczelni ustalenia raportu były szczególnie istotne i wartościowe. 5. Zakończenie oraz wnioski i rekomendacje W niniejszym rozdziale zostały zaprezentowane wnioski jakie wyniknęły z analizy odpowiedzi udzielonych na poszczególne pytania podczas badania ewaluacyjnego ex ante. Wnioski te stały się podstawą do sformułowania rekomendacji, których wdrożenie może przyczynić się do efektywniejszej realizacji prac projektowych. Po pierwsze, należy podkreślić, że projektodawca powinien wziąć pod uwagę pomysły i rozwiązania sygnalizowane przez różne uczelnie, projektując szczegółowe rozwiązania platformy OLZA. Po wtóre, rekomenduje się, aby projektodawca położył szczególny nacisk na zwiększenie zainteresowania Uczelni w Polsce projektem, co wiąże się z ich wzięciem udziału w konferencji upowszechniającej projekt. Rekomenduje się, by w tym celu m.in. zintensyfikować akcję promującą projekt i dołożyć wszelkich starań, aby jak największa liczba Uczelni uczestniczyła w konferencji. Przypomnijmy, że w niniejszym raporcie zamieszczono informacje dotyczące: wskaźników projektu, opinii respondentów na temat wzrostu jakości działań uczelni wyższych w zakresie monitorowania losów absolwentów uczelni wyższych, zainteresowania konferencją upowszechniającą ww. przedsięwzięcie. 22

23 Ewaluacja początkowa wykazała, że istnieje potrzeba realizacji projektu OLZA. Wniosek ten uwiarygodniają wyniki przeprowadzonych wśród uczelni badań ewaluacyjnych dotyczących realizacji pierwszego etapu wspomnianego projektu. Wynika z nich jednoznacznie, że realizowany projekt wpływa na podniesienie poziomu wiedzy przedstawicieli uczelni na temat badania losów absolwentów i trudności z nimi związanych, możliwości wykorzystania przez uczelnie wyników badań losów absolwentów oraz projektowania badań losów absolwentów. Tym, co jest najważniejsze, jest jednak fakt, że badane uczelnie są zainteresowane skorzystaniem z projektowanej platformy. Oznacza to, że realizowany projekt ma szansę stać się istnym wsparciem dla dużej grupy uczelni w zakresie monitorowania losów zawodowych absolwentów, a tym samym zwiększenia jakości i efektywności realizowanego w tych uczelniach kształcenia. Warto jednocześnie zauważyć, że przeprowadzone badanie przyczyniło się do sformułowania szeregu cennych rekomendacji, do których Realizator projektu powinien się odnieść chcąc w sposób wartościowy i efektywny zrealizować główny cel projektu. Na koniec należy przypomnieć, że cały projekt zakończy się ewaluacją ex post, która kompleksowo oceni jego przebieg. Raport z ewaluacji końcowej zawierać będzie również rekomendacje usprawniające realizację podobnych przedsięwzięć w przyszłości. 23

24 6. Załącznik Załącznik nr 1: Wzór ankiety ex ante skierowanej do Uczeni Szanowna Pani/ Szanowny Panie, EWALUACJA RAPORTU Z BADANIA OBSERWATORIUM LOSÓW ZAWODOWYCH ABOLWENTÓW UCZELNI WYŻSZYCH Zwracamy się z prośbą o wyrażenie opinii na temat przedstawionego Państwu raportu z badania ukierunkowanego na wzrost jakości działań uczelni wyższych w zakresie monitorowania losów absolwentów uczelni wyższych. Badanie stanowiło element projektu realizowanego przez Akademię Humanistyczno Ekonomiczną w Łodzi i nadzorowane jest przez Narodowe Centrum Badań i Rozwoju. Projekt współfinansowany jest ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego. Wyniki badań posłużą do przygotowania platformy, dzięki której absolwenci uczelni będą mieli większe szanse na znalezienie odpowiedniego zatrudnienia na lokalnym rynku pracy. Chcielibyśmy zapewnić Panią/ Pana, że badanie ma charakter poufny pozyskane informacje posłużą wyłącznie do tworzenia zbiorczych zestawień statystycznych, tak iż niemożliwe będzie powiązanie odpowiedzi z konkretną uczelnią. 1. Proszę powiedzied, czy ogólnie rzecz biorąc, raport z badao przeprowadzonych w ramach projektu Obserwatorium Losów Zawodowych Absolwentów uczelni wyższych zwiększył Pani/a wiedzę na temat badania losów zawodowych absolwentów? Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie Trudno powiedzied 2. Czy raport zwiększył Pani/a wiedzę na temat ograniczeo i trudności w prowadzeniu badao losów zawodowych absolwentów? Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie Trudno powiedzied 3. Czy raport może byd pomocny w projektowaniu przez uczelnie wyższe własnych badao losów zawodowych absolwentów? Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie Trudno powiedzied 24

25 4. Czy raport zwiększył Pani/a wiedzę na temat możliwości wykorzystywania informacji o losach zawodowych absolwentów przez uczelnie wyższe? Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie Trudno powiedzied 5. Czy Pani/a uczelnia jest zainteresowana skorzystaniem z projektowanej Platformy służącej badaniu losów zawodowych absolwentów? Zdecydowanie tak Raczej tak Raczej nie Zdecydowanie nie Trudno powiedzied 6. Jeśli ma Pan/i jakieś uwagi dotyczące przedstawionego raportu, wyników i wniosków w nim zawartych prosimy o ich krótkie przedstawienie. METRYCZKA 1. Płed Kobieta Mężczyzna 2. Nazwa stanowiska/ funkcji. 3. Przybliżona liczba osób, które zapoznały się z raportem w Pani/a uczelni 1-2 osoby 3-4 osoby 5 i więcej osób 25