Raport końcowy z testowania kreatora case study i podręcznika dobrych praktyk

Transkrypt

1 Raport końcowy z testowania kreatora case study i podręcznika dobrych praktyk Temat innowacyjny: Wzmocnienie współpracy przedsiębiorców z sektorem nauki. Nazwa projektodawcy: Centrum Transferu Wiedzy i Technologii Uniwersytetu Szczecińskiego sp. z o.o. z siedzibą w Szczecinie przy ul. Mickiewicza 64. Tytuł projektu: Innowacyjna metoda nauczania szansą na wzmocnienie współpracy przedsiębiorców z sektorem nauki. Numer umowy: UDA-POKL /11-02

2 SPIS TREŚCI 1. Opis innowacji, w tym produktu finalnego 3 2. Cele testowania 4 3. Charakterystyka grupy użytkowników i odbiorów, którzy wzięli udział w testowaniu 4 4. Przebieg testowania 5 5. Monitorowane wskaźniki i sposoby monitorowania (metody, narzędzia, dokumenty) 8 6. Stopień osiągnięcia monitorowanych wskaźników 8 7. Ocena z podziałem na grupy użytkowników i odbiorców 11 a. Ocena przydatności podręcznika dobrych praktyk 11 b. Ocena przydatności komputerowej aplikacji Kreatora case study 13 c. Ocena przydatności komputerowej aplikacji podręcznika użytkownika Kreatora case study 14 d. Ocena przebiegu procesu testowania 15 e. Ocena innowacyjności produktu finalnego Rekomendacje dotyczące ewentualnych kierunków doskonalenia Spis załączników 18 str. 2

3 1. Opis innowacji, w tym produktu finalnego Proponowane rozwiązanie jest elementem nowoczesnej współpracy sektora przedsiębiorstw ze światem nauki. Pomysł jej realizacji polega na wykorzystaniu komputerowej platformy komunikacji do rozwiązywania problemów współczesnych przedsiębiorstw. Platforma ta stanowi płaszczyznę wymiany myśli między teorią a praktyką gospodarczą. Dzięki takiemu narzędziu zyskują nie tylko przedsiębiorcy, uzyskując rozwiązania nurtujących ich problemów ale również naukowcy, dla których zderzenie wiedzy teoretycznej z rzeczywistością gospodarczą jest ważnym elementem doskonalenia swojego warsztatu dydaktycznego. W końcu zyskują również studenci, którzy uczestniczą w rozwiązywaniu case study, które to z kolei powstają na bazie zgłaszanych przez przedsiębiorstwa problemów. Dzięki pracy w zespołach zajmujących się rozwiązywaniem konkretnych problemów gospodarczych studenci podnoszą swoje kwalifikacje, dzięki czemu będą bardziej wartościowymi pracownikami w przyszłości. W ten sposób następuje zamknięcie się obiegu korzyści z wdrażanej innowacji, ponieważ ostatecznym beneficjentem podmiotem, który skorzysta z lepiej wykształconej kadry są znów przedsiębiorcy. Nie można stwierdzić konkretnie, czy korzystające przedsiębiorstwa w ostatecznym rozrachunku są tymi, które uczestniczyły w procesie zgłaszania i rozwiązywania problemów, ale prawdopodobieństwo zajścia takich zdarzeń jest wysokie ze względu na wiedzę przedsiębiorców o realizowanym projekcie. Na zaproponowaną innowację składają się dwa elementy metodologia opracowywania studiów przypadku (zawarta w podręczniku dobrych praktyk ) a także komputerowa aplikacja, służąca stworzeniu studiów przypadku, której nierozerwalnym elementem jest podręcznik użytkownika ten element należy uznać za innowacyjną propozycję łączenia i wykorzystywania wiedzy teoretycznej w procesie rozwiązywania konkretnych problemów gospodarczych. Przygotowany podręcznik dobrych praktyk pt. Metodologia opracowywania studiów przypadku we współpracy z przedsiębiorstwami jest niezwykle istotnym elementem innowacji. Wprowadza osobę korzystającą w tematykę dydaktyki, ukierunkowaną na nauki ekonomiczne oraz nauki o zarządzaniu. Zawiera on ważne elementy procesu tworzenia studiów przypadku, które ukierunkowują osobę korzystającą z podręcznika na sposób konstruowania, pisania i adaptowania case study dla celów dydaktycznych. Dzięki temu książka może być z powodzeniem wykorzystywana przez osoby, które nigdy nie uczestniczyły w tworzeniu case study oraz nie wykorzystywały tego narzędzia w procesie dydaktycznym. Dzięki uniwersalnym treściom zawartym w podręczniku można stwierdzić, że mógłby być on wykorzystywany również w innych obszarach tematycznych nie tylko w ekonomii i czy zarządzaniu. Kolejnym elementem innowacji jest komputerowa aplikacja Kreatora studiów przypadku. Jest to rozwiązanie unikalne, którego podstawową własnością jest wprowadzenie do procesu dydaktycznego warunków zbliżonych w znacznym stopniu do rzeczywistości gospodarczej. Jednak jak wspominano powyżej w pierwszym rzędzie Kreatora wykorzystuje się jako platformę wymiany myśli problemów i rozwiązań. Dzięki tej własności przedsiębiorcy uzyskują możliwość kontaktu ze specjalistami naukowcami, co ma skutkować poszukiwaniem jak najlepszych rozwiązań str. 3

4 napotykanych problemów w praktyce gospodarczej. Każde zgłoszenie problemu do rozwiązania może stanowić nowe studium przypadku, a ze względu na braki ograniczeń w tej materii w przyszłości może być elementem dydaktycznym dla różnych gałęzi nauki. Ze względu jednak na skomplikowanie problematyki gospodarowania testowanie innowacji ograniczono do trzech pól badawczych. Są nimi: ekonomia, zarządzanie oraz technologie informacyjne. 2. Cele testowania Celem testowania była ocena efektywności wykorzystania kreatora case study i podręcznika dobrych praktyk dla korygowania funkcjonowania produktu i możliwości wprowadzenia niezbędnych poprawek przed procesem upowszechniania produktu finalnego. Faza testowania i jej właściwe monitorowanie są niezbędnym narzędziem w procesie przygotowywania produktu do korzystania w grupach docelowym. Testowanie jest również możliwością zweryfikowania założonych w strategii norm dla przyjętych wskaźników. Dzięki temu można odnieść się do tego, czy zakładane poziomy zostały osiągnięte i czy nie zostały zbyt wygórowane. 3. Charakterystyka grupy użytkowników i odbiorów, którzy wzięli udział w testowaniu Proponowana innowacja jest skierowana do trzech podstawowych grup - odbiorców: przedsiębiorców i studentów oraz użytkowników: nauczycieli. Jak zapisano powyżej każda z tych grup jest beneficjentem innowacji. W etapie testowania założono, że minimalną, wystarczającą liczbą do jego pomyślnego przeprowadzenia będą: czterech przedsiębiorców; czterech nauczycieli akademickich ( w tym dwie kobiety); czterdziestu studentów (w tym dwadzieścia kobiet). Docelowe grupy odbiorców i użytkowników, jakie będą objęte upowszechnianiem produktu finalnego, do których skierowana jest innowacja są następujące: minimum stu przedsiębiorców; minimum czterystu nauczycieli akademickich; minimum dwa tysiące studentów. Ze względu na założone ograniczenia w procesie testowania co do dziedzin, dla których tworzone były case study wprowadzono również restrykcje w rekrutacji studentów i nauczycieli akademickich. Studentów rekrutowano z dwóch wydziałów ekonomicznych Uniwersytetu Szczecińskiego: Wydziału Nauk Ekonomicznych i Zarządzania oraz Wydziału Zarządzania i Ekonomiki Usług ze względu na tematykę zestawu opracowanych w trakcie projektu case study. Nauczycieli str. 4

5 akademickich rekrutowano na podobnej zasadzie z tym, że ze względu na dopuszczenie tematyki technologii informacyjnych do budowania case study, grupę uczelni rozszerzono również o Zachodniopomorski Uniwersytet Technologiczny. Wśród dziesięciu przedsiębiorców, którzy zgłosili się do projektu, rozesłano droga mailową zapytanie o wyrażenie zgody na udział w testowaniu innowacji, na które pozytywnie odpowiedziało pięć z nich. Dodatkowo na ogłoszenie na stronie internetowej odpowiedziały jeszcze dwie firmy. Ogólna liczba przedsiębiorstw biorących udział w testowaniu produktu wyniosła zatem siedem. W tym wypadku nie postawiono górnej granicy liczby przedsiębiorstw, które mogą wziąć udział w testowaniu. Ostatecznie użytkownikami produktu na etapie testowania była grupa czterech nauczycieli akademickich (dwie kobiety i dwóch mężczyzn) oraz grupa 44 studentów (szesnaście kobiet i dwudziestu ośmiu mężczyzn) Uniwersytetu Szczecińskiego, a także siedmiu przedsiębiorców z województwa zachodniopomorskiego. W stosunku do postawionych celów odnoście parytetu liczby kobiet mężczyzn nie uzyskano stosunku 1:1 w grupie studentów. W tym wypadku do procesu testowania nie zgłosiła się odpowiednia liczba kobiet, stąd bazowano na dostępnym materiale. Jednocześnie nie zdecydowano się na zamknięcie listy na 40 osobach ze względu na obawy, czy do końca fazy testowania liczba uczestników nie zmniejszy się z przyczyn niezależnych. Jak zapisano w protokole z rekrutacji do fazy testowania zgłosiły się 52 osoby, a na jej koniec liczba ta wynosiła już 44. Można wnioskować, że decyzja o wstępnym rozszerzeniu listy do 52 osób była słuszna dzięki czemu w fazie testowania wzięła udział wystarczająca liczba studentów. 4. Przebieg testowania W ramach etapu testowania znalazły się następujące działania: 1. Opracowanie metodologii oceny efektywności wykorzystania kreatora case study do zastosowania w trakcie testowania. Założona metodologia oceny fazy testowania opiera się na dokumentach zgromadzonych w trakcie trwania tej fazy. Były to następujące materiały: ankiety, listy obecności, dzienniki zajęć i opinie uczestników. Zgodnie z zapisami metodologii pytania sformułowane w ankietach przeprowadzonych we wszystkich grupach testujących miały na celu ocenienie przydatności proponowanych narzędzi a także ich jakości. W związku z koniecznością monitorowania całości procesu testowania przeprowadzono trzy rodzaje ankiet (pre mid i post), dzięki którym uzyskano opinie o produkcie. Opracowana metodologia zawierała również docelowe poziomy pożądane dla poszczególnych wskaźników. 2. Przeprowadzenie rekrutacji do poszczególnych grup testujących, która odbywała się od lutego do kwietnia 2013 roku, a wyniki tej rekrutacji zostały ogłoszone na spotkaniu z uczestnikami fazy testowania 3 kwietnia 2013 roku w budynku Wydziału Nauk Ekonomicznych i Zarządzania Uniwersytetu Szczecińskiego przy ulicy A. Mickiewicza 64 w Szczecinie w Sali 106/107. Uczestnicy spotkania zostali ponownie poinformowani o celu projektu oraz o tym jak będzie wyglądać faza testowania, a następnie zostali poproszeni o potwierdzenie zgody na uczestnictwo w projekcie. 3. Przeprowadzenie szkolenia dla nauczycieli akademickich z zakresu korzystania z innowacji (12 godzin). Szkolenie dotyczące działania kreatora zostało przeprowadzone przez jego twórcę i odbyło się w dniach 11 kwietnia (omówienie funkcjonalności Kreatora studiów przypadku, zasady zakładania i modyfikacji kont przedsiębiorców, studentów i nauczycieli, dodawanie i przeglądanie problemów do rozwiązania, opracowywanie studiów przypadku, dodawanie str. 5

6 plików, przeglądanie baz i kontakt z przedsiębiorcami) i 12 kwietnia 2013 roku (warsztaty z praktycznej obsługi Kreatora studiów przypadku, szkolenie z zakresu metodologii oceny efektywności wykorzystania Kreatora case study i podręcznika dobrych praktyk do zastosowania w trakcie testowania produktu finalnego). Nauczyciele zostali zapoznani z podręcznikiem dobrych praktyk, podręcznikiem użytkownika a także przeanalizowali wszystkie studia przypadku (case study). Nauczycielom akademickim zostały wręczone notesy, pendrivy, segregatory i długopisy z logotypami (jedna osoba nie odebrała materiałów). Po szkoleniu zostały zebrane opinie na temat innowacji. Dodatkowo na potrzeby monitorowania procesu testowania i oceny efektywności działania Kreatora case study wraz z materiałami dydaktycznymi przeprowadzono trzy rodzaje ankiet oceniających (wstępną, cząstkową i końcową). 4. Przeprowadzenie szkoleń dla siedmiu przedsiębiorców z zakresu korzystania z innowacji (12 godzin). Szkolenie dla przedsiębiorców przebiegało w taki sam sposób jak szkolenie dla nauczycieli i również było prowadzone przez twórcę programu oraz specjalistę z zakresu badania efektywności. W szkoleniu uczestniczyło siedmiu przedstawicieli przedsiębiorstw, którzy zapoznali się z działaniem aplikacji oraz pomocami naukowymi. Szkolenie odbyło się w dniach 22 i 23 lipca 2013 roku, a po jego odbyciu uczestnicy zostali poproszeni o opinie na temat projektu. Podobnie jak w przypadku grupy nauczycieli akademickich wszystkim uczestnikom tych szkoleń rozdano materiały szkoleniowe z logotypami. 5. Przeprowadzenie przez przeszkoloną grupę czterech nauczycieli akademickich zajęć ze studentami, z wykorzystaniem kreatora studiów przypadków (4 grupy x 30 godzin łącznie 120 godzin). Zajęcia odbywały się równolegle w czterech grupach po: 11, 11, 14, 8 osób. Każdy nauczyciel był opiekunem jednej grupy studentów. Zajęcia przebiegały według następującego układu: przeprowadzenie ankiety wstępnej (pre), szkolenie studentów z zakresu korzystania z komputerowej aplikacji oraz z pomocy dydaktycznych, przeprowadzenie ankiety cząstkowej (mid), dla wybranych przez nauczycieli studiów przypadku (case study) przeprowadzono kolejno ćwiczenia z rozwiązywania problemów dla studentów (każdy nauczyciel przeprowadził zajęcia we wszystkich czterech grupach dla wybranych przez siebie studiów przypadku); wybrane studia przypadku były następujące: a) Analiza ryzyka wystąpienia zagrożenia dla bezpieczeństwa informacji biznesowej w przedsiębiorstwie na przykładzie UNIZETO; b) Zarządzanie wymaganiami w projektach IT gromadzenie i formułowanie wymagań użytkownika; c) Zarządzanie danymi i komunikacją w sieci komputerowej na przykładzie przedsiębiorstwa z branży projektowej; d) Zastosowanie metod neuromarketingu do identyfikacji klientów sklepów internetowych. przeprowadzenie ankiety końcowej (post), zebranie opinii na temat podręcznika dobrych praktyk oraz podręcznika użytkownika Kreatora case study. Również w tym przypadku użytkownicy etapu testowania otrzymali: podręcznik dobrych praktyk w wersji elektronicznej, podręcznik użytkownika w wersji elektronicznej, pendrive, segregator, notes, długopis. str. 6

7 Grupa I studentów uczestniczyła w zajęciach w dniach: 15, 22 i 29 kwietnia oraz 6, 13, 17 i 20 maja. W tej grupie wszyscy uczestnicy odebrali materiały dydaktyczne. Grupa II studentów uczestniczyła w zajęciach w dniach: 15, 22, 23, 29 i 30 kwietnia oraz 6, 7, 13, 14 i 20 maja. W tej grupie wszyscy uczestnicy odebrali materiały dydaktyczne. Grupa III studentów uczestniczyła w zajęciach w dniach: 15, 22, 23, 29 i 30 kwietnia oraz 6, 7, 13, 14 i 20 maja. W tej grupie wszyscy uczestnicy odebrali materiały dydaktyczne. Grupa IV studentów uczestniczyła w zajęciach w dniach: 16, 18, 22 kwietnia oraz 6, 9, 14, 16, 20 i 21 maja. W tej grupie trzej uczestnicy nie odebrali materiałów dydaktycznych Grupy studenckie rozpoczynały w następujących liczebnościach: 11, 11, 15, 12. W poszczególnych grupach na zakończenie szkolenia rozdawane były certyfikaty uczestnictwa w międzynarodowym projekcie innowacyjnym. Certyfikatów nie odebrało w sumie: 1 osoba w grupie I, 1 osoba w grupie II, 4 osoby w grupie III i 3 os w grupie IV. Otrzymane ankiety (pre, post i mid) stanowiły podstawę do oceny efektywności wykorzystania Kreatora studiów przypadku a tym samym stanowiły podstawę do sporządzenia raportu. Zarówno w grupie studentów jak i nauczycieli akademickich zebrano również opinie na temat podręcznika dobrych praktyk oraz podręcznika użytkownika Kreatora case study. Opinie te stanowiły podstawę do oceny przydatności podręczników i komputerowej aplikacji Kreatora case study. Nauczyciele akademiccy dodatkowo otrzymali materiały dydaktyczne do wybranych przez siebie studiów przypadków (opis case study ze wskazówkami metodycznymi + prezentacja multimedialna). Ponadto nauczyciele akademiccy i przedsiębiorcy mieli podczas szkolenia zapewnione wyżywienie (przerwa kawowa i obiadowa). str. 7

8 5. Monitorowane wskaźniki i sposoby monitorowania (metody, narzędzia, dokumenty) Monitorowanie przebiegu testowania zgodnie z zapisami ze strategii i według opracowanej metodologii oceny efektywności odbywało się za pomocą następujących dokumentów: list obecności na wszystkich formach zajęć, dzienników zajęć szkoleniowych i zajęć ze studentami formularzy ewaluacji wstępnej, cząstkowej i końcowej (ankiety pre mid i post) opracowane na potrzeby testowania dla wszystkich grup użytkowników i odbiorców formularzy opinii na temat podręcznika dobrych praktyk oraz podręcznika użytkownika Kreatora case study Celem przeprowadzonego procesu monitoringu była oceny efektywności proponowanej metodologii jak a także ocena organizacji samego procesu testowania. W trakcie monitoringu była również weryfikowana prawidłowość realizacji testów i na bieżąco podejmowano decyzje o przeprowadzeniu koniecznych korekt. Ewaluacja wewnętrzna oparta została na opracowanej metodologii oceny efektywności kreatora case study. Monitorowano następujące wskaźniki: a) podniesienia poziomu i jakości kształcenia praktycznego studentów; b) upraktycznienia zajęć; c) wspomagania definiowania tematów prac dyplomowych; d) usprawnienia kontaktu z przedsiębiorcami w celu zorganizowania praktyk; e) Usprawnienie kontaktu z przedsiębiorcami w celu podjęcia pierwszej pracy; f) wzmocnienia współpracy między przedsiębiorcami i sektorem nauki; g) możliwości pozyskania lepiej wykształconych pracowników. Ewaluacja wewnętrzna była przeprowadzona na podstawie analizy dokumentacji skompletowanej w trakcie testowania (ankiety, listy obecności, dzienniki zajęć i opinie uczestników). W sytuacji, gdy 85% ankietowanych wyda pozytywną opinię na temat testowanego produktu, będzie można stwierdzić, że efekty z przeprowadzonej innowacji są satysfakcjonujące. 6. Stopień osiągnięcia monitorowanych wskaźników Wartości monitorowanych wskaźników są wynikiem obliczeń na podstawie dostępnego materiału statystycznego tj. ankiet i opinii. Wśród uczestników fazy testowania projektu zostały przeprowadzone trzy rodzaje ankiet (wstępna, cząstkowa i końcowa). Dzięki takim informacjom można zweryfikować hipotezy stanowiące o tym czy zakładane efekty wprowadzenia innowacji były str. 8

9 słuszne czy też nie. W trzech grupach odbiorów zadawano specyficzne, aczkolwiek prowadzące do podobnych konkluzji pytania, na które odpowiedzi prowadziły do konkretnych wartości wskaźników. W wyniku ankiet przeprowadzonych wśród przedsiębiorców i nauczycieli akademickich uzyskano 100% zwrot, zarówno w przypadku ankiet początkowych jak i cząstkowych. W przypadku grup studenckich otrzymano 47 ankiety pre, 44 mid i 44 post. Oznacza to, że w stosunku do grupy początkowej odsetek zwrotów wyniósł 94%. Należy jednak zauważyć, że osoby te zrezygnowały z uczestnictwa w projekcie w trakcie jego trwania, dlatego odnoszą się do osób aktywnie uczestniczących w fazie odsetek ten wynosi 100%. Wszystkie otrzymane ankiety były poprawnie wypełnione i mogą być uwzględnione w weryfikacji efektywności działania Kretora case study. W związku z tym kolejne pytania w ankietach mają przełożenie na wartości konkretnych wskaźników. Stąd można zapisać, że aby uzyskać wartości odpowiednich wskaźników należało: 1. dla wskaźnika dotyczącego jakości kształcenia dokonać analizy pytań: W ankiecie studenckiej i nauczycielskiej pytań numer 1, które brzmiały odpowiednio: Czy prowadzenie zajęć z wykorzystaniem Kreatora case study może wpływać Twoim zdaniem na podniesienie poziomu i jakości kształcenia praktycznego? Czy prowadzenie zajęć z wykorzystaniem Kreatora case study będzie wpływać na podniesienie poziomu i jakości kształcenia praktycznego? 2. dla wskaźnika dotyczącego upraktycznienia zajęć dokonać analizy pytań: W ankiecie studenckiej i nauczycielskiej pytań numer 2, które brzmiały: Czy wykorzystanie na zajęciach Kreatora case study może nadać zajęciom bardziej praktyczny charakter? 3. dla wskaźnika dotyczącego wspomagania definiowania tematów prac dyplomowych dokonać analizy pytań: W ankiecie studenckiej i nauczycielskiej pytań numer 2, które brzmiały: Czy praca z Kreatorem case study może ułatwić i pomóc Tobie w zdefiniowaniu/wyborze tematu pracy dyplomowej? Czy praca z Kreatorem case study może wspomóc proces definiowania tematów prac dyplomowych (licencjackich, magisterskich) odpowiadających potrzebom pracodawców? 4. dla wskaźnika dotyczącego wzmocnienia współpracy między przedsiębiorcami i sektorem nauki dokonać analizy pytania: Czy w Państwa ocenie aktywne korzystanie z kreatora studiów przypadku w procesie dydaktycznym może przyczynić się do nawiązywania i wzmocnienia współpracy między przedsiębiorstwami i sektorem nauki? 5. dla wskaźnika dotyczącego możliwości pozyskania lepiej wykształconych pracowników dokonać analizy pytania: Czy w Państwa ocenie aktywne korzystanie z Kreatora studiów przypadku w procesie dydaktycznym stworzy Państwu możliwość pozyskania lepiej wykształconych pracowników? str. 9

10 Zestaw wskaźników monitorowanych w etapie testowania wraz z osiągniętymi i zakładanymi wartościami Wskaźniki osiągnięcia celów podniesienie poziomu i jakości kształcenia praktycznego studentów Metoda weryfikacji metoda ankietowa Źródło danych kwestionariusz ankiety Czasokres pomiaru luty - wrzesień 2013 Pożądana wartość wskaźnika Osiągnięta wartość wskaźnika 80% wskazań s: 91% wskazań n: 100% wskazań średnio: 95,5% Upraktycznienie zajęć metoda ankietowa kwestionariusz ankiety luty - wrzesień % wskazań s: 98% wskazań n: 100% wskazań średnio: 99% Wspomaganie definiowania tematów prac dyplomowych metoda ankietowa kwestionariusz ankiety luty - wrzesień % wskazań 18% wskazań n: 75% wskazań średnio: 46,5% Usprawnienie kontaktu z przedsiębiorcami w celu zorganizowania praktyk metoda ankietowa kwestionariusz ankiety luty - wrzesień % wskazań s: 34% wskazań n: 100% wskazań średnio: 67% Usprawnienie kontaktu z przedsiębiorcami w celu podjęcia pierwszej pracy metoda ankietowa kwestionariusz ankiety luty - wrzesień % wskazań s: 39% wskazań n: 50% wskazań średnio: 44,5% Wzmocnienie współpracy między przedsiębiorcami i sektorem nauki metoda wywiadu kwestionariusz wywiadu luty - wrzesień % wskazań 100% wskazań str. 10

11 Wskaźniki osiągnięcia celów Metoda weryfikacji Źródło danych Czasokres pomiaru Pożądana wartość wskaźnika Osiągnięta wartość wskaźnika Możliwość pozyskania lepiej wykształconych pracowników metoda wywiadu kwestionariusz wywiadu luty - wrzesień % wskazań 86% wskazań Legenda: s studenci n nauczyciele Ocena wspomagania przez Kreator case study definiowania tematów prac dyplomowych na poziomie niższym niż zakładano w grupie studentów spowodowana była tym, że studenci uczestniczący w testowaniu Kreatora byli już po etapie wyboru tematów prac dyplomowych/magisterskich. Na uwagę zasługuje fakt, że nauczyciele akademiccy określili tą przydatność na poziomie 75%. Należy zauważyć, że przedstawione powyżej wskaźniki można podzielić na dwie grupy: wskaźniki związane z głównym celem projektu (priorytetowe) oraz wskaźniki związane z dodatkowymi celami projektu (uzupełniające). Za wskaźniki priorytetowe projektu należy uznać: a) podniesienia poziomu i jakości kształcenia praktycznego studentów; b) upraktycznienia zajęć; c) wzmocnienia współpracy między przedsiębiorcami i sektorem nauki; d) możliwości pozyskania lepiej wykształconych pracowników. Wskaźnikami uzupełniającymi w tym projekcie były: a) wspomagania definiowania tematów prac dyplomowych; b) usprawnienia kontaktu z przedsiębiorcami w celu zorganizowania praktyk; c) usprawnienie kontaktu z przedsiębiorcami w celu podjęcia pierwszej pracy. Wobec powyższego należy uznać, że stopień realizacji priorytetowych celów projektu należy uznać za bardzo dobry. W przypadku celów uzupełniających zamierzony poziom docelowy nie został osiągnięty, co nie wpływa na stopień realizacji celu głównego projektu. 7. Ocena z podziałem na grupy użytkowników i odbiorców Ocena w podziale na grupy użytkowników i odbiorców odbyła się na podstawie anonimowych opinii zebranych wśród studentów i nauczycieli akademickich w po zakończeniu fazy testowania. Uczestnikom zadano sześć pytań dotyczących podręcznika użytkownika Kreatora case study, cztery pytania dotyczące podręcznika dobrych praktyk. Respondentów poproszono również o wydanie opinii na temat działania komputerowej aplikacji Kreatora case study ze wskazaniem ewentualnych kierunków jego udoskonalenia (trzy pytania) a także o dobrowolne wypowiedzenie się na temat tego czego brakuje aplikacji a co jest jej największą wartością. str. 11

12 Opinie zostały wystawione przez czterech nauczycieli akademickich i czterdziestu czterech studentów podobnie jak w przypadku ankiety końcowej w fazie testowej. a. Ocena przydatności podręcznika dobrych praktyk W przypadku podręcznika dobrych praktyk analizie podlegały cztery następujące pytania zamknięte: Czy treści podręcznika dobrych praktyk przedstawione są w sposób przystępny? Czy język podręcznika dobrych praktyk jest czytelny zrozumiały? Czy konstrukcja i układ treści odpowiadają hierarchii zagadnień związanych z obsługą podręcznika dobrych praktyk? Czy treści poszczególnych rozdziałów, podrozdziałów są adekwatne do tytułów i podtytułów? Uzyskane opinie podzielono na dwie części: grupę studencką i nauczycieli akademickich, a wyniki analiz przedstawiono poniżej. W grupie studentów: Na podstawie ankiet przeprowadzonych wśród studentów, którzy korzystali z podręcznika dobrych praktyk należy stwierdzić, że: treści podręcznika przedstawione są w sposób przystępny (98% wskazań); język podręcznika jest czytelny i zrozumiały (95% wskazań); konstrukcja podręcznika i układ jego treści odpowiadają hierarchii zagadnień związanych z obsługą podręcznika dobrych praktyk (100% wskazań); treści poszczególnych rozdziałów, podrozdziałów są adekwatne do tytułów i podtytułów (100% wskazań) Ogólna konkluzja pozwala na stwierdzenie, że podręcznik dobrych praktyk jest przydatnym narzędziem w ocenie prowadzących zajęcia. W grupie nauczycieli akademickich: Na podstawie ankiet przeprowadzonych wśród nauczycieli akademickich, którzy wykorzystywali podręcznik dobrych praktyk należy stwierdzić, że: treści podręcznika przedstawione są w sposób przystępny (100% wskazań); język podręcznika jest czytelny i zrozumiały (100% wskazań); konstrukcja podręcznika i układ jego treści odpowiadają hierarchii zagadnień związanych z obsługą podręcznika dobrych praktyk (100% wskazań); str. 12

13 treści poszczególnych rozdziałów, podrozdziałów są adekwatne do tytułów i podtytułów (100% wskazań) Według wyników ankiet przeprowadzonych wśród przedsiębiorców można stwierdzić, że: treści podręcznika przedstawione są w sposób przystępny (100% wskazań); język podręcznika jest czytelny i zrozumiały (100% wskazań); konstrukcja podręcznika i układ jego treści odpowiadają hierarchii zagadnień związanych z obsługą podręcznika dobrych praktyk (100% wskazań); treści poszczególnych rozdziałów, podrozdziałów są adekwatne do tytułów i podtytułów (100% wskazań) Ogólna konkluzja pozwala na stwierdzenie, że podręcznik dobrych praktyk jest przydatnym narzędziem w ocenie prowadzących zajęcia. b. Ocena przydatności komputerowej aplikacji Kreatora case study Ocenę przydatności komputerowej aplikacji Kreatora case study przeprowadzono na podstawie ankiet pre, mid i post przeprowadzonych w trakcie w fazie testowania. W wyniku analizy uzyskano informacje o tym jak zmieniały się podglądy uczestniczących w testowaniu wraz ze wzrostem wiedzy o przeprowadzanym procesie. Drugim źródłem informacji na ten temat były opinie wystawione przez uczestników fazy na koniec testowania. Również w tym wypadku informacje analizowano w dwóch niezależnych grupach (studentów i nauczycieli akademickich). W grupie studentów otrzymano następujące wyniki: Przed przystąpieniem do fazy testowania 94% ankietowanych oceniało, że Kreator case study może być przydatnym narzędziem w podnoszeniu poziomu i jakości kształcenia praktycznego. W trakcie testowania odsetek ten spadł do 89%, a na koniec zajęć wzrósł do 91%. Kreator case study był oceniany jako przydatne narzędzie, nadające zajęciom bardziej praktyczny charakter przed przystąpieniem do testowania przez 94% studentów. W trakcie testowania odsetek ten spadł do 84%, a na koniec zajęć wzrósł do 98%. W grupie nauczycieli akademickich otrzymano następujące wyniki: Przed przystąpieniem do fazy testowania 50% ankietowanych oceniało, że Kreator case study może być przydatnym narzędziem w podnoszeniu poziomu i jakości kształcenia praktycznego. W trakcie testowania odsetek ten wzrósł do 100% i utrzymał się na tym poziomie do końca fazy testowania. str. 13

14 Kreator case study był oceniany jako przydatne narzędzie, nadające zajęciom bardziej praktyczny charakter przed przystąpieniem do testowania przez 100% nauczycieli akademickich. W trakcie testowania i na koniec zajęć odsetek ten nie uległ zmianie. Na podstawie opinii zebranych na koniec prowadzonych zajęć otrzymano następujące informacje o komputerowej aplikacji. I tak w grupie studentów wyniki były następujące: ocena czytelności aplikacji i przejrzystości ułatwia pracę w ramach studium przypadku (100% odpowiedzi TAK) ocena sprawności działania aplikacji (98% odpowiedzi TAK) ocena przydatności aplikacji w poszerzaniu umiejętności praktycznego rozwiązywania problemów (95% TAK) W grupie nauczycieli akademickich oceny poszczególnych, opiniowanych problemów były w 100% pozytywne. Również w grupie przedsiębiorców oceny poszczególnych, opiniowanych problemów były w 100% pozytywne. Należy stwierdzić, że ocena aplikacji komputerowej jest zdecydowanie pozytywna. c. Ocena przydatności podręcznika użytkownika Kreatora case study Ocenie podlegał również podręcznik użytkownika Kreatora case study. Ocenom było poddawanych sześć problemów związanych z jego użytecznością. Stosowną ocenę wystawili zarówno studenci, korzystający z Kreatora jak również nauczyciele. Oceny były formułowane jako odpowiedzi na następujące pytania: Czy treści i język podręcznika Kreatora studiów przypadku przedstawione są w sposób przystępny i zrozumiały? Czy konstrukcja i układ treści odpowiadają hierarchii zagadnień związanych z obsługą Kreatora studiów przypadku? Czy treści podręcznika zawierają informacje prawdziwe i aktualne? Czy treści poszczególnych rozdziałów, podrozdziałów są adekwatne do tytułów i podtytułów? Czy ilustracje wykonane są poprawnie? Czy zakres treści przedstawionych w podręczniku Kreatora studiów przypadku jest wystarczający by sprawnie posługiwać się tym kreatorem? str. 14

15 Wyniki uzyskane na podstawie udzielonych odpowiedzi można zaprezentować w następujący sposób. W grupie studentów: ocena treści i języka (100% pozytywna) ocena konstrukcji i układu treści (100% pozytywna) ocena aktualności informacji (98% pozytywna) ocena adekwatności tytułów i treści rozdziałów i podrozdziałów (98% pozytywna) ocena ilustracji (100% pozytywna) ocena czy zakres treści jest wystarczający, by sprawnie posługiwać się kreatorem (98% pozytywna) W grupie nauczycieli akademickich oraz przedsiębiorców odpowiedzi na wszystkie pytania były twierdzące. Uogólniając można podsumować, że podręcznik użytkownika Kreatora case study jest przydatnym narzędziem, zbudowanym w logiczny i konsekwentny sposób. d. Ocena przebiegu procesu testowania Ocena przebiegu testowania była oceniana na podstawie trzech rodzajów ankiet, które zostały przeprowadzone na grupach testujących (ankiety pre, mid i post). Dodatkowo należy zaznaczyć, że szkolenia były prowadzone w czterech grupach roboczych w przypadku studentów, a odpowiedzi na poszczególne pytania różniły się między sobą. Procesu testowania w grupie studentów spowodował skrystalizowanie poglądów uczestniczących na następujące kwestie: Czynnik Pozytywne wskazania pre Pozytywne wskazania mid Pozytywne wskazania post podniesienie jakości kształcenia Grupa I: 91% Grupa II: 91% Grupa I: 91% Grupa II: 82% Grupa I: 81% Grupa II: 91% Grupa III: 93% Grupa III: 100% Grupa III: 93% Grupa IV: 100% Grupa IV: 100% Grupa IV: 100% średnia wartość 93,75% 93,25% 91,25% praktyczność Grupa I: 91% Grupa II: 91% Grupa I: 81% Grupa II: 92% Grupa I: 100% Grupa II: 91% str. 15

16 Grupa III: 93% Grupa IV: 100% Grupa III: 80% Grupa IV: 86% Grupa III: 100% Grupa IV: 100% średnia wartość 93,75% 84,75% 97,75% kontakt z praktyką gospodarczą Grupa I: 55% Grupa II: 72% Grupa I: 36% Grupa II: 63% Grupa I: 30% Grupa II: 55% Grupa III: 53% Grupa III: 40% Grupa III: 20% Grupa IV: 70% Grupa IV: 57% Grupa IV: 43% średnia wartość 62,5% 49,0% 37,0% Na podstawie przeprowadzonych ankiet można zaobserwować ewoluowanie stanowisk w poszczególnych grupach roboczych. Najmniej radykalne zmiany dotyczyły podniesienia jakości kształcenia w wyniku wykorzystania kreatora case study. Pozytywna ocena tej cechy w ogólnym rozrachunku spadła średnio o 1 p.p. (z 93% do 92%). Należy jednak zaznaczyć, że w trakcie trwania procesu testowania odsetek pozytywnych ocen spadł do 89%. Należy jednak zauważyć, że końcowa wartość odsetka jest satysfakcjonująca. W przypadku oceny praktyczności zajęć z wykorzystaniem kreatora case study zmiany były nieco większe, ale pozytywne. Oznacza to, że wartości twierdzących ocen wzrosły średnio z 94% do 98%. Wzrost ten podobnie jak w poprzednim przypadku był przedzielony spadkiem (w okresie mid) do 85%. Wartości końcowe są bardzo satysfakcjonujące, potwierdzające efektywność innowacyjnej metody kształcenia. Największe zmiany zachodziły w trakcie oceny możliwości kontaktowania z przedsiębiorcami (w celu odbycia praktyk). Początkowa wartość wskaźnika (średnio 63%) zmieniała się negatywnie przez 49% w trakcie trwania testowania do 37% na jego koniec. W przypadku oceny czy aktywne korzystanie z Kreatora może umożliwić uzyskanie kontaktów w celu podjęcia pierwszej pracy wartość odsetka pozytywnych wskazań spadła z 55% do 42%. Podobne badanie przeprowadzono dla testowanej grupy nauczycieli akademickich: Czynnik Pozytywne wskazania pre Pozytywne wskazania mid Pozytywne wskazania post podniesienie jakości kształcenia 50% 100% 100% praktyczność 100% 100% 100% kontakt z praktyką gospodarczą 25% 75% 100% str. 16

17 W przypadku testowanej grupy nauczycieli akademickich we wszystkich analizowanych czynnikach zauważa się wzrost wartości pozytywnego odsetka odpowiedzi do 100% we wszystkich analizowanych przypadkach. Jedyny spadek wartości współczynnika zanotowano dla kontaktów z praktyką w celu podjęcia pierwszej pracy w tym miejscu ocena spadła z 75% do 50%. Ostatnią grupą, w której oceniano przebieg testowania była grupa przedsiębiorców: Czynnik Pozytywne wskazania pre Pozytywne wskazania mid Pozytywne wskazania post wzmocnienie współpracy przedsiębiorstw z sektorem nauki monitoring procesu rozwiązywania problemów 91% 100% 100% 75% 100% 97% ogólna ocena Kreatora 100% Należy podkreślić, że ocena przedsiębiorców biorących udział w procesie testowania jest jednoznacznie pozytywna. Zarówno w przypadku wzmocnienia współpracy przedsiębiorstw z naukowcami jak i monitoringu procesu rozwiązywania problemów uzyskano wzrost (w pierwszym przypadku o 9 p.p., natomiast w drugim o 22 p.p.). Na uwagę zasługuje ogólna ocena Kreatora, wydana w trakcie testowania 100% pozytywnych wskazań. e. Ocena innowacyjności produktu finalnego Ocena innowacyjności zastosowanej metody nauczania została wystawiona przez przedsiębiorców, którzy odpowiadali w ankietach pre i post na następujące pytanie: Czy wdrożenie Kreatora case study uważają Państwo za innowacyjną formę nauczania? W przypadku tak postawionego pytania w chwili rozpoczęcia testowania 86% przedsiębiorców było przekonanych o innowacyjności proponowanej metody, natomiast po zakończeniu etapu testowania odsetek ten wzrósł od 24 p.p. to jest do 100%. Można uznać zatem, że zaproponowana metoda jest metodą innowacyjną, podnoszącą jakość kształcenia i wzmacniającą współpracę przedsiębiorstw z sektorem nauki. Rekomendacje dotyczące ewentualnych kierunków doskonalenia W ramach przeprowadzonych wywiadów, ankiet i zbieranych opinii sformułowano szereg rekomendacji i uwag dotyczących ewentualnego udoskonalenia Kreatora case study. Uwagi można podzielić tematycznie na następujące części: techniczne dotyczące funkcjonowania strony www; str. 17

18 graficzne, dotyczące strony wizualnej; merytoryczne, dotyczące efektywności działania. W ramach oceny wyspecyfikowano następujące błędy o charakterze technicznym: Brak dokładnego adresu przy rejestracji (nr domu) w polu adresu nie ma zapytania o nr lokalu; edycja profilu jest niekompletna; Brak możliwości skasowania/zamknięcia/ usunięcia błędnie założonego konta; Serwis wolno działa - przy większej liczbie osób korzystających z kreatora system zaczyna wolno działać lub przestaje działać na pewien czas; Problemy z mailem aktywacyjnym (w niektórych przypadkach na mail nie przychodzi potwierdzenie aktywacji); z potwierdzeniem przychodzi z opóźnieniem i jest traktowany jako spam; W menu pop-up pojedyncze rozwinięcie; Zbyt łatwy dostęp dla wszystkich do wybierania innych profili niż student - profil wykładowcy jak i przedsiębiorcy powinien być zastrzeżony przez odpowiednią weryfikację danych; Błędy językowe, interpunkcyjne, stylistyczne, ortograficzne we wszystkich przerabianych przypadkach; Brak dobrze widocznego na stronie linku kierującego do kreatora studiów przypadku - wejście do kreatora studiów jest utrudnione; Wylogowanie z systemu zostało źle umieszczone; Niepotrzebne rozwijane menu, gdy tylko jedna opcja; Link do panelu logowania kreatora studiów przypadku powinien być duży i rzucający się w oczy; Brak możliwości dodania swojej propozycji przez studenta; Graficzne: Wygląd strony pozostawia wiele do życzenia; W zakładce Home stopka jest na środku strony - słaby efekt wizualny; Szata graficzna powinna być bardziej zachęcająca - mało przyjemny wygląd strony kreatora Małe okno przewijanej treści przy stronach z dużą ilością tekstu i grafiki. Merytoryczne: W zakładce dyscyplina naukowa: ekonomia nie działa jedno ze studium przypadku; Błędna architektura informacji niezgodna z zasadami użyteczności; Wymóg co do długości prezentacji jest zbędny; Zbędny natłok informacji o firmie takich jak np. historia firmy; Brak komunikacji z firmą, która zgłasza problem; Problemy były już rozwiązane przez wykładowców co odbierało nieco pracy studenta (zwłaszcza jeśli nieuczciwie podglądali rozwiązania). Plusem jest, że zaproponowane rozwiązania wykładowców były praktycznie bardzo pouczające, a zajęcia były ciekawsze niż większość przedmiotów prowadzonych na uczelni. Zbyt rozbudowane etapy studium przypadku. str. 18

19 W niektórych przypadkach brak możliwości ściągnięcia prezentacji; Nie wszystkie tematy zawierały prezentację multimedialną problemu i jego rozwiązania; Forma przedstawienia tematów powinna być ujednolicona zachęcać do jego rozwiązania. 7. Spis załączników 1) Analiza ankiet badawczych przeprowadzonych wśród studentów 2) Analiza ankiet badawczych przeprowadzonych wśród nauczycieli akademickich 3) Analiza ankiet badawczych przeprowadzonych wśród przedsiębiorców str. 19