This project has been funded with support from the European Commission. This website reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein. HANDBOOK Shared Evaluation of Quality in technology-enhanced learning for higher education, vocational education and training and the corporate sector www.sevaq.eu SPIS TRESCI 0
SPIS TRESCI WSTĘP... 3 1. POJĘCIE... 6 1.1 Jakość w edukacji... 6 1.2 Dowód tożsamości SEVAQ+... 7 2. OD SEVAQ DO SEVAQ+... 8 2.1 Filozofia... 8 2.1.1 Model doskonałości EFQM... 8 2.1.2 Model ewaluacji szkoleń Kirkpatricka... 9 2.1.3 Wspólna ocena jakości w kształceniu wspomaganym przez technologie informacyjne... 9 2.2 Przejście do SEVAQ+... 10 2.2.1 Treści... 12 2.2.2 Narzędzie sieciowe... 13 3. SCENARIUSZE UŻYCIA... 14 4. APLIKACJA SIECIOWA: PODRĘCZNIK UŻYTKOWNIKA... 18 4.1 Procesy SEVAQ+ w skrócie... 18 4.1.1 Typy użytkowników narzędzia SEVAQ+... 19 4.1.2 Ogólny proces... 19 4.2 Logowanie: początek pracy z narzędziem... 20 4.2.1 Zakładanie konta:... 20 4.3 Tworzenie i zarządzanie kwestionariuszami... 22 Status kwestionariusza... 22 Działania... 22 4.3.1 Menu główne... 23 4.3.2 Aby utworzyć nowy kwestionariusz... 23 KROK 1: Konfiguracja kwestionariusza... 24 KROK 2: Określenie kontekstu... 25 KROK 3: Określenie celów (kryteriów)... 26 KROK 4: Określenie tematyki (podkryteriów)... 27 KROK 5: Opracowanie kwestionariusza (twierdzeń)... 28 4.4 Tworzenie i zarządzanie respondentami... 29 4.5 Przesłanie kwestionariusza... 31 4.6 Przeglądanie wyników... 34 4.6.1 Wykres radarowy... 34 SPIS TRESCI 1
4.6.2 Tabela podsumowująca... 35 4.6.3 Liczby... 35 4.6.4 Wykresy słupkowe... 36 4.6.5 Komentarze... 36 4.7 Dostęp do archiwum... 37 5. OPTYMALIZACJA FUNKCJI UŻYTKOWNIKA SEVAQ+... 38 6. SZKICE Z SEVAQ+... 46 6.1 Krótki dialog w sieci... 46 BIBLIOGRAFIA... 50 Bibliografia online... 50 Załącznik: HISTORIA PROJEKTU... 51 A1 Linia czasu: główne inicjatywy oraz wyniki... 51 A2 Badanie użytkowników... 52 A3 Ocena delficka... 53 A4 Lokalizacja... 54 KONTAKT... 57 SPIS TRESCI 2
WSTĘP Ku wspólnej kulturze oceny jakości Ulf-Daniel Ehlers Jakość jest centralnym elementem europejskiej wizji zgodnie z którą Europa ma stać się punktem odniesienia w skali światowej w zakresie kształcenia oraz szkolenia. Działania związane z technologią informacyjno-komunikacyjną (ICT) są niezbędne do otwarcia naszych systemów edukacyjnych na świat, zapewnienia wszystkim jeszcze lepszego dostępu do edukacji oraz zwiększenia efektywności nauki. Jednak ponad wszystko, technologia informacyjno-komunikacyjna uważana jest za katalizator zmian w dążeniu do reform oraz modernizacji kształcenia i szkolenia na drodze do społeczeństwa opartego na wiedzy (Holmes, 2006, p.15). Jakość w edukacji oraz szkoleniu zawsze była ważną kwestią dla Europy. W czasach, gdy europejscy politycy skupiają się na realizacji celów zawartych w Traktacie Lizbońskim, jak również próbują dogonić Stany Zjednoczone oraz kraje azjatyckie w zakresie konkurencyjności i wydajności, musimy zwrócić uwagę na naszą pozycję na świecie w dziedzinie edukacji. Aby umożliwić realizację wyzwań, które zostały określone w Lizbonie, Rada Europy przyjęła w 2001 roku trzy cele strategiczne oraz 13 celów szczegółowych z zamierzeniem zrealizowania ich do 2010 roku: podstawą systemów kształcenia oraz szkolenia powinna być jakość, łatwość dostępu oraz otwartość na świat. Rok później zatwierdzony został szczegółowy program prac, któremu nadano nazwę Edukacja i Szkolenie 2010 oraz, który uzyskał wsparcie Ministrów Edukacji. Miał on na celu uczynienie Europy punktem odniesienia w skali światowej w zakresie jakości kształcenia. Jakość została postawiona na pierwszym miejscu programu politycznego, a państwa członkowskie zobowiązały się wspólnie pracować w oparciu o Otwartą metodę koordynacji (ibid). Niemniej jednak, wymagania oraz kontekst doskonalenia jakości zmieniają się w równie szybkim tempie jak społeczeństwo. Konsekwencją głębokich transformacji społecznych XXI wieku jest zmiana w sposobie myślenia o edukacji, a w szczególności o jakości kształcenia. W świecie, w którym jesteśmy świadkami powstawania oraz konsolidacji takich czynników społecznych jak: przejrzystość działań, zaangażowanie, odpowiedzialność, władza obywateli poprzez samoorganizację oraz słuchanie ich głosów, jak również zwiększenie liczby czynników wartościotwórczych jak np. organizacje współpracujące, otwarte innowacje oraz klimat zmian, musimy przywiązać szczególną wagę do rozpowszechnienia kultury wspólnej oceny. Podczas, gdy położono nacisk na zewnętrzne kryteria zapewnienia jakości, rozwój wewnętrznej organizacyjnej kultury jakości wciąż wymaga upowszechnienia w zakresie kształcenia i szkolenia zawodowego oraz szkolnictwa wyższego. Stoimy u progu nowej ery w zarządzaniu jakością dla potrzeb edukacji wyższej oraz kształcenia i szkolenia zawodowego (Ehlers 2010). Pomimo, że ciężko jest określić kiedy dokładnie się zaczęła, wydaje się oczywistym fakt, że oznacza ona odejście od mechanicznego pojmowania jakości i obranie nowego kierunku, w którym doskonalenie jakości zasadniczo wymaga rozwoju kultury organizacyjnej opartej na wspólnych wartościach, niezbędnych umiejętnościach oraz nowym profesjonalizmie. Podczas gdy w poprzedniej dekadzie koncentrowano się na opanowaniu narzędzi kontroli jakości lub akredytacji, obecnie uwagę zwraca się w coraz większym stopniu na opanowanie umiejętności przeprowadzania zmian oraz uwzględnienie profesjonalistów w kontekście wyższej edukacji. Pojęcia takie jak kontrola jakości czy zarządzanie jakością są często uważane za technokratyczne podejścia oparte na metodzie z góry do dołu, które często nie sprawdzają się w kontekście szkolnictwa wyższego (Sursock 2004). Przez długi czas preferowanym podejściem były segmentacja oraz na oddzielanie poszczególnych procesów edukacyjnych od siebie, jak również na ich WSTĘP 3
opisywanie oraz dbanie o jakość. Nowa generacja, czy też nowa era, koncentruje się na odmiennym podejściu. Opowiada się za zmianami w miejscu kontroli, za rozwojem w miejscu stabilizacji oraz stawia innowację ponad zgodność ze standardami. Stara się też określić czynniki sprzyjające, wchodzące w skład teczek kompetencji różnych zaangażowanych podmiotów. Wcześniejsze, tradycyjne ujęcie zarządzania organizacją, popierane przez teoretyków takich jak Michael Porter (1980), opiera się na poglądzie, że strategie można wcześniej określić i dokładnie zaplanować. Późniejsze ujęcie, popierane szczególnie przez Henrego Mintzberga (1994), potwierdza, że zmiany w organizacjach są nowym zjawiskiem, a ich źródłem są umiejętności pracowników oraz kultura organizacyjna (patrz także Prahalad/Hamel 1990). Zgodnie z tą interpretacją, takie aspekty jak systemy zarządzania jakością oraz narzędzia, umiejętności, jak również wartości indywidualne oraz organizacyjne nie są uważane za oddzielne jednostki procesu doskonalenia jakości, ale za części składowe kompleksowych pojęć. Żadne z nich nie jest ważniejsze od pozostałych. Definicja jakości w edukacji nie może być z punktu widzenia normatywnego wcześniej określona i narzucona, ale musi być rozwijana poprzez negocjacje oraz udział zainteresowanych podmiotów. Trzeba podkreślić fakt, iż postrzeganie jakości w świetle perspektywy kultury organizacyjnej oznacza przyjęcie podejścia holistycznego: kultura jakości łączy elementy kultury, aspekty strukturalne oraz umiejętności w jedną kompleksową strukturę, która wspiera udziałowców przy rozwoju wizji, wspólnych wartości oraz przekonań. Kluczem do sukcesu kultury jakości jest połączenie komunikacji, zaangażowania oraz wzajemnych relacji opartych na podejściach z dołu do góry oraz z góry na dół. Podnoszenie jakości przez długi czas opierane było tylko na zewnętrznych kryteriach zapewnienia jakości, czego przykładem mogą być procedury akredytacyjne w szkolnictwie wyższym. Potencjał jaki tkwi w rozwoju wewnętrznej kultury jakości stał się ostatnio bardziej oczywisty. Również jakość jest coraz częściej postrzegana jako funkcja, którą spełnia profesjonalizm w szkolnictwie wyższym oraz kształceniu i szkoleniu zawodowym, a nie jedynie jako mechanizm kontrolny. Niemniej jednak, wciąż brakuje ogólnej zgody co do wagi kształtowania podejścia jakościowego w ramach rozwoju strategii organizacyjnych, w których skład wchodzą procesy profesjonalizacji, a narzędzia oraz podejścia są wciąż w fazie rozwojowej. W związku z tym, szczególnie ważne jest wspieranie projektów oraz inicjatyw jakościowych, jak również rozwój podejść jakościowych, które łączą w sobie zasadne środki i nacisk na naukę organizacyjną oraz rozwój kultur jakości. Zgodnie ze wszystkimi podejściami, niezbędne jest zaangażowanie w proces podnoszenia jakości wszystkich kluczowych udziałowców oraz przyjęcie do wiadomości faktu, iż taki właśnie proces zorientowany na społeczność może okazać się korzystny dla poprawy jakości szkolnictwa wyższego oraz kształcenia i szkoleń zawodowych. W celu wspierania procesu dostarczania rozwiązań oraz możliwości organizacjom działającym w ramach wyższej edukacji oraz kształcenia zawodowego i szkolenia, rozwinęliśmy narzędzia oraz zgromadziliśmy bagaż doświadczeń w zakresie wspólnej oceny, jak również doszliśmy do wniosku, że właśnie takie podejście jest najbardziej odpowiednie jeśli chodzi o doskonalenie jakości organizacyjnej oraz naukę w rozumieniu holistycznym, tak jak zostało to opisane powyżej. SEVAQ jest narzędziem służącym wspólnej ocenie jakości w e-learningu w zakresie kształcenia i szkolenia zawodowego oraz szkolnictwa wyższego. To wielojęzyczne narzędzie oferuje zarówno podstawowy zakres pytań jak i indywidualne możliwości rozbudowywania oceny. Wyniki oceny są dostępne w czasie rzeczywistym w różnych formach, od wykresów radarowych generujących natychmiastowy obraz sytuacji, do danych pierwotnych możliwych do wykorzystania w innych aplikacjach. Pierwotnie został on opracowany na potrzeby pilotażowego projektu Leonardo Da Vinci (2005-2007), w ramach którego 9 europejskich partnerów połączyło model ewaluacji Kirkpatricka z elementami modelu jakościowego Europejskiej Fundacji Zarządzania Jakością (EFQM ) celem stworzenia oraz wdrożenia wielofunkcyjnego WSTĘP 4
dynamicznego narzędzia dostępnego w 7 językach i służącego do tworzenia w prosty sposób kwestionariuszy wspólnej oceny, aby uzyskać wysokiej jakości informację zwrotną (feedback) od uczących się. W celu wykorzystania potencjału SEVAQ, kluczowi partnerzy, którzy współpracowali przy pierwszym projekcie, połączyli swoje siły z nowymi członkami, w tym z dwiema największymi sieciami europejskimi (Europejską siecią nauczania na odległość / European Distance and E-learning Network EDEN oraz Europejską fundacją ds. jakości w e-learningu / European Foundation for Quality in E-learning EFQUEL) celem rozwinięcia SEVAQ+, Działanie 4, celem którego jest wykorzystanie i upowszechnienie projektów w ramach programu Uczenie się przez całe życie (2009-2011). W trakcie trwania projektu, zarówno narzędzie jak i filozofia były udoskonalane w celu wspierania oraz promocji zapewniania jakości kształcenia w zakresie zarówno szkolenia zawodowego jak i szkolnictwa wyższego. Jednym z głównych wyników projektu, poza samym rozbudowanym narzędziem, jest utworzenie pojęcia wspólna ocena (shared value), co jest znaczącym krokiem w kierunku zmiany kulturowej wymaganej do szerokiego poparcia oraz akceptacji oceny jakości w dziedzinie edukacji. WSTĘP 5
1. POJĘCIE 1.1 Jakość w edukacji Zapewnienie jakości jest kluczowym priorytetem na poziomie UE, zarówno dla instytucji szkolnictwa wyższego, jak również dla kształcenia zawodowego i szkolenia. Proces Boloński ma wpływ na instytucje szkolnictwa wyższego oraz kształcenie zawodowe i szkolenia, a udoskonalanie systemu szkolnictwa ma wielkie znaczenie dla programu Uczenie się przez całe życie. Instytucje muszą poddawać analizie wiele kwestii, a w szczególności te dotyczące procesów nauczania oraz uczenia się, ról oraz obowiązków kadry zarządzającej, wykładowców oraz studentów w podnoszeniu jakości tych procesów. Celem realizacji wytycznych Procesu Bolońskiego jest implementacja procedur zapewnienia jakości (I. Huet a.o., 2010). Samoocena jest częścią wewnętrznego zapewnienia jakości, tj. procesu polegającego na analizie własnych wyników oraz założeń. Zgodnie z definicją Europejskiej Fundacji Zarządzania Jakością (EFQM ), samoocena odnosi się do obszernej, systematycznej i regularnej analizy działań organizacji oraz wyników, które wymieniono w modelu EFQM. Proces samooceny pozwala organizacji na określenie w jasny sposób jej mocnych stron oraz obszarów, w których można by dokonać ulepszeń, jak również w jej wyniku zaplanowane są działania naprawcze, których rezultaty są następnie monitorowane. SEVAQ+ wykorzystał pojęcie samooceny na poziomie organizacji w celu utworzenia pojęcia wspólnej oceny. Nie chodzi tutaj o ocenę własnego procesu kształcenia przez jednostkę, a raczej o holistyczną ocenę dokonaną przez podmioty zaangażowane w przedsięwzięcie celem ewaluacji jakości procesów, zasobów oraz wyników wszelkiego kształcenia wspieranego przez technologię. Jakość jest ogólnym warunkiem sukcesu produktów, ale także staje się ona niezbędna w dziedzinie edukacji. To właśnie nauka na wysokim poziomie sprawia, że młodzi ludzie są w stanie funkcjonować jako kompetentni profesjonaliści posiadający dużą wiedzę oraz prowadzący dobre życie społeczne. Nauka przyczyni się do zrównoważonego rozwoju społecznego oraz ewoluującego rozwoju gospodarczego (Henrard et al, 2008) (Horton, 2001). Właśnie z tego powodu jakość w szkolnictwie wymaga spełnienia trzech warunków: zdolność do zapewnienia rzeczywistego rozwoju osobowości oraz zachowania ucznia; kompatybilność z potrzebami społeczeństwa; dostępność wysokiej jakości zasobów oraz umiejętność fachowego zarządzania uczelnią. Zapewnienie wysokiej jakości warunków w edukacji oraz kontrola jakości leżą w gestii zarządu każdego podmiotu odpowiedzialnego za organizację nauki, a w szczególności e-learningu. Fang Zhao (2003) proponuje strukturę, która dostarcza metody mające na celu podniesienie jakości e-learningu. W jej zakres wchodzą następujące aspekty: efektywność kursu: nowoczesne technologie, które są bezwartościowe jeśli nie są narzędziem wsparcia dla materiałów, które spełniają wymagania uczniów; zadowalający dostęp do infrastruktury technicznej: większość problemów, które napotykają uczący się wynika z ograniczeń technicznych; zadowolenie ucznia: zadowolenie ucznia łączy się z jakością kursu e-learningowego, jak również z jego relacjami z nauczycielem oraz usługami wsparcia. Wzajemne relacje pomiędzy uczniem a nauczycielem są niezwykle istotne w e-learningu zarówno asynchronicznym, jak i synchronicznym. Dla nauczyciela równie ważna jest także informacja zwrotna; zadowolenie z edukacji: oznacza to, że e-learning powinien spełniać potrzeby kadry nauczycielskiej z tego względu, że różni się od tradycyjnego nauczania. POJĘCIE 6
1.2 Dowód tożsamości SEVAQ+ SEVAQ+ jako... narzędzie online nie służy WYŁĄCZNIE tworzeniu kwestionariuszy służy wdrożeniu ankiety o usystematyzowanej strukturze Na rynku istnieje wiele zwykłych programów do tworzenia kwestionariuszy, ale żaden z nich nie oferuje sprawdzonej bazy 700 gotowych twierdzeń ewaluacyjnych. W oparciu o rozbudowane kwestionariusze, pytania wybiera się z usystematyzowanej bazy za pomocą narzędzia konfiguracyjnego, które dopasuje najodpowiedniejsze pytania dla danego kontekstu. model oceny metoda NIE JEST normatywny SEVAQ+ nie powie Ci co jest właściwe albo czy robisz coś zgodnie z danymi standardami. NIE ODNOSI SIĘ do konkretnego modelu kształcenia NIE ma na celu POKAZYWAĆ, który model jest najwłaściwszy w danym kontekście uczenia się lub dla osiągnięcia wybranych celów. jest diagnostyczny i opisowy Podkreśla mocne i słabe strony Twojej nauki. Od teraz każde rozwiązanie może przyczynić się do poprawy całego systemu. ZNAJDUJE zastosowanie w różnych modelach kształcenia Każdy kontekst ma pewne odmienne cechy. Możliwe, że najlepszym sposobem nauki okaże się połączenie kilku różnych modeli. wspólny proces oceny jakości NIE OGRANICZA SIĘ do projektu, wdrożenia oraz przeprowadzenia kursu Kurs szkoleniowy nie powinien być postrzegany jako oddzielny organizm o określonej żywotności. JEST dostępny dla wewnętrznych i zewnętrznych procesów jakościowych Szkolenie jest żywym organizmem, który jest zintegrowany z otwartym środowiskiem. Wydzielić możemy wewnętrzne podmioty zaangażowane oraz beneficjentów (nauczyciele, managerzy, kursanci), jak również zewnętrzne (organizacje finansujące szkolenia, twórcy polityki). narzędzie służące do monitorowania filozofia NIE CHODZI wyłącznie o ilość Pomimo, że wskaźniki oraz wytyczone progi wskazują obszary wymagające ulepszeń, w jakości chodzi o coś więcej niż liczby. NIE JEST oparta na jednokierunkowym procesie Nawet jeśli dzięki SEVAQ+ możliwe jest tworzenie kwestionariuszy przez jedną osobę, dla jednej grupy docelowej nie jest on stworzony tylko do tego. Zdecydowanie CHODZI o jakość Najistotniejsze obszary określa się na podstawie dwóch wyników cząstkowych wyliczonych na podstawie odpowiedzi respondentów: a) Zgodności (skala Likerta) b) Wagi (skala Likerta) JEST oparta na porozumieniu i dzieleniu się Siła SEVAQ+ leży w wspieraniu wielu punktów widzenia w ramach całości procesu szkoleniowego. POJĘCIE 7
2. OD SEVAQ DO SEVAQ+ 2.1 Filozofia SEVAQ+ jest europejską inicjatywą mającą na celu wspólną ocenę jakości w kształceniu wspomaganym przez technologie informacyjne, opartym na połączeniu modelu ewaluacji szkoleń Kirkpatricka z modelem mistrzowskim EFQM zaprojektowanym dla tych wszystkich, którzy wdrażają e-learning oraz technologie informacyjno-komunikacyjne w szkolnictwie wyższym lub kształceniu i szkoleniu zawodowym. Narzędzie oferuje zarówno podstawowy zakres pytań, jak i indywidualne możliwości rozbudowywania oceny. Wyniki oceny są dostępne w czasie rzeczywistym w różnych formach, od wykresów radarowych dających natychmiastowy obraz sytuacji, do danych pierwotnych możliwych do wykorzystania w innych aplikacjach. 2.1.1 Model doskonałości EFQM Model doskonałości EFQM opiera się na 9 kryteriach. Pięć z nich zalicza się do obszaru potencjał, a cztery do obszaru wyniki. Kryterium potencjał odpowiada zakresowi działania organizacji. Kryterium wyniki odpowiada jej osiągnięciom. Wyniki są pochodnymi potencjału, a z kolei potencjał jest udoskonalany za pomocą informacji zwrotnej pochodzącej z wyników. Model EFQM wspiera podejście dynamiczne do jakości, jako że nauka poprzez ewaluację pomaga doskonalić potencjał, który w zamian prowadzi do lepszych wyników. Dzięki podejściu systemowemu oraz globalnemu, model EFQM wspiera ciągły rozwój oraz innowacje. W związku z wykorzystaniem modelu EFQM w kontekście kształcenia wspomaganego przez technologie informacyjne, zaistniała potrzeba dokonania transpozycji. Jej celem jest ocena wydajności procesów uczenia się / nauczania, jak również podjęcie działań mających na celu wsparcie tych ulepszeń. Poniżej znajduje się rozbudowany model EFQM, który rozwinęliśmy jako założenie koncepcyjne wykorzystane w filozofii SEVAQ+: OD SEVAQ DO SEVAQ+ 8
Rys. 1. Model doskonałości EFQM mający zastosowanie w kształceniu (Schreurs & Arnold, 2010) 2.1.2 Model ewaluacji szkoleń Kirkpatricka Model ewaluacji szkoleń opracowany przez Kirkpatricka jest niezwykle istotny przy analizie kryterium wyniki modelu EFQM, szczególnie gdy znajduje zastosowanie w kontekście szkolnictwa. Model Kirkpatricka jest często przedstawiany w formie 4-poziomowej piramidy, w następujący sposób: (1) Reakcje lub odczucia uczniów podczas nauki. (2) Wynik nauki lub wzrost wiedzy ucznia dzięki uczestnictwie w kursie. (3) Wpływ na funkcjonalność ucznia w miejscu pracy lub przełożenie się nowej wiedzy na umiejętności. (4) Wpływ wykształconej kadry na wypracowany przychód. 2.1.3 Wspólna ocena jakości w kształceniu wspomaganym przez technologie informacyjne Jednym z wyzwań stojących przed podnoszeniem jakości w kształceniu wspomaganym przez technologie informacyjne jest liczba zaangażowanych podmiotów, które mają wpływ na kształcenie. Wszystkie zaangażowane podmioty, przynajmniej te wewnętrzne, muszą pełnić rolę ewaluatora. Cztery główne kategorie zaangażowanych podmiotów biorą udział we wdrożeniu procedur zapewnienia jakości kształcenia wspomaganego przez technologie informacyjne: uczniowie: mogą to być uczniowie szkół, studenci lub pracownicy organizacji. Kurs jest zaprojektowany dla nich więc, aby osiągnąć swe cele, muszą brać w nim czynny udział; kadra trenerska: w e-learningu w skład kadry trenerskiej wchodzą osoby o różnych profilach np. tradycyjni nauczyciele, prywatni nauczyciele pomagający w ćwiczeniach online oraz osoby zajmujące się wsparciem technicznym, które razem współpracują przyczyniając się do zapewnienia wysokiej jakości kształcenia. treść kursu oraz podmioty dostarczające technologie: Treść kursu oraz technologia mogą być dostarczone przez zewnętrzną lub wewnętrzną jednostkę biorącą udział w projekcie. Celem treści oraz technologii, zarówno pochodzących z wewnątrz, jak i z zewnątrz, jest zapewnienie wysokiej jakości kształcenia; ekipa zarządzająca: jej rolą jest wdrożenie najlepszych rozwiązań e-learningu przeznaczonych dla wszystkich podmiotów zaangażowanych, w tym uczniów, co oznacza dbanie o budżet oraz zasoby, wewnętrzne procesy, politykę oraz procedury jakościowe. OD SEVAQ DO SEVAQ+ 9
Rys. 2. Przejście z SEVAQ do SEVAQ+ (EFQM i model Kirkpatricka) Widzimy zatem, że często istnieje potrzeba połączenia w ramach podejścia ewaluacyjnego kilku różnych kwestionariuszy stworzonych przez różnych twórców dla odmiennych grup respondentów. Umożliwi to opracowanie wielu wersji kwestionariusza, w zależności od wizji ich twórców. Każdy z kontekstów ewaluacji jest inny, na co trzeba zwrócić szczególną uwagę przy ustalaniu celów oraz interesariuszy, którzy powinni brać w niej udział (zob. Rozdział 5). 2.2 Przejście do SEVAQ+ SEVAQ+ ma na celu podniesienie jakości obserwacji procesu kształcenia. W tym celu, w ramach projektu zostały opracowane założenia koncepcyjne narzędzia poprzez: Konteksty kształcenia: ocena może dotyczyć procesu uczenia w ramach kształcenia i szkolenia zawodowego oraz, od teraz, również w ramach szkolnictwa wyższego. Kształcenie i szkolenie zawodowe Szkolnictwo wyższe OD SEVAQ DO SEVAQ+ 10
Profile użytkowników: ocena może dotyczyć nie tylko uczniów, ale także nauczycieli, managerów, dostawców oraz ekipy zarządzającej. Przedstawiciel instytucji Dyrektor działu Manager ds. szkoleń Manager projektu Kierownik kursu Jednostka ewaluacyjna Kadra szkoleniowa Twórca kwestionariusza Przedstawiciel instytucji Dyrektor działu Manager ds. szkoleń Manager projektu Kierownik kursu Kadra szkoleniowa Ekipa pracująca nad projektem Dostawca technologii informacyjno-komunikacyjnej (ICT) Uczeń Respondenci Procesy podlegające ewaluacji: dokładna ocena wszystkich procesów wchodzących w skład wewnętrznej oraz zewnętrznej jakości. Począwszy od kontekstu oraz analizy potrzeb do wdrożenia kursu, jego przeprowadzenie, wyniki kształcenia oraz wpływ na daną dziedzinę, jak również wyniki ekonomiczne oraz społeczne. Treść: zakres kwestionariusza obejmuje zasoby, procesy oraz wyniki nie tylko dotyczące samego kształcenia, ale także zadań, które wspierają kurs w ujęciu całościowym. Rys. 3. Procesy podlegające ewaluacji OD SEVAQ DO SEVAQ+ 11
2.2.1 Treści Tak jak w przypadku pierwszego wdrożenia, twierdzenia SEVAQ+ są przedstawione w postaci 3 poziomowej struktury. Rys. 4. Struktura treści SEVAQ Twórca kwestionariusza ma do swojej dyspozycji preferowane twierdzenia, które dołączamy w trzech krokach, przechodząc od tematów ogólnych do treści szczegółowych. Główne kryteria (pierwszy krok): istnieją trzy główne dziedziny lub kryteria dotyczące kształcenia: zasoby, procesy, wyniki. Kryteria (drugi krok): zbiór ok. 20 pozycji, które określają aspekty pedagogiczne, managerskie oraz techniczne głównego kryterium (tj. skuteczność kursu, wyniki nauczania oraz budżet należą do obszaru wyniki ). Pod-kryteria (trzeci krok): zbiór około 90 pod-kryteriów, które określają szczegółowo treści (tj. skuteczność kursu może być podzielona na dwa aspekty: obecność oraz ocena jakości kadry szkoleniowej, zasobów oraz usług). Przejście do SEVAQ+ zwiększyło pulę twierdzeń końcowych z początkowych 200 do 700. Ta opcja aplikacji pozwala na wyświetlenie najodpowiedniejszego zestawu kryteriów oraz pod-kryteriów zgodnie z informacją podaną wcześniej przez twórcę kwestionariusza: OD SEVAQ DO SEVAQ+ 12
sektory edukacji: szkolnictwo wyższe, kształcenie i szkolenie zawodowe; profil twórcy kwestionariusza: kadra szkoleniowa, manager projektu, etc.; formuła uczenia: e-learning, mieszana (blended); adresaci kursu: uczniowie, kadra szkoleniowa, manager projektu, etc.; czas oceny: na zakończenie kursu, w późniejszym okresie. Na etapie analizy, ekipa SEVAQ+ przeformułowała treść większości twierdzeń uwzględniając przy tym trzy główne cele: Zachowanie elastyczności w różnych kontekstach, twierdzenia nie zawierają opinii oraz ocen dotyczących jakichkolwiek modeli kształcenia. Prosta składnia oraz terminy użyte w twierdzeniach. Starannie dobrano czasy użyte w twierdzeniach tak, aby umożliwić wykorzystanie tych samych twierdzeń zarówno na początku kursu, jak i na jego końcu. 2.2.2 Narzędzie sieciowe Poprzez rozbudowę narzędzia zmieniono także aplikację sieciową. Dzięki uwagom oraz sugestiom potencjalnych użytkowników, które zostały zebrane w ramach międzynarodowego sondażu oraz fazy testowej, została opracowana nowa wersja SEVAQ+. Nowe funkcje obejmują: nowy, przyjazny dla użytkownika interfejs; usprawniony obszar projektowania, w tym wielofunkcyjny pulpit, który umożliwia szybsze oraz prostsze zarządzanie kwestionariuszami; Więcej opcji do dyspozycji twórców kwestionariuszy, w tym: - określanie czy komentarz ma być obowiązkowy lub opcjonalny, - zautomatyzowane funkcje służące do komunikacji z respondentami; Większa elastyczność oraz więcej informacji dla respondentów, w tym: - wybór języka (ang./wł./fr./lit./pl./niem.) - poprawiony etap finalizacji kwestionariusza. OD SEVAQ DO SEVAQ+ 13
3. SCENARIUSZE UŻYCIA Określając najodpowiedniejszy dla twoich potrzeb scenariusz użycia SEVAQ+, należy wziąć pod uwagę kilka elementów. Produkty i usługi Istnieją trzy kategorie produktów i usług oferowanych przez SEVAQ+: narzędzie sieciowe służące do projektowania oraz wdrażania kwestionariuszy dotyczących nauki w formule mieszanej (blended learning) oraz ich analiza; usługi szkoleniowe oraz wdrożeniowe w ramach których opracowane oraz zainicjowane zostaje wspólne podejście ewaluacyjne oraz strategia nauki w formule blended; gromadzenie ogólnie dostępnych danych za pomocą ujednoliconych kwestionariuszy (obserwacja). Kontekst organizacyjny Narzędzie SEVAQ+ oraz filozofia mogą być wykorzystane w różnych kontekstach organizacyjnych: użytkownicy indywidualni (oferta standardowa); instytucje szkolnictwa wyższego; jednostki oferujące kształcenie i szkolenie zawodowe; duże korporacje; specyficzne konteksty. Podejście do wdrożenia strategii ewaluacyjnej Narzędzie SEVAQ+ może znaleźć zastosowanie w organizacjach, które reprezentują różne podejścia do wdrażania strategii ewaluacyjnych, głównie w zależności od zaawansowania systemów oceny w organizacji. Wybór wersji odpowiadającej najlepiej twoim potrzebom Dla użytkowników indywidualnych wersja standardowa narzędzia sieciowego jest darmowa, a koszt wersji premium to niewielka roczna opłata. Dla organizacji prowadzących szkolenia i kursy, które mają zdecentralizowany system oceniania lub opierają go na podejściu z dołu do góry, opcja premium group jest rozwiązaniem oszczędnościowym. Dzięki niej kilku użytkowników może korzystać z zalet wersji premium ze zniżkami zaczynającymi się od 50%. Dla organizacji o dobrze rozwiniętej strategii ewaluacyjnej w oparciu o metodę z góry na dół, opcje Pro oraz Global umożliwiają analizę wyników w ramach organizacji, działów oraz sesji szkoleniowych, jak również filtrowanie zgromadzonych danych za pomocą podejścia wielowymiarowego. Podczas gdy wersja Pro jest idealna dla organizacji, które korzystają już z elementów podejścia ewaluacyjnego i potrzebują jedynie wybranych usług. Wersja Global oferuje zaś pełen zakres opcji i usług, jak również jest jedyną wersją, która pozwala na określenie punktów odniesienia dotyczących organizacji w oparciu OD SEVAQ DO SEVAQ+ 14
o publicznie dostępne dane uzyskane od wszystkich użytkowników w Europie odpowiadającym pewnym kryteriom (obserwacja). Istnieje wiele potencjalnych scenariuszy użycia, poniżej przedstawiamy najpopularniejsze z nich: Scenariusz 1: osoby pracujące w instytucji akademickiej lub organizacji szkoleniowej Ten scenariusz skierowany jest do osób, które wspierają naukę mieszaną w szkolnictwie wyższym (wykładowcy akademiccy, nauczyciele, profesorowie, mentorzy, twórcy materiałów...) lub organizacji prowadzących działania w ramach kształcenia i szkolenia zawodowego. Osoby te Interesuje użycie narzędzia sieciowego w celu szybkiego gromadzenia danych, co umożliwia im większe zaangażowanie w proces kształcenia. Odbywa się to niezależnie od istniejących procesów oceny i ewaluacji, które zazwyczaj są zintegrowane z systemem zarządzania treścią szkoleniową (LCMS) oraz z platformami planowania zasobów (ERP). Istnieją również ograniczenia co do liczby kursów lub materiałów, które dana osoba współtworzy. SEVAQ+ wersja = Premium Scenariusz 2: usługi na zamówienie w ramach dużej międzynarodowej korporacji Ten scenariusz uwzględnia konkretne jednostki organizacyjne lub projekty w ramach dużej międzynarodowej korporacji. Wykorzystywany jest ma konkretne potrzeby ewaluacji, która nie obejmuje swym zasięgiem całej organizacji. Jako przykład można wymienić wpływ sesji e-learningowej na funkcjonowanie centrum informacji telefonicznej dużego zakładu gospodarki komunalnej. Proces nie wymagał pełnego zakresu usług oferowanych przez SEVAQ+, ani nie jest to też projekt długoterminowy. Również nie wymaga on od organizacji zastosowania podejścia przekrojowego ani głębokiej integracji IT z systemami wewnętrznymi. Może natomiast zajść potrzeba dostosowania narzędzia w niewielkim stopniu. SEVAQ+ wersja = Pro Scenariusz 3: pełny zakres usług w ramach dużej międzynarodowej korporacji Ten scenariusz uwzględnia potrzeby organizacji mającej zamiar wdrożenie kompleksowego podejścia do wspólnej ewaluacji szkoleń w organizacji. Narzędzie sieciowe różni się od tego, które oferowane jest indywidualnym użytkownikom. Różnica ta polega na tym, że jego architektura posiada zintegrowane dwupoziomowe pojęcie organizacyjne. Może również wymagać w znacznym stopniu przystosowania, ale nie jest to tak ważne jak towarzyszące mu usługi, które mają nadrzędne znaczenie dla skutecznego wykorzystania SEVAQ+: określenie podejścia przekrojowego oraz zrozumienie pojęcia wspólnej ewaluacji szkoleń; szkolenie ekspertów ds. mieszanej ewaluacji w ramach organizacji oraz jej jednostek organizacyjnych; integracja IT z już istniejącą architekturą informatyczną (standardy techniczne, katalog globalny, bezpieczeństwo); OD SEVAQ DO SEVAQ+ 15