Andrzej Wodecki Polski Uniwersytet Wirtualny, Uniwersytet Marii Curie-Skłodowskiej w Lublinie

Transkrypt

1 Andrzej Wodecki Polski Uniwersytet Wirtualny, Uniwersytet Marii Curie-Skłodowskiej w Lublinie Kontrola jakości procesów e-learning w kształceniu akademickim Wprowadzenie Wdrożenie systemu e-learning w organizacji jest często mylnie traktowane jako projekt informatyczny bądź multimedialny. Faktycznie jest to natomiast przedsięwzięcie edukacyjne w szerokim tego słowa znaczeniu. Informatyka pełni tu funkcję infrastruktury, zaś specjaliści ds. grafiki komputerowej realizują koncepcje wypracowane wspólnie z autorami treści i zespołami metodycznymi. Ze względu na specyfikę projektu (w większości przypadków należy założyć brak fizycznego kontaktu pomiędzy uczniami, nauczycielami a uczelnią) szczególnej roli nabiera integracja klasycznych dotąd procesów za pośrednictwem systemów informacyjnych. W efekcie, sprawne wdrożenie systemu e-learning wymaga od realizujących je zespołów opanowania wielu specyficznych umiejętności oraz, co jest tematem tego wystąpienia, odpowiedniego zarządzania ryzykiem i jakością. Polski Uniwersytet Wirtualny (dalej: PUW) w pewnym sensie odwzorowuje uniwersytet w mikroskali : posiada scentralizowane procesy wytwarzania kursów, obsługi studenta oraz nauczania. Nie jest to oczywiście jedyny model systemu e-learning na uczelni wyższej. Dużo popularniejsze, funkcjonujące w innych szkołach, rozwiązania mają na celu uzupełnienie klasycznego nauczania raczej niż jego zastąpienie (jak w modelu PUW). Z tego względu należy podkreślić, że opisane niżej doświadczenia oraz wizja jakości e-learningu są w dużej mierze funkcją celu, jaki chce się osiągnąć. Automatycznie: nie można traktować naszych doświadczeń w kategoriach ogólnych i ostatecznych. Przedstawiony niżej rysunek obrazuje podstawowe obszary funkcyjne projektu, wskazując tym samym na kluczowe punkty kontroli jakości systemu. 1

2 Rys. 1. Podstawowe obszary funkcyjne w PUW Przedstawione niżej reguły kontroli jakości oraz przebijająca z nich standaryzacja były w naszym przypadku po prostu potrzebą chwili. Obecnie, wdrażając systemy e-learning o innej specyfice, takie chociażby jak wirtualny kampus na UMCS, mamy świadomość ograniczeń naszego pojęcia jakości, niemniej uważamy je za pewien stały punkt odniesienia poparty doświadczeniem, którego nie sposób przecenić. Poziomy kontroli jakości Procesy kontroli jakości w procesie wdrożenia systemu e-learning w naturalny sposób skoncentrowane są wokół kluczowych procesów i zostały częściowo opisane w koreferacie [1]. Z grubsza dotyczą trzech obszarów: 1. Wytwarzania kursów, 2. Procesu nauczania, 3. Obsługi studenta. Poniżej zarysuję podstawowe metody stosowane w PUW do kontroli jakości w tych obszarach oraz z pewnością ciekawsze: problemy, które napotkaliśmy oraz sposoby, 2

3 w jakie próbujemy je rozwiązywać. Ograniczę się tu przy tym do problemów specyficznych dla e-learningu, pomijając problemy organizacyjne, konflikty międzyludzkie itp., które występują w większości projektów i organizacji. Wytwarzanie kursów Projekt wytworzenia kursu powinien być odpowiednio zaplanowany, zarządzany i kontrolowany. Przed jego uruchomieniem należy w miarę możliwości precyzyjnie zaplanować standard wykonania, dedykowane zasoby oraz terminy realizacji (są one ze sobą powiązane w tzw. trójkącie projektu). W efekcie pojęcie jakości dotyczy nie tylko jego końcowego kształtu (zgodność z planowanym standardem wykonania), ale również terminu zakończenia oraz dotrzymania budżetu. Jest to bardzo istotne: niezrozumienie tego faktu, zwłaszcza postrzeganie jakości jedynie w kategoriach standardu wykonania, jest przyczyną wielu nieporozumień oraz trudnych do przewidzenia konsekwencji. Z tego względu należy dołożyć szczególnych starań do prawidłowego zarządzania ryzykiem oraz jakością w projekcie przygotowania kursu e-learning. Proces wytwarzania kursów powinien być ściśle związany ze stosowaną metodyką kształcenia. W PUW (w dużym skrócie): 1. Rok akademicki podzielony jest na 2 semestry, podczas których nauka odbywa się w dwóch ośmiotygodniowych półsemestrach. 2. Podczas jednego półsemestru studenci realizują średnio 3 przedmioty, z których każdy odpowiada kursowi semestralnemu. W efekcie studenci uczą się mniejszej liczby przedmiotów równolegle (po 3 w półsemestrze), za to dwa razy intensywniej (materiał realizowany w 8 tygodni, a nie w semestr). 3. Studenci uczą się podzieleni, w średnio osobowych grupach pod opieką nauczyciela. 4. Nauka polega na realizacji tygodniowych zadań, które często składają się na jeden duży projekt. Studenci pracują indywidualnie lub w kilkuosobowych podgrupach. 5. Rola nauczyciela sprowadza się do motywowania, do aktywności, oceny prac cząstkowych, wystawienia oceny na koniec oraz odpowiedzi na pytania merytoryczne. 3

4 W PUW wyprodukowaliśmy już ponad 100 kursów z różnych dziedzin. Na standardowy kurs składają się: 1. opracowane wspólnie z Autorem kursu (ekspertem z danej dziedziny): a. projekt, zadania i szczegółowe polecenia, b. odpowiadające im treści podręcznika (ściśle skorelowane z zadaniami); 2. materiały multimedialne zachęcające do nauki, zawierające filmy, symulacje, interaktywne quizy i testy oraz wszelkie materiały w formie elektronicznej; 3. treść podręcznika w formie do wydruku (najczęściej format Acrobat PDF); 4. materiały w formie stron internetowych, praktycznie bez grafiki; 5. przygotowany wzorzec przestrzeni roboczej na platformie zdalnego nauczania (struktura katalogów z materiałami, odpowiednio przygotowane pokoje pracy grupowej (dedykowane podgrupom roboczym), miejsca czatów i spotkań na żywo, fora dyskusyjne i zestaw innych narzędzi platformy DL); 6. bardzo ważne: zasady pracy na kursie, w tym reguły oceniania i reguły komunikacji itp. Czymś, co odróżnia projektowanie kursów e-learning od zwykłego składu książek jest późniejszy los produktu: w przypadku kursów mamy do czynienia z zupełnie różnymi interakcjami niż w przypadku lektury książki czy nawet interakcji z multimedialnym CD-ROMem. W naszym modelu kluczowa jest współpraca człowiek - człowiek w środowisku internetowym, przeważnie w systemie asynchronicznym, a więc inaczej niż w tradycyjnym nauczaniu. A to wszystko na dodatek z zastosowaniem egzotycznych technologii, w świecie, gdzie relacje międzyludzkie rządzą się często innymi prawami niż w rzeczywistości. W efekcie, kluczowa w procesie wytworzenia kursu e-learning jest rola projektanta dydaktycznego (w naszej terminologii: metodyka zdalnego nauczania). Jego podstawową kompetencje to: 1. znajomość technologii dostępnych w nauczaniu on-line, 2. umiejętność ich wykorzystania w procesie dydaktycznym, 3. doświadczenie nabyte podczas realizacji szkoleń, a w szczególności umiejętność konstrukcji zadań w optymalny sposób angażujących studenta i nauczyciela, 4. zdolność prezentacji treści podręcznika w sposób atrakcyjny dla Internauty. 4

5 Aby utrzymać jednolitość kursów musieliśmy określić standard wykonania ich poszczególnych elementów. I tak, materiały multimedialne staramy się kontrolować, stosując dopasowane do naszych potrzeb kryteria opracowane przez organizację ASTP procedury kontroli jakości ecc (e-learning Curseware Certification) (por. oraz koreferat [1]). Kryteria te dotyczą aspektów praktycznych, technicznych i metodycznych szkolenia (por. rys. 2). Szczerze polecam bliższą analizę tej metody: jest bardzo praktyczna, zdroworozsądkowa i ogarnia podstawowe obszary jakości dobrego e-kursu. Rys. 2. Kryteria oceny kursu w procesie jego wytworzenia. 5

6 Kontrolę jakości merytorycznej samych treści pozostawiamy zewnętrznym recenzentom (kursy posiadają numer ISBN, są też recenzowane). W samym procesie opracowania treści nie można też pominąć korekt charakterystycznych dla procesu składu książki, takich jak korekta językowa i typograficzna. Wytwarzanie kursów: doświadczenia PUW Poniżej przedstawię pokrótce najbardziej charakterystyczne problemy, jakie napotkaliśmy podczas produkcji kursów zdalnych oraz sposoby ich rozwiązywania. 1. Autor nie zna specyfiki zdalnego nauczania a. Pisze po prostu podręcznik. b. Forsuje swoje metody dydaktyczne. c. Wymusza ogromne ilości materiału. twierdząc, że wszystko jest absolutnie konieczne (czasem po ponad 1000 stron rękopisu). 2. Metodyk: zbyt emocjonalnie angażuje się w kurs, ingeruje w treści merytoryczne. 3. Autor: a. Nie dba zupełnie o swój kurs po jego uruchomieniu b. bądź jest neurotyczny: zbyt aktywnie się weń angażuje. 4. Autor: a. Nie jest w stanie oszacować czasu wytworzenia kursu, opóźnia kolejne terminy oddania materiałów, nie pojawia się na spotkaniach etc. I kilka wskazówek: 1. Niezbędna jest aktywna rola metodyka DL. W sytuacji, gdy Autor chce przekazać zbyt dużo materiału, należy zdecydowanie poprosić go o odróżnienie głównych elementów kursu od uzupełniających i uświadomić nieefektywność przeładowania materiałem dydaktycznym w nauczaniu on-line. 2. Podobnie: szanując klasyczne doświadczenie dydaktyczne Autora, należy pokazać mu optymalne obciążenie studenta zdalnego z zastosowaniem różnych dostępnych w sieci technik (nauczania i motywacyjnych). Dużo i mocno nie zawsze znaczy dobrze! 6

7 3. Należy jak ognia unikać angażowania się metodyków w zagadnienia merytoryczne kursu, pozostawiając to zewnętrznym recenzentom. Takie sytuacje prawie zawsze kończą się niepotrzebnymi konfliktami. 4. Zarządzanie procesem produkcji kursu: a. Powinno być prowadzone zgodnie z podstawowymi zasadami zarządzania projektem; b. Nasze doświadczenia pokazują, że efektywniejsze jest rozdzielenie faz projektowania dydaktycznego od projektowania multimediów; c. Faza korekty kursu powinna być od samego początku wkomponowana w cykl produkcyjny (zamknięcie projektu dopiero PO fazie nanoszenia korekt). Jest to o tyle specyficzne, że korekty można nanieść dopiero po uwzględnieniu opinii wyrażanych przez studentów podczas trwania kursu i bezpośrednio po jego zakończeniu (ankiety). Zdarzają się więc sytuacje, gdy zrealizowany kurs leżakuje w oczekiwaniu na pierwszą realizację i istnieje pokusa uznania projektu jego wytworzenia za zakończony. 5. Odpowiedni dobór technologii: a. Nanoszenie korekt do kursu jest bardzo kosztochłonne. Koszty te można zmniejszyć, stosując elastyczne technologie, operujące np. na niewielkich obiektach uczących z możliwością metaopisów. Przy krótkich kursach inwestycje w takie technologie raczej nie mają sensu, przy planowaniu jednak większych projektów należy na to zwrócić szczególną uwagę. b. Należy pamiętać o ograniczeniach technicznych komputerów studentów (niska przepustowość łączy, słabe karty graficzne, mało pamięci operacyjnej etc.). Bardzo łatwo jest zrobić supermultimedialny kurs, którego jednak nie będzie można uruchomić na przeciętnym PC-cie. Proces nauczania Proces nauczania to drugi z kluczowych obszarów funkcyjnych systemu e-learning, stanowiący tym samym kolejny obszar kontroli jakości (por. rys. 3). Rys. 3. Obszary kontroli jakości związane z realizacją kursów e-learning. 7

8 Kontrolę jakości realizacji kursów e-learning można podzielić, zgodnie z grupami osób zaangażowanych w ten proces, na trzy etapy: 1. Kontrola efektów nauczania (studenci), 2. Kontrola pracy nauczycieli, 3. Ocena efektywności zastosowanych w kursie rozwiązań metodycznych (zespoły metodyczne). 8

9 Kontrola efektów nauczania jest zbliżona do metod klasycznych (choć w przypadku bardzo zaawansowanych multimediów, umożliwiających ultraprecyzyjne śledzenie działań studenta może być zautomatyzowana). Nauczyciel ocenia aktywność studenta na forach dyskusyjnych, jakość przedstawionych przez niego prac, poziom rozwiązanych testów. W przypadku starannej konstrukcji kursów można z każdym z bloków szkoleniowych, np. w rytmie tygodniowym, skojarzyć słowa kluczowe, a następnie oceniać aktywność w poszczególnych modułach i połączyć to w tzw. mapę kompetencji. Zgodnie z polskim ustawodawstwem, w przypadku studiów realizowanych w formule eksternistycznej końcowa ocena wiedzy studenta powinna odbyć się w formie klasycznego egzaminu. Ocena wstępnych i końcowych umiejętności studenta i wynikający z nich przyrost wiedzy to nie jedyny mechanizm kontroli jakości kursu. Bardzo ważne są również ankiety po szkoleniu, w których można zapytać o jakość materiałów (np. kierując się kryteriami ecc), organizację pracy czy też wielowymiarową ocenę pracy nauczyciela. Warto po prostu słuchać sugestii studentów: oprócz ewidentnie tendencyjnych pojawiają się również naprawdę cenne wskazówki dotyczące wielu aspektów szkolenia. Nauczyciele w praktyce biorą na siebie cały ciężar realizacji szkolenia. Ich doświadczenia stają się po pewnym czasie nieocenione. Z tego względu monitoring stosowanych przez nauczycieli praktyk, zarówno dobrych jak i złych, powinien być STAŁYM elementem kontroli jakości szkoleń on-line. Można to robić: 1. biernie obserwując kurs, 2. ankietując prowadzących, 3. organizując cykliczne spotkania z najbardziej doświadczonymi nauczycielami (jest to chyba najlepsze źródło doświadczeń). Sprawdzenie efektywności zastosowanych w kursie metod dydaktycznych to kolejny bardzo ważny dla jego jakości czynnik, zwłaszcza przy pierwszej realizacji. Warto jest skontrolować poprawność merytoryczną treści, ich logikę, natężenie aktywności, kontekst praktyczny i po prostu reakcje studentów i nauczycieli. Opieka metodyka nad kursem ma też walor czysto praktyczny: w przypadku wielu grup uczących się równolegle dobrze jest wprowadzić jedną osobę czuwającą nad wszystkimi (doraźna pomoc, koordynacja etc.). 9

10 Proces nauczania: doświadczenia PUW Najważniejszym problemem nauczania na odległość jest podtrzymanie motywacji do nauki. W PUW rozwiązujemy to na dwóch poziomach: organizacyjnym (przez podział roku na 4 półsemestry i tym samym intensyfikację nauczania) i metodycznym (nacisk na interakcje człowiek - człowiek oraz metoda projektów). Warto tu jednak podkreślić, że nie zawsze metoda projektów oraz pracy grupowej się sprawdza. Praca indywidualna jest szczególnie ważna w przedmiotach ścisłych, gdzie raczej trudno o dyskusję. W tych przypadkach: 1. szczególnie ważne staje się umiejscowienie problemu w realnym kontekście; 2. unikanie dużych, złożonych zadań, w zamian zaś operowanie wieloma, ale krótkimi problemami o stopniowo wzrastającym poziomie trudności (pamiętajmy, że student zdalny ma utrudniony kontakt z nauczycielem, nie może być więc bezpośrednio ukierunkowywany); 3. forsowanie projektów może się również okazać nieefektywne z powodów organizacyjnych: niekiedy koszty komunikacji w grupie studentów są wyższe niż samodzielne wykonanie zadania. Podsumowując ten punkt: 1. Nie należy w każdej sytuacji forsować projektu (choć warto studentów zachęcać do współpracy); 2. W związku z tym: należy dać szansę osobom preferującym pracę indywidualną; 3. Bardzo ważna jest inteligencja i elastyczność prowadzących zajęcia, zwłaszcza realizujących dany kurs po raz pierwszy. Na bieżąco powinni obserwować zachowania i reakcje studentów, odpowiednio przy tym reagując (np. modyfikując wcześniej zaplanowany rytm pracy, intensywność zajęć etc.). Kolejnym problemem edukacji zdalnej jest korelacja aktywności studenta na zajęciach on-line z oceną na egzaminie. Problem ten jest związany z naszym ustawodawstwem. W systemie eksternistycznym od studenta wymaga się obecności na tradycyjnym egzaminie w siedzibie Uczelni, nie regulując przy tym zasad realizacji procesu dydaktycznego. W przypadku nauczania przez Internet oznacza to również tyle, że nie można bezpośrednio skorelować oceny na zaliczenie z oceną na egzaminie. W intensywnym modelu realizowanym w PUW jakiś związek powinien jednak wystąpić w przeciwnym przypadku ciężko pracujący studenci czuliby się 10

11 poszkodowani wiedząc, że ich praca nie ma wpływu na wynik egzaminu - a to naturalnie zmniejsza motywację. W PUW rozwiązujemy ten problem w następujący sposób: 1. Ustalone jest pewne minimum punktów, które student powinien zdobyć na zaliczenie internetowych ćwiczeń; 2. Informacja o liczbie uzyskanych na tych ćwiczeniach punktów przekazywana jest do egzaminatora, który może, ale nie musi jej uwzględnić. Generalnie, nasze doświadczenia pokazują, że idealny kurs po prostu dobrze przygotowuje do egzaminu, a nie jest ciężkim obowiązkiem do spełnienia. Zbyt intensywnie nie znaczy dobrze. Kolejne ważne kwestie wiążą się z rolą materiałów w realizacji kursu: 1. Okazuje się, że precyzyjne reguły pracy na kursie są równie ważne (w ocenie studentów) co sama treść kursu. Praca powinna być przewidywalna: wiem, co powinienem zrobić i mam pewność, że jeśli to zrobię, dostanę określoną liczbę punktów. 2. Liczba narzędzi platformy DL powinna być zminimalizowana. Istnieje pokusa, by pokazać wszystkie możliwości posiadanej technologii. Im mniej jednak narzędzi, tym prostsze reguły i tym bardziej student może się skoncentrować na nauce. 3. Rola materiałów dydaktycznych prezentowanych w różnych formach powinna być możliwie ściśle określona student wie wtedy, gdzie, kiedy i po co sięgać. Przykładowo: a. CD-ROM służy zabawie i samodzielnej nauce, b. Internet służy pracy grupowej i rozwiązywaniu problemów, c. Plik Acrobat PDF jest podręcznikiem do wydruku. Bardzo ważna jest również kontrola pracy nauczycieli na kursie. 1. Prowadzący, jak Autorzy, również mogą być zbyt pasywni lub zbyt aktywni. 2. Mogą zmieniać zestawy zadań, reguły pracy na kursie, czasem nawet reguły zaliczeń. 3. Bywa, że starają się nawet wyprowadzić kurs poza platformę DL, zachęcając np. do komunikacji owej. 11

12 Jak sobie z tym poradzić? Poniżej kilka propozycji: 1. Należy zdać sobie sprawę, że (jak w przypadku tradycyjnego nauczania), powodzenie bądź klęska kursu nie zależy tyle od jego treści, co od samego nauczyciela. 2. W związku z tym, kluczowe są: a. Staranny dobór nauczycieli, b. Ankietowanie studentów, ze szczególnym uwzględnieniem opinii o prowadzącym, c. Odpowiedni system motywacyjny, d. Założenie, że nauczyciele i ich działania (np. zmiany we wcześniej opracowanym procesie dydaktycznym) są bardzo cennym źródłem doświadczeń dla zespołów metodycznych. 3. W PUW każdy z kursów ma swojego Opiekuna najczęściej metodyka DL, zaangażowanego wcześniej w jego opracowanie. Opiekun taki, oprócz funkcji ogólnego nadzoru, obserwuje również zachowania prowadzących i ich dobre oraz złe konsekwencje, budując tym samym bazę dobrych i złych praktyk. 4. Idealna naszym zdaniem sytuacja zaistniałaby, gdyby odpowiednio zmotywowany nauczyciel budował swój kurs w oparciu o nasze materiały oraz doświadczenia. Ostatni z zasygnalizowanych obszarów: obsługa studenta, okazuje się równie istotny jak poprzednie. Niemniej temat ten wykracza poza zakres niniejszego opracowania. Podsumowanie Polski Uniwersytet Wirtualny ze względu na specyfikę swego funkcjonowania wypracował własne, charakterystyczne pojęcie jakości kształcenia on-line. Należy mieć oczywiście świadomość, że jest ono determinowane celem samego systemu, dlatego naszych doświadczeń oraz propozycji nie można traktować ogólnie. System kontroli jakości zorientowany jest wokół podstawowych obszarów funkcyjnych: wytwarzania kursów, ich realizacji oraz szeroko rozumianej obsługi studenta. Mam nadzieję, że choć część zaprezentowanych w tym opracowaniu rozwiązań okaże się przydatnych w innych projektach e-learning. BIBLIOGRAFIA: [1] J. M. Mischke, A. Wodecki, A. K. Stanisławska: E-nauczanie: pragmatyka projektu i jakość kształcenia, w: Materiały z tej konferencji. 12