PRZYKŁAD REALIZACJI MODUŁU WERYFIKACJI WIEDZY W SYSTEMIE NAUCZANIA ZDALNEGO Streszczenie Aleksander Billewicz Krzysztof Kania Akademia Ekonomiczna w Katowicach Katedra Informatyki abillew@sulu.ae.katowice.pl kkania@ae.katowice.pl Przedmiotem artykułu jest budowa systemów weryfikacji wiedzy w nauczaniu wspomaganym komputerowo. W pierwszej części przedstawiono rolę jaką pełnią moduły testowania wiedzy w systemach e-learningu oraz rodzaje zadań stosowanych w sprawdzianach testowych. Następnie przedstawiono, zrealizowany przez autorów w ramach projektu TRIMAR*, moduł weryfikacji wiedzy. Omówiono jego funkcjonalność, architekturę, wybrane aspekty modelu systemu i jego realizację. W podsumowaniu zawarto kierunki dalszego rozwoju aplikacji. Wprowadzenie Szybko rosnące zapotrzebowanie na systemy wirtualnej edukacji wymusiło dynamiczny rozwój produktów wspomagających implementację tego typu systemów. Dotyczy to zarówno rozwiązań stanowiących bazę do budowy systemów zdalnego nauczania, jak i narzędzi do przygotowywania materiałów kursowych. Istnieją juŝ kompleksowe systemy do obsługi procesów edukacji, które mają za zadanie wspomagać studentów w procesie uczenia się, koordynować ich postęp w pracy z róŝnymi materiałami, śledzić ich oceny, oraz usprawniać komunikację z instruktorem i pozostałymi członkami grupy. Istotnym elementem kaŝdego szkolenia jest moduł weryfikacji wiedzy (MWW). Powinien on zapewniać dostęp do testów on-line, zaliczanie kolejnych etapów szkolenia, powinien ułatwiać śledzenie, zarządzanie i raportowanie aktywności studentów w przeprowadzaniu samooceny. Informacje zebrane na podstawie wykonanych testów mogą zostać wykorzystane do zdobycia dodatkowej wiedzy o przebiegu procesu kształcenia. Wiedza ta powinna stanowić podstawę do doskonalenia jakości kształcenia poprzez m.in. personalizację zawartości kursu.
294 Technologia przetwarzania wiedzy w SWO 1. Rola modułu testowania w systemach zdalnych Istotnym elementem procesu nauczania uczenia się, jest kontrola i ocena wiedzy oraz umiejętności uczniów. Dla potrzeb weryfikacji wiedzy uŝywa się róŝnego rodzaju sprawdzianów standaryzowanych lub opracowanych przez nauczyciela. Odgrywają one szczególną rolę w nowoczesnych koncepcjach nauczania. Polskim przykładem takiej koncepcji jest opracowana przez C. Kupiesiewicza metoda blokowa, zwana teŝ warszawską [Kupi00],[Jusz01]. Weryfikacja wiedzy w systemach nauczania zdalnego moŝe odbywać się w róŝnej formie. Stosowane są prace pisemne przesyłane do nauczyciela i oceniane są spotkania na forach dyskusyjnych. Jednak podstawową formą weryfikacji wiedzy są testy, w których wykorzystuje się następujące rodzaje zadań ([Aren98], [Gołu02]): zadania prawda/fałsz naleŝy wskazać, czy zdanie jest prawdziwe, czy nie, zadania na przyporządkowanie zadanie zawiera dwie listy (pojęć, zasad, dat, nazw, definicji itd.). Odpowiadając naleŝy wybrać z pierwszej listy pozycję, która najlepiej odpowiada wybranej pozycji z drugiej listy, zadania z luką ich rozwiązanie polega na wpisaniu odpowiedniej wartości (wyrazu, wyraŝenia, liczby itp.) w zaznaczone miejsce w zdaniu, zadania wielokrotnego wyboru rozwiązanie polega na wyborze z listy jednej odpowiedzi poprawnej, zadania wielokrotnego wyboru złoŝone róŝnią się od zadań wielokrotnego wyboru tym, Ŝe mają one jedną lub więcej odpowiedzi prawidłowych i uczeń musi wskazać wszystkie odpowiedzi prawidłowe. Zdaniem wielu specjalistów zadania wielokrotnego wyboru (proste i złoŝone) najlepiej sprawdzają wiedzę uczących się. Zadania do rozwiązania, mogą zawierać wskazówki, podpowiedzi, które są udostępniane (gdy student zgłosi taką potrzebę) w formie: rozwijanego menu, odsyłacza do źródeł, materiałów edukacyjnych, ukrytych adnotacji zawierających analogie lub przykłady. Zrealizowany moduł weryfikacji wiedzy jest częścią międzynarodowego projektu naukowo-badawczego TRIMAR* Celem projektu jest zbudowanie inteligentnego, interakcyjnego systemu szkolenia pracowników małych i średnich firm w zakresie marketingu w Internecie. Zgromadzona wiedza udostępniana będzie w formie kursów elektronicznych oraz studiów przypadku. System przechowuje studia przypadków opisujące doświadczenia małych i średnich przedsiębiorstw w stosowaniu marketingu internetowego. Jego najistotniejszą funkcją jest zidentyfikowanie zbioru przypadków podobnych do przypadku zdefiniowanego przez uŝytkownika (wzorcowego). Z kolei podstawowym zadaniem modułu szkoleniowego jest dostarczanie wiedzy potrzebnej do efektywnego wykorzystania marketingu w Internecie przez małe i średnie przedsiębiorstwa. Materiał dydaktyczny został podzielony na jedenaście grup
Przykład realizacji modułu weryfikacji wiedzy w... 295 tematycznych oraz trzy poziomy zaawansowania. Z uwagi na obszerny zakres przechowywanego materiału waŝne jest, aby dostarczyć uŝytkownikowi przede wszystkim informacje, które w istotny sposób pogłębią jego wiedzę. Dostarczanie informacji spersonalizowanej, wymaga wstępnego określenia poziomu wiedzy uŝytkownika z wybranego tematu. To właśnie było zadaniem MWW w systemie TRIMAR. Informacja uzyskana z MWW jest wykorzystywana przez moduł szkoleniowy do skierowania uŝytkownika na odpowiedni poziom trudności kursu oraz wskazanie materiału dydaktycznego związanego z poszczególnymi pytaniami zawartymi w teście. 2. ZałoŜenia budowy modułu weryfikacji wiedzy Projektując MWW dla potrzeb systemu TRIMAR przyjęto Ŝe: środowiskiem funkcjonowania modułu jest sieć WWW, system powinien działać poprawnie na dowolnej przeglądarce internetowej pracującej w trybie graficznym i obsługującej technologię cookies, uŝytkownik powinien otrzymać szczegółowe informacje o wypełnionych testach, uŝytkownik powinien mieć moŝliwość uzyskania dodatkowych informacji wyjaśniających wybrane pytanie, przy czym objaśnienia powinny pochodzić z odpowiedniego modułu szkoleniowego, naleŝy opracować wydajny interfejs uŝytkownika, wykorzystywany do zarządzania testami, zapewnia się maksymalną elastyczność w budowie testów, w treści pytań moŝe znaleźć się grafika oraz odnośniki do lekcji omawiającej wybrane pytanie, istnieje moŝliwość pogrupowania pytań w moduły zgodnie z ich związkiem z odpowiednimi modułami dydaktycznymi, istnieje moŝliwość złoŝenia testu w z dowolnych modułów, zapewniona zostanie niepowtarzalność generowanych testów w zadanych przez nauczyciela granicach, będzie istniała moŝliwość nadzorowania i szczegółowej ewidencji wykonania testów (jeśli MWW ma słuŝyć równieŝ jako element uczący zarówno dla zespołu uczącego jak i nauczanego). W celu zapewnienia rzetelnej oceny wiedzy, zaimplementowano w MWW procedury losowego doboru pytań oraz odpowiedzi. Rozwiązanie takie minimalizuje ryzyko wygenerowania identycznych testów, co w istotnym stopniu komplikuje nauczenie się testu na pamięć. Ponadto budując moduł przyjęto, Ŝe podstawową formą testową są złoŝone zadania wielokrotnego wyboru, jednak struktura bazy danych nie wyklucza zbudowania równieŝ zadań typu prawda-fałsz.
296 Technologia przetwarzania wiedzy w SWO 3. Przyjęte rozwiązania technologiczne Ze względu na charakter pracy MWW, jego zakres informacyjny i funkcjonalny, naturalnym środowiskiem dla jego konstrukcji są relacyjne bazy danych. Za wyborem tego środowiska w szczególności przemawiały potrzeby: zbudowania scentralizowanego repozytorium informacji, łatwej i bieŝącej aktualizacji informacji dotyczącej samych testów, osób w nich uczestniczących, jak i osób je konstruujących, współuŝytkowania danych z zachowaniem odpowiedniego stopnia bezpieczeństwa, zastosowania elastycznych rozwiązań internetowych, łatwego skonstruowania odpowiedniej jakości narzędzi do zarządzania testami, szybkiego i łatwego budowania narzędzi raportowania. Przedstawiona analiza wymagań oraz analiza istniejącej infrastruktury techniczno-technologicznej skłoniły do zaprojektowana systemu o strukturze trójwarstowej (rys. 1.), która stanowi obecnie dominująca architekturę systemów informatycznych Internetu (por. [Four99, s.452],[stsz99]). Moduł weryfikacji wiedzy Moduł szkoleniowy W arstwa dialogu i prezentacji W arstwa pośrednia W arstwa danych Materiały szkoleniowe Kurs 1 Materiały szkoleniowe Kurs... Osoba testowana przeglądarka W W W IIS+ASP+ADO MS SQL Server Materiały szkoleniowe Kurs n Administrator Nauczyciel Narzędzia administrowania MS Access Rys. 1. Trójwarstwowa architektura modułu weryfikacji wiedzy Warstwę danych stanowi system zarządzania relacyjnymi bazami danych Microsoft SQL Server. Podczas projektowania modułu naleŝało podjąć decyzję dotyczącą umiejscowienia procedur generowania i oceny testu. MoŜliwe było umiejscowienie ich w warstwie pośredniej lub warstwie danych. Zaletą pierwszego podejścia jest niezaleŝość od SZBD. Sama baza danych wykorzystywana jest wtedy wyłącznie do przechowywania danych. Najistotniejszą wadą tego
Przykład realizacji modułu weryfikacji wiedzy w... 297 rozwiązania jest niska wydajność. Do jego realizacji potrzebne byłoby teŝ szybkie łącze umoŝliwiające przesyłanie duŝych ilości danych między warstwami. Zaletą drugiego rozwiązania jest wysoka wydajność i mniejsze zapotrzebowanie na przepustowość w sieci. Najistotniejszą wadą tego rozwiązania jest natomiast utrudniona ewentualna migracja do innego SZBD. Wydaje się jednak, iŝ korzyści wynikające ze zwiększonej wydajności całego systemu przewyŝszają ewentualne koszty związane z migracją do innego środowiska. Ostatecznie zdecydowano, Ŝe większość funkcji zostanie zaimplementowanych w postaci procedur składowanych, wykonywanych przez serwer bazodanowy. test_for_student PK id_test_for_stud test PK id_test teachers PK id_teacher right_answers PK id_r_ans FK1 id_student FK2 id_test pos_in_part_test PK id_pos FK1 students PK id_student stud_number stud_name stud_log stud_pass first_date id_test_par id_question id_ans1 signed1 id_ans2 signed2 id_ans3 signed3 id_ans4 signed4 id_ans5 signed5 id_ans6 signed6 id_ans7 signed7 is_ok test_sym FK1 id_teacher description date_creation numb_of_quest time_in_min points_to_pass particular_test PK id_test_par FK1 id_student FK2 id_test start_time end_time gained_points test_assesment modules PK id_module module_name modules_in_test PK id_mod_in_test teacher_number teacher_name teacher_log teacher_pass FK2 id_test FK1 id_module number_of_questions wrong_answers PK id_w_ans FK1 id_question text pic FK1 questions PK id_question FK1 id_question text pict id_teacher text picture link questions_in_module PK id_quest_in_mod FK2 id_question FK1 id_module random Rys. 2. Schemat relacji MWW Kolejnym istotnym problemem było określenie zakresu informacyjnego bazy. Jednym z zasadniczych załoŝeń było przechowywanie całej historii postępów studenta oraz moŝliwość określania stopnia wykorzystania poszczególnych testów i materiałów dydaktycznych z nim związanych. Na rysunku 2 przedstawiono schemat relacji przechowywanych w bazie danych. Na wyjaśnienie zasługuje struktura tabeli przechowującej odpowiedzi do konkretnego pytania. PoniewaŜ w iej przechowywane są szczegóły odpowiedzi, ze względów wydajnościowych nie została ona znormalizowana. Ceną takiego rozwiązania jest ustalenie maksymalnej liczby moŝliwych odpowiedzi na pytanie do 7.
298 Technologia przetwarzania wiedzy w SWO Jako technologiczną podstawę funkcjonowania warstwy pośredniej wybrano przede wszystkim ze względu na zgodność z technologiami uŝytymi w innych warstwach serwer WWW Internet Information Services. Procesy realizowane w tej warstwie zostały zaimplementowane w postaci skryptów ASP. Podstawowymi funkcjami realizowanymi przez tą część systemu są: uwierzytelnienie uŝytkownika, dynamiczne generowanie zawartości stron WWW na podstawie danych z SZBD, zapewnienie komunikacji pomiędzy warstwą interfejsu a warstwą danych. cphomepage splogin <<link>> {param eters newuser={1... <<redirec... <<link>> <<link>> <<link>> spselecttest spmanual spsubmittedtests cplogin <<submit>> cpnewstudent cpmanual cpsubmittedtests cpselecttest <<submit>> <<link>> <<lin... {parameter testid} frmlogin frmnewstudent {parameters test_id} sptest cptestdetai sptestdetails ls cptest <<link>> {parameter test_id} cptestsum mary spproces st <<submit>> est frmtest Rys. 3. Model warstwy pośredniej MWW w notacji UML Model struktury i funkcjonowania warstwy pośredniej jak i jej powiązania z warstwą prezentacji udokumentowano w języku UML (rys. 3) (rozszerzona notacja Connalen a, zob. [Cona00]). Na diagramie tym, kaŝda z dynamicznie generowanych stron została przedstawiona w postaci dwóch klas połączonych związkiem asocjacji. Model taki pozwala przedstawić zarówno rolę, jaką dana strona odgrywa w systemie podczas przetwarzania jej przez serwer WWW strony z przedrostkiem sp oraz rolę, jaką dana strona pełni po zała-
Przykład realizacji modułu weryfikacji wiedzy w... 299 dowaniu jej przez przeglądarkę internetową strony z przedrostkiem cp. Formularze równieŝ zostały przedstawioneo w postaci klas i połączone ze stronami WWW związkami agregacji. Warstwę komunikacji i prezentacji podzielono na dwie części. Jedna związana jest z osobami rozwiązującymi test, druga związana jest z zarządzaniem samymi testami. Interfejs WWW zapewnia uŝytkownikom dostęp do testów i moŝliwość przeprowadzenia samooceny. Poszczególne strony są generowane dynamicznie na podstawie skryptów ASP. W celu zwiększenia funkcjonalności interfejsu (np. rozwijane listy) wykorzystano język skryptowy JScript. Interakcję uŝytkownika z systemem zapewniają hiperłącza oraz formularze. Natomiast, na obecnym etapie, zarządzanie testami odbywa się lokalnie przy wykorzystaniu programu MSACCESS, który razem z bazą danych MSSQL SERVER tworzy klasyczną aplikację typu klient/server. Rozwiązanie takie istotnie skróciło czas potrzebny na zbudowanie prototypu systemu. W przyszłości równieŝ ten element systemu zostanie przeniesiony do środowiska WWW. 4. Opis przykładowej sesji Przygotowanie testu naleŝy rozpocząć od opracowania zestawu pytań i odpowiedzi. Poszczególne pytania mogą zawierać: tekst, grafikę oraz odnośnik do strony internetowej objaśniającej pytanie. Następnie nauczyciel przypisuje do pytania wszystkie moŝliwe odpowiedzi, prawidłowe oraz nieprawidłowe. Odpowiedzi mogą zostać równieŝ wybrane z listy, jeśli wcześniej zostały one wprowadzone do systemu. Przygotowane pytania są pogrupowane w moduły, które z załoŝenia stanowią zbiory pytań dotyczących wspólnej tematyki. Na tej podstawie opracowywany jest wzorzec testu, na który składają się: dane opisujące test: data utworzenia, autor, czas wykonania, opis, minimalną liczbę punktów do zaliczenia testu, informacje o modułach, z których mają zostać wylosowane pytania, informacje w jakiej ilości mają zostać wylosowane pytania z poszczególnych modułów. Wzorce testów moŝna przypisać indywidualnie poszczególnym uŝytkownikom systemu i w ten sposób zdefiniować uprawnienia do rozwiązywania poszczególnych testów. Dwa przykładowe okienka dialogowe tego systemu zaprezentowano na rysunku 4.
300 Technologia przetwarzania wiedzy w SWO Rys. 4. Przykładowe okienka dialogowe systemu zarządzania testami Osoba przystępująca do rozwiązywania testu rozpoczyna od zalogowania się w systemie. Po zalogowaniu się do MWW, uŝytkownik moŝe wybrać i wypełnić nowy test lub przeanalizować testy wcześniej rozwiązane. Wybór testu do rozwiązania ogranicza się do kliknięcia odnośnika wskazującego na temat szkolenia, do którego powinien zostać wygenerowany test. Wybranie testu jest natychmiast odnotowywane w systemie.
Przykład realizacji modułu weryfikacji wiedzy w... 301 Rys. 5. Strona MWW z wygenerowanym testem Test przedstawiony jest w przeglądarce w formie formularza, w którym uŝytkownik zaznacza poprawne odpowiedzi, zaznaczając pola typu checkbox. Fragment wygenerowanego testu przedstawiono na rysunku 5. Po zaznaczeniu wszystkich odpowiedzi, uŝytkownik moŝe wysłać test do serwera w celu jego oceny. JeŜeli tak się nie stanie, (np. uŝytkownik zamknie okno przeglądarki) test zostanie oznaczony w bazach MWW jako nie odesłany i system przyzna uŝytkownikowi zero punktów. Jeśli uŝytkownik prześle test do oceny otrzymuje syntetyczne informacje dotyczące przeprowadzonego testu (rys. 6). Szczegółowe informacje zostają dołączone do historii testów studenta, która jest udostępniana na Ŝyczenie uŝytkownika (rys. 7). Wszystkie informacje o rozwiązaniu testu uŝytkownik moŝe zobaczyć po wybraniu opcji details. Wyświetlane są wtedy wszystkie odpowiedzi uŝytkownika, zostają zaznaczone odpowiedzi prawidłowe i nieprawidłowe oraz jest wyświetlany link do odpowiedniej części materiału dydaktycznego (rys. 8).
302 Technologia przetwarzania wiedzy w SWO Rys. 6. Podsumowanie testu Rys. 7. Historia testów studenta Rys. 8. Szczegóły rozwiązania testu Administrator systemu oraz osoby zarządzające testami mają równieŝ prawo do wykonania zapytań dotyczących wykorzystania testów. Przykład takiego zapytania dotyczącego odpowiedzi udzielanych przez studentów na konkretne pytanie przedstawiono na rysunku 9.
Przykład realizacji modułu weryfikacji wiedzy w... 303 Rys. 9. Fragment raportu dotyczącego odpowiedzi na pytania w teście Zakończenie Prace związane z implementacją modułu weryfikacji wiedzy moŝna w zasadzie uznać za zakończone. System w swej obecnej postaci spełnia wszystkie postawione wymagania funkcjonalne. Jedynym elementem, który pozostaje do wykonania jest udostępnienie moŝliwości zarządzania testami przez sieć WWW (obecnie dostępna lokalnie). Zawartość informacyjna baz MWW umoŝliwia dokładne śledzenie postępów poszczególnych uczestników kursów oraz wykorzystanie materiałów dydaktycznych związanych z poszczególnymi pytaniami. Dlatego kolejnym planowanym krokiem jest wykorzystanie zawartości informacyjnej baz MWW do jeszcze lepszej personalizacji pracy systemu TRIMAR. Literatura [Aren98] [BrFH01] [Cona00] [Four99] [Gołu02] [Jusz01] [Kupi00] Arends R.I.: Uczymy się nauczać. Wydawnictwa szkolne i Pedagogiczne, Warszawa, 1998. Bruce B., Fallon C., Horton W.: Getting started with e-learning. Macromedia, 2001. Connalen J.: Building Web applications with UML. Addison- Wesley Longman, 2000. Fournier R.: A Methodology for Client/Server and Web Application Development. Yourdon Press, 1999. Gołuchowski J. (red.): Metody i narzędzia informatyczne wspomagające proces interaktywnego nauczania za pomocą Internetu. Praca zbiorowa, Akademia Ekonomiczna w Katowicach. Maszynopis powielany, Katowice, 2002. Juszczyk S.: Metodyka nauczania informatyki w szkole. Wydawnictwo Adam Marszałek, Toruń, 2001. Kupisiewicz Cz.: Dydaktyka ogólna. Graf Punkt, Warszawa, 2000.
304 Technologia przetwarzania wiedzy w SWO [StSz99] StróŜański M., Szempliński P.: Wykorzystanie trójwarstowowej architektury klient/server. Software 2.0, nr 3, 1999. THE MODULE OF SELF ASSESMENT IN E-LEARNING A SAMPLE OF REALIZATION Abstract Knowledge assessment is one of the major elements in the learning process. In this paper we present a detailed solution of the problem of implementing such a tool in the web supported by TRIMAR project. Projekt TRIMAR (On-Line Inteligent Training System for Internet Marketing by SME's) o numerze UK/00/B/F/PP/129_110 prowadzony jest pod egidą Unii Europejskiej w ramach programu Leonardo da Vinci. TRIMAR skupia partnerów ze środowiska naukowego oraz małe i średnie firmy z Wielkiej Brytanii, Niemiec, Portugalii, Słowacji oraz Polski. Wśród wyŝszych uczelni biorących udział w projekcie są: Akademia Ekonomiczna w Katowicach, University of Luton, South Bank University w Londynie, Westfälische Wilhelms Universität w Münster, Universidade Aberta w Lizbonie, Technical University w Koszycach. Szczegółowe informacje nt. projektu znajdują się na następujących stronach WWW: http://www.ae.katowice.pl/trimar, http://ebusinesslearning.info/trimar