Metody i narzędzia ewaluacji

Transkrypt

1 Metody i narzędzia ewaluacji wyników zdalnego testowania wiedzy (platforma informatyczna e-matura)

2

3 Książka przygotowana w ramach projektu E-matura, współfinansowanego przez Unię Europejską w ramach Europejskiego Funduszu Społecznego, Programu Operacyjnego Kapitał Ludzki, Priorytet III Wysoka jakość systemu oświaty, Działanie 3.3 Poprawa jakości kształcenia, Poddziałanie Modernizacja treści i metod kształcenia projekty konkursowe.

4 Książka jest dystrybuowana bezpłatnie Redakcja: prof. dr hab. inz. Sławomir Wiak Opracowanie graficzne: Niceday Książka przygotowana w ramach projektu E-matura, współfinansowanego przez Unię Europejską w ramach Europejskiego Funduszu Społecznego, Programu Operacyjnego Kapitał Ludzki, Priorytet III Wysoka jakość systemu oświaty, Działanie 3.3 Poprawa jakości kształcenia, Poddziałanie Modernizacja treści i metod kształcenia projekty konkursowe. copyright by Politechnika Łódzka, Łódź 2013 Książka współfinansowana przez Unię Europejską w ramach Europejskiego Funduszu Społecznego ISBN:

5 Wstęp Wstęp Podstawowym podejściem do minimalizacji możliwości wystąpienia awarii jest zastosowanie redundancji poprzez wykorzystanie macierzy RAID. Dzięki temu dane zgromadzone na dyskach twardych są bezpieczne na wypadek fizycznego uszkodzenia jednego (bądź większej ilości w zależności od mechanizmu RAID i ilości dysków twardych) dysku twardego. Kolejny krok, jaki jest podejmowany przez architektów infrastruktury to planowanie architektury w taki sposób, aby nie występował pojedynczy punkt awarii, który może pogrzebać cały wysiłek. Dublowane są połączenia z siecią, połączenia z macierzą, dublowane są serwery, które łączy się w klastry. Obecne mechanizmy zarządzania systemami informatycznymi, w tym Systemami Bazo- Danowymi udostępniają wiele mechanizmów służących analizie zebranych danych. Bazy danych przechowują coraz więcej danych, których analiza w celu podejmowania decyzji, wnioskowania, szukania zależności w nich zawartych staje się coraz trudniejsza. Dostawcy oprogramowania wzbogacają mechanizmy analizy danych dotyczy to zarówno samego języka SQL jak i dodatkowego oprogramowania dostarczanego z serwerami baz danych. Mechanizmy te mogą z powodzeniem służyć do raportowania oraz wnioskowania w systemach zdalnego egzaminowania poprzez analizę zbieranych wyników, udzielanych odpowiedzi, czasu poświęconego na dane zadanie. Politechnika Łódzka wychodząc naprzeciw nowoczesnym Idea społeczeństwa informacyjnego jest nieodłącznie związana z Internetem (Nowa Strategia Lizbońska). Internet otwarta sieć komputerowa o światowym zasięgu został stworzony dla celów wojskowych i naukowych. Z drugiej strony Internet stał się istotnym elementem działalności biznesowej: dla dostawców portali informacyjnych i systemów informatycznych, przedsiębiorców nawiązujących tą drogą kontakty biznesowe (platformy B2B Business-to-Business i B2C Business-to-Customer), uczestniczących i organizujących aukcje internetowe, świadczących usługi handlowe (ecommerce), turystyczne (etourism) i in. Upowszechnienie dostępu i znajomości technik informatyczno-komunikacyjnych jest warunkiem skutecznego budowania społeczeństwa informacyjnego i w tym kontekście stanowi jeden z głównych celów w założeniach strategicznych Unii Europejskiej oraz w polityce edukacyjnej państwa. Podnoszenie konkurencyjności gospodarki i wyrównywanie szans rozwojowych polskich regionów nie jest możliwe bez nowoczesnych technologii informatycznych i szeroko dostępnych usług sektora publicznego i biznesowego. Dlatego też zakłada się rozwijanie technik informacyjnych i komunikacyjnych. Jednym z wielu realizowanych przedsięwzięć nakierowanych na rozwój społeczeństwa informacyjnego jest budowanie systemów informatycznych pozwalających na e-ocenę. System e- oceniania został już na dużą skalę wprowadzony między innymi w Wielkiej Brytanii, czy Stanach Zjednoczonych. Doświadczenia, jakie zdobyły w tym obszarze cztery duże komisje egzaminacyjne w tych krajach (AQA, OCR i EDEXCEL Wielka Brytania; ETS Stany Zjednoczone) pozwalają stwierdzić, że przejście od oceniania tradycyjnego do e-oceniania wiąże się nie tylko ze zmianą organizacji procesu przygotowania prac do oceniania, ale również poprawia jego jakość. Zadania stawiane obecnie przed systemami informatycznymi wymagają od nich dostępności przez 24 godziny na dobę 7 dni w tygodniu 365 dni w roku. Aby sprostać tym zadaniom należy zapewnić odpowiednią infrastrukturę serwerową, z której korzysta dany system informatyczny. Infrastruktura musi minimalizować ryzyko wystąpienia awarii sprzętowej, ataków hakerskich, czy też problemów z dostępem do łącz internetowych. Trendom budowy społeczeństwa informacyjnego realizuje innowacyjny projekt e-matura. System e-matura służy nie tylko do egzaminowania z użyciem pytań otwartych i zamkniętych, ale 7

6 Wstęp również do diagnozy matematycznej uczniów. System informatyczny e-matura oparty jest o System Zarządzania Bazą Danych Microsoft SQL Server 2008 R2. Realizowany projekt wpisuje się w politykę państwa odnoszącą się zarówno do rozwoju nowoczesnych technologii jak i dziedziny edukacji i szkolnictwa. Nowatorskie rozwiązanie programowe, zaproponowane w ramach projektu, dotyczyć będzie m.in. zmian w metodach nauczania i uczenia się poprzez możliwości sprawdzania poziomu zdobytej wiedzy za pośrednictwem platformy informatycznej i zgromadzonego tam materiału, jak również statystycznej analizy zbieranych wyników. System informatyczny e-matura w trakcie prowadzenia egzaminu zbiera nie tylko udzielone odpowiedzi, ale również czas, jaki zajęło uczniowi udzielenie odpowiedzi na dane pytanie, ile razy wracał do danego pytania, która odpowiedź okazała się poprawną (w przypadku, gdy uczeń zmieniał swoją odpowiedź w danym zadaniu), ile czasu zajęło uczniowi rozwiązanie całego testu. Zbierane dane mogą zatem służyć nie tylko do sprawdzenia testu ucznia i wystawienia oceny, ale również do szczegółowej analizy pod kątem niedostępnym nawet dla najdokładniejszej analizy papierowych prac maturalnych. Egzaminy tradycyjne nie dają odpowiedzi na pytania, takie jak: ile czasu zajęło uczniowi udzielenie odpowiedzi na dane pytanie, czy też jak często uczeń wracał do tego pytania. Co więcej, te informacje dostępne są od razu po zakończeniu egzaminu. E-matura jako produkt finalny umożliwia przeprowadzanie egzaminu, w tym egzaminu maturalnego on-line to rozwiązanie nowatorskie, niestosowane dotychczas w edukacji. Innowacyjność to również klasa Shell platformy, która daje możliwość wymiany bazy wiedzy a tym samym zastosowania jej w innych dziedzinach nauki. E-matura jest projektem innowacyjnym testującym, co w praktyce oznacza, że jego celem jest wypracowanie, upowszechnienie i włączenie do głównego nurtu polityki nowych rozwiązań. Projekt e-matura jest kolejnym krokiem rozwoju egzaminów zewnętrznych w stosunku do e- oceniania. Takie rozwiązania do tej pory nie funkcjonują ani w Europie, ani na świecie na taka skalę. Ponadto system zakłada wsparcie dla osób niepełnosprawnych poprzez dostosowanie interfejsu użytkownika do osób niedowidzących. Projekt e-matura jest budowany z wymienną bazą wiedzy, w sposób na tyle uniwersalny, że jest w stanie obsłużyć egzaminy również z innych dyscyplin takich jak fizyka, mechatronika czy geografia. System może służyć również do bieżącej nauki wspierając nauczycieli i uczniów podczas całego procesu dydaktycznego. Ponieważ e-matura jest systemem informatycznym, który wykorzystując zaawansowane algorytmy sprawdzania pytań może mocno uprościć i wspomóc pracę nauczyciela, dzięki czemu uczniowie będą mogli rozwiązywać samodzielnie większą ilość zadań i na bieżąco sprawdzać swoje możliwości bez potrzeby sprawdzania wszystkich prac przez nauczyciela. Realizowany projekt jest innowacyjnym podejściem do tematu egzaminowania uczniów na dużą skalę z wykorzystaniem systemu opartego o Internet. Zastosowano w nim technologię klastrową zapewniającą dużą wydajność oraz bezpieczeństwo. Projekt e-matura jest projektem informatycznym o wysokim poziomie bezpieczeństwa, ale również ze względu na charakterystykę generowanego obciążenia, które serwery muszą obsłużyć. W przypadku e-matury mamy do czynienia z krótkotrwałym, bo ograniczonym do trwania egzaminu, wzrostem zapotrzebowania na dostęp do danych z bazy danych. W momencie startu egzaminu serwery bazy danych muszą obsłużyć kilka/kilkadziesiąt tysięcy użytkowników, którzy pobierają pytania z bazy danych, a następnie obsłużyć zapis kilkuset tysięcy spływających cyklicznie odpowiedzi od użytkowników. Liczba zapisów do bazy danych jest bardzo duża ze względu na monitorowanie wielu parametrów pracy użytkownika z aplikacją takich jak czas spędzony na pytaniu, ilość wejść w pytanie, każda udzielona odpowiedź na dane pytanie. Obsługa takiego ruchu wymaga bardzo wydajnego systemu dyskowego, na którym znajduje się baza danych. Standardowe macierze dyskowe zbudowane z dysków magnetycznych z interfejsem SAS bądź też dysków SSD z interfejsem SATA nie są w stanie sprostać takim wymaganiom i zapewnić odpowiedniej wydajności. Tworzenie nawet bardzo rozbudowanych macierzy RAID złożonych z 8

7 Wstęp kilkunastu dysków twardych nie podnosi znacząco wydajności bazy danych, gdyż nie ma ona dużego przełożenia na czas dostępu do danych, a w przypadku przechowywania baz danych jest to parametr kluczowy. Karty FLASH PCI-E są dobrym rozwiązaniem pozwalającym zwiększyć znacząco wydajność podsystemu dyskowego serwera baz danych. Uzyskiwane czasy dostępu do danych dla pojedynczej karty przewyższają o rząd wielkości te, uzyskiwane nawet z najszybszych dysków magnetycznych czy też dysków SSD montowanych w macierzach dyskowych. Możliwość budowy klastrów wysokiej dostępności z wykorzystaniem zasobów dyskowych, których nie można współdzielić bezpośrednio daje technologia Multi Site Clustering firmy Microsoft. Wykorzystuje ona sieć IP do replikacji danych pomiędzy zasobami dyskowymi z wykorzystaniem replikacji na poziomie bloków danych. Zastosowanie wszystkich opisanych rozwiązań stwarza możliwości budowy systemu informatycznego e-matura o wysokim poziomie bezpieczeństwa, bardzo wysokiej wydajności podsystemu dyskowego oraz wysokiej dostępności serwera baz danych. Sławomir Wiak 9