Metody i narzędzia ewaluacji

Metody i narzędzia ewaluacji wyników zdalnego testowania wiedzy (platforma informatyczna e-matura)

Książka przygotowana w ramach projektu E-matura, współfinansowanego przez Unię Europejską w ramach Europejskiego Funduszu Społecznego, Programu Operacyjnego Kapitał Ludzki, Priorytet III Wysoka jakość systemu oświaty, Działanie 3.3 Poprawa jakości kształcenia, Poddziałanie 3.3.4 Modernizacja treści i metod kształcenia projekty konkursowe.

Książka jest dystrybuowana bezpłatnie Redakcja: prof. dr hab. inz. Sławomir Wiak Opracowanie graficzne: Niceday Książka przygotowana w ramach projektu E-matura, współfinansowanego przez Unię Europejską w ramach Europejskiego Funduszu Społecznego, Programu Operacyjnego Kapitał Ludzki, Priorytet III Wysoka jakość systemu oświaty, Działanie 3.3 Poprawa jakości kształcenia, Poddziałanie 3.3.4 Modernizacja treści i metod kształcenia projekty konkursowe. copyright by Politechnika Łódzka, Łódź 2013 Książka współfinansowana przez Unię Europejską w ramach Europejskiego Funduszu Społecznego ISBN: 978-83-937551-7-2

Spis treści Spis treści WSTĘP... 7 Sławomir Wiak STAN ZAAWANSOWANIA REALIZACJI PROJEKTU... 11 Sławomir Wiak, Konrad Szumigaj, Agnieszka Stefańska 1.1. Dane wyjściowe... 11 1.1.1. Testowanie pilotażowe i wnioski z analizy wyników badań... 12 1.1.2. Grupa docelowa... 15 1.2. Opis testowań... 19 1.3. Podsumowanie... 23 BŁĄD POMIARU DYDAKTYCZNEGO METODA KLASYCZNA I PROBABILISTYCZNA... 25 Sławomir Sapanowski 2.1. Wstęp... 25 2.2. Klasyczna teoria pomiaru dydaktycznego... 25 2.3. Teoria informacji... 29 2.4. Probabilistyczna teoria testu (IRT), a ilość informacji i błąd pomiaru.... 30 2.5. Przykład zastosowania IRT do oszacowania SEM dla sprawdzianu 2007.... 31 2.6. Podsumowanie... 33 WYBÓR PROBLEMÓW BADAWCZYCH W FAZIE PLANOWANIA EWALUACJI MATEMATYKI W SZKOLE. KONCEPTUALIZACJA I METODOLOGIA PROJEKTU EWALUACJI... 35 Halina Cyrulska 3.1. Wprowadzenie... 35 3.2. Przepisy prawa oświatowego... 35 3.3. Nauczyciel Liderem Zmian systemu uczenia się ucznia... 37 3.4. Ewaluacja wewnętrzna na przykładzie szkoły zawodowej pracującej w województwie łódzkim.... 39 3.4.1. Raport wyników egzaminu maturalnego z matematyki na poziomie podstawowym w szkole w roku szkolnym 2011/2012 (wyniki przekazane do szkoły w czerwcu 2012 r.)... 40 3.4.2. Badanie... 47 3.5. Zakończenie... 50 3.6. Plan działań poewaluacyjnych... 53 INTELIGENTNE ALGORYTMY ZAPOBIEGANIA I WCZESNEGO WYKRYWANIA OSZUSTW PODCZAS EGZAMINÓW PROWADZONYCH DROGĄ ELEKTRONICZNĄ... 55 Sławomir Wiak, Dominik Jeske 4.1. Opis rozwiązania... 55 4.2. Przygotowanie pytań... 55 4.3. Analiza odpowiedzi oraz zachowania uczniów podczas egzaminu... 59 4.3.1. Analiza fizycznego zachowania... 59 4.3.2. Analiza statyczna obrazu... 63 4.4. Analiza wysyłanych odpowiedzi... 64 3

Spis treści 4.5. Prewencja komputerowa... 65 4.5.1. Dostęp do zasobów Internetu... 65 4.5.2. Bezpieczeństwo danych i komunikacji... 66 4.6. Reakcja na zdarzenia podczas egzaminu... 67 4.7. Analiza egzaminu po zakończeniu testu... 67 4.8. Podsumowanie... 68 WYKORZYSTANIE PAMIĘCI FLASH PCI-E W CELU ZWIĘKSZENIA WYDAJNOŚCI BAZY DANYCH W SYSTEMIE INFORMATYCZNYM E-MATURA... 69 Sławomir Wiak, Maciej Krasuski 5.1. Dyski Flash PCI-E zalety oraz wady... 71 5.2. Karty PCI-E jako macierz współdzielona... 76 5.3. Multi Site Failover Clustering... 79 5.4. Podsumowanie... 81 MECHANIZMY BAZODANOWE WSPOMAGAJĄCE WNIOSKOWANIE I RAPORTOWANIE W SYSTEMACH ZDALNEGO EGZAMINOWANIA NA PRZYKŁADZIE SYSTEMU INFORMATYCZNEGO E-MATURA... 83 Sławomir Wiak, Rafał Stryjek 6.1. Analiza danych zgromadzonych w bazach... 83 6.2. Zakres danych zbieranych podczas zdalnego egzaminowania w e-maturze... 86 6.3. Sposób zbierania danych w systemie informatycznym e-matura a możliwości ich analizy... 87 6.4. Elementy języka SQL służące analizie danych, które mogą być wykorzystane w systemach zdalnego egzaminowania w tym bezpośrednio z baz danych OLTP... 89 6.4.1. Funkcje agregujące... 90 6.4.2. Grupowanie... 90 6.4.3. Grupowanie generowanie dodatkowych podsumowań... 90 6.4.4. Funkcje analityczne... 90 6.4.5. Piwotowanie tabel... 91 6.4.6. Tworzenie własnych funkcji w celu użycia w języku SQL... 92 6.5. Analizy danych w e-maturze przy użyciu języka zapytań SQL... 92 6.6. Algorytmy służące wnioskowaniu... 96 6.7. Analiza, wnioskowanie i raportowanie w module e-korepetycji... 96 BUDOWANIE SYSTEMU EGZAMINACYJNEGO DLA OSÓB NIEPEŁNOSPRAWNYCH... 101 Sławomir Wiak, Maciej Krasuski, Dominik Jeske, Rafał Stryjek Wstęp... 101 7.1. Standard WCAG 2.0... 101 7.2. Widoczność interfejs użytkownika oraz informacje muszą być widoczne dla wszystkich użytkowników... 103 7.2.1. Wytyczna 1.1 [1] standardu WCAG 2.0 wymaga, aby były zapewnione teksty alternatywne dla wszelkich nietekstowych elementów znajdujących się na stronie.... 103 7.2.2. Zapewnienie zawartości alternatywnej dla elementów multimedialnych według wytycznej numer 1.2 specyfikacji WCAG 2.0:... 103 7.2.3. Stworzona zawartość może być prezentowana na różne sposoby bez utraty informacji jaką niesie (np. z uproszczonym interfejsem użytkownika) zgodnie z wytyczną numer 1.3 specyfikacji WCAG 2.0:... 104 4

Spis treści 7.2.4. Informacje znajdujące się na pierwszym planie powinny być wyraźnie odseparowane od tła zgodnie z wytyczną numer 1.4 specyfikacji WCAG 2.0:... 104 7.3. Dostępność z klawiatury wszystkie funkcjonalności powinny być dostępne z klawiatury... 105 7.3.1. Wszystkie funkcjonalności zgodnie z wytyczną numer 2.1 specyfikacji WCAG 2.0 powinny być dostępne z klawiatury bez wprowadzania ograniczeń czasowych na wciśnięcie klawiszy. Wyjątkiem są funkcjonalności uzależnione od ruchu wykonanego przez użytkownika a nie jedynie punktu końcowego tego ruchu:... 105 7.3.2. Zgodnie z wytyczną numer 2.2 specyfikacji WCAG 2.0 użytkownik powinien mieć wystarczającą ilość czasu na przeczytanie i użycie treści:... 105 7.3.3. Zgodnie z wytyczną numer 2.3 specyfikacji WCAG 2.0 należy unikać treści, które mogą spowodować problemy związane ze światłoczułością:... 106 7.3.4. Mechanizmy pomocne w znalezieniu informacji, orientacji i nawigacji zgodnie z wytyczną numer 2.4 specyfikacji WCAG 2.0:... 107 7.3.5. Pomaganie w unikaniu błędów oraz ułatwianie poprawiania błędów, które się pojawiły zgodnie z wytyczną numer 2.5 specyfikacji WCAG 2.0:... 107 7.4. Informacje prezentowane w interfejsie użytkownika oraz sterowanie nim musi być zrozumiałe.... 108 7.4.1. Tekst powinien być czytelny i zrozumiały (wytyczna numer 3.1 ze specyfikacji WCAG 2.0):... 108 7.4.2. Przewidywalność treść powinna pojawiać się w przewidywalnych miejscach (wytyczna numer 3.2 w specyfikacji WCAG 2.0):... 108 7.5. Zawartość stron musi zapewniać pracę z szeroką gamą oprogramowania użytkownika, włączając technologie wspomagające... 109 7.5.1. Kompatybilność maksymalizacja zgodności z obecnym i przyszłym oprogramowaniem użytkownika wraz z technologiami pomocniczymi (wytyczna numer 4.1 ze specyfikacji WCAG 2.0):... 109 Podsumowanie... 109 IMPLEMENTACJA WZORCÓW ARCHITEKTONICZNYCH MICROSOFT PRISM I MVVM W SYSTEMIE E-MATURA... 111 Sławomir Wiak, Maciej Król, Piotr Ilski 8.1. Architektura systemu e-matura... 111 8.1.1. Architektura trójwarstwowa... 111 8.2. Modularność... 112 8.2.1. Modularność w e-maturze... 112 8.2.1.1. Ponowne wykorzystanie kodu... 112 8.2.1.2. Dynamiczne ładowanie modułów... 112 8.2.1.3. Testowanie jednostkowe... 113 8.2.2. Opis głównych modułów systemu e-matura... 113 8.2.2.1. Moduł logowania... 113 8.2.2.2. Moduł domowy... 113 8.2.2.3. Moduł egzaminu... 113 8.2.2.4. Moduł menu... 114 8.2.2.5. Moduł aktualności... 114 8.2.2.6. Moduł administratora... 114 8.2.2.7. Moduł zarządzający (nauczyciela)... 114 8.2.2.8. Moduł ankiety... 114 8.3. Implementacja wzorca MVVM w systemie e-matura... 115 5

Spis treści 8.3.1. Opis wzorca MVVM... 115 8.3.2. Struktura wzorca MVVM... 115 8.3.3. Wybrane elementy wzorca MVVM... 116 8.3.4. Implementacja MVVM w projekcie e-matura. Struktura przykładowego modułu.... 117 POMIAR OSIĄGNIĘĆ STUDENTÓW W KONTEKŚCIE MATURY Z MATEMATYKI... 119 Adam Depta, Gertruda Gwóźdź-Łukawska, Krzysztof Kisiel NOWE FUNKCJONALNOŚCI PLATFORMY STOSOWANEJ W PROJEKCIE E-POGOTOWIE MATEMATYCZNE W KONTEKŚCIE E-MATURY... 135 Dorota Krawczyk-Stańdo, Grzegorz Kusztelak, Jacek Stańdo 10.1. Wprowadzenie... 135 10.2. Proponowane nowe funkcjonalności... 135 10.3. Nowe funkcjonalności w akcji... 139 PRZEGLĄD WYNIKÓW MATUR Z MATEMATYKI W KONTEKŚCIE E-MATURY NA PRZYKŁADZIE WYNIKÓW Z II LO IM JANA PAWŁA II ZE ZDUŃSKIEJ WOLI... 141 Adam Depta, Renata Długosz, Konrad Szumigaj 11.1. Wprowadzenie... 141 11.2. Dlaczego szkoła bierze udział w projekcie... 142 11.2.1. Jak odbierany jest projekt e-matura w środowisku szkolnym?... 143 11.2.3. Opis i opracowanie wyników... 144 WYKORZYSTANIE WYNIKÓW SPRAWDZIANÓW I EGZAMINÓW ZEWNĘTRZNYCH W EWALUACJI PRACY SZKOŁY... 161 Grzegorz Gaworski 12.1. Wprowadzenie... 161 12.2. Wykorzystanie wniosków z analizy wyników sprawdzianów i egzaminów zewnętrznych w planowaniu pracy szkoły na przykładzie badania przeprowadzonego w roku 2005 na terenie województwa łódzkiego.... 161 12.3. Ewaluacja w nadzorze pedagogicznym.... 163 STRATEGIA INFORMATYCZNA ORGANIZACJI KOMERCYJNEJ I PROJEKTU E-MATURA... 173 Adam Becht, Konrad Szumigaj 13.1. Wprowadzenie... 173 13.2. Uzasadnienie... 179 13.3. Cel wprowadzenia innowacji... 179 13.4. Opis innowacji, w tym produktu finalnego... 180 13.5. Plan działań w procesie testowania produktu finalnego... 180 13.6. Sposób sprawdzenia, czy innowacja działa... 180 13.7. Strategia upowszechniania... 181 13.8. Strategia włączania do głównego nurtu polityki... 181 13.9. Kamienie milowe etapów projektu... 181 13.10. Analiza ryzyka... 181 Podsumowanie... 192 6