Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Przygotowanie egzaminatorów i proces ich wspierania podczas sesji e-oceniania Małgorzata Dudkiewicz-Świerzyńska Marek Magdziak Andrzej Zwolski V Konferencja Od tradycyjnego oceniania do e-oceniania Warszawa, 20 lutego 2013 r.,,jeżeli nadal będziesz myślał w sposób, w który dotychczas myślałeś, jeżeli nadal będziesz działał w sposób, w który dotychczas działałeś to będziesz nadal osiągał rezultaty, które dotychczas osiągałeś Brian Tracy 1
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. 1. Przygotowanie ekspertów i egzaminatorów do e-oceniania Materiały szkoleniowe scenariusze zajęć prezentacje multimedialne materiały szkoleniowe (podręcznik, materiały do ćwiczeń) 4 2
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Etapy przygotowania do e-oceniania 24 listopada w Jaworznie przygotowano 23 ekspertów i 24 przewodniczących stacjonarne on-line 1 grudnia w 8 miejscowościach w kraju odbyły się warsztaty dla 24 zespołów egzaminatorów prowadzone przez PZE 5 Spotkania warsztatowe Odbywały się w ośrodkach szkołach z dobrze wyposażonymi pracowniami komputerowymi i dostępem do Internetu W ośrodku szkoleniowym egzaminatorów wspierał administrator pracowni 6 3
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Podczas spotkań uczestnicy: zapoznali się z aplikacją scoris zdobyli umiejętność posługiwania się funkcjonalnościami aplikacji wykorzystywali aplikację do oceny zadań egzaminacyjnych 7 Uczestnicy warsztatów z OKE 8 4
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Tryby pracy w aplikacji scoris Tryb treningowy Tryb ćwiczeniowy Kwalifikacja Ocenianie umożliwia poznanie aplikacji scoris Assessor utrwalanie zasad stosowania schematów oceniania kwalifikacja egzaminatora ocenianie z monitorowaniem jakości 9 Praca egzaminatorów on-line ze wsparciem: Przewodniczącego zespoł egzaminatorów Helpdesku (I linia pomocy) Drugiej linia pomocy 10 5
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. 2. Sesja e-oceniania Organizacja pracy egzaminatorów i PZE Zadania Przewodniczącego ZE Monitorowanie oceniania Weryfikacja postępu i jakości sprawdzania Weryfikacja zadań kontrolnych Zarządzanie zawieszonymi egzaminatorami 12 6
9:00-11:00 11:00-13:00 13:00-15:00 15:00-17:00 17:00-19:00 19:00-21:00 21:00-23:00 1:00-3:00 3:00-5:00 5:00-7:00 7:00-9:00 9:00-11:00 11:00-13:00 13:00-15:00 15:00-17:00 17:00-19:00 19:00-21:00 21:00-23:00 1:00-3:00 3:00-5:00 5:00-7:00 7:00-9:00 9:00-11:00 11:00-13:00 13:00-15:00 15:00-17:00 17:00-19:00 19:00-21:00 21:00-23:00 G Adamczyk E Dołęga U Grzyśka E Hatt J Herman M Lembicz M Majerowska D Siwik-Górecka M Bochenek W Człapińska W Górska I Jakóbowska T Kielar E Nowak-Polska M Orlińska Z Pastuszczak M Jasiński M Karbowska D Maćków E Ostaficzuk M Saleniuk M Urbańska A Zawada M Żurek-Etgens Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Weryfikacja pracy egzaminatorów 600 500 400 482 515 512 412 342 512 482 510 514 513 516 377 513 445 480 480 486 480 452 485 483 486 489 418 300 200 100 0 13 Aktywność egzaminatorów Liczba egzaminatorów pracujących w różnych przedziałach czasowych 400 350 300 337 337 328 250 245 226 200 150 100 50 0 205 137 206 181 11 6 13 89 166 194 130 119 83 2 3 15 45 34 33 45 108 81 77 41 8/12/2012 9/12/2012 10/12/2012 14 7
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Monitorowanie pracy egzaminatorów poprzez raporty dostępne dla PZE Raporty Koordynacja postępu Progi błędów procesu kontrolnego Przegląd rozbieżności procesu kontrolnego Raport czasu pracy egzaminatorów oraz postępu oceniania Postęp standaryzacji Ustawienia standaryzacji 15 Ewaluacja na etapie szkolenia oceniania 16 8
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Atuty e-oceniania organizacja pracy Sprawdzanie elektroniczne powoduje, że znikają m.in. kłopoty związane z: tradycyjnym odbiorem i przekazywaniem paczek z pracami uczniowskimi codziennym pakowaniem się i transportem kartonów z pracami do bezpiecznych pomieszczeń, które to kartony na nowo trzeba rozpakowywać następnego dnia sprawdzania wynajmowaniem sal lekcyjnych w szkołach przez kilka dni w tygodniu, z pracą w niewygodnych warunkach, niewielką ilością miejsca na stoliku, czasem na dojazdy do ośrodków oceniania 17 Atuty e-oceniania organizacja pracy hałasem i gwarem spowodowanym dyskusjami między egzaminatorami, rozpraszającymi uwagę pozostałych egzaminatorów zamalowywaniem kratek na karcie odpowiedzi, liczeniem i układaniem prac, wpisywaniem w każdej pracy kodu egzaminatora wypełnianiem wielu protokołów, ewidencji obecności, obiegu prac itd. rozwiązywaniem przez przewodniczącego problemów organizacyjnych 18 9
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Zmiana postaw egzaminatorów po sesji Wyraźne zwiększenie odpowiedzialności indywidualnej za proces oceniania Zmniejszenie liczby interwencji przewodniczącego w sytuacjach błahych, których rozwiązanie leży w możliwościach samodzielnej decyzji egzaminatora (zamiast pisać zastanowi się) Możliwość indywidualizacji tempa i rytmu oceniania, rozplanowanie procesu oceniania w różnych porach dnia (także w nocy) Możliwość skorzystania z różnych źródeł pomocy 19 3. Wsparcie egzaminatorów przez pierwszą linię pomocy (Helpdesk) 10
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Zadania zespołu pierwszej linii pomocy egzaminatorom Pomoc przy pobieraniu i instalacji aplikacji scoris Pomoc w rozwiązywaniu problemów związanych z obsługą systemu operacyjnego Pomoc przy obsłudze aplikacji Udzielanie odpowiedzi na pytania podczas procesu oceniania 21 Organizacja pracy zespołu pierwszej linii wsparcia egzaminatorów Dyżur on-line podczas szkolenia egzaminatorów Dyżur on-line podczas przygotowania zadań kontrolnych przez zespół standaryzacyjny Świadczenie pomocy egzaminatorom z centrum zarządzania podczas sesji oceniania Dyżur on-line podczas oceny prac przez egzaminatorów w domu 22 11
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Strona pomocy e-oceniania 23 Baza wiedzy na stronie pomocy e-oceniania 24 12
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Baza wiedzy w aplikacji HESK Artykuł w bazie wiedzy Liczba odwiedzin Sprawdzanie systemu operacyjnego 216 Jak sprawdzić czy mój komputer spełnia wymagania aplikacji Scoris? 186 Co to jest ID śledzenia zgłoszenia? 106 Jak zmienić strefę czasową datę i godzinę? 59 Jak zrobić zrzut ekranu? 53 Jak zmienić rozdzielczość ekranu? 46 25 Dodawanie zgłoszenia 26 13
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Zgłaszane problemy związane były z: instalacją aplikacji scoris 4% błędnie ustawionym czasem systemu Windows 4% uruchomieniem aplikacji scoris 2% logowaniem do aplikacji 6% stosowaniem narzędzi programu 10% zamknięciem szczególnego przypadku 10% przesłaniem rozwiązania 6% przesłaniem powtórnej próbki standaryzacji 2% zwróceniem rozwiązania do egzaminatora 2% zatwierdzeniem egzaminatora 4% realizacją limitu przydzielonych prac 27% dostępem do zadań 2% 27 Procentowa liczba zgłoszeń w poszczególnych dniach 35% 31% 30% 25% 20% 15% 14% 14% 10% 5% 0% 8% 6% 6% 6% 4% 2% 2% 2% 2% 2% 2% 0% 0% 0% 0% 24 25 26 27 28 29 30 1 2 3 4 5 6 7 8 9 10 11 Listopad Grudzień 2012 2012 28 14
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Czas reakcji zespołu HelpDesk na zgłoszenia w procentach 80% 78% 70% 60% 50% 40% 30% 20% 10% 6% 4% 6% 2% 2% 2% 0% do 30 od 30 do 60 od 1 do 2 od 2 do 3 od 3 do 4 od 4 do 13 od 13 do 24 minut godzin 29 4. Wsparcie egzaminatorów przez drugą linię pomocy 15
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Zadania zespołu drugiej linii pomocy egzaminatorom: Rozwiązywanie problemów zgłaszanych przez pierwszą linię pomocy. Sprawdzanie poprawności działania aplikacji scoris podczas oceniania prac przez egzaminatorów. Rozwiązywanie problemów wymagających dostępu do logów systemowych scorisa po stronie serwera i tabel baz danych. Usuwanie przyczyn błędów zgłaszanych przez egzaminatorów jako szczególne przypadki. 31 Problemy zgłaszane przez pierwszą linię pomocy Wszystkie, nie rozwiązane przez helpdesk, kategorie problemów technicznych wynikające z nieprawidłowej instalacji lub działania aplikacji scoris na komputerze egzaminatora. 32 16
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Sprawdzanie poprawności działania aplikacji scoris podczas oceniania prac przez egzaminatorów W sesji e-oceniania przeprowadzonej w 2012 roku informatycy 2 linii wsparcia mieli zapewnioną możliwość pracy bezpośrednio w ośrodkach e-oceniania. Bezpośredni ogląd pozwolił na zebranie wielu cennych informacji pomocnych w przygotowaniach do szkoleń i pierwszej normalnej sesji. 33 Problemy wymagające dostępu do logów systemowych scorisa po stronie serwera i tabel baz danych Problemy z logowaniem związane z uprawnieniami systemowymi użytkownika lub warstwą sieci. Problemy zgłaszane jako dziwne zachowania programu: nieprawidłowe obrazy lub komunikaty, wymagające sprawdzenia poprawności wpisów w tabelach baz danych. Niektóre problemy z piratami (Większość rozwiązujemy w AI) 34 17
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Szczególne przypadki Potrzeba ponownego skanowania Niewłaściwa kolejność stron w zestawie Sklejone arkusze Niewłaściwy arkusz Dodatkowy obraz w arkuszu 35 Dziękujemy za uwagę! 18