Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Model zarządzania jakością oceniania z poziomu koordynatora krajowego Elżbieta Modrzewska VI Konferencja z cyklu Od tradycyjnego oceniania do e-oceniania Warszawa, 4 grudnia 2013 r. Zastosowany model zarządzania jakością oceniania To proces wieloetapowy Pozwala zapewnić wysoką rzetelność i porównywalność oceniania w skali kraju 1
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Opis danych dla sesji GM 2013 LICZBA ZDAJĄCYCH LICZBA EKSPERTÓW OBSŁUGUJĄCYCH SESJĘ 346 995 bez dysfunkcji 38 614 z dysleksją 23 (9 koordynatorów, 2 menadżerów, 12 członków pomocy) + zespół wdrożeniowy LICZBA STRON DO SKANOWANIA 1 542 436 PLANOWANY CZAS OCENIANIA 21-25 września Zadanie Rekrutacja PZE Rekrutacja egzaminatorów do sesji Szkolenia stacjonarne PZE ( 8 h) prowadzą koordynatorzy regionalni Szkolenia stacjonarne egzaminatorów ( 8h) prowadzą PZE Sesja treningowa dla egzaminatorów Kwalifikacja PZE - prowadzą koordynatorzy Sesja ćwiczeniowa i kwalifikacyjna dla egzaminatorów- prowadzą PZE Termin 4 września 4-6 września 7 września Od 10.00 14 września Od 10.00 16-17 września 18 września 18.00-21.00 20-21 września 18.00-21.00 Sesja e-oceniania praca egzaminatorów z zapewnionym wsparciem 21 24 września Zakończenie oceniania prowadzą PZE i koordynatorzy Raportowanie i zamknięcie sesji Harmonogram sesji GM 2013 25 września 18.00 21.00 26 września 2
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Zarządzanie jakością oceniania Zespół ekspertów Koordynator sesji Menadżer sesji 9 koordynatorów regionalnych 5 Struktura organizacji oceniania GZ1 (21.) GZ2 (22.) GZ3 (23.) GZ (D) 710 652 217 776 PZE1 PZE33 PZE1 PZE30 PZE1 PZE36 PZE1 PZE12 E01 E01 E01 1 577 egzaminatorów w 99 zespołach 197 egz. E016 521 egz. 477 egz. 568 egz. E016 E017 6 3
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Struktura organizacji oceniania - fragment OKE Miejscowość GZ1 koordynator GZ2 koordynator GZ3 koordynator D WROCŁAW WARSZAWA JAWORZNO GDAŃSK Bydgoszcz 1/1/1 Urszula Okrajni Sławomir Sapanowski 1/2/34 Barbara Słoma 1/3/64 Gdańsk 1/1/2 1/2/35 1/3/65 Gdańsk 1/1/3 Toruń 1/1/4 1/2/36 1/3/66 Toruń 1/2/37 Słupsk 1/3/67 Bielsko-Biała 2/1/5 2/2/38 Iwona Łuba 2/3/68 Częstochowa 2/1/6 2/3/69 Rybnik 2/1/7 2/2/39 Gliwice 2/2/40 2/3/70 Jolanta Dolata Jerzy Borkowicz 1/D/100 Katowice 2/1/8 2/2/41 2/3/71 2/D/101 Warszawa 7/1/27 7/2/57 Renata Świrko 7/3/92 Warszawa 7/2/58 Radom 7/1/28 7/2/59 7/3/93 Jerzy Borkowicz 7/D/109 Siedlce 7/3/94 7/D/110 Ostrołęka 7/1/29 7/3/95 Ciechanów 7/2/60 7/3/96 Płock 7/1/30 Jelenia Góra 8/2/61 Legnica 8/2/62 Opole 8/1/31 8/3/97 Wałbrzych 8/3/98 8/D/111 Wrocław 8/1/32 8/3/99 Wrocław 8/1/33 Nysa 8/2/63 Barbara Słoma Sabina Pawłowska Parametry procesów kontrolnych Liczba zadań do sesji ćwiczeniowej, kwalifikacyjnej i procesu kontrolnego sesja ćwiczeniowa - 8 zadań sesja kwalifikacyjna - 6 zadań proces kontrolny od 64 do 79 zadań Progi tolerancji dla zadań GZ1-0 punktów ; GZ2-0 punktów ; GZ3-1 punkt; 8 4
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. System kontroli jakości -parametry Wstępny Limit Procesu Kontrolnego (%) Wstępny Współczynnik Procesu Kontrolnego (%) Standardowy Współczynnik Procesu Kontrolnego (%) 25 13 9 Sekwencyjny limit Niesekwencyjny limit ZK ZK ZK ZK ZK Wstrzymany Wstrzymany 9 Rozkład jakości oceniania ze względu na liczbę egzaminatorów 600 500 516 400 300 237 200 186 170 149 100 0 103 75 50 22 20 16 9 2 3 2 1 1 0 0 1 1 0 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 5
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Jakość oceniania 100,00% Jakość oceniania zadań kontrolnych z podziałem na grupy zadań 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% Liczba dokładnych ocen Liczba ocen z zakresie tolerancji Liczba ocen niedokładnych GZ1 96,18% 0,04% 3,78% GZ2 93,80% 0,09% 6,11% GZ3 94,82% 5,08% 7,51% Jakość oceniania Jakość oceniania - grupa standardowa 1,65% 3,42% oceny dokładne oceny niedokładne 94,93% oceny w zakresie tolerancji Jakość oceniania - grupa dyslektyczna 1,76% 19,03% 79,20% oceny dokładne oceny niedokładne oceny w zakresie tolerancji 6
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Atuty e-oceniania z poziomu koordynatora krajowego Możliwość regularnego weryfikowania pracy egzaminatorów i przewodniczącego zespołu System zadań kontrolnych szybciej niż tradycyjne weryfikowanie pracy ujawnia egzaminatorów, którzy nie stosują ustalonego schematu punktowania; tacy egzaminatorzy zostają odsunięci od sprawdzania i oceniania prac. 13 Model zarządzania jakością oceniania z poziomu koordynatora regionalnego Jerzy Borkowicz 7
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Treść 1. Przygotowanie sesji opis przebiegu standaryzacji zadań 2. Przebieg sesji e-oceniania koordynowany obszar modyfikacja roli koordynatora 3. Wnioski 15 Opis przebiegu standaryzacji zadań GZ1 (21.) Pracowano GZ2 (22.) w 4. GZ3 zespołach (23.) GZ4 (D) Cel: przygotowanie rozszerzonej wersji schematu punktowania przygotowanie przykładowych rozwiązań (materiał na zebranie merytoryczne) wstępna kwalifikacja rozwiązań wybór i ocena zadań do trybów: ćwiczeniowego, kwalifikacyjnego i kontrolnego (jednocześnie wyselekcjonowanie rozwiązań nietypowych) weryfikacja ocen przez lidera zespołu 16 8
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Szkolenia merytoryczne Szkolenia merytoryczne dla PZE przeprowadzane przez koordynatorów Cele: zapoznanie PZE ze schematem punktowania ocenienie przez każdego uczestnika przygotowanych przykładowych rozwiązań ćwiczenia w obsłudze aplikacji Scoris z poziomu PZE przedstawienie szczegółowego harmonogramu sesji 17 Cechy rozwiązań ćwiczeniowych, kwalifikacyjnych i kontrolnych Ćwiczeniowe Rozwiązania typowe oraz niejednoznaczne (ale ujęte w schemacie punktowania). Służą one przypomnieniu i utrwaleniuzasad przydzielania punktów w możliwie szerokim zakresie przypadków. Kwalifikacyjne Rozwiązania typowe, ich funkcją jest sprawdzenie, czy egzaminator rozumie zasady przydzielania punktów. Kontrolne Ilustrują na ogół typowe przypadki, ale są wśród nich również rozwiązania nietypowe. Dla każdego z nich można znaleźć w schemacie punktowania odpowiedni opis. Ich funkcją jest sprawdzenie, czy egzaminator stosuje zasady przydzielania punktów. 18 9
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Doświadczenia z przebiegu sesji standaryzacyjnej ( potrzebny czas i praca zespołowa) Praca zespołu standaryzacyjnego zaczęła się w sobotę, 24 sierpnia i zakończyła w czwartek, 29 sierpnia. Cz. I stacjonarna w W-wie (24-25 VIII) Cz. II w domu Wnioski: praca zespołu standaryzacyjnego trwała 5 dni i był to czas wystarczający; praca zespołowa w nielicznych zespołach, ale zajmujących się rozwiązaniami tylko jednego zadania okazała się efektywna 19 Przebieg sesji koordynator sesji GZ3 (23.) koordynator I koordynator II koordynator III PZE1 PZE12 PZE13 PZE24 PZE25 PZE36 E01 650 rozw. E01 E01 E01 E01 E01 Bielsko-Biała Radom Częstochowa E016 Siedlce E016 E016 E016 E016 E016 Gliwice Warszawa Katowice Opole Ciechanów Wałbrzych Ostrołęka Wrocław 10
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Modyfikacja roli koordynatora regionalnego jako wynik zmiany technologii oceniania koordynowanie pracą zespołów z obszarów kilku województw w tradycyjnej sesji praca koordynatora ogranicza się do obszaru komisji nowa sytuacja wymaga większej precyzji komunikatów specjalizacja ograniczona do jednego zadania w sytuacjach problemowych koordynatorzy zespołowo rozstrzygali problemy te same ustalenia otrzymywali członkowie wszystkich zainteresowanych zespołów(odpowiedniej grupy zadań) Oczekiwane i osiągnięte efekty: poprawa porównywalności ocen poprawa jakości oceniania Inne pozytywne strony e-oceniania możliwość prowadzenia wielostronnej obserwacji w czasie oceniania prac, a nie po jego zakończeniu,jak w ocenianiu tradycyjnym koordynator ma możliwość weryfikacji ocen każdego egzaminatora w dowolnym momencie sesji i przy tym nie ma potrzeby odrywania go od pracy możliwość monitorowania postępu oceniania i na tej podstawie przewidywanie czasu zakończenia sesji (w ocenianiu tradycyjnym jest dużo trudniejsze) 22 11
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Negatywne strony e-oceniania brak bezpośredniej komunikacji PZE E brak przyzwyczajeń w komunikacji za pośrednictwem Internetu uzależnienie od jakości łącza internetowego Wnioski(na przyszłość): szkolenia merytoryczne powinny mieć formę stacjonarną zespół standaryzacyjny powinien mieć wystarczająco dużo czasu na przygotowanie sesji warunek płynnego jej przebiegu dzielenie na grupy zadań szybsze i dokładniejsze ocenianie 23 Model zarządzania jakością oceniania z poziomu przewodniczącego zespołu egzaminatorów Władysław Mąsior 12
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Modyfikacja roli PZE Sesja tradycyjna Przed sesją Organizacja zespołu egzaminatorów Spotkanie organizacyjne-(harmonogram i procedury) Szkolenie merytoryczne-(omówienie schematu i punktowanie przykładowych rozwiązań) Przyjęcie prac i dokumentacji z OKE Przekazanie prac egzaminatorom W trakcie sesji Weryfikacja punktowania prac egzaminatorów Konsultowanie nietypowych przypadków Pośredniczenie w komunikacji z koordynatorem Prowadzenie dokumentacji pracy zespołu Sesja e-oceniania Przed sesją Szkolenie merytoryczne omówienie schematu i punktowanie przykładowych rozwiązań (dla danej grupy -jakość) oraz przypomnienie zasad korzystania z platformy scoris W trakcie sesji Kwalifikowanie egzaminatorów Weryfikowanie punktowania prac egzaminatorów Weryfikowanie punktowania zadań kontrolnych Rozpatrywanie nietypowych przypadków Monitorowanie pracy egzaminatorów Bieżąca komunikacja z koordynatorem i egzaminatorami 25 Modyfikacja roli PZE Sesja tradycyjna Zamknięcie sesji Odbiór prac od egzaminatorów Skompletowanie dokumentacji Pakowanie prac i kart odpowiedzi Oklejanie i opisywanie kartonów Przekazanie prac i dokumentacji do OKE Sesja e-oceniania Zamknięcie sesji Kontrola zamknięcia sesji przez egzaminatorów Przesłanie sprawozdania z sesji 26 13
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Kwalifikowanie egzaminatorów Plusy Weryfikacja rozumienia schematu punktowania. Minusy Brak dostępu do Internetu lub problemy z logowaniem mogą wydłużyć proces kwalifikacji. Potwierdzenie gotowości egzaminatorów do oceniania prac. Czy należy tworzyć listę rezerwową egzaminatorów? Recenzowanie zadań kontrolnych Plusy Możliwość bieżącego monitorowania jakości pracy egzaminatora Dostęp do punktacji eksperckiej Minusy Okresowe spiętrzenie liczby zadań do recenzji. Okazja do pogłębienia lub poprawy rozumienia schematu punktowania Brak możliwości automatycznego recenzowania zadań ocenionych bezbłędnie zbędnie angażuje PZE. 28 14
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Zgłaszanie szczególnych przypadków Plusy Wygodny sposób konsultowania sposobu punktowania Minusy Konieczność zamknięcia szczególnego przypadku przez eksperta. 29 Weryfikacja prac poza zadaniami kontrolnymi Tak, ale stworzenie procedury określającej dobór i liczbę zadań, właściwe określenie długości statusu zadań oczekujących. 15
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Komunikacja z koordynatorem Sesja tradycyjna Sesja e-oceniania Wiadomości na platformie moodle Wiadomości w aplikacji Rozmowa telefoniczna System wiadomości powiązanych Rozmowa telefoniczna Wiadomości e-mail Wiadomości e-mail 31 Komunikacja z egzaminatorami Sesja tradycyjna Sesja e-oceniania Rozmowa bezpośrednia Wiadomości na platformie Rozmowa telefoniczna Wiadomości e-mail Narzędzia komunikacji - wystarczające. 32 16
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Korzyści ze stosowania e-oceniania Praktyczne zlikwidowanie obiegu dokumentów papierowych (efektywniejsze wykorzystanie czasu i zwiększenie bezpieczeństwa). Możliwość punktowania zadaniami (zwiększenia tempa pracy i jakości punktowania). Usunięcie zatorów w kontaktach: PZE < > egzaminator, egzaminator < > asystent techniczny. Weryfikacja i konsultowanie sposobu punktowania rozwiązań przez egzaminatorów bez odrywania ich od pracy (większa efektywność pracy) 33 Zagrożenia stosowania e-oceniania Ograniczona możliwość konsultowania się pomiędzy egzaminatorami. Oczekiwanie ze strony egzaminatorów na ciągłą obecność PZE online. Problemy techniczne egzaminatorów i PZE związane z funkcjonowaniem sprzętu i łączy. 34 17
Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego. Dziękujemy za uwagę! www.e-ocenianie.pl 18