OCENA METOD EGZAMINOWANIA

Transkrypt

1 OCENA METOD EGZAMINOWANIA Marian Błaszczyk, Marek Dobrowolski, UDT-CERT Warszawa 1. WSTĘP Zgodnie z normą PN-EN ISO Ocena zgodności. Ogólne wymagania dotyczące jednostek certyfikujących osoby oraz wymaganiami IAF FG 17024, jednostka certyfikująca osoby ma obowiązek zbierania danych i opracowania okresowych ocen uczciwości, miarodajności i wiarygodności procesu egzaminowania. W referacie przedstawiono przykład oceny metod egzaminowania w dziedzinie badań nieniszczących. Uwaga: przedstawiona w niniejszym referacie analiza jest osobistą interpretacją autorów. Nie jest więc oficjalnym stanowiskiem Jednostki Certyfikacji Osób UDT-CERT. 2. OCENA PYTAŃ EGZAMINACYJNYCH Rozkład i tematyka błędnych odpowiedzi. Wstępna ocena każdego pytania polega na ustaleniu procentu kandydatów, którzy udzielili na dane pytanie błędnych odpowiedzi, to znaczy wskaźnika B [%]. Wskaźnik ten jednak zależy od poziomu zdających. W przypadku gdy egzaminu nie zalicza wielu uczestników, wysoki wskaźnik B dla określonego pytania ma mniejsze znaczenie niż w przypadku egzaminu, na którym zdający otrzymali wysokie oceny (wysoka ocena przeciętna z danego egzaminu). Celem uniezależnienia oceny pytania od ogólnego poziomu zdających ogólnego wyniku egzaminu, obliczano (w procentach) wskaźnik Bu [%], będący stosunkiem ilości błędnych odpowiedzi - b udzielonych na dane pytanie, do ogólnej ilości błędnych odpowiedzi Σb, które wystąpiły w ocenianej części egzaminu : b / Σb x 100 = Bu[%]. Zgodnie z prawem Pareto ( vital few against trivial many ) mała ilość pytań jest życiowa dla wyniku egzaminu, w przeciwieństwie do trywialnie dużej ilości pytań mało wpływających na ten wynik, czyli inaczej mówiąc: mała ilość przyczyn wywołuje dużą ilość błędów. Stosując to prawo można ustalić pytania będące głównymi źródłami błędów, jak również kryteria oceny pojedynczego pytania; np. wartości jednorazowych i powtarzających się wysokich wskaźników B i Bu powodujące obowiązkową analizą /poprawę/ eliminację pytania oraz odpowiednie działania korygujące i zapobiegawcze. Realizuje się działania korygujące i zapobiegawcze dwojakiego rodzaju: 1. Informowanie ośrodków szkoleniowych o tematach stwarzających zdającym najwięcej kłopotów, celem ciągłego ulepszania metod nauczania i ew. materiałów szkoleniowych 11

2 2. Optymalizację pytań egzaminacyjnych, to znaczy eliminację, z jednej strony, pytań za trudnych lub źle sformułowanych, generujących największą ilość błędów, a z drugiej strony pytań zbyt łatwych. Poniżej przedstawiono wyniki analizy niektórych egzaminów w dziedzinie badań nieniszczących. Egzamin podstawowy 3-go stopnia A 1 - wiedza o materiałach i technologiach Bu [%] -procentowy udział pytania w całkowitej ilości błędnych odpowiedzi ilość pytań Rys. 1. Wykres wg prawa Pareto dla egzaminu G3/A 1-25 pytań Użytych było 25 pytań. Na trzy pytania udzielono najwięcej błędnych odpowiedzi: wskaźniki B wynosiły : 83,3%, 58,3% i 41,7%, a wskaźniki Bu odpowiednio : 32%, 25% i 18%. W sumie na te 3 pytania (3/25 = 12% pytań) przypadło 75% ogółu błędnych odpowiedzi. Działania korygujące wynikające z oceny egzaminu G3/A 1 1. Dokładniej omawiać w trakcie szkolenia A 1 : jednostki wytrzymałości zmęczeniowej, wskaźnik równoważnika węgla k w stalach oraz technologie produkcji rur bez szwu. Uwagę na ten temat przekazano ośrodkowi szkoleniowemu. 2. Rozpatrzona zostanie potrzeba modyfikacji pytania na temat wytrzymałości zmęczeniowej (B = 83,3%, Bu = 32%). G3-B(MT) Część B egzaminu podstawowego 3-go stopnia - Badania magnetyczne Część B egzaminu podstawowego 3. stopnia (G3) obejmuje wiedzę ogólną na poziomie 2. stopnia w czterech wybranych metodach. Jedna z wybranych metod powinna być wolumetryczną (RT lub UT). Ogólny wynik osiągnięty przez zdających egzamin G3-B, część MT wyniósł 89,45%. Pytania z największą ilością błędnych odpowiedzi: Pytanie (a) B = 100% (nikt dobrze nie odpowiedział), Bu = 63,2% Pytanie (b) B = 33,3 % Bu = 21% Pytanie (c) B = 16,7% Bu = 10,5% Pytanie (d) B = 8,3% Bu = 5,2% 12

3 B [%] procent błędnych odpowiedzi na dane pytanie Bu [%] udział w całkowitej ilości błędnych odpowiedzi Rys. 2. Wykres wg prawa Pareto dla egzaminu G3-B(MT) - 15 pytań ilość pytań Działania korygujące wynikające z oceny egzaminu G3-B(MT) 1. Sprawdzić pytania nr (a) i (b) przed następnym egzaminem G3 G3-B(RT) Część B egzaminu podstawowego 3-go stopnia - Badania radiograficzne Bu[%]- procentowy udział danego pytania w całkowitej ilości błędnych odpowiedzi ilość pytań Rys. 3. Wykres wg prawa Pareto dla egzaminu G3-B(RT) - 15 pytań Ogólny wynik osiągnięty przez zdających egzamin G3-B, część RT wyniósł 96,66%. Pytanie (a) B = 16,7%, Bu = 33,3% Pytania (b,c,d,e) B = po 8,33%, Bu = po 16,7% Działania korygujące wynikające z oceny egzaminu G3-B(RT) Nie występuje potrzeba działań korygujących i zapobiegawczych 13

4 3. OCENY ROCZNE I WIELOLETNIE Zdawalność Analizie poddano wyniki egzaminów zrealizowanych w 2007r., w których uczestniczyło kilkaset osób. Procent nie zdanych egzaminów podano w tabeli poniżej, na tle podobnych danych z lat ubiegłych. LATA PROCENT NIE ZDANYCH EGZAMINÓW 12,4% 11,6% 17,5% 17,9% 33% Dla porównania można przytoczyć dane przedstawione na konferencji Certyfikacja 2007 w Berlinie, na temat nie-zdawalności egzaminów w wybranych systemach certyfikacji personelu badań nieniszczących na świecie: od 0,4% w Niemczech do 30% w Japonii (22% w Wk. Bryt., 10% we Francji, 6% w Australii, 4% w Brazylii, 1,6% w Kanadzie, itd.). Udział poszczególnych metod i ośrodków egzaminacyjnych Procent rynku dla poszczególnych metod rok 2007 VT 37,0% UTT 2,0% RT 8,5% MT 16,5% UT 19,4% MTR 0,6% G3 1,3% PT 14,8% UT VT UTT RT MT PT G3 MTR Procentowy udział egzaminowanych osób w poszczególnych metodach/kategoriach certyfikacji występujących w systemie certyfikacji personelu NDT, jak również procent nie zdanych egzaminów w poszczególnych metodach i ośrodkach podane są powyżej. 14

5 PROCENT NIEZDANYCH EGZAMINÓW W 2007r. METODA % NIEZDANYCH EGZAMINÓW W POSZCZE- GÓLNYCH OŚRODACH EGZAMINACYJNYCH A B C D E F G % NIEZDANYCH EGZAMINÓW - OGÓLNIE UT 21, ,05 VT 1,1 5,3 4,9 0 3 RT 14, ,87 MT 23,2 42,9 24,7 PT 7 8,7 7,5 MTR 0 0 G3 14,3 14,3 15

6 16