Przeprowadzono dla Międzynarodowej Rady Egzaminatorów Konsultantów Laktacyjnych (IBLCE ) Czerwiec Sporządzili:

Podobne dokumenty
Raport z analizy testu

Raport z analizy testów

Raport z analizy testu

Szczegółowy program szkoleń:

SYSTEM WERYFIKACJI EFEKTÓW KSZTAŁCENIA w Instytucie Fizyki Akademii Pomorskiej w Słupsku. 1. Uwagi wstępne

Uchwała Filialnej Komisji ds. Jakości Kształcenia w Filii Uniwersytetu Łódzkiego w Tomaszowie Mazowieckim

1. Wstęp. Nr edycji: 3 Data edycji: r. Egzemplarz. aktualizowany numer Strona / Stron 1 / 9

Ekonometria i prognozowanie Econometrics and prediction

CERTYFIKACJA OSOBOWA NA OPIEKUNA PRAKTYK ZAWODOWYCH

1. Ocena procesu kształcenia

Certyfikacja kompetencji personelu

ROZPORZĄDZENIE MINISTRA ZDROWIA 1) z dnia 15 listopada 2010 r.

Informator Certyfikacja personelu NDT

W głosowaniu jawnym Rada Nadzorcza podjęła uchwałę o następującej treści:

Raport końcowy z ogólnouniwersyteckich badań ankietowych oceniających pracę dziekanatu za rok akademicki 2014/2015

Warunki uczestnictwa. w Sieci Ekspertów ds. BHP, certyfikowanych przez Centralny Instytut Ochrony Pracy Państwowy Instytut Badawczy

Dlaczego ten projekt OPEN ONLINE CATALOGUE OF INTERCULTURAL TOOLS FOR VET TRAINERS

POLSKIE CENTRUM AKREDYTACJI

11. Weryfikacja osiągnięcia kierunkowych efektów kształcenia. Prodziekan ds. Nauczania W8

W głosowaniu jawnym Rada Nadzorcza podjęła uchwałę o następującej treści:

Informacje dotyczące składania wniosku o pomoc finansową

REGULAMIN DYPLOMOWANIA WYDZIAŁ INFORMATYKI

ZASADY DOKUMENTACJI I WERYFIKACJI EFEKTÓW KSZTAŁCENIA NA WYDZIALE FILOLOGICZNYM UNIWERSYTETU WROCŁAWSKIEGO. 1. Przedmiot i zakres procedury

Analiza międzynarodowej praktyki Konsultantów Laktacyjnych Streszczenie

WYTYCZNE DOTYCZĄCE KWALIFIKACJI NA SZKOLENIE

Wydział Informatyki, Elektroniki i Telekomunikacji

Ramowy program zajęć dydaktycznych Standardy ISO i zarządzanie przez jakość (TQM) (nazwa studiów podyplomowych)

PROGRAM CERTYFIKACJI PRACOWNIKÓW GÓRNICTWA I PRZEMYSŁU, ABSOLWENTÓW STUDIÓW PODYPLOMOWYCH NADZORUJĄCYCH URZĄDZENIA I SYSTEMY OCHRONNE

STRESZCZENIE MARKET RESEARCH WORLD

NOWELIZACJA NORMY ISO 9001:2015 Z czym się to wiąże? KORZYŚCI Z UDZIAŁU W SYMPOZJUM

Jednostka Opiniująca, Atestująca i Certyfikująca Wyroby TEST Sp. z o.o Siemianowice Śląskie, ul. Wyzwolenia 14

ROZPORZĄDZENIE MINISTRA INFRASTRUKTURY 1) z dnia 15 czerwca 2011 r.

REKRUTACJA to proces polegający na zainteresowaniu pewnej grupy. SELEKCJA jest procesem zbierania informacji o kandydatach na uczestników

PROGRAM PRAKTYKI ZAWODOWEJ

Warunki certyfikacji

Obserwacja lekcji i analiza osiągnięć uczniów jako punkt odniesienia w zmianach amerykańskiej polityki ewaluacji pracy nauczycieli

KARTA PRZEDMIOTU / SYLABUS

WP11.3 Metodologia szkolenia, programy szkoleń i materiały

ZARZĄDZANIE JAKOŚCIĄ

PROGRAM CERTYFIKACJI AUDITORÓW WEWNĘTRZNYCH

Usługa: Audyt kodu źródłowego

Podhalańska Państwowa Wyższa Szkoła Zawodowa w Nowym Targu

Rachunek prawdopodobieństwa WZ-ST1-AG--16/17Z-RACH. Liczba godzin stacjonarne: Wykłady: 15 Ćwiczenia: 30. niestacjonarne: Wykłady: 9 Ćwiczenia: 18

Interfejs Web Konfiguracja przeglądarki

POLSKIE CENTRUM AKREDYTACJI

UCHWAŁA nr 03/2015/2016 Rady Wydziału Informatyki Zachodniopomorskiego Uniwersytetu Technologicznego w Szczecinie z dnia 20 października 2015 r.

Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego REGULAMIN

I Konferencja Jakości Kształcenia UAM Wydział Filologii Polskiej i Klasycznej. 24 maja 2016

DECYZJA Nr 26 Dziekana Wydziału Nauk Technicznych Uniwersytetu Warmińsko-Mazurskiego w Olsztynie z dnia r

KARTA PRZEDMIOTU. Obsługa ruchu turystycznego. Tourism Management Turystyka i rekreacja. studia I stopnia praktyczny (P) studia stacjonarne

KARTA PRZEDMIOTU / SYLABUS. Zakład Statystyki i Informatyki Medycznej. tel./fax (85) statinfmed@uwb.edu.pl dr Robert Milewski

Niepewności pomiarów

Informacje dotyczące składania wniosku o pomoc finansową

Załącznik nr 1. Zasady rachunkowości przyjęte przy sporządzaniu raportu jednostkowego za I kwartał 2006 r.

Wyniki ankiety dotyczącej przebiegu przeglądu programów kształcenia 2012/2013

Nowelizacja dokumentów: ISO TR Guidelines for NDT training syllabuses oraz ISO TR Guidelines for NDT personnel training organizations

ZASADY DOKUMENTACJI I WERYFIKACJI EFEKTÓW KSZTAŁCENIA NA WYDZIALE FILOLOGICZNYM UNIWERSYTETU WROCŁAWSKIEGO

Komunikat nr 115 z dnia r.

Politechnika Krakowska im. Tadeusza Kościuszki. Karta przedmiotu. obowiązuje studentów rozpoczynających studia w roku akademickim 2014/2015

ZASADY DYPLOMOWANIA NA WYDZIALE TECHNOLOGII I INŻYNIERII CHEMICZNEJ

Warszawa, dnia 11 kwietnia 2012 r. Poz. 388 ROZPORZĄDZENIE MINISTRA ZDROWIA 1) z dnia 2 kwietnia 2012 r.

CZY UCZNIOWIE POWINNI OBAWIAĆ SIĘ NOWEGO SPOSOBU OCENIANIA PRAC EGZAMINACYJNYCH?

Porównywalne między latami wyniki sprawdzianu

Program certyfikacji systemów zarządzania

REGULAMIN OBSERWATORÓW KOLEGIUM SĘDZIÓW

Zadania ze statystyki, cz.7 - hipotezy statystyczne, błąd standardowy, testowanie hipotez statystycznych

Opinia Doradcza: Badanie, Diagnoza oraz Skierowanie

KARTA PRZEDMIOTU / SYLABUS

KARTA PRZEDMIOTU / SYLABUS. Zakład Statystyki i Informatyki Medycznej. tel./fax (85) dr Robert Milewski

Porównanie dwóch rozkładów normalnych

Ekonomia sektora publicznego Kod przedmiotu

Wytyczne dla biegłych rewidentów dotyczące wykonania usługi poświadczającej OZE

INSTYTUT MATERIAŁÓW BUDOWLANYCH I TECHNOLOGII BETONU

8 edycja RAPORT Z BADANIA JAKOŚCI KSZTAŁCENIA W ROKU AKADEMICKIM 2016/2017. Nauczyciele akademiccy WNGiG. Wydział Nauk Geograficznych i Geologicznych

11. Weryfikacja osiągnięcia kierunkowych efektów kształcenia

PROGRAM CERTYFIKACJI AUDITORÓW WEWNĘTRZNYCH

POLSKA IZBA TURYSTYKI POLISH CHAMBER OF TOURISM

Polityka zmiennych składników wynagrodzeń osób zajmujących stanowiska kierownicze Spółki Akcyjnej Dom Inwestycyjny Nehrebetius (tekst jednolity)

Poznań, 23 sierpnia 2013 roku DOP /13

I Konferencja Jakości Kształcenia UAM Wydział Filologii Polskiej i Klasycznej

Systemy zarządzania jakością Kod przedmiotu

Akademia Pomorska w Słupsku

Porównywalne między latami wyniki egzaminacyjne

Systemy zarządzania jakością w transporcie

Roczny harmonogram auditów wewnętrznych jednostki organizacyjnej UWM

Pierwsza wspólna norma (EN-ISO) kwalifikacji i certyfikacji personelu badań nieniszczących EN ISO czerwiec 2012

PROCEDURY DYSCYPLINARNE DO KODEKSU POSTĘPOWANIA ZAWODOWEGO IBCLC DLA MIĘDZYNARODOWEJ RADY EGZAMINATORÓW KONSULTANTÓW LAKTACYJNYCH (IBLCE)

Badania biegłości laboratorium poprzez porównania międzylaboratoryjne

2. Opis zajęć dydaktycznych i pracy studenta

Kontekstowe modele efektywności nauczania po I etapie edukacyjnym

Wydanie 3 Warszawa, r.

Język obcy bilet do lepszej przyszłości Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

Technik mechatronik kwalifikacjae18 Analiza egzaminu zewnętrznego - czerwiec 2015

Europejskie Kolegium Praktyków Rynku Finansowego Szkolenie w zakresie: Certyfikowany Doradca Klienta ds. unifikacji finansów

PROGRAM PORÓWNAŃ MIĘDZYLABORATORYJNYCH

5. Wyniki badań socjologicznych

Symbol: Data: Wydanie N1. P-RAu-2. Procedura. Strona/stron: 1 z 7 PROCES DYPLOMOWANIA. P-RAu-2 PROCES DYPLOMOWANIA

WYTYCZNE DOTYCZĄCE KWALIFIKACJI NA SZKOLENIE

KARTA PRZEDMIOTU / SYLABUS

1.1. Uprawnienia do nadawania stopnia naukowego: w dziedzinie nauk społecznych w zakresie psychologii

Transkrypt:

Analiza punktów koniecznych do zaliczenia egzaminu dla Dyplomowanych Konsultantów Laktacyjnych certyfikowanych przez Międzynarodową Radę Egzaminatorów (IBCLC ) Egzamin certyfikacyjny Przeprowadzono dla Międzynarodowej Rady Egzaminatorów Konsultantów Laktacyjnych (IBLCE ) Czerwiec 2016 Sporządzili: Dr. Lawrence J. Fabrey Starszy Wiceprezes, Psychometria Lily Chuang, M.S. Specjalista w zakresie psychometrii Prawa autorskie 2016 Międzynarodowa Rada Egzaminatorów Konsultantów Laktacyjnych (IBLCE ). ZASTRZEŻONE. Wszelkie prawa zastrzeżone. Żadna część niniejszej publikacji nie może być powielana ani przekazywana w jakiejkolwiek formie lub z użyciem jakichkolwiek środków elektronicznych lub mechanicznych, włączając w to kserokopie lub zapis, lub jakikolwiek system informacji i wyszukiwania, bez pisemnej zgody IBLCE. www.goamp.com

Wstęp Celem niniejszej analizy było określenie punktów koniecznych do zaliczenia (wartość progowa) egzaminu certyfikacyjnego na Dyplomowanych Konsultantów Laktacyjnych certyfikowanych przez Międzynarodową Radę Egzaminatorów (IBCLC ) organizowanego przez Międzynarodową Radę Egzaminatorów Konsultantów Laktacyjnych (IBLCE ). Podczas określania punktów koniecznych do zaliczenia egzaminu opracowano minimalną normę potrzebną do zaliczenia egzaminu, którą muszą osiągnąć osoby egzaminowane, aby uzyskać status certyfikacji. Tak jak w przypadku każdego procesu określania norm dla praktyki zawodowej, wymagana jest pewnego typu opinia. Jednakże bardzo istotne jest, aby opinie związane z określaniem punktów koniecznych do zaliczenia egzaminu były wyrażane przez wykwalifikowanych ekspertów, którzy posiadają wiedzę w zakresie przeznaczenia egzaminu oraz posiadają potrzebną wiedzę i doświadczenie w tej dziedzinie, aby wiedzieli, jakiego poziomu kompetencji należy w uzasadniony sposób oczekiwać. Ponadto, opinie powinny być przekazywane w sensowny sposób, uwzględniający format i cel testu. Niniejszy raport opisuje metody i wyniki procedury związanej z punktami koniecznymi do zaliczenia egzaminu - przypisywane Angoff (1971) - i dokumentuje stosowność z góry określonych wartości progowych egzaminu dla jego zaliczenia/niezaliczenia. Strona 1

Metodologia Technika Angoff została zarekomendowana przez AMP, przedsiębiorstwo PSI (PSI/AMP) i wybrana przez IBLCE jako procedura szacowania wartości progowych zaliczenia/niezaliczenia. Pierwotna filozofia techniki Angoff stanowi, że norma powinna zostać określona w nawiązaniu do trudności pozycji, a zwłaszcza trudności oczekiwanej od niejednoznacznych kandydatów. Dlatego też ta technika wymaga od ekspertów wyrażenia oczekiwanego wyniku dla każdej pozycji testu. Do ukończenia techniki Angoff wymaganych jest kilka etapów; procedury wykorzystywane do realizacji tych etapów są następujące. 1. Wybór ekspertów. Eksperci wykorzystani w panelu analizy punktów koniecznych do zaliczenia egzaminu to 11 ekspertów w danej dziedzinie. Zostali wybrani po to, aby zapewnić odpowiednią równowagę dla potencjalnie istotnych cech odzwierciedlających populację kandydatów takich, jak obszar specjalistycznej wiedzy i rozkład geograficzny. 2. Szkolenie dotyczące procedury oceniania. W trakcie spotkania, które odbyło się w listopadzie 2014 r., omówiono cel oraz procedury analizy punktów koniecznych do zaliczenia egzaminu. Proces szkolenia obejmował dyskusję w grupie nad kilkoma pozycjami. W przypadku każdej z tych pozycji eksperci przedstawili niezależną ocenę i ogłosili swoje oceny. Eksperci omówili czynniki, które zostały uwzględnione podczas określania ocen, w szczególności te czynniki, które były związane ze stosunkowo wysokimi lub niskimi ocenami. 3. Określanie kryterium kompetencji. Eksperci uczestniczyli w dyskusji dotyczącej określenia praktyka z minimalnymi kompetencjami (MCP), czyli osoby, która może wykazać się poziomem wiedzy wystarczającym do zaliczenia egzaminu IBCLC. Ogólnie rzecz biorąc, MCP posiada wystarczającą wiedzę, aby w sposób bezpieczny i kompetentny prowadzić praktykę. Eksperci omówili obszary, które byłyby szczególnie łatwe lub trudne do opanowania przez MCP, a rezultat tej dyskusji został udokumentowany. 4. Wyrażanie ocen. Ekspertów poinstruowano o udzieleniu odpowiedzi i przekazaniu oceny dla każdej pozycji, a następnie o dokonaniu przeglądu klucza odpowiedzi i zrewidowaniu swoich ocen, w zależności od potrzeb, w świetle stosowności ich odpowiedzi. Na przykład, ekspertów poinformowano w szczególności, by wzięli pod rozwagę możliwość, że że ich oceny mogą być zbyt wysokie w przypadku pozycji, dla których udzielili nieprawidłowych odpowiedzi, gdy przekazano wstępne oceny. Wszystkie oceny były dokonywane niezależnie, jednakże ekspertów zaproszono do wskazania pozycji, które warto byłoby przedyskutować. Po zakończeniu wstępnych ocen omówiono niektóre pozycje, co spowodowało drobne modyfikacje ocen ekspertów. Strona 2

Analiza i wyniki Indywidualne szacunki ekspertów dotyczące punktów koniecznych do zaliczenia egzaminu były podobne i wahały się od niskiej wartości 80 do wysokiej wartości 85. Średnia z szacunków ekspertów to 82,25, a po jej zastosowaniu do testu ze 175 pozycjami dała ona wynik 144 punktów koniecznych do zaliczenia egzaminu. Wartości wskaźnika dyskryminacji obliczono w celu przeanalizowania zależności pomiędzy ocenami wyrażonymi przez poszczególnych ekspertów a sumą ocen pozostałych ekspertów, co jest analogiczne do korelacji między daną pozycją a wynikiem ogólnym. Wartości dyskryminacji (od 0,71 do 0,85) oznaczają dobrą wiarygodność ocen i stanowią źródło dowodu na to, że szkolenie osób oceniających było skuteczne. Strona 3

Wnioski Wyznaczeni przedstawicieli IBLCE omówili wyniki tej analizy, aby określić punkty konieczne do zaliczenia egzaminu do zastosowania w egzaminie IBCLC wiosną 2016 roku. Zaprezentowano wyniki analizy i zwrócono uwagę na to, czy odpowiednie byłyby korekty, np. przez zastosowanie jednego z szacunków przedziału ufności lub uwzględniając parametry statystyczne (np. średnia wartość p) związane z formularzem egzaminu. Zrównujące wyniki po egzaminie obliczono po to, aby pomóc w porównaniu trudności nowych formularzy z poprzednim podstawowym formularzem. Celem tej praktycznej weryfikacji" (Livingston i Zieky, 1982) była weryfikacja oczekiwań IBLCE dotyczących celu i przeznaczenia egzaminu oraz stosowności wyników egzaminu. Po dyskusji urzędnicy IBLCE jednomyślnie zatwierdzili wdrożenie 128 punktów koniecznych do zaliczenia egzaminu w egzaminie IBCLC wiosną 2016 roku. Analiza punktów koniecznych do zaliczenia egzaminu opisana w niniejszym raporcie została przeprowadzona w wyniku wykorzystania zaktualizowanych specyfikacji egzaminu (tzn. szczegółowego zarysu treści) określonych na podstawie analizy międzynarodowej praktyki przeprowadzonej w 2015 roku i opisanej w innym dokumencie. Punkty konieczne do zaliczenia egzaminu określone dla wiosennego egzaminu IBCLC w 2016 roku będą służyły jako nowa norma kompetencji do momentu zakończenia następnej analizy praktyk. Nie oznacza to, że wynik 128 zostanie zastosowany jako wartość konieczna do zaliczenia egzaminu do każdego przyszłego formularza egzaminu. Zostana raczej użyte statystyczne procedury zrównujące w celu określenia punktów koniecznych do zaliczenia egzaminu, które będą oznaczały taką samą ilość wiedzy w przyszłych formularzach. Ponieważ w każdym formularzu są wprowadzane nowe pozycje, a trudność tych pozycji nie jest znana do momentu zastosowania danego formularza i przeglądu analizy pozycji, wartość wymagana do zaliczenia może być wyższa lub niższa w celu odzwierciedlenia trudności odpowiednich nowych formularzy. Wyniki procedur zrównujących zostaną sprawdzone i wykorzystane przez IBCLE w celu zatwierdzenia punktów koniecznych do zaliczenia egzaminu dla każdego formularza. Strona 4

Bibliografia Angoff, W. H. (1971). Scales, norms, and equivalent scores. W R.L. Thorndike (red.), Educational Measurement (pp. 508-600). Washington, DC: American Council on Education. Livingston, S.A. & Zieky, M.J. (1982). Passing scores - A Manual for Setting Standards of Performance on Educational and Occupational Tests. Princeton: Educational Testing Service. Strona 5