Assessment methods of the effects of dental students education

Transkrypt

1 J Stoma 2011, 64, 7: Polish Dental Society Assessment methods of the effects of dental students education Metody oceny efektów kształcenia studentów stomatologii Urszula Kaczmarek Chair and Department of Conservative and Pediatric Dentistry, Medical University in Wrocław Head: Prof. U. Kaczmarek Summary Introduction: When assessing outcomes of the educational process various methods are used to verify three domains: cognitive, affective and psychomotor. The goal of undergraduate education in dentistry is to produce a competent graduate being able to undertake independent, unsupervised dental practice. Competency-based education and its evaluation are recommended. Aim of the study: To discuss assessment methods of the effects of dental students education. Conclusions: At present the following methods are considered best for the assessment of readiness to undertake professional responsibility: Objective Structured Clinical Examination (OSCE), Triple Jump Exercise (TJE), Critically Appraised Topic Summary (CATS) together with in-school internships in the context of triangular model of competency assessment. It is important to choose proper assessment methods that will answer the essential question whether the final goal of dental education the competent general dental practitioner has been obtained. Streszczenie Wprowadzenie: w celu sprawdzania efektów edukacji stosuje się metody oceniajce trzy domeny - poznawczą, afektywną i psychomotoryczną. Zadaniem nauczania przeddyplomowego w stomatologii jest wykształcenie kompetentnego absolwenta zdolnego do samodzielnej, nienadzorowanej praktyki stomatologicznej. Zaleca się kształcenie oparte na kompetencji oraz jej ewaluacji. Cel pracy: omówienie metod oceny efektów kształcenia studentów stomatologii. Podsumowanie: obecnie za najlepsze metody oceniające gotowość do odpowiedzialności zawodowej w kontekście triangularnego modelu oceny kompetencji uważane są: obiektywny strukturalny kliniczny egzamin (OSCE), ćwiczenie potrójnego skoku (TJE), krytyczna sumacyjna ocena zadania (CATS) i praca w środowisku realnej praktyki stomatologicznej (in-school internship). Istotny jest wybór właściwych metod ewaluacyjnych, które pozwolą odpowiedzieć na pytanie czy uzyskano ostateczny cel edukacji kompetentnego stomatologa. KEYWORDS: dental students, education, methods of evaluation, outcomes HASŁA INDEKSOWE: studenci stomatologii, edukacja, metody oceny, efekty Introduction Teaching and checking its outcomes are interconnected and mutually related factors in the process of education. The document The program autonomy of the university. Wprowadzenie Nauczanie i sprawdzanie jego rezultatów są nierozerwalnie związanymi i wzajemnie powiązanymi czynnikami w procesie edukacji. W opracowaniu Autonomia programowa uczel- 457

2 U. Kaczmarek J Stoma The frame of the qualification for higher education underlines the necessity to assess the effects of students education. 1 The assessment should answer the question whether and to what extent the student has reached the intended goals of education, and, in case of dentistry, which is a surgical specialty, it should reveal preparation and readiness of the student to undertake independent dental practice. The forms of assessment of the educational outcomes are differentiated with respect to the educational effect being checked. The majority of them are tools verifying the knowledge of program contents. Two types of assessment are distinguished as tools for student evaluation formative assessment and summative assessment. The formative assessment serving directly the educational process is also a tool letting teachers choose specific assessment tools for a given subject/ field. It is based on good student-teacher communication. The teacher stimulates the student s engagement and gives him/her the feeling of having influence on the educational process through the opportunity of expressing his/her needs not only in relation to the program contents, but also referring to the teaching methods. It should help student and teacher assess the student s staged achievements and identify any knowledge gaps and lacking skills, as well as encourage further progress in education. The summative assessment is usually performed at the end of a given stage of education (subject/course/module) and estimates only what educational effects the student has reached and to what degree. It is a staged control of teaching outcomes before proceeding to higher level of education. 1-5 The evaluations have to be in concord with previously defined goals of education. The ni. Ramy kwalifikacji dla szkolnictwa wyższego podkreśla się konieczność oceny efektów kształcenia studenta. 1 Ocena ta powinna odpowiedzieć na pytanie czy i w jakiej mierze student osiągnął zamierzone cele kształcenia, a w przypadku stomatologii będącej specjalnością zabiegową powinna również ujawnić przygotowanie i gotowość studenta do podjęcia samodzielnej praktyki dentystycznej. Formy oceny rezultatów edukacji zróżnicowane są w zależności od tego, jaki efekt kształcenia jest sprawdzany. Większość z nich stanowią narzędzia weryfikujące zaznajomienie się z treściami programowymi. Wyróżnia się dwa rodzaje oceny jako narzędzia ewaluacji studenta ocenę formującą (formative assessment) i ocenę podsumowującą (summative assessment). Ocena formująca służąca bezpośrednio procesowi edukacji jest także narzędziem pozwalającym nauczycielowi wybierać specyficzne dla danego przedmiotu/dziedziny narzędzia oceny. Oparta jest na dobrej komunikacji studenta z nauczycielem. Nauczyciel stymuluje zaangażowanie studenta i daje mu poczucie wpływu na proces kształcenia poprzez sposobność wyrażenia jego potrzeb nie tylko w zakresie treści programowych, ale i metod kształcenia. Powinna pomagać w oszacowaniu etapowych osiągnięć studenta i identyfikacji braków w zakresie wiedzy i umiejętności oraz zachęcać do dalszego postępu w kształceniu. Ocena podsumowująca zwykle odbywa się na zakończenie danego etapu kształcenia (przedmiotu/kursu/modułu) i szacuje jedynie, jakie efekty kształcenia student osiągnął i w jakim stopniu. Jest etapową kontrolą wyników nauczania przed dalszym, wyższym poziomem kształcenia. 1-5 Oceny muszą być zgodne ze zdefiniowanym uprzednio celami nauczania. Cele nauczania powinny zawierać zasadnicze treści nauczania i kryteria, które powinien student spełnić. 458

3 2011, 64, 7 Assessment of education goals of education should contain the principal contents of teaching and criteria which a student must fulfill. A smaller number of essential, important learning outcomes are preferred to a large number of superficial ones. The learning outcomes are not a wish list ; they have to be described in a simple and clear way and have to be assessable. 6, 7 Bloom s taxonomy, which is the classification of learning objectives within the education process, is very useful in the planning of teaching. It concerns categories of different objectives that educators set for students (learning objectives). This taxonomy was first presented in 1956 and is considered as a fundamental work within the education field. Bloom s taxonomy divides educational goals into three domains : cognitive, affective, and psychomotor. Learning at higher levels within the domains depends on prerequisite knowledge and skills attained at lower levels, therefore it is hierarchic. 8 The main goal in Bloom s taxonomy is to motivate teachers to focus on all three domains, creating a more holistic (global) form of education. In the cognitive domain, the skills focus around knowledge, comprehension and critical thinking Six levels are distinguished from the lowest to the highest order processes (Fig. 1): 1) knowledge (specific facts, terminology, notions, trends and sequences, classifications and categories, criteria, methodology, principles and generalizations, theories and structures), 2) comprehension (translation, interpretation, extrapolation), 3) application (solving the problems in new situations by applying acquired knowledge), 4) analysis (analysis of elements, relationships, and principles), 5) synthesis (production of a unique Preferuje się mniejszą liczbę istotnych celów nauczania niż większą liczbę powierzchownych celów. Cele nauczania nie są listą życzeń. Muszą być opisane w sposób prosty i jasny i powinny być możliwe do oceny. 6, 7 W planowaniu nauczania przydatna jest taksonomia Blooma stanowiąca klasyfikację celów nauczania w edukacji. Wyróżnia ona różne kategorie celów, jakie nauczyciele stawiają uczniom (cele nauczania). Taksonomia ta po raz pierwszy zaprezentowana została w 1956 roku i jest uważana za podstawowe dzieło z zakresu szkolnictwa. Taksonomia Blooma dzieli cele edukacyjne na trzy sfery - domeny: poznawczą, afektywną i psychomotoryczną. Nauczanie na wyższych poziomach w obrębie domen zależne jest od osiągnięcia wiedzy i umiejętności na niższych poziomach, a zatem jest hierarchiczne. 8 Celem taksonomii Blooma jest motywowanie nauczycieli do koncentrowania się na wszystkich trzech domenach, tworząc holistyczną (całościową) formę kształcenia. W domenie poznawczej kognitywnej umiejętności koncentrują się wokół wiedzy, zrozumienia i krytycznego myślenia. Wyodrębnia się sześć poziomów w kolejności od najniższych do najwyższych procesów (Fig. 1): 1) wiedza (specyficzne fakty, terminologia, pojęcia, trendy i sekwencje, klasyfikacje i kategorie, kryteria, metodologia, zasady i uogólnienia, teorie i struktury), 2) zrozumienie (tłumaczenie, interpretacja, ekstrapolacja), 3) zastosowanie (rozwiązywanie problemów w nowych sytuacjach poprzez zastosowanie nabytej wiedzy), 4) analiza (analiza elementów, zależności i zasad), 5) synteza (wytwarzanie unikalnej informacji, planowanie lub proponowanie nowych rozwiązań, wywodzenie abstrakcyjnych relacji), 459

4 U. Kaczmarek J Stoma communication, planning, or proposing new operations, derivation of abstract relations), 6) evaluation (judgment in terms of internal evidence and external criteria). In the affective domain, the objectives of which lead to the growth of awareness of attitudes, emotion and feelings, five levels are distinguished moving through the lowest to the highest order processes: 1) perception (passive attention), 2) responding reaction (active participation in the process of learning), 3) valuing (defining the value of information), 4) organizing (putting together different information in own schema, comparing), 5) characterizing (a certain predominant feature influences the student s behaviour and is characteristic). Skills in the psychomotor domain describe the manual ability to manipulate a tool or instrument, and relate to changes in the development of behaviour and skills. Seven levels are distinguished in this domain: 1) perception (the ability to use sensory cues to guide motor activity), 2) attitude (readiness to act), 3) guided response (learning of complex skill by imitation and trial and error), 4) mechanism (skilled reactions become the habit), 5) complex overt response (performing manual action without hesitation automatic performance), 6) adaptation (modification of movement patterns to fit special requirements), 7) origination (creating new movement patterns to fit a particular situation or specific problem). 8 Bloom s taxonomy provides a ready list of suitable words to write the goals of teaching. The teaching outcomes are expressed as what 6) ewaluacja ocena (wyrażanie sądów na dany temat odnośnie wewnętrznych dowodów i zewnętrznych kryteriów). W domenie emocjonalnej - afektywnej, której cele prowadzą do wzrostu świadomości postaw, emocji i odczuć, wyróżnia się kolejno pięć poziomów od najniższych do najwyższych procesów: 1) postrzeganie (bierna uwaga), 2) odpowiadanie reakcja (aktywne uczestnictwo w procesie uczenia), 3) wartościowanie (określanie wartości informacji), 4) organizowanie (zestawianie informacji we własnym schemacie, porównywanie), 5) charakteryzowanie (pewna dominująca cecha wpływa na zachowanie ucznia i jest charakterystyczna). Umiejętności w sferze psychomotorycznej opisują zdolności manualne (manipulacyjne) do posługiwania się narzędziem lub instrumentem i dotyczą zmian w rozwoju zachowań i umiejętności. Wyróżnia się 7 poziomów w tej domenie: 1) percepcja - postrzeganie (wykorzystanie bodźców sensorycznych do prowadzenia aktywności ruchowej, 2) postawa (gotowość do działania), 3) kierowane reagowanie (uczenie się złożonych umiejętności przez naśladownictwo, próby i błędy), 4) mechanizm (wyuczone reakcje stają się przyzwyczajeniem), 5) jawne reagowanie kompleksowe (wykonywanie czynności manualnych bez wahania, automatycznie), 6) adaptacja przystosowanie (modyfikacja wzorców ruchowych z dostosowaniem do specjalnych wymagań), 7) pochodzenie (tworzenie nowych wzorców ruchowych dopasowanych do danej sytuacji problemowej)

5 2011, 64, 7 Assessment of education Fig. 1. Categories in Bloom s cognitive domain according to Anderson and Krathwohl. 9 Kategorie w poznawczej domenie Blooma wg Andersona i Krathwohla. 9 Fig. 2. Competecy domains for the general dental practitioner begining professional practice according to ADEA 10 with own modification. Domeny kompetencji stomatologa ogólnego rozpoczynającego praktykę wg ADEA 10 w modyfikacji własnej. the student should know, understand and/or demonstrate after completion of the teaching module, and they should include requirements in three domains cognitive, affective and psychomotor. 6, 7 Basing on Bloom s taxonomy and its modifications one can distinguish domains broad and essential categories of the activities of a general dental practitioner conditioning his/her competences to undertake independent dental practice. The American Dental Education Association (ADEA) in 2008 distinguished six main domains of competence: 1) critical thinking, 2) professionalism, 3) communication and interpersonal skills, 4) health promotion, 5) practical management and informatics, 6) patient care, including examination, diagnosis and treatment planning, and assessment and maintenance of oral health (Fig. 2). 10 Taksonomia Blooma zapewnia gotową listę słów odpowiednich do napisania celów nauczania. Wyniki nauczania są wyrażone jako to, co student powinien wiedzieć, rozumieć i/ lub zademonstrować po ukończeniu modułu nauczania i powinny zawierać wymagania w trzech domenach - poznawczej, afektywnej i psychomotorycznej. 6,7 Bazując na taksonomii Blooma i jej modyfikacjach można wyodrębnić domeny szerokie i istotne kategorie aktywności stomatologa warunkujące jego kompetencje do podjęcia samodzielnej praktyki stomatologicznej. Amerykańskie Towarzystwo Edukacji Stomatologicznej (American Dental Education Association ADEA) w 2008 roku wyróżniło sześć głównych domen kompetencji, którymi są: 1) krytyczne myślenie, 2) profesjonalizm, 3) komunikacja i umiejętności interpersonalne, 4) promocja zdrowia, 5) praktyczne postępowanie i informatyka, 461

6 U. Kaczmarek J Stoma Aim of the study The paper discusses the methods used in the evaluation of dental students basing on review of literature. Context-free Multiple Choice Question (MCQ) test evaluates the student s ability to remember core principles and facts, relationships and dependences not linked to a patient care situation. One correct answer should be chosen on the given question. This test is recommended to assess the cognitive level, i.e. acquisition of biomedical knowledge and, with certain limitations, to interpret diagnostic tests. 4,11,12 Case-based Multiple Choice Question (Case-based MCQ) test contains questions linked to scenarios describing patients oral health problems. It is applied to assess higher cognitive level, because the student has to identify key data from the patient s scenario and interpret them to answer the question on the level of knowledge application according to Bloom s taxonomy. The questions construction can be designed to request identification of pathological mechanisms causing the patient s symptoms, selection of proper diagnostic tests for the diagnosis, or choice of an optimal treatment option from a given list. This method of assessment is useful, with some limitations, in the evaluation of problem solving. 11,13,14 Essay is an open-ended assessment in which the students respond in a written form using their own words with or without structural guidance. It is aimed at evaluating the student s capacity to apply information to biomedical problems, and evaluate and resolve patients health problems. It is recommended to evaluate the skills of problem solving and ordering or interpreting diagnostic tests, as well as, to some extent, to assess biomedical knowledge. It also 6. opieka nad pacjentem, w tym badanie, diagnoza i planowanie leczenia oraz ustalenie i utrzymanie zdrowia jamy ustnej (Fig. 2). 10 Cel pracy Celem pracy było omówienie, na podstawie przeglądu piśmiennictwa, metod stosowanych w ocenie studentów stomatologii. Test z pytaniami wielokrotnego wyboru niezwiązanymi z klinicznym kontekstem (Multiple Choice Question MCQ) ocenia zdolność studenta do zapamiętania zasadniczych zasad i faktów, związków i zależności niezwiązanych z sytuacją terapeutyczną pacjenta. Na dane pytanie należy wybrać jedną prawidłową odpowiedź. Test zalecany jest do oceny poziomu kognitywnego, czyli nabycia wiedzy biomedycznej i z pewnymi ograniczeniami do interpretacji testów diagnostycznych. 4,11,12 Test z pytaniami wielokrotnego wyboru oparty na przypadkach klinicznych (Casebased Multiple Choice Question MCQ) zawiera pytania związane z opisem problemów zdrowotnych pacjenta. Stosowany jest do oceny wyższego poziomu kognitywnego, gdyż student musi zidentyfikować kluczowe dane ze scenariusza pacjenta i zinterpretować je, aby odpowiedzieć na pytanie na poziomie zastosowania wiedzy wg taksonomii Blooma. Sformułowanie pytań może wymagać identyfikacji mechanizmów patologicznych powodujących objawy u pacjenta, wyboru odpowiednich testów diagnostycznych w celu postawienia rozpoznanie lub wyboru optymalnego sposobu leczenia z podanej listy opcji. Ta forma oceny z pewnymi ograniczeniami przydatna jest do ewaluacji w zakresie rozwiązywania problemów. 11,13,14 Egzamin pisemny (essay) jest formą oceny otwartej, w której studenci odpowiadają 462

7 2011, 64, 7 Assessment of education enables explaining decisions or comparing and contrasting options. 4,11,15 Oral examination is applied to obtain similar objectives as the essay, and it requires from the student verbal response to teacher s questions. It assesses the same domain of skills as the essay, however, additionally it evaluates, to some degree, professional behavior. 11,15 Daily evaluation in clinic is based on the evaluation of the student s performance with each patient and during each procedure by the supervising teacher and gives a daily grade. 11,15 Single direct observation is based on observation and evaluation of the students interaction when admitting a single patient. This method is recommended for the evaluation of interviewing and communication skills, examination skill, performance of procedures and concern for patient s well-being, and it is useful in the assessment of problem solving, professional behaviour, personal qualifications and ordering or interpreting diagnostic tests. 11 Longitudinal assessment is a summative evaluation by the teacher of many aspects of performance and several competence domains of the student over a longer period of time (several months). Sometimes this method is called global or comprehensive evaluation and is focused on the student s overall performance. It reflects student s various performances, the ability to integrate knowledge and practical skills from different disciplines, which constitutes professionalism and may be applied to the evaluation of majority of domains. The longitudinal assessment based on student s interaction and treatment of many patients is a better source of data in the evaluation of professional attitude, personal attributes and performance than a single appointment, which can take place on the student s better pisemnie własnymi słowami z lub bez wskazówek strukturalnych. Ma na celu ewaluację zdolności studenta do zastosowania informacji w problemach biomedycznych oraz oceny i rozwiązania problemów zdrowotnych pacjenta. Jest zalecany do oceny umiejętności rozwiązywania problemów oraz zlecania lub interpretacji testów diagnostycznych, a także ocenia, w pewnej mierze wiedzę biomedyczną. Pozwala również na wyjaśnienie decyzji lub porównanie i skontrastowanie opcji. 4,11,15 Egzamin ustny (oral examination) stosowany jest do uzyskania podobnych celów jak egzamin pisemny, wymaga od studenta odpowiedzi werbalnej na pytania nauczyciela. Ocenia te same domeny umiejętności, co egzamin pisemny z tym, że dodatkowo w pewnym stopniu ewaluuje profesjonalne zachowanie. 11,15 Codzienna ocena kliniczna (daily evaluation) sprowadza się do oceny postępowania studenta z każdym pacjentem i przy każdej procedurze przez nadzorującego nauczyciela, dając ocenę dzienną. 11,15 Pojedyncza bezpośrednia obserwacja (single direct observation) polega na obserwacji i ocenie studenta podczas przyjmowania jednego pacjenta. Jest metodą zalecaną do ewaluacji umiejętności zbierania wywiadu i komunikacji z pacjentem, badania, wykonywania zabiegów leczniczych i troski o dobro pacjenta, a przydatna w ocenie rozwiązywania problemów, profesjonalnego zachowania i osobistych kwalifikacji oraz zlecania i interpretacji testów diagnostycznych. 11 Długoterminowa ocena (longitudinal assessment) jest sumaryczną ewaluacją przez nauczyciela wielu aspektów wykonania i kilku domen kompetencji studenta przez dłuższy okres (kilka miesięcy). Niekiedy jest nazywana oceną globalną lub wszechstronną i jest zogniskowana na ogólnym wykonaniu studenta. Odzwierciedla różnorodne wykonania studen- 463

8 U. Kaczmarek J Stoma day or worse day. Therefore, this method assesses reproducibility and consistency of the quality of performed procedures. However, the evaluation of a single clinical appointment is better in monitoring specific skills, e.g. taking patient s history, clinical examination or carrying out of a clinical procedure. 11,15 Direct observation of procedural skills (DOPS) is applied to evaluate laboratory work (preclinical activity) technical/procedural skills of the student and the outcomes of his/ her work. 12 Record review also called chart-stimulated evaluation is based on retrospective review of the student s clinical work recorded in the dental records of patients treated by the student. It creates the opportunity for the student to explain undertaken diagnostic and treatment decisions, and stimulates the students selfassessment and reflection, thus it assesses understanding of the basis for treatment decisions, comprehension of key concepts and the ability to justify decisions undertaken concerning the patient s treatment. This method is recommended to evaluate the ability to solve problems, and is useful in the validation of the concern for patient s well-being, ordering or interpreting diagnostic tests, and functioning within the dental care system. 11 Objective Structured Clinical Examination (OSCE) is based on the student s rotation between stations (often stations). At each station, the student performs different tasks in the limited time while being observed by the teacher, for example interpretation of radiograms, usage of diagnostic devices, interviewing and examination of the patients, performance of diagnostic tests, giving written responses. During the OSCE, the student, by answering teacher s questions, solving a multiple-choice questions test, or writing a short essay, can demonstrate understanding of ta, zdolności do integrowania wiedzy i umiejętności praktycznych z różnych dyscyplin, co stanowi profesjonalizm i może być stosowana do oceny większości domen. Długoczasowa ocena oparta na interakcji studenta i leczeniu wielu pacjentów jest lepszym źródłem danych w ewaluacji profesjonalnej postawy, atrybutów osobowych i wykonania niż jedna wizyta, która może mieć miejsce w lepszym lub gorszym dniu studenta. Zatem metoda ta ocenia powtarzalność i stałość jakości wykonywanych zabiegów. Jednakże ocena pojedynczej wizyty jest lepsza w monitorowaniu specyficznych umiejętności, np. zbieranie wywiadu, badaniu pacjenta, wykonaniu zabiegu. 11,15 Bezpośrednia obserwacja proceduralnych umiejętności (direct observation of procedural skills DOPS) stosowana jest do ewaluacji umiejętności studenta na ćwiczeniach przedklinicznych i wyników jego pracy. 12 Przegląd zapisu (record review) zwany jest także oceną stymulowaną opartą na karcie pacjenta (chart-stimulated evaluation). Polega na retrospektywnym przeglądzie klinicznej pracy studenta ewidencjonowanej w karcie leczonych przez niego pacjentów. Stwarza sposobność do wyjaśnienia przez studenta podjętych decyzji diagnostycznych i leczniczych oraz stymuluje samoocenę i refleksję, a zatem mierzy zrozumienie podstaw decyzji leczniczych, zrozumienie kluczowych koncepcji i zdolność do uzasadniania podjętych decyzji dotyczących leczenia pacjenta. Jest metodą zalecaną do oceny zdolności rozwiązywania problemów i przydatną do walidacji troski o dobro pacjenta, zlecania i interpretacji testów diagnostycznych oraz znajomości funkcjonowania systemu opieki stomatologicznej. 11 Obiektywny Strukturalny Kliniczny Egzamin (Objective Structured Clinical Examination OSCE) polega na rotacji studenta między stacjami (20-30 stacji), na któ- 464

9 2011, 64, 7 Assessment of education basic sciences principles by associating the patient s symptoms with pathophysiological mechanisms. The patients participating in the OSCE are standardized patients trained patients who provide a standard experience for all of the examined students. Overall examination scores are derived from the students understanding of pathophysiological processes, interpretation of clinical symptoms and signs, examination skills, treatment planning and interpersonal skills. This exam in an integrated way reflects a wide spectrum of competence. There are some variations of the OSCE in medical specialties such as Clinical Performance Exam CPEX or CPx) or mini-cpx which is a shortened version of the Objective Structured Clinical Exam (OSCE) involving observation of the student s interaction with a single patient. 4,5,11,15 Triple Jump Exercise (TJE) has two main versions clinical and preclinical. The clinical version consists of three phases jumps that are completed in one or two days by the student. The first jump involves interview and examination of the patients, activities that are observed by the teacher or videotaped for retrospective review with the student s selfassessment. The second jump consists of a written description of findings from the first phase according to a four-score form subjective data, objective data, assessment, plans (SOAP format) supported by evidence from the literature confirming the student s assessment and therapeutic decisions, that is submitted to the teacher who has observed the first jump. The third jump, however, comprises an oral exam conducted by the same teacher, during which the student is questioned about pathological mechanisms causing disorders in the examined patient, diagnosis, treatment options and prognosis. Every jump is evaluated separately, and a cumulative rych obserwowany przez nauczyciela wykonuje różne zadania w limitowanym czasie takie, jak np.: interpretacja radiogramu, posługiwanie się aparaturą, wywiad z pacjentem, badanie pacjenta, wykonywanie testów diagnostycznych, udzielanie pisemnych odpowiedzi. Podczas tego egzaminu student może demonstrować, poprzez odpowiadanie na pytania nauczyciela lub rozwiązanie testu wielokrotnego wyboru, zrozumienie zasad nauk podstawowych przez łączenie symptomów pacjenta z mechanizmami patofizjologicznymi. Pacjenci uczestniczący w egzaminie są standaryzowani przeszkoleni i dostarczają standardowego doświadczenia wszystkim egzaminowanym studentom. Ogólna punktacja z egzaminu pochodzi ze zrozumienia przez studenta procesów fizjopatologicznych, interpretacji oznak i objawów klinicznych, umiejętności badania pacjenta, planowania leczenia oraz umiejętności interpersonalnych. Egzamin ten w sposób zintegrowany odzwierciedla spektrum kompetencji. W specjalnościach medycznych występują odmiany OSCE takie jak kliniczny egzamin zabiegowy (Clinical Performance Exam CPEX lub CPx) lub mini CPX, który jest skróconą wersją obiektywnego strukturalnego egzaminu klinicznego (OSCE) obejmującą obserwację interakcji studenta z pojedynczym pacjentem. 4,5,11,15 Ćwiczenie potrójnego skoku (Triple Jump Exercise -TJE) występuje w dwóch odmianach klinicznej i przedklinicznej. W wersji klinicznej składa się z 3 faz skoków realizowanych w ciągu 1-2 dni przez studenta. Pierwszy obejmuje zbieranie wywiadu i badanie pacjenta, obserwowane przez nauczyciela lub filmowane w celu retrospektywnego przeglądu z samooceną studenta. Drugi polega na opisaniu działań wykonanych w fazie pierwszej wg czterech punktów subiektywne dane, obiektywne dane, ocena, planowanie 465

10 U. Kaczmarek J Stoma score in all three jumps is calculated. This method defines the ability to analyze and apply biomedical knowledge in dental problems. The TJE applied to preclinical dentistry concentrates on student s skills in searching for literature on a given problem. In the first phase, the students read scenario describing a patient with an oral health problem, and then identify the key information related to the given case and describe it according to the pattern: Patient with a problem, Intervention, Comparison, Outcome (PICO format). In the second phase, the students find proper evidence in the literature, and in the third one, the students answer questions and critically evaluate the quality of evidence. 11,15 Portfolio assessment is based on students gathering proofs of their work by means of various methods, including treatment of the patients for longer periods, presentation of clinical cases, copies of evaluation, projects, posters and abstracts, and their own comments, and reflection on the education process. The reflection component enables the teacher to estimate the level of students self-assessment and their capability of reflection. The portfolio should be periodically reviewed to evaluate students progress toward specific competences, and the review of its content creates the opportunity of a dialogue between a teacher and a student directed at the outcomes of the student s work. The portfolio without student s self-assessment and reflection becomes a scrapbook album. 4,11,16 Student s self-assessment is based on critical assessment of student s own performance of procedure and reflection on the means to improve the quality of a subsequent procedure. 11 Computer-based simulation consists of the evaluation by the students of a simulation describing patient care scenarios, usually (format SOAP Subjective data, Objective data, Assessment, Plans) opartych na odnośnikach piśmiennictwa potwierdzających dokonaną przez studenta ocenę i terapeutyczne decyzje, i przekazaniu nauczycielowi, który obserwował działania w fazie pierwszej. Z kolei trzeci skok jest egzaminem ustnym prowadzonym przez tego samego nauczyciela, podczas którego student jest pytany o mechanizmy patologiczne powodujące zaburzenia u zbadanego pacjenta, diagnozę, opcje leczenia i prognozę. Ocenia się każdą fazę oddzielnie i oblicza skumulowaną ocenę trzech skoków. Ta metoda oceny określa zdolność do analizy i zastosowania wiedzy biomedycznej w problemach stomatologicznych. TJE zastosowany w ocenie zajęć przedklinicznych koncentruje się na umiejętnościach studentów w wyszukaniu piśmiennictwa dotyczącego danego problemu. W pierwszej fazie studenci zapoznają się z opisem problemów zdrowotnych pacjenta, potem identyfikują kluczowe informacje dotyczące podanego przypadku i opisują je wg schematu: pacjent z problemem, interwencja, porównanie, wyniki (format PICO Patient with problem, Intervention, Comparison, Outcome). W drugie fazie studenci znajdują stosowne dowody w piśmiennictwie, a w trzeciej opisują stwierdzenia, odpowiadają na pytania i oceniają jakość dowodów. 11,15 Ocena oparta na portfolio (portfolio) polega na zbieraniu przez studentów dowodów ich pracy za pośrednictwem różnych metod, w tym leczenia pacjentów przez dłuższy okres, prezentacji przypadków, kopii ewaluacji, projektów, posterów i abstraktów oraz własnych komentarzy i refleksji o procesie nauczania. Komponenta refleksji pozwala nauczycielowi ocenić poziom samoświadomości studentów i ich zdolności do refleksji. Portfolio powinno być okresowo stosowane celem ewaluacji 466

11 2011, 64, 7 Assessment of education involving tasks such as clinical examination, diagnosis and treatment planning. 11 Paper and presentation assessment comprises evaluation of a research report or presentation on a given topic prepared by the student in the aspect of its quality and thoroughness. 11,15 Unit requirements is the assessment based on a designated number of specific dental procedures that are performed by the students in a definite period and used as an indicator of clinical competence in the traditional model of education. Of late, this method of student s evaluation has been criticized since the student can look for patients fulfilling the conditions of the norm performance, and treats the patient as an educational tool. Over-reliance on the norms implies the situation in which the students are encouraged to place their own requirement for a specific number of procedures over the patient s health needs. It was demonstrated that students working without any definite limits of procedures perform the same number of procedures as students operating without limits, and work under lower stress. 11,17-21 Dental schools in the U.S. started to move away from the unit requirement system in the 1990s. 11,18 However, norms of dental procedures are in force at Polish universities, minimum quotas for types and numbers of specific dental procedures have been established in the majority of dental disciplines for the whole country. 360-degree assessment (also called multisource assessment) is based on the evaluation of the student by many persons members of the clinical team, and patients. The evaluators measure the same parameters according to the same scale with an additional extension of special aspects focusing on particular areas for the given discipline. This method helps to identify differences between student s self-assessment and evaluation by various evaluators. It serves progresji studentów w kierunku uzyskania specyficznych kompetencji. Ten przegląd stanowi sposobność do dialogu nauczyciela ze studentem ukierunkowanego na wyniki jego pracy. Bez samooceny i refleksji portfolio staje się albumem z wycinkami. 4,11,16 Samoocena studenta (student`s self-assessment) polega na własnej ocenie wykonanej przez studenta procedury i refleksji dotyczącej poprawy jakości kolejnego zabiegu. 11 Symulacja wspomagana komputerowo (computer-based simulation) sprowadza się do oceny przez studenta symulacji przedstawiającej scenariusz leczenia pacjenta. Zwykle dotyczy takich zadań jak badanie, diagnoza i planowanie leczenia. 11 Ocena doniesienia naukowego i prezentacji (paper and presentation assessment) sprowadza się do ewaluacji doniesienia lub prezentacji omawiających przydzielony studentowi temat w aspekcie jakości i gruntowności opracowania. 11,15 Ocena oparta na liczbie wymaganych zabiegów wykonywanych przez studenta w określonym przedziale czasu (unit requirements) stosowana jest jako wskaźnik kompetencji klinicznej w tradycyjnym modelu edukacji. Ten sposób ewaluacji studenta jest krytykowany w ostatnich latach ze względu na to, że student może szukać pacjentów spełniających warunki wykonania normy zabiegów i traktuje się pacjenta jako narzędzie edukacyjne. Nadmierne poleganie na normach implikuje sytuację w której studenci są zachęcani do przedłożenia potrzeby liczby wykonanych zabiegów nad potrzeby lecznicze pacjenta. Wykazano, że studenci pracujący bez określonych limitów procedur wykonują tyle samo zabiegów, co studenci obarczeni limitem i pracują w mniejszym stresie. 11,17-21 W uczelniach stomatologicznych Stanów Zjednoczonych zaczęto odstępować od systemu oceny na podstawie licz- 467

12 U. Kaczmarek J Stoma to assess professionalism and interpersonal communication skill, improvement of practical skills and it also constitutes constructive feedback for the improvement of the level of patient care. 4,5,22 Continuous assessment comprises permanent evaluation of the students during their education process and the outcomes are taken into account at graduation. This evaluation can be included in the final exam, or constitute its alternative. It involves theoretical and practical activities, presentations, projects and other forms of education. 15 Critically Appraised Topic Summary (CATS) is a method of assessment of the student s ability to apply biomedical knowledge to optimal decisions making. It is similar to TJE, because it begins with clinical case description followed by identification of unknown factors which should be examined, and then the investigative problem is described in the PICO format, suitable data from the literature are searched for, analyzed and finally written as recapitulation which contains answers to questions and recommendations based on evaluation of scientific research. Therefore, this method requires the generation of scientific facts, and review of available literature with critical evaluation of evidence presented in a written recapitulation. Similarly to THE and OSCE (to certain extent), this method evaluates application of biomedical knowledge, the ability to analyze, and selflearning ability. 11,15,23-25 Clinical Competency Examination is based on performance of designated tasks and procedures on a patient in clinical conditions without teacher s help. The treatment process and its outcome (e.g. insertion of a resin composite restoration) are observed by a teacher and evaluated according to a rating scale. 11 Basing on a questionnaire survey which by wykonanych zabiegów w latach 90. XX wieku. 11,18 Natomiast w uczelniach polskich obowiązują normy zabiegów, gdzie w skali kraju ustalono w większości dyscyplin stomatologicznych minimalne liczby procedur, jakie powinien wykonać student. Ocena 360 stopni (360-degree assessment) zwana również wieloźródłową oceną (multisource assessment) polega na ocenie studenta przez wiele osób członków zespołu klinicznego i pacjentów. Oceniający mierzą te same parametry wg tej samej skali z dodatkowym rozszerzeniem specjalnych aspektów wychwytujących obszary szczególne dla danej dyscypliny. Metoda ta pomaga zidentyfikować różnice między samooceną studenta a ocenami innych osób. Służy do określenia profesjonalizmu i umiejętności komunikacji interpersonalnej, poprawy umiejętności praktycznych i także stanowi konstruktywne sprzężenie zwrotne do poprawy poziomu opieki nad pacjentem. 4,5,22 W ocenie ciągłej (continuous assessment) studenci są oceniani stale podczas ich kształcenia, zaś rezultaty ocen są uwzględnianie przy zakończeniu studiów. Ocena ta może być łączona z końcowym egzaminem lub stanowić dla niego alternatywę. Obejmuje zajęcia teoretyczne i praktyczne, prezentacje, projekty i inne formy kształcenia. 15 Krytyczna sumacyjna ocena zadania (Critically Appraised Topic Summary - CATS) jest metodą oceny zdolności studenta do zastosowaniu wiedzy biomedycznej w podejmowaniu optymalnych decyzji. Jest zbliżona do TJE, gdyż rozpoczyna się od zapoznania się z opisem przypadku klinicznego lub faktycznej prezentacji pacjenta, po której następuje identyfikacja nieznanych czynników, które trzeba zbadać, a następnie opisuje się kwestie badawcze w formacie PICO, szuka odpowiednich danych w piśmiennictwie, analizuje je i 468

13 2011, 64, 7 Assessment of education involved 93% dental school from U.S. (43/ 45) and 45% (approx. 1000) course directors responsible for realization of dental courses, Albino et al. 11 estimated the frequency of use of various methods of assessment of education outcomes. They showed that Case-based Multiple-Choice Questions test was applied most often (16%), followed by Multiple Choice Question test without clinical context (12%), daily evaluation in clinic (12%) and clinical competency examination (11%). The following methods were used less often: evaluation of technical skills in practical labs (8%), student self-assessment (7%), essay, oral exam and longitudinal evaluation in clinic (4% each), and research project and report, procedural unit requirements, computer-based simulation and OSCE (3% each). Critical Appraised Topic Summary CATS and Chart-stimulated evaluation (2% each), and Portfolio and Triple Jump Exercise TJE were used more seldom (1% each). Assessment of various skills requires different types of evaluation; multiple choice question tests can be used to assess knowledge, and is not suitable for the evaluation of clinical competence. 6,7 One should consider which abilities are to be assessed knowledge, performance or competence, and choose proper evaluation tools. Miller 26 presented the frames of goals of competence assessment in the form of a pyramid. Its base is knowledge the component of competence to know (knowledge of basic facts), which is followed by the next level to know how (application of knowledge). This level is more clinical competency than knowledge alone. The next level to show how is rather a behavioural than a cognitive function, and requires abilities to demonstrate clinical competence, i.e. it demonstrates the manual skill. 4 The final goal of clinical ability assessment is the to do level, i.e. performance pisze podsumowanie zawierające odpowiedzi na pytania i zalecenia oparte na badaniach naukowych. Zatem, metoda ta wymaga generacji kwestii naukowych i przeglądu dostępnego piśmiennictwa z krytyczną oceną dowodów prezentowaną w pisemnym podsumowaniu. Podobnie jak TJE i OSCE (w pewnej mierze), metoda ta określa zastosowanie wiedzy biomedycznej, zdolność do analizy i zdolność do samodzielnego uczenia się. 11,15,23-25 Kliniczny Kompetencyjny Egzamin (Clinical Competency Examination) polega na wykonaniu przez studenta określonych zadań i procedur u pacjenta w warunkach klinicznych bez pomocy nauczyciela. Proces leczenia i jego wynik (np. wykonanie wypełnienia z materiału złożonego) są obserwowane przez nauczyciela i oceniane wg skali. 11 Albino i wsp. 11 w oparciu o badanie kwestionariuszowe, w którym uczestniczyło 93% uczelni stomatologicznych w USA (43/45) i 45% (około 1000) osób odpowiedzialnych za realizacje przedmiotów stomatologicznych, określili częstość stosowania różnych metod oceniających rezultaty kształcenia studenta. Wykazali, że najczęściej stosowano test wielokrotnego wyboru oparty na przypadkach klinicznych (16%), a następnie test wielokrotnego wyboru bez kontekstu klinicznego (12%), codzienną ocenę kliniczną (12%) i kliniczny egzamin kompetencyjny (11%). Rzadziej stosowano ocenę technicznych umiejętności na praktycznych zajęciach przedklinicznych (8%), samoocenę studenta (7%) oraz egzamin pisemny, egzamin ustny i długoterminową ocenę kliniczną (każde po 4%), a także ocenę projektu i raportu, limity zabiegów, symulację wspomaganą komputerowo i OSCE (po 3%). Najrzadziej stosowano krytyczną sumacyjną ocenę zadania CATS (2%) i przegląd zapisu (2%) oraz portfolio (1%) i ćwiczenie potrójnego skoku TJE (1%). 469

14 U. Kaczmarek J Stoma of treatment procedure. It is necessary to use proper methods of evaluation in the assessment of particular components of competencies. The methods are depicted in Fig. 3. The aim of undergraduate teaching is to educate a competent graduate capable of undertaking independent, unsupervised dental practice, and therefore education based on competence is Fig. 3. Miller s pyramid of professional competence with examples of assessment methods. 26 Piramida Millera profesjonalnej kompetencji z przykładami metod oceny. 26 recommended. It requires proper design of curriculum Competency-based education (CBL) was introduced to the universities in the U.S. during the 1950s, but only in 1995 it was implemented to the standards of dental students education. Education standards were revised in 2008, and the effect was included in the document Competencies for the New General Dentist. 15,31 It is characterized by basing the outcomes of teaching on professional responsibility and tasks of a dental practitioner, the teaching curriculum is focused on what the student should learn to fulfill professional tasks, modules are sequenced hierarchically in the curriculum allowing the students to Ocena różnych umiejętności wymaga różnych rodzajów ewaluacji. Dla oceny wiedzy można zastosować test wielokrotnego wyboru, który nie jest odpowiedni do oceny kompetencji klinicznych. 6,7 Należy się zastanowić nad tym, jakie zdolności studenta chce się oceniać wiedzę, wykonanie czy kompetencję i wybrać właściwe narzędzie. Miller 26 opisał ramy celów oceny kompetencji w formie piramidy. Jej podstawę stanowi komponenta kompetencji wiedza wiedzieć (znajomość podstawowych faktów) po której następuje kolejny poziom - wiedzieć jak (zastosowanie wiedzy). Poziom ten jest bardziej kliniczną kompetencją niż sama wiedza. Następny poziom pokazać jak jest raczej funkcją behawioralną niż kognitywną i wymaga zdolności do demonstracji klinicznej kompetencji, tj. prezentuje umiejętność manualną. 4 Końcowym celem oceny klinicznej zdolności jest wykonanie poziom wykonać, czyli wykonanie procedury leczniczej. W ocenie poszczególnych kompetencji należy zastosować odpowiednie metody oceny, które zilustrowano na Fig. 3. Celem nauczania przedyplomowego jest wykształcenie kompetentnego absolwenta zdolnego do prowadzenia samodzielnej, nienadzorowanej praktyki stomatologicznej i dlatego zaleca się kształcenie oparte na kompetencji. Wymaga to odpowiedniego zaprojektowania programu nauczania Edukacja oparta na kompetencji (competency-based education CBL) została wprowadzona do szkolnictwa wyższego w USA w latach 50. XX wieku, ale dopiero w 1995 r. implementowano ją do standardów nauczania studentów stomatologii. W 2008 r. dokonano rewizji standardów co znalazło wyraz w dokumencie Kompetencje nowego stomatologa ogólnego (Competencies for the New General Dentist). 15,31 Charakteryzuje się wynikami nauczania opartymi na odpowiedzialności zawodowej i zadaniach stomatolo- 470

15 2011, 64, 7 Assessment of education proceed through the curriculum at their own pace, and methods of assessment are directed at measuring unassisted students performance in the conditions approximated to the real vocational environment. At present, in the preamble to the American Dental Education Association (ADEA) competency is defined as a complex of behaviour or ability essential for the general dentist to begin independent, unsupervised dental practice. Competency includes knowledge, experience, critical thinking and problem-solving skills, professionalism, ethical values, and technical and procedural skills. These components become an integrated whole during the delivery of patient care by the competent general dentist. 11,15,31 However, recommendations of the Association for Dental Education in Europe, 2010 (ADEE) advocate education based on evidence involving critical thinking and taking into account educational needs of the student and oral health needs of the patient and community as well. 6,7 The priority of competency-based education is an appraisal of students readiness to dental practice based on assessment of student s overall competence or the ability to put together skills called component competencies which are often taught and evaluated separately in particular disciplines, and also on the evaluation of multiple data sources (based on the principle of triangulation) being more accurate than single-source measures. 11,15,32 The concept of general competence was first presented by Chambers in In the evaluation of general competency, the students are recommended to work in a real dental practice environment (in-school internship) for at least 2 months. During this period, the students work under daily supervision by small groups of faculty teachers, who observe and estimate them in the range of measurements of ga praktyka, programem nauczania skoncentrowanym na tym, czego student powinien się nauczyć, aby wykonywać zadania zawodowe, hierarchicznie uplasowanymi w programie modułami pozwalającymi studentom we własnym tempie realizować program oraz metodami oceny mierzącymi wykonywanie procedur leczniczych przez studentów bez udziału nauczyciela w warunkach zbliżonych do rzeczywistego środowiska pracy zawodowej. Obecnie w preambule Amerykańskiego Towarzystwa Edukacji Stomatologicznej (American Dental Education Association - ADEA) kompetencja definiowana jest jako kompleks zachowania lub zdolności istotnych dla stomatologa ogólnego warunkujących samodzielną, nienadzorowaną praktykę stomatologiczną. Kompetencja obejmuje wiedzę, doświadczenie, krytyczne myślenie i umiejętności rozwiązywania problemów, profesjonalizm, wartości etyczne oraz techniczne i proceduralne umiejętności. Komponenty te stają się zintegrowane podczas zapewniania opieki stomatologicznej pacjentowi przez kompetentnego stomatologa. 11,15,31 Natomiast w rekomendacjach Towarzystwa Edukacji Stomatologicznej w Europie z 2010 r. (Association for Dental Education in Europe - ADEE) zaleca się nauczanie oparte na dowodach naukowych obejmujące krytyczne myślenie i uwzględnianie potrzeb edukacyjnych studenta jak również potrzeb zdrowotnych pacjenta i społeczeństwa. 6,7 W edukacji opartej na kompetencji priorytetem jest oszacowanie gotowości studenta do praktyki stomatologicznej oparte na ocenie ogólnej kompetencji studenta lub zdolności do złożenia w całość umiejętności zwanych komponentami kompetencji, które są często nauczane i oceniane oddzielnie w poszczególnych dyscyplinach oraz na ocenie z wielorakich źródeł danych (opartych na triangulacji), które są bardziej dokładne niż pojedyncze po- 471

16 U. Kaczmarek J Stoma Fig. 4. Component/silo competencies and general competence according to Albino et al. 11 Komponenty kompetencji ( silo kompetencje) i ogólna kompetencja wg Albino i wsp. 11 reproducibility of components competencies, visible passage between individual skills in the range of particular dental specialty (called competence component or silo competencies) to general competency during patient treatment, the depth of student s knowledge, punctuality, good manners, appearance, coping with stress and capability of self-assessment and selfcorrection. 11 Components of competency (silo competencies) and general competency are presented in Fig. 4. Figure 5 depicts pattern of general competency assessment based on triangulation. 34 In this model, performance includes three Ps: process (human factors such as communications, diligence, organization, compassion, and ethical behaviour), product (the result of patient treatment) and procedure (manual skills technical skills necessary to provide dental care). Self-Appraisal & Reflection (A&R), making up the second angle (leg) of a triangle, present miary. 11,15,32 Koncepcję ogólnej kompetencji jako pierwszy podał Chambers w 2001 roku. 33 W ocenie ogólnej kompetencji zaleca się, aby studenci przez przynajmniej 2 miesiące funkcjonowali w środowisku rzeczywistej praktyki stomatologicznej. Pracują oni wtedy pod nadzorem małych grup nauczycieli wydziału, którzy obserwują i oceniają ich w zakresie pomiarów powtarzalności komponent kompetencji, dostrzegalnego przejścia między poszczególnymi umiejętnościami w zakresie pojedynczej specjalności stomatologicznej (zwanej komponentą kompetencji lub silo kompetencją) do ogólnej kompetencji podczas leczenia pacjenta, głębokości wiedzy, dokładności, dobrych manier, wyglądu, radzenia sobie ze stresem i zdolności do samooceny i samokorekty. 11 Komponenty kompetencji (silo kompetencje) i ogólną kompetencję zilustrowano na Fig. 4. Z kolei na Fig. 5. zilustrowano schemat oceny ogólnej kompetencji oparty na triangula- 472

17 2011, 64, 7 Assessment of education Fig. 5. Triangular model to provide multiple sources of data for three legs of competency assessment (according to Jahangiri et al. 34 Triangularny model dostarczający danych z wielu źródeł w ocenie trzech elementów kompetencji wg Jahangiri i wsp. 34 the ability of the students to formulate own opinion and perceive the need for correction (self-correction), while knowledge makes up the third angle (leg) of a triangle. In the assessment of performance long-term observation is recommended, in knowledge evaluation Multiple Choice Question test based on clinical cases (Case-based MCQ), Triple Jump Exercise (TJE), and Critically Appraised Topic Summary (CATS), and Portfolio is advocated in the evaluation of self-assessment and reflection. Conclusions Among numerous methods used in the evaluation of the outcomes of the education process of dentists one can find methods assessing comprehensively several domains of competency. It is important to choose proper assessment methods that will provider an answer to the essential question of whether the final goal of dental education a competent general dental practitioner has been obtained. At present, cji. 34 W modelu tym wykonanie obejmuje trzy p : proces (czynniki ludzkie takie jak komunikacja, pracowitość, organizacja, współczucie, zachowanie etyczne), produkt (wynik leczenia pacjenta) i procedurę (umiejętności manualne techniczne niezbędne do sprawowania opieki stomatologicznej). Samoocena i refleksja stanowiąca drugi kąt trójkąta ( nogę ) prezentuje zdolność do oceny własnej i dostrzeżenie potrzeby korekty (samokorekta), a trzeci kąt trójkąta ( nogę ) stanowi wiedza. W ocenie wykonania zaleca się stosowanie długoterminowej obserwacji, w ewaluacji wiedzy test z pytaniami wielokrotnego wyboru oparty na przypadkach klinicznych (case-based MCQ), ćwiczenie potrójnego skoku (TJE) i krytyczną sumacyjną ocenę zadania (CATS), a w ocenie samooceny i refleksji zaleca się portfolio. Podsumowanie Wśród wielu metod stosowanych w ewaluacji procesu kształcenia stomatologa można znaleźć metody oceniające wszechstronnie kilka domen kompetencji. Istotny jest wybór właściwych metod ewaluacyjnych, które pozwolą odpowiedzieć na pytanie czy uzyskano ostateczny cel kompetentnego stomatologa. Obecnie za najlepsze metody oceniające gotowość do wzięcia odpowiedzialności zawodowej uważane są: obiektywny strukturalny kliniczny egzamin (OSCE), ćwiczenie potrójnego skoku (TJE), krytyczną sumacyjną ocenę zadania (CATS) i pracę w środowisku rzeczywistej praktyki stomatologicznej (in-school internship) w kontekście triangularnego modelu oceny kompetencji. 473

18 U. Kaczmarek J Stoma the methods considered best in the assessment of readiness for professional responsibility are: Objective Structured Clinical Examination (OSCE), Triple Jump Exercise (TJE), Critically Appraised Topic Summary (CATS), and inschool internships in the context of triangular model of competency assessment. References 1. Autonomia uczelni. Ramy kwalifikacji dla szkolnictwa wyższego. Ministerstwo Nauki i Szkolnictwa Wyższego, Epstein RM, Hundert EM: Defining and assessing professional competence. JAMA 2002; 287: Knight GW: Toward faculty calibration. J Dent Educ 1997; 61: Wass V, Bowden E, Jackson N: The principles of assessment design. In: N Jackson, A Jamieson, A Khan: Assessment in Medical Education and Training: A Practical Guide Radcliffe Publishing Ltd. 2007: Wass V, Van der Vleuten C, Shatzer J, Jones R: Assessment of clinical competence. Lancet 2001; 357, 9260: Association for Dental Education in Europe. Task Force II Update. Curriculum structure, content, learning and assessment in European undergraduate dental education Update Content_Learning_Assessment.pdf 7. Association for Dental Education in Europe Task Force II, Appendix 2 Assessment Update Curriculum Structure, Content, Learning and Assessment in European Undergraduate Dental Education. www. adee.org/cms/uploads/adee/task_force_ii_ APPENDIX_2_Assessment.pdf 8. Bloom BS: Taxonomy of educational objectives. New York: Dacid MxKay, Anderson L, Krathwohl DR: Taxonomy for Learning, Teaching and Assessing: A Revision of Bloom s Taxonomy of Educational Objectives. New York: Longman ADEA Competencies for the New General Dentist: As approved by the 2008 ADEA House of Delegates. J Dent Educ 2011; 75: Albino JEN, Young SK, Neumann LM, Kramer GA, Andrieu SC, Henson L, Horn B, Hendricson WD: Assessing Dental Students Competence: Best Practice Recommendations in the Performance Assessment Literature and Investigation of Current Practices in Predoctoral Dental Education. J Dent Educ 2008; 72: Bazrafkan L, Shokrpour N, Torabi K: Comparison of the Assessment of Dental Students Laboratory Performance through MCQ and DOPS Methods. J Med Educ 2009; 13: Azer SA: Assessment in a problem-based learning course. Biochem Mol Biol Educ 2003; 31: Haladyna TM: Developing and validating multiple-choice test items. 3rd ed. Mahwah, NJ: Lawrence Erlbaum Associates, ADEA Official Guide to Dental Schools. Teaching methods

19 2011, 64, 7 Assessment of education 16. Buckley S, Coleman J, Davison I, Khan KS, Zamora J, Malick S, Morley D, Pollard D, Ashcroft T, Popovic C, Sayers L: The educational effects of portfolios on undergraduate student learning: a Best Evidence Medical Education (BEME) systematic review. BEME Guide No. 11. Med Teach 2009; 31: Henzi D, Davis E, Jasinevicius R, Hendricson W: North American dental students perspectives about their clinical education. J Dent Educ 2006; 7: Henzi D, Davis E, Jasinevicius R, Hendricson W: In the students own words: what are the strengths and weaknesses of the dental school curriculum? J Dent Educ 2007; 71: Hendricson WD, Cohen PA: Oral health care in the 21st century: implications for dental and medical education. Acad Med 2001; 76: Hicks JL, Dale RA, Hendricson WD, Lauer WR: Effects of reducing senior clinical requirements. J Dent Educ 1985; 49: Dodge WW, Dale RA, Hendricson WD: A preliminary study of the effect of eliminating requirements on clinical performance. J Dent Educ 1993; 57: Rogers KG, Manifold C: 360-degree feedback: possibilities for assessment of the ACGME core competencies for emergency medicine residents. Acad Emerg Med 2002; 9: Wyer PC: The critically appraised topic: closing the evidence transfer gap. Ann Emerg Med 1997; 30: Suave R: The critically appraised topic: practical approach to learning critical appraisal. Ann CRMCC 1995; 28: Iacopino AM: The influence of new science on dental education: current concepts, trends, and models for the future. J Dent Educ 2007; 71: Miller GE: The assessment of clinical skills/ competence/performance. Acad Med 1990; 65: S Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR: The role of assessment in competency-based medical education. Med Teach 2010; 32: Harris P, Snell L, Talbot M, Harden RM: Competency-based medical education: implications for undergraduate programs. Med Teach 2010; 32: Dath D, Iobst W: The importance of faculty development in the transition to competency- -based medical education. Med Teach 2010; 32: Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, Harris P, Glasgow NJ, Campbell C, Dath D, Harden RM, Iobst W, Long DM, Mungroo R, Richardson DL, Sherbino J, Silver I, Taber S, Talbot M, Harris KA: Competency-based medical education: theory to practice. Med Teach 2010; 32: ADEA Competences for the new general dentist. Pages/Competencies-for-the-New-General- Dentist.aspx 32. Lockyer J: Multisource feedback in assessment of physician competencies. J Contin Educ Health Prof 2003; 23: Chambers DW: Preliminary evidence for a general competency hypothesis. J Dent Educ 2001; 65: Jahangiri L, Mucciolo TW, Choi M, Spielman AI: Assessment of Teaching Effectiveness in U.S. Dental Schools and the Value of Triangulation. J Dent Educ 2008; 72: Address: Wrocław, ul. Krakowska 26 Tel.: ukaczm@tlen.pl Paper received 20 September 2011 Accepted 11 October