Metody i narzędzia ewaluacji

Transkrypt

1 Meody i narzędzia ewaluacji wyników zdalnego esowania wiedzy (plaforma informayczna e-maura)

2

3 Książka przygoowana w ramach projeku E-maura, współfinansowanego przez Unię Europejską w ramach Europejskiego Funduszu Społecznego, Programu Operacyjnego Kapiał Ludzki, Priorye III Wysoka jakość sysemu oświay, Działanie 3.3 Poprawa jakości kszałcenia, Poddziałanie Modernizacja reści i meod kszałcenia projeky konkursowe.

4 Książka jes dysrybuowana bezpłanie Redakcja: prof. dr hab. inz. Sławomir Wiak Opracowanie graficzne: Niceday Książka przygoowana w ramach projeku E-maura, współfinansowanego przez Unię Europejską w ramach Europejskiego Funduszu Społecznego, Programu Operacyjnego Kapiał Ludzki, Priorye III Wysoka jakość sysemu oświay, Działanie 3.3 Poprawa jakości kszałcenia, Poddziałanie Modernizacja reści i meod kszałcenia projeky konkursowe. copyrigh by Poliechnika Łódzka, Łódź 2013 Książka współfinansowana przez Unię Europejską w ramach Europejskiego Funduszu Społecznego ISBN:

5 Adam Depa Gerruda Gwóźdź-Łukawska Krzyszof Kisiel Pomiar osiągnięć sudenów w konekście maury z maemayki Szereg zmian edukacyjnych, zarówno na poziomie szkolnicwa ponadgimnazjalnego jak i wyższego, skłania do wykorzysania różnorakich meod pomiarów efeków kszałcenia. Reforma na poziomie szkolnicwa wyższego jak i ponadgimnazjalnego, gimnazjalnego i podsawowego ma na celu wprowadzenie efekywnych meod nauczania. A skoro meody e powszechnie wprowadzamy, o musimy dysponować mechanizmami ich. Tak, jak w wielu innych gałęziach gospodarki kreuje się różne wskaźniki warościujące wdrożone działania, ak i w sferze edukacji zaisniała porzeba wprowadzenia efekywnych mierników kszałcenia. Coraz większe znaczenie, jak wiemy, odgrywa popularna edukacyjna warość dodana. W niniejszym opracowaniu chcemy pokazać cały szereg zależności nie ylko korelacyjnych pomiędzy pomiarami jakimi są oceny uzyskane przez uczniów na maurze z maemayki zarówno na poziomie podsawowym jak i rozszerzonym a ocenami uzyskanymi z przedmioów maemaycznych przez e same osoby w oku sudiów poliechnicznych. Badanie o ujawnia zasadność wprowadzania nowych meod w szkołach ponadgimnazjalnych podwyższających efekywność kszałcenia, co ma niewąpliwy wpływ na lepsze efeky edukacyjne akże na poziomie sudiów wyższych. Z wielolenich obserwacji i doświadczeń w nauczaniu maemayki na uczelni echnicznej dochodzimy do wniosku, iż nie zawsze, mimo wielu sarań w zakresie przekazywania wiedzy oraz mimo zasosowanych kryeriów oceniania, udawało się wyegzekwować od sudenów pełną wiedzę w zakresie danego maeriału nauczania. Wielokronie zdarzało się, iż o rezulacie kolokwium decydował pomyślny dla sudena dobór zadań, w wyniku czego zaliczał on pracę konrolną. Aby wyeliminować elemen loerii zasadne jes skueczne sprawdzanie każdego bez wyjąku efeku kszałcenia. Można u podać konkreny przykład. Załóżmy, że suden na kolokwium ma do rozwiązania pięć zadań, z czego rzy doyczą rachunku różniczkowego, a dwa całek. Suden przygoował się ylko z pierwszej części, a ponieważ rzy zadania na pięć zaliczają sprawdzian, o suden nie mając komplenie żadnej wiedzy o rachunku całkowym zdaje kolokwium. Skoro większość sudenów miała ę świadomość o chęnie o wykorzysywała kierując się zasadą minimaxu. W ej chwili, chcąc dorównać edukacyjnym sandardom międzynarodowym, należy egzekwować pełną, kompleną wiedzę od sudena, unikając elemenów losowości we wszyskich sprawdzianach. Zadania lub problemy, kóre musi rozwiązać suden, są podzielone na ławe i rudniejsze. Jednakże podsawowe zagadnienia suden musi opanować w pełni i w pełni wiedza a jes egzekwowana, czyli na przykład, jeśli na kolokwium jes pięć zadań podsawowych, o wszyskie musza być bezbłędnie rozwiązane. Brak poprawności choćby w jednym zadaniu niweczy całą pracę. Dodakowo, jeśli suden rozwiąże rudniejsze problemy, może uzyskać wyższą noę. Takie pomiary efeków kszałcenia powodują, iż suden nie ma wyboru i przynajmniej w zakresie podsawowym musi opanować wszyskie poruszane na zajęciach zagadnienia. Należy akże poruszyć kwesię doboru meod nauczania a ich wpływ na poziom efeków kszałcenia, w szczególności meod wykorzysujących nowoczesne echnologie informacyjne. Z naszych obserwacji wynika, iż sudenci ławiej przyswajają sobie niejednokronie rudne zagadnienia maemayczne akie jak granica ciągu, granica funkcji, pochodna czy całka, dzięki ciekawym 119

6 ilusracjom opracowanym w programach Geogebra czy Maxima. Choćby zauważenie precyzyjnego i kolorowego wykresu funkcji bądź innych obieków maemaycznych, pozwala lepiej doknąć maerii maemaycznej i wyrobić jakże cenną maemayczną inuicję. Zaem kreda i ablica, aczkolwiek niezasąpione arybuy nauczania, jednak winny być uzupełnione o nowoczesne narzędzia edukacyjne jakimi są niewąpliwie Geogebra czy Maxima. Nasze badania, mimo, że przeprowadzone na dość małej populacji sudenów, powierdzają skueczność pomiarów efeków kszałcenia na poziomie ponadgimnazjalnym, co rzuuje na wyniki edukacyjne na poziomie sudiów wyższych. Wniosek en jes bezsprzeczny, gdyż badania doyczą ych samych uczniów szkoły średniej, kórzy sali się sudenami Wydziału Elekrycznego Poliechniki Łódzkiej, również badanie doyczyło jednego przedmiou maemayki. Na uwagę zasługuje u również dość nowoczesny sposób pozyskiwania informacji na ema ocen z maury. Sudenci po zalogowaniu się na plaformie WIKAMP podawali swoje oceny z maury z maemayki na poziomie podsawowym i niekórzy oceny z maemayki na poziomie rozszerzonym. W kolejnym eapie wprowadzili oni również na ej plaformie oceny z rzech przedmioów maemaycznych: algebry, wsępu do analizy maemaycznej i analizy maemaycznej. Cały proces gromadzenia i obróbki danych przedsawiają poniższe rysunki. W fazie projekowania kwesionariusz ankiey wyglądał nasępująco Rys

7 Goowy formularz załączony jes na poniższym rysunku. Rys Po uzyskaniu pewnej ilości danych, zebrane wyniki przedsawione są na plaformie Wikamp w nasępującej posaci. Rys

8 Rys Rys. 9.5.

9 Przykładowe wyniki jednego z ankieowanych sudenów zamieszczone są poniżej. Rys Rys

10 Analiza Na porzeby analiz zasosowano w badaniu nasępujące esy: es dla dwóch średnich oraz es dla współczynnika korelacji liniowej Pearsona. Do porównania średnich wyników maury podsawowej i rozszerzonej zasosowano es dla dwóch średnich, w celu sprawdzenia hipoezy zerowej: H 0: 1= 2- że średnie wyników maury podsawowej i rozszerzonej są jednakowe wobec hipoezy alernaywnej: H1: że średnie wyników maury podsawowej i rozszerzonej różnią się. Sprawdzianem ego esu jes saysyka posaci: X1 X ns 1 1 ns n1n2 2 n1 n2 Tes en wymaga spełnienia nasępujących założeń: - wyniki maur podsawowej i rozszerzonej mają rozkłady normalne N1, 1, N2, 2, - odchylenia sandardowe 1, 2 wyników maur podsawowej i rozszerzonej są równe 1= 2, czyli założenie jednorodności wariancji. Na począek podjęo się próby usalenia normalności rozkładu analizowanych maur o analizę wzrokową wykresów normalności. Wykresy normalności dla poszczególnych maur przedsawiono na Rys. 8 i 9. 2,5 2,0 1,5 1,0 0,5 0,0-0,5-1,0-1,5-2,0-2, Rys Skaegoryzowany wykres normalności maury podsawowej. 124

11 2,5 2,0 1,5 1,0 0,5 0,0-0,5-1,0-1,5-2, Źródło: opracowanie własne. Rys Skaegoryzowany wykres normalności maury rozszerzonej. Nasępnie w celu zweryfikowania hipoezy zerowej o normalności rozkładu analizowanych wyników maur podsawowej i rozszerzonej zasosowano es Shapiro-Wilka1. W eście ym weryfikuje się hipoezę zerową, że badana cecha populacji ma rozkład normalny: H : F x F x, 0 0 wobec hipoezy alernaywnej, że cecha populacji nie ma rozkładu normalnego 1 0 H : F x F x, gdzie: F0 x jes dysrybuaną rozkładu normalnego. Sprawdzianem esu jes saysyka: W n 2 i1 a x x n i 1 n i 1 i n i1 x x i 2 2, 1 Domański Cz., Saysyczne esy nieparameryczne, PWE, Warszawa 1990, s

12 Orzymane wyniki w/w esu zesawiono w poniższej Tab. 1. Tabela 9.1 Wyniki esu Shapiro-Wilka maura podsawowa maura rozszerzona W 0,888 0,961 p 0,021 0,532 Na poziomie isoności α=0,05 odrzucamy weryfikowaną hipoezę zerowej dla wyników maury podsawowej, zaem rozkład wyników maury podsawowej nie jes rozkładem normalnym. Dla wyników maury rozszerzonej, na poziomie isoności α=0,05, brak jes podsaw do odrzucenia weryfikowanej hipoezy zerowej, zaem można uznać, że rozkład wyników ej maury jes normalny. Oznacza o, że wymagane założenie normalności esu dla dwóch średnich nie jes spełnione. Do weryfikacji jednorodności wariancji zasosowano es Barlea. Wyniki zesawiono w Tab. 2 Tabela 9.2 Wyniki esów jednorodności wariancji Barle Chi-kw. df p Wynik 0, ,665 Powyżej podano warość esu oraz minimalny poziom prawdopodobieńswa p (dla w/w esu). Na poziomie isoności α=0,05 brak jes podsaw do odrzucenia sprawdzanej hipoezy zerowej o równości wariancji wyników maur podsawowej i rozszerzonej (p=0,665), zaem można powiedzieć, że wariancje są równe, czyli wymagane założenie jednorodności wariancji jes spełnione. Ponieważ założenie o normalności rozkładu wyników maury podsawowej nie zosało spełnione, zaem w kolejnym kroku posłużono się nieparamerycznym esem U Manna-Whineya. Sprawdzana hipoeza zerowa jes posaci: wyniki maur podsawowej i rozszerzonej pochodzą z ej samej populacji, czyli mają en sam rozkład, wobec hipoezy alernaywnej: H : 1 wyniki maur podsawowej i rozszerzonej nie pochodzą z ej samej populacji, czyli nie mają ego samego rozkładu. Tabela 9.3 Wyniki esu U Manna-Whineya empiryczna Z kryyczna Z Wynik 4,193 1,960 0,0001 p 126

13 Na poziomie isoności α=0,05 odrzucamy sprawdzaną hipoezę zerową mówiącą, że wyniki maur podsawowej i rozszerzonej pochodzą z ej samej populacji, czyli mają en sam rozkład, (p=0,0001). Zaem można powiedzieć, że średnie wyników poszczególnych maur są różne. Średnie arymeyczne wyników maur podsawowej oraz rozszerzonej przedsawiono na Rys % Maura podsaw ow a (%) Maura rozszerzona (%) maura Rys Średnie maur. Nasępnie sprawdzono czy isnieją saysycznie isone zależności między wynikami z akich przedmioów jak; Algebra, Analiza maemayczna 1, Wsęp do analizy maemaycznej a uzyskanymi wynikami z maury podsawowej i rozszerzonej. W ym celu zasosowano es dla współczynnika korelacji liniowej Pearsona 2, w celu sprawdzenia hipoezy zerowej, że badane cechy nie są skorelowane: 0 = wobec hipoezy alernaywnej:, 1 że badane cechy są skorelowane Sprawdzianem ego esu jes saysyka: r 1 r 2 n2 (0.0.1) gdzie: r - współczynnik korelacji wyznaczony z próby, n - liczebność próby. 2 Białek J., Depa A. Saysyka dla sudenów z programem STAT_STUD 1.0 Wydawnicwo C.H. Beck, Warszawa

14 Przy założeniu prawdziwości hipoezy zerowej saysyka a ma rozkład -Sudena o n 2 sopniach swobody. Poniżej sprawdzono nasępujące hipoezy: Hipoeza pierwsza Weryfikację rozpoczęo od sformułowania hipoezy zerowej: 0 =, nie isnieje zależność pomiędzy wynikami z Algebry a wynikami uzyskanymi z maury podsawowej i alernaywnej, 1, isnieje zależność pomiędzy wynikami z Algebry a wynikami uzyskanymi z maury podsawowej. Wyniki esu zesawiono w ablicy 4. Tabela 9.4 Wyniki esu dla współczynnika korelacji liniowej Pearsona Badane cechy (zmienne) empiryczna Poziom kryyczna Prawdopodo esowe (poziom p) dla esu korelacji Pearsona wynik z Algebry 3,54 0,05 2,09 0,002 0,63 wynik z maury podsawowej Na poziomie isoności 0,05 odrzucamy hipoezę zerową, zaem współczynnik korelacji liniowej między wynikami z Algebry a wynikami z maury podsawowej jes saysycznie isony. r Zależność a jes silna ( =0,63), co przedsawiono na diagramie korelacyjnym Rys. 11. r 128

15 5.5 Algebra = * Maura podsaw ow a (%) Korelacja: r = Algebra Maura podsaw ow a (%) 0.95 Prz.Ufn. Rys Diagram korelacyjny (Algebra a maura podsawowa). Hipoeza druga Sprawdzono hipoezę zerową: 0 =, nie isnieje zależność pomiędzy wynikami z Analizy maemaycznej 1 a wynikami uzyskanym z maury podsawowej wobec alernaywnej, 1, isnieje zależność pomiędzy wynikami z Analizy maemaycznej 1 a wynikami uzyskanym z maury podsawowej. Wyniki esu zesawiono w ablicy 5. Tabela 9.5 Wyniki esu dla współczynnika korelacji liniowej Pearsona Badane cechy (zmienne) empiryczna Poziom kryyczna Prawdopodo esowe (poziom p) dla esu korelacji Pearsona wynik z Analizy maemaycznej 1 2,88 0,05 2,09 0,01 0,55 wynik z maury podsawowej Na poziomie isoności 0,05 odrzucamy hipoezę zerową, zaem współczynnik korelacji liniowej między wynikami z Analizy maemaycznej 1 a wynikami z maury podsawowej jes saysycznie isony. Zależność a jes umiarkowana ( r =0,55), co przedsawiono na diagramie korelacyjnym Rys. 12. r 129

16 5.2 Analiza Maemayczna 1 = * Maura podsaw ow a (%) Korelacja: r = Analiza Maemayczna Maura podsaw ow a (%) 0.95 Prz.Ufn. Rys Diagram korelacyjny (Analizy maemaycznej 1 a maura podsawowa). Hipoeza rzecia Posawiono hipoezę zerową: 0 =, nie isnieje zależność pomiędzy wynikami ze Wsępu do analizy maemaycznej a wynikami uzyskanym z maury podsawowej hipoeza alernaywnej ma posać, 1, isnieje zależność pomiędzy wynikami ze Wsępu do analizy maemaycznej a wynikami uzyskanym z maury podsawowej. Wyniki esu zesawiono w ablicy 6. Tabela 9.6 Wyniki esu dla współczynnika korelacji liniowej Pearsona Badane cechy (zmienne) empiryczna Poziom kryyczna Prawdopodo esowe (poziom p) dla esu korelacji Pearsona maemaycznej 3,22 0,05 2,09 0,005 0,59 wynik z maury podsawowej Na poziomie isoności 0,05 odrzucamy hipoezę zerową, zaem współczynnik korelacji liniowej między wynikami ze Wsępu do analizy maemaycznej a wynikami z maury podsawowej jes saysycznie isony. Zależność a jes umiarkowana ( r =0,59), co zaprezenowano na diagramie korelacyjnym Rys. 13. r 130

17 5.2 Korelacja: r = Maura podsaw ow a (%) 0.95 Prz.Ufn. Rys Diagram korelacyjny (Wsęp do analizy maemaycznej a maura podsawowa). Hipoeza czwara Weryfikowana hipoeza zerowa ma posać: 0 =, nie isnieje zależność pomiędzy wynikami z Algebry a wynikami uzyskanymi z maury rozszerzonej a alernaywna jes posaci, 1, isnieje zależność pomiędzy wynikami z Algebry a wynikami uzyskanymi z maury rozszerzonej Wyniki esu zesawiono w ablicy 7. Tabela 9.7 Wyniki esu dla współczynnika korelacji liniowej Pearsona Badane cechy (zmienne) wynik z Algebry wynik z maury rozszerzonej empiryczna Poziom kryyczna Prawdopodo esowe (poziom p) dla esu korelacji Pearsona 2,67 0,05 2,09 0,02 0,52 Na poziomie isoności 0,05 odrzucamy hipoezę zerową, zaem współczynnik korelacji liniowej między wynikami z Algebry a wynikami z maury rozszerzonej jes saysycznie isony. r Zależność a jes umiarkowana ( =0,52), co przedsawiono na diagramie korelacyjnym Rys. 14. r 131

18 5.5 Algebra = * Maura rozszerzona (%) Korelacja: r = Algebra Rys. 14. Diagram korelacyjny (Algebra a maura rozszerzona). Hipoeza piąa Sprawdzono hipoezę zerową: 0 =, nie isnieje zależność pomiędzy wynikami z Analizy maemaycznej 1 a wynikami uzyskanym z maury rozszerzonej wobec alernaywnej, Maura rozszerzona (%) 0.95 Prz.Ufn. 1, isnieje zależność pomiędzy wynikami z Analizy maemaycznej 1 a wynikami uzyskanym z maury rozszerzonej. Wyniki esu zesawiono w ablicy 8. Tabela 9.8 Wyniki esu dla współczynnika korelacji liniowej Pearsona Badane cechy (zmienne) wynik z Analizy maemaycznej 1 wynik z maury rozszerzonej empiryczna Poziom War kryyczna Prawdopodo esowe (poziom p) dla esu korelacji Pearsona 3,40 0,05 2,09 0,003 0,61 Na poziomie isoności 0,05 odrzucamy hipoezę zerową, zaem współczynnik korelacji liniowej między wynikami z Analizy maemaycznej 1 a wynikami z maury rozszerzonej jes saysycznie isony. Zależność a jes silna ( r =0,61), co przedsawiono na diagramie korelacyjnym Rys. 15. r 132

19 5.2 Analiza Maemayczna 1 = * Maura rozszerzona (%) Korelacja: r = Analiza Maemayczna Maura rozszerzona (%) 0.95 Prz.Ufn. Rys Diagram korelacyjny (Analiza maemayczna 1 a maura rozszerzona). Hipoeza szósa Posawiono hipoezę zerową: 0 =, nie isnieje zależność pomiędzy wynikami ze Wsępu do analizy maemaycznej a wynikami uzyskanym z maury rozszerzonej hipoeza alernaywnej ma posać, 1, isnieje zależność pomiędzy wynikami ze Wsępu do analizy maemaycznej a wynikami uzyskanym z maury rozszerzonej. Wyniki esu zesawiono w ablicy 9. Tabela 9.9 Wyniki esu dla współczynnika korelacji liniowej Pearsona Badane cechy (zmienne) empiryczna Poziom kryyczna Prawdopodo esowe (poziom p) dla esu korelacji Pearsona maemaycznej 3,12 0,05 2,09 0,006 0,58 wynik z maury rozszerzonej Na poziomie isoności 0,05 odrzucamy hipoezę zerową, zaem współczynnik korelacji liniowej między wynikami ze Wsępu do analizy maemaycznej a wynikami z maury podsawowej r 133

20 jes saysycznie isony. Zależność a jes umiarkowana ( r =0,58), co zaprezenowano na diagramie korelacyjnym Rys Korelacja: r = Maura rozszerzona (%) 0.95 Prz.Ufn. Rys Diagram korelacyjny (Wsęp do analizy maemaycznej a maura podsawowa). Wnioski Jeszcze kilkadziesią la emu głównymi składnikami poencjału gospodarczego były akie czynniki wywórcze jak środki produkcji (maszyny, echnologie), siła robocza, ziemia i środki pieniężne. Dopiero niedawno zaczęo dosrzegać inne coraz bardziej isone czynniki wywórcze rzuujące na rozwój gospodarki akie jak informacja i kapiał ludzki. To właśnie kapiał ludzki drzemiący przede wszyskim w młodym pokoleniu jes niezwykle isony. To uzasadnia iż inwesycja w edukację może dać nieprzewidywalnie wysoką sopę zwrou w posaci ogromnego posępu cywilizacyjnego. Na en przeskok cywilizacyjny należy e młode pokolenia przygoowywać. Koś kiedyś zadał pyanie: Dlaczego kszałci się ylu maemayków, fizyków ip.? Skoro nie wszyscy znajdują pracę w ym zawodzie, przecież o sraa dla pańswa. Wówczas pewien profesor celnie swierdził: Oóż dlaego, że wśród ysiąca wyedukowanych maemayków, chemików czy fizyków znajdzie się kilku akich, kórzy mogą dokonać przełomowych odkryć. Swego czasu kryykowano koszowne ekspedycje kosmiczne a okazało się, że efekem ubocznym sał się ogromny posęp w medycynie, echnice i wielu innych dziedzinach zupełnie nie związanych z asronauyką. Również niesłusznie kryykuje się badania podsawowe a gloryfikuje ylko badania aplikacyjne. Wynika o poniekąd z krókowzroczności samych uczonych, bowiem na efeky badań podsawowych rzeba czekać niejednokronie całe dziesięciolecia ale za o są o odkrycia przełomowe. Podobnie w sferze edukacji efeków nowych meod kszałcenia nie należy spodziewać się naychmias. 134