The Wroclaw School of Bankng Research Journal ISSN 1643-7772 I eissn 2392-1153 Vol. 15 I No. 5 Zeszyty Naukowe Wyższe Szkoły Bankowe we Wrocławu ISSN 1643-7772 I eissn 2392-1153 R. 15 I Nr 5 Czynnk wpływaące na ogólną ocenę zaęć przez studentów Autor: Katarzyna Sokołowska Abstrakt Głównym celem artykułu est zbadane, ake czynnk wpływaą na ogólną ocenę zaęć przez studentów. W badanu wykorzystane zostały dane pochodzące z badana anketowego Ocena przedmotu w Wyższych Szkołach Bankowych, przeprowadzonego w semestrze zmowym roku akademckego 2012/2013, w którym ocene poddano 1802 zaęca. Do zdentyfkowana czynnków wpływaących na ogólną ocenę zaęć wykorzystano model logtowy. Praca zawera równeż przegląd angloęzycznych artykułów dotyczących ewaluac zaęć uzyskanych w nch wynków. Słowa kluczowe: ewaluaca zaęć, model logtowy JEL: C25 Wprowadzene Oceny studencke są początkem drog wykładowcy w kerunku doskonalena sę, a ne e końcem. Wllam Cashn (1995) Ewaluaca zaęć przez studentów est ednym z naczęśce stosowanych sposobów oceny akośc nauczana (Wrght, 2006). Ocena dokonywana w ten sposób ne est zawskem nowym: perwsza skala oceny nauczycela została opublkowana w 1915 roku (Dalton, Denson, 2009). Głównym celem ewaluac zaęć przez studentów est uzyskane nformac zwrotne dla nauczycela dotyczące akośc ego zaęć nauczana, tak aby umożlwć mu podęce dzałań prowadzących do poprawy wynków nauczana zapewnć odpowedn pozom szkoleń. Drugm celem est zmerzene efektywnośc nauczana, a następne wykorzystane wynków pomaru do podemowana decyz kadrowych, czyl dotyczących awansu, wysokośc wynagrodzena czy warunków zatrudnena (Beran n., 2005). Kolenym celem, w przypadku gdy wynk badań są udostępnane studentom, est ułatwene m wyboru zaęć oraz osób prowadzących, eśl na uczeln stnee taka możlwość. Powstae podstawowe pytane: czy można na podstawe przeprowadzonych badań anketowych podemować właścwe decyze, mogące meć wpływ na przebeg karery akademcke nauczycela ocenę wydzału? Nektórzy krytycy ocenana akośc nauczana nauczycel akademckch przez studentów uważaą, że studenc ne pownn brać udzału w ocene swoch nauczycel. Jednak z wększośc badań wynka, że studenc mogą dostarczyć cennych nformac na temat welu aspektów nauczana, które są przydatne w realzac celów zwązanych z doskonalenem nauczycel. Newłaścwe est natomast nadużywane danych z ocen studenckch, na przykład w nterpretowanu różnc, które są wyrażane w welkoścach dzesętnych (Abram, 2001), czy wykorzystanem otrzymanych na ch podstawe ratngów ako edynego źródła dowodów skutecznośc nauczana. Uważa sę, że wedza wykładowcy, akość programu nauczana, pozom nauczana czy lość przekazywanych treśc należą do tych obszarów, które ne pownny być ocenane przez studentów (Coren, 2001; Theall Frankln, 2001) ze względu na ch ogranczone dośwadczene wedzę w dane dzedzne. Jednak na pytana dotyczące tego, ak wele Katarzyna Sokołowska WSB Gdańsk Katedra Informatyk Metod Iloścowych e-mal:sokkat@wp.pl
The Wroclaw School of Bankng Research Journal I ISSN 1643-7772 I eissn 2392-1153 I Vol. 15 I No. 5 można sę nauczyć na danych zaęcach lub na temat umeętnośc przekazywana przez prowadzącego wedzy czy wymaganych nakładów pracy, nkt ne est w stane odpowedzeć równe dobrze ak studenc, poneważ to on są nablże procesu nauczana. Powstae ednak pytane, czy odpowedz te ne są znekształcone przez nastawene do danego przedmotu lub nne czynnk, take ak welkość grupy, pozom studentów czy forma zaęć. W lteraturze przedmotu można znaleźć wele badań, których wynk zostały przedstawone ponże. Wyróżna sę szereg czynnków, które mogą meć wpływ na ogólną ocenę przedmotu przez studenta, ednak wpływ ten, nawet eśl est statystyczne stotny, zwykle est bardzo newelk (Gravestock, Gregor-Greenleaf, 2008). Czynnk te można podzelć według następuących kryterów (podano za Gravestock, Gregor-Greenleaf, (2008) na podstawe własnego przeglądu lteratury): Warunk admnstracyne: 1. Czas przeprowadzana oceny eśl ocena est dokonywana po egzamnach czy kolokwum, wynk są nższe, w zwązku z tym zaleca sę, aby ewaluacę realzować przed ostatnm egzamnam wystawenem końcowych ocen. 2. Instrukce przekazane studentom zauważono, że wskaźnk mogą być lepsze, gdy pros sę ucznów o bardze krytyczne opne lub gdy nformue sę, że uzyskane oceny będą wykorzystywane do podemowana decyz kadrowych. 3. Anonmowość w przypadku prośby o podpsane ankety studenc obawaą sę konsekwenc, dlatego wystawaą wówczas wyższe oceny. 4. Obecność wykładowcy nektóre badana podaą, że w przypadku obecnośc wykładowcy mogą być wystawane wyższe oceny, nne, że ego obecność wpływa na ocenę tylko wtedy, gdy anketa ne est anonmowa (Algozzne n.,2004). Cechy zaęć, które ne mogą być kontrolowane przez wykładowcę: 1. Welkość grupy nektóre badana wskazuą, że w mne lcznych grupach są wystawane wyższe oceny (Aleamon, Hexner, 1980; Koh, Tan, 1997), ednak w nnych badanach reprezentowany est pogląd, że różnca ta est nestotna. Arreola (2007) Feldman (1984) zauważaą ednak, że wększość zaęć prowadzonych w dużych grupach est prowadzona dla studentów I lub II roku są to przedmoty obowązkowe, a ne opcyne, to może meć wększy wpływ na nższe oceny nż welkość grupy. 2. Kurs kerunkowy (do wyboru) a kurs obowązkowy przedmotom ogólnym (obowązkowym) studenc wystawaą neco nższe oceny nż kerunkowym, lecz ne est to statystyczne stotna różnca (Cashn, 1995; March, Dunkn, 1992). Wachtel (1998) twerdz, że stotny wpływ na ocenę ma to, czy studenc są zanteresowan zaęcam, czyl czy są one zwązane z ch kerunkem studów zanteresowanam. 3. Trudność kursu (nakład pracy) uzyskano nespóne wynk: część badaczy uważa, że trudnesze zaęca uzyskuą nższe oceny, nn tego ne potwerdzaą (Cashn, 1988). 4. Pozom kursu kursy bardze zaawansowane uzyskuą wyższe oceny, ale wynk est neednoznaczny (Algozzne n. 2004; Cashn, 1995). 5. Dzedzna nektóre badana wykazały, że nabardze pozytywne wynk otrzymuą nauk humanstyczne, następne społeczne, a na końcu przyrodncze, ale uważa sę równeż, że porównana mędzy różnym dzedznam mogą ne być dokładne (Neumann, 2001; Cashn, 1988, 1990, 1995). Przypuszcza sę, że nauk humanstyczne mogą otrzymywać wyższe oceny nż nauk ścsłe, ale przeprowadzono do te pory zbyt mało badań, aby potwerdzć tę zależność. Cechy wykładowcy 1. Wek, płeć wpływ na ocenę est nestotny (Algozzne n., 2004). 2. Osobowość eśl osobowość merzy pewen sposób zachowana wykładowcy w trakce zaęć, na przykład entuzazm, wyrazstość, ekspresyność, to może meć to wpływ na skuteczność nauczana (Ory, 2001). Do podobnych wnosków doszl Wllams Cec (1997), którzy w swoch badanach wykazal, że nstruktor, którego sposób nauczana był bardze entuzastyczny, osągnął wyższe oceny, nawet eśl nne aspekty pozostały bez zman (na podstawe eksperymentu z wykładowcą, który zmenł swó styl nauczana, ne zmenaąc przekazywane wedzy materałów). Natomast Marsh Roche (1997) uważaą, że eżel ktoś est zabawny pełen entuzazmu, a ne est begły w przekazywanu wedzy, to studenc w swoch ocenach będą potrafl to 716
Katarzyna Sokołowska czynnk wpływaące na ogólną ocenę zaęć przez studentów zróżncować, daąc wyższe oceny zwązane z entuzazmem, a nższe z umeętnoścą przekazywana wedzy. McKeache (1997), operaąc sę na pracy Scrvena (1981), twerdz, że styl nauczana (entuzazm, sposób organzac zaęć, okazywane cepło) ne pownen być ocenany, gdyż wysoka efektywność nauczana może być osągnęta na wele sposobów. Korzystane z cech, które na ogół pozytywne koreluą z efektywnoścą nauczana, karze nauczycel, którzy są skuteczn, pommo ż osągaą w którymś z tych aspektów gorsze wynk. 3. stopeń naukowy dośwadczene wpływ na ocenę est nestotny, zwykle profesorowe ne uzyskuą wyższych ocen (Arreola, 2007). Cechy studenta 1. Wek m starszy uczeń, tym wyższe wystawa oceny (Nasser Hagtvet, 2006). 2. Płeć stnee tendenca do ocenana wykładowców te same płc neco wyże (Ory, 2001). 3. Rok studów Arreloa (2007) Marsh (1987) stwerdzl, że stotny wpływ na ocenę wykładowcy ma to, na którym roku studuą osoby ocenaące m wyższy rok, tym mne surowe są oceny. Jest to prawdopodobne odzwercedlenem faktu, że ucznowe po klku latach nauk maą bardze realstyczne oczekwana w zakrese swoch dośwadczeń akademckch. 4. Motywaca m wyższą motywacę do nauk danego przedmotu ma student, tym wyższe wystawa oceny (Cashn, 1988, 1995). 5. Frekwenca est pozytywne skorelowana z wyższym ocenam, ale ne est postrzegana ako coś, co może znekształcć wynk ewaluac, gdyż wyższa frekwenca na zaęcach prowadz do poprawy wynków nauczana, a one maą wpływ na wyższą ocenę wykładowcy (Davdovtch & Soen, 2006). 6. Uzyskwane stopne zauważono, że eśl studenc spodzewaą sę, że wykładowca będze pobłażlwy w trakce ocenana, to mogą wystawać mu wyższe oceny (Wachtel, 1998). McKeache (1997) twerdz natomast, że studenc naprawdopodobne ne będą wyże ocenać neskutecznego nauczycela, który stara sę kupć ch dobre oceny łagodnym traktowanem, ednak część badaczy uważa, że studenc maą skłonność do karana nauczycel za wystawane m nskch ocen (Crumbley, Henry Kratchman, 2001). Heckert n. (2006) na podstawe swoch badań doszl natomast do wnosku, że bardze wymagaący wykładowcy uzyskwal wyższe oceny. Podobne Marsh (1987) stwerdzł, że wyższy pozom trudnośc zaęć zaęca wymagaące węce wysłku oraz czasu są ocenane przychylne nż pozostałe zaęca. Ne potwerdzły tego nne badana, np. Pounder (2007) wykazał, że trudnesze kursy uzyskuą zwykle nższe oceny. Inn badacze uważaą, że studenc porównuą swó wkład, wysłek, obcążene pracą na danych zaęcach w stosunku do nnych zaęć. Jeśl są one podobne, a uzyskana ocena est wyższa, to wykładowca zostae wyże ocenony. Można równeż znaleźć wnosk mówące o tym, że c, dla których zaęca były trudnesze nż przewdywal, ocenal e mne korzystne, natomast studenc, dla których były łatwesze, nż oczekwal, ocenal e bardze pozytywne. Katlūtė (2010) doszedł do wnosku, że studenc uzyskuący lepsze oceny z danego przedmotu wyże ocenal wykładowcę, dlatego zaproponował prowadzene ewaluac w forme elektronczne, aby pomóc wychwycć tego rodzau wpływ przez połączene ocen uzyskwanych przez studentów z danego przedmotu z ocenam wystawanym przez nch wykładowcom. Zaproponował, aby w analogczny sposób wychwycć wpływ uzyskanych przez studentów ocen na ocenę kursu ako trudnego/łatwego. Metodyka badań. Dobór zmennych Celem artykułu est sprawdzene, ake czynnk maą wpływ na ocenę zaęć dokonywaną przez studentów Wyższych Szkół Bankowych. Podmotem badawczym byl studenc, którzy korzystal w tych szkołach z usług edukacyne w semestrze zmowym roku akademckego 2012/2013. Do analzy wykorzystano dane pochodzące z trzech szkół. Badane przeprowadzano na ostatnch zaęcach studów staconarnych nestaconarnych, w każde z grup, wręczaąc każdemu studentow obecnemu na zaęcach do wypełnena kwestonarusz. W rezultace otrzymano 60 421 wypełnonych anket. Anketa składała sę z następuących 7 pytań dotyczących oceny prowadzonych zaęć: Przyęta skala ocen: 1 zdecydowane ne, 2 ne, 3 an tak, an ne, 4 tak, 5 zdecydowane tak. Pytane 1: Zaęca były prowadzone zgodne z programem. 717
The Wroclaw School of Bankng Research Journal I ISSN 1643-7772 I eissn 2392-1153 I Vol. 15 I No. 5 Pytane 2: Wymagana dotyczące zaęć zalczena były asno sformułowane. Pytane 3: Zaęca prowadzone były w zrozumały sposób. Pytane 4: Zaęca prowadzone były w nteresuący sposób. Pytane 5: Na tych zaęcach dużo sę dowedzałem. Pytane 6: Prowadzący traktował studentów z szacunkem. Pytane 7: Ogólne estem zadowolony z zaęć. Następne dla każdego ocenanego zaęca oblczana była średna arytmetyczna odpowedz wszystkch studentów obecnych na danych zaęcach na każde pytane. Średna uzyskana ze wszystkch pytań przez wszystkch nauczycel akademckch wynosła w ocenanym okrese 4,27. Dla autork artykułu dostępne były tylko dane w postac wylczonych średnch. Mmo, że zastosowana w ankece skala Lkerta zalcza sę do skal porządkowych, to w podeścu lberalnym zakłada sę, że eśl skala est przynamne pęcopunktowa, to można uż zastosować technk analtyczne przewdzane dla skal przedzałowe. W pracy Ellota Woodwarda (2007) można znaleźć nformacę, że skala Lkerta może być traktowana ako loścowa, eżel można raconalne założyć, że różnce mędzy każdym kolenym kategoram są równe. Strukturę ocenanych zaęć ze względu na przydatne w badanu cechy przedstawa tabela 1. W badanu ako zmenną obaśnaną wykorzystano zmenną opartą na ocene stwerdzena: Ogólne estem zadowolony z zaęć. Ze względu na to, że początkowo była ona zmenną merzoną na skal porządkowe (od 1 zdecydowane ne do 5 zdecydowane tak), natomast po oblczenu średne stała sę zmenną cągłą przymuącą wartośc z przedzału <1,5;5>, postanowono powrócć do skal porządkowe przez przypsane wartoścom te zmenne następuących kategor: Podzał Tabela 1. Struktura ocenanych zaęć według wybranych cech w semestrze zmowym roku akademckego 2012/2013 (N=1802) 718 Podzał Forma zaęć % odpowedz Lczba przedmotów, dla których lczba udzelonych odpowedz meścła sę w ponższym przedzale Lczba przedmotów w % ćwczena 28,86 (0,20> 47,38 konwersatorum 3,86 (20,40> 22,99 laboratorum 5,56 (40,60> 12,35 lektorat 13,12 (60,90> 9,26 proekt 0,46 (90,120> 4,01 semnarum 7,25 (120,150> 1,54 wykład 40,90 (150,180> 1,39 Specyfka przedmotu I Lczba przedmotów w % (180,210> 0,77 przedmot ścsły 23,37 (210,240> 0,30 przedmot humanstyczny Specyfka przedmotu II 76,63 Lczba przedmotów w % kerunkowy 56,57 ogólny 43,43 Źródło: opracowane własne na podstawe danych WSB Tabela 2. Wartośc zmenne Ogólne estem zadowolony z zaęć przypsane m kategore Ocena z przedzału Przypsana kategora Ocena z przedzału Przypsana kategora <1,5;2> 1 (3,5;4> 5 (2;2,5> 2 (4;4,5> 6 (2,5;3> 3 (4,5;5> 7 (3;3,5> 4 Źródło: opracowane własne na podstawe danych WSB
Katarzyna Sokołowska czynnk wpływaące na ogólną ocenę zaęć przez studentów = = P = x Pβ k < k Stworzene wększe lczby kategor było podyktowane tym, aby zachować ak nawęce nformac o zmenne obaśnane, która powstała, gdy dla każdych zaęć oblczono średną ocen. W przypadku, gdy zmenna obaśnana est zmenną porządkową, nawłaścwszym sposobem wyaśnana przyczyn e zmennośc est zastosowane model uporządkowane zmenne obaśnane. Naczęśce przymue sę, że modele take maą postać modelu probtowego (wtedy zakłada sę, że dystrybuanta składnka losowego est dystrybuantą standaryzowanego rozkładu normalnego) lub modelu logtowego (wówczas est to dystrybuanta rozkładu logstycznego). Konstrukcę estymacę tego typu model opsano m.n. w pracach Cramera (2001, 2003), Greene a (2003, 2009) Gruszczyńskego (2001, 2010). W nnesze pracy wykorzystano model logtowy dla kategor uporządkowanych. Model ten opera sę na założenu, że zmenna obaśnana * y est pewną neobserwowalną zmenną LogL( y x; cągłą, która est lnową funkcą zmennych oba- β, k1,..., k śnaących X zapsanych w wektorze x oraz neznanych parametrów, zapsanych w wektorze β : y * = x β + u, gdze: =1,2,...,1802 oznaczaą kolene anketowane zaęca, x = ( )( ) β 1 X 1 X 2... X k β 0 β1 β 2... β, k a u est składnkem losowym o rozkładze logstycznym (Gruszczyńsk 2010, s.108). Wartość uporządkowane zmenne obaśnane y zależy od wartośc zmenne neobserwowalne y * zgodne z regułą: * y = k 1 < y k ( = 1,...,7), gdze k, zwane progam, są zwykle neznane estymue sę e razem z parametram β. * Poneważ y ako zmenna neobserwowalna może przymować dowolne wartośc rzeczywste, można założyć, że k0 =, k7 = +, dzęk czemu lczba progów wymagaących oszacowana ograncza sę do 6 ( Gruszczyńsk, 2010). Prawdopodobeństwo p, że dla -tego ocenanego zaęca zmenna y przyme wartość, można zapsać ako: p = P( y = ) = P( k 1 xβ < u k xβ ) = P( y( u = k) = P x( k β ) 1 Px p( u β = < Pu k ( y 1 = k x ) β= x) = P β )( Fk = ( k 1 x β < ) u F ( kk 1 x β ) = () P 1 ( ux < = β k< P ( u 1 xk β ) = x F β( k) = Px( u β ) < kf ( 1k 1x βx) = β ) F( k xβ ) F( k 1 xβ ) x β ) = F( k x β ) F( k x β ) 1 1 gdze F est dystrybuantą składnka losowego u. 6 719 W przypadku logstycznego rozkładu składnka losowego wartośc dystrybuanty oblcza sę według formuły:, exp ( ) ( u) F u = 1 + exp u a zatem: p exp = 1+ exp ( ) ( k xβ) ( k x β) exp 1+ exp ( k 1 xβ) ( k x β) 1 Otrzymany model nazywa sę modelem logtowym dla kategor uporządkowanych. Parametry tego modelu szacue sę za pomocą metody nawększe warygodnośc (MNW) poprzez maksymalzacę logarytmu funkc warygodnośc: 648 7 = = exp k LogL( y x; β, k1,..., k6 ) = d log 1 1 1+ exp 648 7 exp( k ) ( ) xβ exp k 1 xβ ) = d log = 1 = 1 1+ exp( k xβ ) 1+ exp( k 1 xβ ) gdze d przymue wartość 1, gdy w próbe. ( xβ ) ( k x β ) zmenna y przyęła wartość 0 w pozostałych przypadkach. Ocenę dopasowana model przeprowadzono z wykorzystanem następuących mar [Gruszczyńsk 2010]: Współczynnk McFadden s Ad R2 (skorygowany pseudo-r2 McFaddena) wyrażony wzorem R 2 α F, ln L p = 1 ln L 0 gdze L, L0 -oznaczaą odpowedno wartość funkc warygodnośc badanego modelu wartość funkc warygodnośc dla modelu uwzględnaącego edyne prog, p est lczbą szacowanych parametrów z wyłączenem progów. Mara ta est mnesza od 1 może przyąć wartośc uemne. Analzowany model charakteryzue sę dobrym dopasowanem do danych emprycznych, eśl e wartość est blska 1. Test lorazu warygodnośc, w którym wartość statystyk dana est wzorem LR = 2( ln L ln L0 ). Statystyka ta ma rozkład ch-kwadrat z lczbą stopn swobody równą p. Hpotezę zerową odrzuca sę w przypadku wartośc statystyk wyższych od wartośc granczne. Namneszy pozom stotnośc, przy którym można odrzucć hpotezę zerową, est oznaczony ako p-value. Test ten zastosowano do badana łączne stotnośc wszystkch zmennych obaśnaących. W tym przypadku hpoteza zerowa zakładała, że wszystke parametry modelu oprócz progów są równe zero. e 1+
The Wroclaw School of Bankng Research Journal I ISSN 1643-7772 I eissn 2392-1153 I Vol. 15 I No. 5 Wynk badana W dalsze częśc artykułu zbadano zależność pomędzy wybranym zmennym obaśnaącym, których zestawene zawera tabela 3, a zmenną obaśnaną opartą na ocene stwerdzena Ogólne estem zadowolony z zaęć. Wartośc przymowane przez tę zmenną zostały zawarte w tabel 2. Doboru zmennych obaśnaących do modelu dokonano na podstawe przeglądu lteratury był on uzależnony od danych udostępnonych autorce. Ze względu na sposób, w ak były sformułowane ocenane przez studentów stwerdzena, wyższa ocena (czyl m bardze studenc zgadzal sę z danym stwerdzenem) oznaczała, że dane zaęca były w sense pozytywnym wyże ocenane. Zmenne o numerach 1 2 zostały stworzone arbtralne przez autorkę artykułu. Dla zmenne 1 badane zaęca podzelono na dwe grupy: na przedmoty, w których używa sę wzorów dokonue oblczeń, nazywaąc tę grupę przedmotów przedmotam ścsłym, oraz na grupę przedmotów, w których wzory oblczena poawaą sę sporadyczne, nazywaąc e przedmotam humanstycznym. W przypadku zmenne o numerze 2 dokonano arbtralnego podzału ocenanych przedmotów na dwe grupy, w zależnośc od tego, czy są to przedmoty ogólne, take ak na przykład matematyka, psychologa, socologa makroekonoma, czy zwązane z konkretnym kerunkem studów. Do druge grupy zalczono równeż przedmoty do wyboru, semnara dyplomowe magsterske oraz lektorat ęzyka angelskego, zakładaąc, że przedmoty te pownny ceszyć sę wększym uznanem studentów ako te, które w przyszłośc według nch mogą m sę przydać w pracy zawodowe. I tak na przykład fnanse przedsęborstw dla kerunku Fnanse rachunkowość zalczono do perwsze grupy, a dla kerunku Zarządzane do druge grupy przedmotów. Charakterystyk lczbowe dotyczące poszczególnych zmennych przedstawa tabela 4. Tabela 3. Zmenne obaśnaące wykorzystane w modelu Nr Nazwa zmenne Sposób pomaru zmenne 1 Specyfka przedmotu I 1 przedmot ścsły, 2 przedmot humanstyczny 2 Specyfka przedmotu II 1 przedmot ogólny, 2 przedmot kerunkowy 3 Zaęca były prowadzone zgodne z programem. Wartośc zmennych są lczbam rzeczywstym 4 Wymagana dotyczące zaęć zalczena z przedzału 1 ; 5, będącym średnm arytmetycznym były asno sformułowane. z ocen wystawonych przez studentów dla danego 5 Zaęca prowadzone były w zrozumały sposób. przedmotu na skal od 1 (zdecydowane ne) do 5 6 Zaęca prowadzone były w nteresuący sposób. (zdecydowane tak). 7 Na tych zaęcach dużo sę dowedzałem. 8 Prowadzący traktował studentów z szacunkem. Źródło: opracowane własne na podstawe danych WSB Tabela 4. Charakterystyk lczbowe zmennych obaśnaących Nr zm. 3 Zaęca były prowadzone zgodne z programem. 4 Wymagana dotyczące zaęć zalczena były asno sformułowane. 5 Zaęca prowadzone były w zrozumały sposób. 6 Zaęca prowadzone były w nteresuący sposób. 7 Na tych zaęcach dużo sę dowedzałem. 8 Prowadzący traktował studentów z szacunkem. Średna ogółem Odchylene standardowe Średna dla przedmotów ścsłych Średna dla przedmotów humanstycznych Średna dla przedmotów ogólnych Średna dla przedmotów kerunkowych 4,547 0,395 4,506 4,558 4,497 4,584 4,462 0,481 4,363 4,491 4,392 4,515 4,369 0,559 4,159 4,432 4,308 4,416 4,266 0,610 4,060 4,331 4,188 4,326 4,257 0,567 4,078 4,313 4,184 4,313 4,672 0,368 4,623 4,687 4,659 4,682 Źródło: opracowane własne na podstawe danych WSB 720
Katarzyna Sokołowska czynnk wpływaące na ogólną ocenę zaęć przez studentów Tabela 5. Średna odchylene standardowe dla wybranych zmennych z podzałem na 3 wyróżnone grupy przedmotów. Nazwa zmenne Zaęca były prowadzone zgodne z programem. Wymagana dotyczące zaęć zalczena były asno sformułowane. Zaęca prowadzone były w zrozumały sposób. Zaęca prowadzone były w nteresuący sposób. Na tych zaęcach dużo sę dowedzałem. Prowadzący traktował studentów z szacunkem. Ogólne estem zadowolony z zaęć. Średna ścsły ogólny Odchylene standardowe Średna Przedmot meszany Odchylene standardowe kerunkowy humanstyczny Średna Odchylene standardowe 4,492 0,299 4,506 0,434 4,595 0,380 4,350 0,438 4,405 0,519 4,541 0,449 4,203 0,516 4,293 0,604 4,479 0,510 4,055 0,579 4,205 0,642 4,382 0,568 4,086 0,556 4,190 0,606 4,365 0,514 4,654 0,232 4,641 0,385 4,703 0,385 4,214 0,490 4,298 0,574 4,450 0,522 Źródło: opracowane własne na podstawe danych WSB Ze wszystkch elementów składaących sę na całoścową ocenę nauczycela akademckego nawyże ocenany przez anketowanych był stosunek wykładowcy do studenta (zm. 8) oraz organzaca zaęć (zm. 3 4). Nanże studenc ocenl sposób przekazywana wedzy przez nauczycel akademckch (zm. 5, 6 7) w tym zakrese należałoby rozważyć wprowadzene stosownych dzałań koryguących. Można też zauważyć, że średna ocena wystawana przedmotom ścsłym była nższa nż ocena wystawana przedmotom humanstycznym, nezależne od rozważane zmenne. Podobne przedmoty ogólne były ocenane nże nż kerunkowe. Były to ednak różnce w welkoścach dzesętnych, węc ak uż zauważono wcześne, pownno sę zachować ostrożność w nterpretac tego typu wynków. Pommo to wydae sę, że nałożene sę dwóch czynnków, a węc tego, że przedmot est ścsły, a ednocześne ogólny, może meć uż bardze znaczący wpływ na ogólną ocenę wystawaną wykładowcy. Aby to sprawdzć, wszystke zaęca podzelono na 3 grupy. Do grupy perwsze zalczono te przedmoty, które wcześne były sklasyfkowane ako ścsłe ogólne, do druge te, które były sklasyfkowane ako ścsłe kerunkowe lub humanstyczne ogólne, a do trzece przedmoty humanstyczne kerunkowe. W ostatnm werszu dołączono zmenną Ogólne estem zadowolony z zaęć, przed podzelenem e na kategore przedstawone w tabel 2. Jak można zauważyć, średna ocena przedmotu wzrasta wraz z prześcem od 1. do 3. grupy przedmotów. Nawększe różnce występuą dla zmenne Zaęca prowadzone były w nteresuący sposób, a zaraz potem dla zmennych Na tych zaęcach dużo sę dowedzałem Zaęca prowadzone były w zrozumały sposób. Jednak borąc pod uwagę odchylena standardowe, należy zachować ostrożność w ch nterpretowanu. Wprowadzony podzał spowodował, że średne oceny dla przedmotów ścsłych ogólnych stały sę neco wyższe nż dla wszystkch przedmotów ścsłych, poza tym w porównanu ze średną oblczoną osobno dla przedmotów kerunkowych przedmotów humanstycznych wzrosły równeż średne oceny dla przedmotów ednocześne kerunkowych humanstycznych. Jedynym średnm, które były mnesze, były średne dla przedmotów zakwalfkowanych równocześne ako ścsłe ogólne w porównanu ze średnm dla przedmotów ogólnych. Można zatem wnoskować, że eżel przedmot est ednocześne kerunkowy humanstyczny, to następue pozytywne połączene tych dwóch czynnków, co wpływa na wzrost średne oceny. Natomast sklasyfkowane przedmotu ako ścsły zanża ocenę przedmotów należących do grupy ogólnych. Na podstawe dokonanych analz zdecydowano sę na przedstawene dwóch model, ze względu na to, że dołączene do modelu zmennych od 3 8 powodowało, że zmenne 1 2 stawały sę nestotne, a wydae sę, że zależność mędzy tym zmennym a zmenną obaśnaną est 721
The Wroclaw School of Bankng Research Journal I ISSN 1643-7772 I eissn 2392-1153 I Vol. 15 I No. 5 Tabela 6. Wynk estymac modelu logtowego zmenne uporządkowane dla zmenne obaśnane będące oceną zadowolena z zaęć. Model 1 Model 2 Nazwa zmenne Ocena Błąd stand. Nazwa zmenne Ocena Błąd stand. W.wolny 1-4,936*** 0,5024 W.wolny 1-29,872*** 2,7317 W.wolny 2-4,371*** 0,3813 W.wolny 2-36,696*** 2,9906 W.wolny 3-3,299*** 0,2295 W.wolny 3-44,919*** 3,3748 W.wolny 4-2,517*** 0,1631 W.wolny 4-49,159*** 3,5959 W.wolny 5-1,227*** 0,1057 W.wolny 5-55,991*** 3,9939 W.wolny 6 0,420*** 0,0936 W.wolny 6-62,863*** 4,4006 1. Specyfka przedmotu I (przedmot ścsły) 2. Specyfka przedmotu II (przedmot ogólny) 0,377*** 0,0876 0,155** 0,0755 4. Wymagana dotyczące zaęć zalczena były asno sformułowane 5. Zaęca prowadzone były w zrozumały sposób 6. Zaęca prowadzone były w nteresuący sposób 7. Na tych zaęcach dużo sę dowedzałem 8. Prowadzący traktował studentów z szacunkem N 1802 N 1802 LR 27,32516 LR 942,90243 p-value 0,000 p-value 0,000 R2Mcfaddena 0,01699 R2Mcfaddena 0,58712 * 0.05 p < 0.1;* * 0.01 p < 0.005* * * p <0.01 1,331*** 0,4491 3,833*** 0,6493 1,909*** 0,5478 4,551*** 0,5718 2,246*** 0,5883 Źródło: Oblczena własne z wykorzystanem programu STATISTICA 8.0 na podstawe danych WSB warta omówena. Szacunk parametrów otrzymanych model przedstawono w tabel 6. Test lorazu warygodnośc dla otrzymanych model pozwolł w obu przypadkach na odrzucene hpotezy zerowe o łączne nestotnośc wszystkch zmennych obaśnaących na pozome p=0,0000. Wartość skorygowanego współczynnka pseudo-r2 McFaddena dla modelu z 2 zmennym obaśnaącym wynosła 0,01699, a dla modelu z 5 zmennym obaśnaącym 0,58712, a węc model drug est dużo lepe dopasowany do danych emprycznych użytych w ego estymac. Dla obu model parametry statystyczne stotne różną sę od zera. Na podstawe ocen parametrów model można stwerdzć, że na ogólną ocenę zadowolena z zaęć przez studenta wpływ maą następuące czynnk: Jest to przede wszystkm wedza przekazywana na zaęcach studentom (zm. 7) oraz sposób e przekazana, ale bardze chodz tu o umeętność zrozumałego (zm. 5) nż nteresuącego (zm. 6) przekazu. Wększy nż w przypadku ostatnego z wymenonych czynnków wpływ na ogólną ocenę ma dla studentów to, że prowadzący zaęca traktue ch z szacunkem. Nanższy wpływ ma zaś to, że wymagana dotyczące zaęć zalczena są asno sformułowane (zm. 4). Wszystke omówone stwerdzena dotyczące oceny zaęć były pozytywne skorelowane z ogólną oceną zadowolena z zaęć wszystke parametry stoące przy zmennych odpowadaących tym pytanom były stotne statystyczne na pozome p<0,01. Jeśl chodz o stwerdzena przedstawone studentom, to edynym czynnkem, który okazał sę statystyczne nestotny został wykluczony z modelu, było Zaęca były prowadzone zgodne z programem (zm.3). To, że ocenane zaęca należały do grupy przedmotów humanstycznych, zwększało 722
Katarzyna Sokołowska czynnk wpływaące na ogólną ocenę zaęć przez studentów prawdopodobeństwo uzyskana wyższe ogólne oceny (zm. 1), podobne prawdopodobeństwo to było wyższe dla zaęć z przedmotów kerunkowych w porównanu z przedmotam ogólnym (zm. 2). Jednak wększy wpływ na ogólną ocenę zaęć ma rozróżnene, czy przedmot est ścsły czy humanstyczny, nż to, że est ogólny czy kerunkowy. Model 2 uzyskał zdecydowane wyższy skorygowany współczynnk pseudo-r2 McFaddena nż model 1, co oznacza, że czynnk charakteryzuące kurs, take ak rodza kursu (ścsły/humanstyczny, ogólny/kerunkowy) maą ednak newelk, choć stotny statystyczne wpływ na ogólną ocenę kursu w porównanu z czynnkam, które są merzone za pomocą narzędza wykorzystywanego przez WSB. Oznacza to także, że staą sę one nestotne w przypadku wzęca pod uwagę wyże wymenonych czynnków. Podobne wynk uzyskano w Dalton, H. & Denson, N. (2009), gdze ndywdualne cechy kursu (take ak powód ego wyboru, charakterystyk studenta) mały nsk lub nestotny wpływ na zmenną obaśnaną, natomast nawększy procent e warac (67%) wyaśnały zadawane studentom pytana dotyczące sposobu prowadzena kursu. Umeętność skutecznego komunkowana sę od dawna przyęta est ako standard efektywnego nauczana. Uzyskane wynk sugeruą, że zdolność ta est podstawą pozytywnego postrzegana wykładowcy przez studentów. Okazało sę równeż, że nawększy wpływ na ocenę wystawaną przez studentów ma stosunek do studentów, a ne przestrzegane wymagań formalnych, takch ak zgodność zaęć z programem czy asne sformułowane wymagań dotyczących zaęć zalczena, choć ta kwesta ne była całkem bez znaczena. Autorka sprawdzła równeż, czy na ogólne zadowolene ma wpływ forma zaęć, ednak czynnk ten okazał sę nestotny statystyczne. Jeśl chodz o lczbę osób obecnych na zaęcach, to ze względu na to, że w przypadku nnych nż wykład form zaęć lczby osób z klku grup były sumowane, gdy zaęca prowadzł eden wykładowca, ne było możlwe zbadane tego wpływu. Interesuącym byłoby sprawdzene, czy uzyskane wynk różną sę w zależnośc od tego, z ake uczeln pochodzą studenc, np. czy studenc kerunków poltechncznych lub uczeln państwowych borą pod uwagę nne czynnk przy wystawanu ogólne oceny zaęcom? Dodatkowych nformac mogłoby też dostarczyć połączene oceny uzyskane z danego przedmotu z oceną wystawoną nauczycelow przez studenta. Można by to zrobć albo dołączaąc pytane o taką ocenę, albo łącząc bazy danych w przypadku wypełnana przez studentów ankety w forme elektronczne. Cekawym byłoby też sprawdzene, czy semestr, na którym odbywaą sę zaęca, ma wpływ na ocenę wystawaną przez studentów, czy faktyczne est tak, że studenc wyższych lat ocenaą wykładowcę łagodne. Zakończene Z uzyskanych ocen wynka, że należy położyć szczególny nacsk na poprawę usprawnene sposobu komunkowana sę nauczycel akademckch ze studentam w trakce prowadzena zaęć dydaktycznych. Jest to bowem czynnk, który był nanże ocenany przez studentów, a ednocześne ego wpływ na ogólną ocenę zaęć był nawększy. Wydae sę, że do wzrostu prześwadczena studenta o tym, że dużo dowedzał sę na danych zaęcach, mogłoby przyczynć sę wększe moblzowane studentów do samodzelnego myślena nsprowane ch do wększe aktywnośc ntelektualne. Wskazane byłoby prowadzene zaęć dydaktycznych w sposób zachęcaący studentów do brana w nch czynnego udzału ułatwaący m opanowane treśc przewdzanych w programe. Zauważono, że otrzymywane przez nauczycel nformac zwrotnych w postac ocen studentów poprawa akość nauczana, zwłaszcza gdy est połączone z konsultacam ekspertów zamuących sę kształcenem umeętnośc nauczana (Marsh Roche, 1993; McKeache, 1997). Wększość badań est zgodnych co do kwest warygodnośc tego typu ewaluac. Wydae sę, że głównym zadanem pozostae obecne to, aby regularne dokonywać przeglądów nstrumentów pomarowych kształtować e tak, aby odpowadały potrzebom celom dane nstytuc, a ednocześne uwzględnały aktualne wynk badań w te dzedzne (Gravestock, Gregor- Greenleaf, 2008). Właścwe przeprowadzona ewaluaca może dostarczyć uczelnom nformac na temat tego, w ak sposób prowadzć dzałalność, aby skupać sę ne tylko na kreowanu wedzy umeętnośc, ale przede wszystkm na samym nauczanu pomaganu studentom w zdobywanu wedzy. Student est obecne uznawany za głównego nteresarusza każde uczeln, a węc ważne est, aby ego potrzeby zostały zaspokoone w ak nawyższym stopnu. Należy ednak pamętać o tym, aby uzyskanych ocen ne wykorzystywać w sposób krzywdzący dla nauczycel, a węc ne nterpretować newelkch różnc rzędu ednego mesca po przecnku, 723
The Wroclaw School of Bankng Research Journal I ISSN 1643-7772 I eissn 2392-1153 I Vol. 15 I No. 5 gdyż stnee szereg czynnków nezależnych od prowadzącego zaęca, które rozpatrywane poedynczo maą newelk lub nestotny wpływ na ocenę zaęć, ednak skumulowane sę ch może spowodować, że powstane różnca w ocene o wspomnane welkośc. Bblografa Abram P.C. (2001), Improvng udgments about teachng effectveness usng teacher ratng forms. In M. Theall, P.C. Abram, and L.A. Mets (Eds.). The student ratngs debate: Are they vald? How can we best use them? [Specal ssue]. New Drectons for Insttutonal Research 109, 59 87. Aleamon L., & Hexner P. (1980), A revew of the research on student evaluatons. Instructonal Scence, 9, 67 84. Algozzne B., Beatte J., Bray M., Flowers C., Gretes J., Howley L., Mohanty G., & Spooner F. (2004), Student evaluaton of college teachng: A practce n search of prncples. College Teachng, 52(4), 134 141. Arreola R.A. (2007), Developng a comprehensve faculty evaluaton system (3rd ed.) Bolton, MA: Anker. Beran T., Volato C., & Klne D. (2007), What s the use of student ratngs of nstructon for admnstrators? One unversty s experence. Canadan Journal of Hgher Educaton, 17(1), 27 43. Beran T., Volato C., Klne D. & Frderes J. (2005), The utlty of student ratngs of nstructon for students, faculty, and admnstrators: A consequental valdty study. Canadan Journal of Hgher Educaton, 35(2), 49 70. Bolton, MA: Anker. Marsh, H.W. (1997), The measurement of physcal self-concept: A construct valdaton approach. In K. Fox (Ed.), The physcal self: From motvaton to well-beng (pp. 27 58). Champagn, IL: Human Knetcs. Cashn W. (1990), Students do rate dfferent academc felds dfferently. In M. Theall & J. Frankln (Eds.) Student ratngs of nstructon: Issues for mprovng practce, pp. 113 121. San Francsco: Jossey-Bass. Cashn W. (1995), Student ratngs of teachng: The research revsted (IDEA Paper No. 32). Manhattan, KS: Kansas State Unversty Center for Faculty Evaluaton and Development. Cashn W. E. (1988), Student ratngs of teachng: A summary of the research (IDEA Paper No. 20). 724 Manhattan, KS: Kansas State Unversty Center for Faculty Evaluaton and Development. Coren S. (2001), Are course evaluatons a threat to academc freedom? In S.E. Kahn & D. Pavlch (Eds.), Academc Freedom and the Inclusve Unversty (pp. 104 117). Vancouver: Unversty of Brtsh Columba Press. Cramer J. S. (2001), An ntroducton to the logt model for economsts (wyd. 2), Tmberlake Consultants, London. Cramer J. S. (2003), Logt models from economcs and other felds, Cambrdge Unversty Press, Cambrdge. Crumbley, L., Henry B., Kratchman S. (2001), Students perceptons of the evaluaton of college teachng. Qualty Assurance n Educaton, 9(4), 197 207. Dalton H. & Denson, N. (2009), Student evaluaton: what predcts satsfacton?, n The Student Experence, Proceedngs of the 32nd HERDSA Annual Conference, Darwn, 6 9 July 2009: pp. 100 110. Davdovtch N. & Soen D. (2006), Class attendance and students evaluaton of ther college nstructors. College Student Journal, 40(3), 691 703. Ellott A. C. & Woodward W. A. (2007), Statstcal analyss quck reference gudebook. Wth SPSS examples. Sage Publcatons, p. 40 Feldman K.A. (1984), Class sze and college students evaluatons of teachers and courses: A closer look. Research n Hgher Educaton, 21, 45 116. Frey P., Leonard D., & Beatty W. (1975), Student ratngs of nstructon: Valdaton research. Amercan Educatonal Research Journal, 12, 435 447. Gravestock P. & Gregor-Greenleaf E. (2008), Student Course Evaluatons: Research, Models and Trends. Toronto: Hgher Educaton Qualty Councl of Ontaro. Greene W. H. (2003). Econometrc Analyss, Prentce Hall, Upper Saddle Rver.
Katarzyna Sokołowska czynnk wpływaące na ogólną ocenę zaęć przez studentów Greene W. H., Hensher, D.A. (2009), Modelng Ordered Choces, Gruszczyńsk M. (red.) (2010), Mkroekonometra. Modele metody analzy danych ndywdualnych. Ofcyna Wolters Kluwer busness, Warszawa. Gruszczyńsk M. (2001), Modele prognozy zmennych akoścowych w fnansach bankowośc, SGH, Warszawa. Heckert T.M., Later A., Rngwald-Burton A. & Drazen C. (2006), Relatons among student effort, perceved class dffculty approprateness, and student evaluatons of teachng: Is t possble to buy better evaluatons through lenent gradng? College Student Journal, 40(3), 588 596. Katlūtė E. (2010), Students percepton of the qualty of studes: dfferences between the students accordng to ther academc performance, economcs and management: 2010. 15, ssn 1822 6515 Koh C. & Tan T. (1997), Emprcal nvestgaton of the factors affectng SET results. Internatonal Journal of Educatonal Management, 11, 170 178. Marsh H.W. (1987), Students= evaluatons of unversty teachng: Research fndngs, methodologcal ssues, and drectons for future research. Internatonal Journal of Educatonal Research, 11(3), 253 388. Marsh H.W. & Dunkn M. (1992), Students evaluatons of unversty teachng: A multdmensonal perspectve. In J.C. Smart (Ed) Hgher educaton: Handbook of theory and research, 8, 143 233. Marsh H.W., & Roche L.A. (1993), The use of students evaluatons and an ndvdually structured nterventon to enhance unversty teachng effectveness. Amercan Educatonal Research Journal, 31(1), 217 251. Marsh H.W., & Roche L.A. (1997, November). Makng students evaluatons of teachng effectveness effectve: The crtcal ssues of valdty, bas and utlty. Amercan Psychologst, 52(11), 1187 1197 McKeache W. J. (1997), Student ratngs: The valdty of use. Amercan Psychologst, 52(11), 1218 1225. Nasser F., & Hagtvet K.A. (2006), Multlevel analyss of the effects of student and nstructor/course characterstcs on student ratngs. Research n Hgher Educaton, 47(5), 559 590. Neumann R. (2001), Dscplnary dfferences and unversty teachng. Studes n Hgher Educaton, 26(2), 135 146. Ory J.C. (2001), Faculty thoughts and concerns about student ratngs. In K.G. Lews (Ed.), Technques and strateges for nterpretng student evaluatons [Specal ssue]. New Drectons for Teachng and Learnng, 87, 3 15. Pounder J. (2007), Is student evaluaton of teachng worthwhle? An analytcal framework for answerng the queston. Qualty Assurance n Educaton, 15, 178 191. Scrven M. (1981), Evaluaton thesaurus (3rd ed.). Pt. Reyes, CA: Edgepress. Shevln M., Banyard P., Daves M. & Grffths M., (2000). The Valdty of Student Evaluaton of Teachng n Hgher Educaton: Love me, love my lectures?, Assessment & Evaluaton n Hgher Educaton, Vol 25:4, pp: 397 405. Theall M., & Frankln J. (2001). Lookng for bas n all the wrong places: A search for truth or a wtch hunt n student ratngs of nstructon? In M. Theall, P.C Abram, & L.A. Mets (Eds.), The student ratngs debate: Are they vald? How can we best use them? [Specal ssue]. New Drectons for Insttutonal Research, 109, 45 56. Wachtel H.K. (1998). Student evaluaton of college teachng effectveness: A bref revew. Assessment and Evaluaton n Hgher Educaton, 23, 191 212. Wllams W. M., and Cec S. J. (1997). How m I Dong? Problems wth Student Ratngs of Instructors and Courses. Change, 29(5), 13 23. Wrght R.E. (2006). Student evaluatons of faculty: Concerns rased n the lterature, and possble solutons. College Student Journal, 40(2), 417 422. 725
The Wroclaw School of Bankng Research Journal I ISSN 1643-7772 I eissn 2392-1153 I Vol. 15 I No. 5 FACTORS AFFECTING THE STUDENTS OVERALL EVALUATION OF COURSES Abstract The man goal of ths paper s to examne the factors that affect the overall evaluaton of courses by students. The data used n the study comes from a survey: Evaluaton of the course n the Schools of Bankng n the wnter semester of the academc year 2012/2013, whch evaluated 1802 classes. Logstc regresson model was used n the paper to dentfy factors affectng the overall evaluaton of the course. The paper also ncludes a revew of Englsh-language artcles on the evaluaton of classes and the results obtaned n them. Keywords: evaluaton of the course, logstc regresson model 726