Stefan Doroszewicz Szkoła Główna Handlowa w Warszawie METODYKA KONSTRUOWANIA KWESTIONARIUSZA DO POMIARU JAKOŚCI FUNKCJONALNEJ ZAJĘĆ DYDAKTYCZNYCH POSTRZEGANYCH PRZEZ STUDENTÓW Wprowadzenie Do standardowych zachowań współczesnej organizacji należą: korekta działań odbiegających od założeń, zapobieganie występowaniu zidentyfikowanych zaburzeń jej działalności i ciągłe doskonalenie jakości swoich procesów, zasobów i relacji z otoczeniem. Przesłanką dla takich zachowań są wyniki badań i analiz procesów wewnętrznych i oddziaływań organizacji z otoczeniem. Jednym z kluczowych sygnałów o charakterze zwrotnej informacji, określających skuteczność, a pośrednio efektywność organizacji jest opinia klientów o rezultatach jej działalności wyrobach lub usługach. Jednak pod warunkiem, że metodyka pozyskiwania i analizy opinii klientów pozwala na uzyskiwanie trafnych, rzetelnych przesłanek dla działań korygujących, prewencyjnych i doskonalących oraz że takie działania będą skutecznie podejmowane. Uczelnię wyższą, wydaje się, można traktować jak organizację, która m.in. świadczy swoim studentom usługi dydaktyczne rezultatem jej działalności jest również produkt dostarczany klientom. W planach swoich działań statutowych i rozwoju uczelnia powinna zatem uwzględniać badania i analizę opinii studentów o zajęciach dydaktycznych, które im oferuje. Jak się wydaje, pozyskiwanie i analizę wiarygodnej informacji o tym, co sądzą słuchacze o prowadzonym wykładzie, a w szczególności o tym, jak wykład jest realizowany (niezależnie od przekazywanych treści merytorycznych), można uznać za technologię wspierającą nauczyciela w przekazie wiedzy. Jeżeli wykład akademicki potraktować jako usługę, którą pośrednio uczelnia, a bezpośrednio nauczyciel akademicki świadczy studentom, wówczas zgodnie z modelem Gummessona 1 można w niej wyodrębnić dwie domeny: techniczną (merytoryczną) i funkcjonalną. Charakterystyka wymiarowa domeny technicznej wykładu, określająca treść merytoryczną wykładanego problemu z natury rzeczy nie może być oceniana przez słuchaczy. Charakterystyka wymiarowa, a w konsekwencji jakość domeny funkcjonalnej wykładu ocena tego, jak wykład jest prowadzony, wydaje się być w zasięgu schematów poznawczych studentów (szczególnie już zaawansowanych w studiowaniu), a także badania - zarówno struktury wymiarowej domeny funkcjonalnej wykładu postrzeganego przez studentów, jak i jego jakości funkcjonalnej mogą wspierać technologię przekazywania wiedzy studentom. Przeważająca większość uczelni wykonuje pomiary opinii studentów o poszczególnych wykładach, szczególnie w sytuacji, gdy jest to warunek konieczny uzyskania akredytacji lub certyfikatu systemu 1 K. Rogoziński, Nowy marketing usług, Wyd. AE Poznań, Poznań 1998, s. 205-207. 1
zarządzania jakością zgodnego z normą ISO 9001:2000 2. Nasuwają się tu jednak wątpliwości związane z definicją przedmiotu badań, ze stosowaną metodyką, trafnością i rzetelnością stosowanych narzędzi pomiarowych. Celem pracy jest sformułowanie założeń postępowania badawczego umożliwiającego opracowanie narzędzia do pomiaru charakterystyki wymiarowej i jakości domeny funkcjonalnej zajęć dydaktycznych postrzeganych przez studentów, a w konsekwencji przedstawienie szczególnej postaci kwestionariusza do pomiarów jakości wykładu akademickiego wyniku zastosowania tego postępowania w odniesieniu do próby populacji studentów Studiów Dziennych Szkoły Głównej Handlowej. Założenia pracy Przedmiotem przedstawianej pracy jest projekt postępowania badawczego, zorientowanego na formułowanie charakterystyki wymiarowej i jakości funkcjonalnej zajęć dydaktycznych prowadzonych w wyższej uczelni, postrzeganych przez studentów Studiów Dziennych. Proponowane postępowanie oparte jest na następujących, ogólnych założeniach: obiekt badań forma dydaktyczna jest traktowany jako usługa świadczona studentom przez nauczyciela akademickiego, przedmiotami badań są: charakterystyka wymiarowa i jakość funkcjonalna wybranej formy dydaktycznej, w szczególnym przypadku wykładu akademickiego, postrzegane przez studentów, charakterystyka wymiarowa obiektu badań jest wyznaczana zgodnie z metodyką SERVPERF 3, wyniki zastosowania proponowanego postępowania kwestionariusz ankietowy i model jakości funkcjonalnej są specyficzne dla danej formy zajęć dydaktycznych, kwestionariusz ankietowy sformułowany na podstawie proponowanego postępowania może być w określonym przedziale czasu historycznego uznany za uniwersalne narzędzie badawcze, możliwe do zastosowania w każdej uczelni; zmienność schematów poznawczych studentów w czasie wiąże się z powtarzaniem niżej przedstawionego postępowania w celu aktualizacji charakterystyki wymiarowej i modelu jakości funkcjonalnej, model jakości funkcjonalnej rozważanej formy zajęć postrzeganych przez studentów studiów dziennych jest algorytmem specyficznym, dostosowanym do takiego trybu zajęć i konkretnej uczelni. Postępowanie badawcze procedura formułowania charakterystyki wymiarowej i wyznaczania jakości funkcjonalnej danej formy zajęć dydaktycznych, postrzeganych przez studentów Dla ustalenia charakterystyki wymiarowej i jakości funkcjonalnej wybranej formy zajęć dydaktycznych postrzeganych przez studentów danej uczelni opracowano procedurę badawczą przedstawioną niżej na rys. 1. Na potrzeby związane z prezentacją wyników działania tego postępowania za obiekt badań przyjęto tu wykład akademicki wygłaszany studentom Studiów Dziennych. 2 PN-EN ISO 9000:2001, Systemy zarządzania jakością. Podstawy i terminologia, PKN, Warszawa 2001. 3 J.J. Cronin Jr., S.A. Taylor, Measuring Service Quality: A Reexamination and Extension, Journal of Marketing 1992, vol. 56. 2
Rysunek 1. Schemat postępowania badawczego formułowania charakterystyki wymiarowej i wyznaczania jakości funkcjonalnej wybranej formy zajęć dydaktycznych postrzeganych przez studentów Studiów Dziennych Grupy focusowe studentów studiów dziennych starszych lat 1. Formułowanie listy cech pierwotnych wykładu i odpowiadających im stwierdzeń Technika: burza mózgów Lista twierdzeń 2. Formułowanie kwestionariusza ankietowego do pomiaru cech pierwotnych Technika: siedmiopozycyjna skala typu Likerta Kwestionariusz Próba n 1> 30 populacji studentów studiów dziennych starszych lat Wybrany wykład traktowany jako prototyp obiektu badań pilotażowych 3. Pilotażowe badania ankietowe Technika: ankieta audytoryjna Wyniki surowe 4. Analiza opinii respondentów, mocy dyskryminacyjnej stwierdzeń i rzetelności kwestionariusza Technika: testy t i - Cronbacha Próba n 2 =200 studentów studiów dziennych starszych Wybrany wykład traktowany jako prototyp obiektu badań właściwych Skorygowany kwestionariusz 5. Badania ankietowe właściwe Technika: ankieta audytoryjna Wyniki surowe 6. Agregacja cech pierwotnych; czynniki 3 Technika: eksploracyjna analiza głównych składowych
Charakterystyka wymiarowa wykładu 7. Formułowanie kwestionariusza ankietowego do pomiaru wag czynników Technika: skala porządkowa Kwestionariusz wag Próba n 3 =70 100 studentów studiów dziennych starszych lat 8. Badania ankietowe wag czynników Technika: ankieta audytoryjna Wagi czynników i model jakości funkcjonalnej 9. Formułowanie kwestionariusza ankietowego do pomiaru jakości wykładu Technika: szacunkowe skale graficzne Źródło: opracowanie własne W postępowaniu schematycznie przedstawionym na rysunku 1 celem pierwszego etapu jest formułowanie listy cech opisujących daną formę dydaktyczną (tu wykład), deklarowanych przez studentów. Punktem wyjściowym może tu być kwestionariusz SERVQUAL 4 i jego 22 twierdzenia, określające pięć wymiarów modelowej charakterystyki dowolnej usługi: solidność, pewność, zdolność reagowania, empatię i materialność. Ostateczna postać listy cech pierwotnych rozważanego obiektu powinna być sformułowana na podstawie wywiadów przeprowadzonych wśród doświadczonych studentów określonego trybu studiów. Celem drugiego etapu postępowania jest kwestionariusz do pomiarów postaw studentów wobec poszczególnych cech pierwotnych. Poszczególne pozycje tego kwestionariusza mają postać stwierdzeń wyrażających intencje odpowiadających im cech pierwotnych. Postawy wobec tych twierdzeń są oceniana przy pomocy siedmiostopniowej skali Likerta 5. 4 A. Parasuraman, V.A. Zeithaml, L.L. Berry, SERVQUAL: A Multiple_Item Scale for Measuring Perceptions of Service Quality, Journal of Retailing 1988, vol. 64, no 1. 5 S. Kaczmarczyk, Badania marketingowe. Metody i techniki, PWE, Warszawa 1995, s. 165-168. 4
Celem etapów postępowania: trzeciego i czwartego jest pilotaż tego narzędzia, zorientowany na badanie komunikatywności oraz mocy dyskryminacyjnej i rzetelności poszczególnych jego pozycji, a także ogólnej rzetelności kwestionariusza. Zaleca się, aby badanie było przeprowadzone na próbie n 1 > 30 studentów w trakcie lub bezpośrednio po realizacji wybranego zajęcia (dostępny prototyp obiektu). Efektem pilotażu jest skorygowany kwestionariusz. Celem piątego etapu są tzw. właściwe badania badania postaw studentów wobec pozycji skorygowanego kwestionariusza. Liczebność próby populacji studentów powinna tu spełniać warunek n 2 = 150 200 osób 6. W szóstym etapie postępowania wykonywana jest agregacja cech pierwotnych. Ze względu na postać arbitralnie przyjmowanego modelu jakości wielomianu pierwszego stopnia metodą agregacji na ogół jest tu eksploracyjna analiza głównych składowych z rotacją czynników wykonywaną metodą Varimax norm. Wynikiem interpretacji struktury wyodrębnionych czynników jest charakterystyka wymiarowa rozważanego obiektu postrzeganego przez studentów jeden z dwóch głównych efektów proponowanego postępowania. Celem siódmego etapu postępowania jest formułowanie kwestionariusza do pomiaru wag poszczególnych wymiarów sformułowanego, zagregowanego opisu obiektu. Dla potrzeb związanych z przedstawionym niżej studium przypadku omawiany kwestionariusz wyposażono w skale porządkowe, polecając respondentom utworzenie relacji porządkującej ich postawy wobec poszczególnych wymiarów charakterystyki. Zaleca się, aby wagi i wymiarów były normalizowane zgodnie z równaniem Σ i =1. W ósmym etapie, przy pomocy opracowanego kwestionariusza prowadzone są badania postaw doświadczonych studentów wobec wag poszczególnych wymiarów opisu obiektu. Efektem tych badań i analizy uzyskanych wyników jest model jakości funkcjonalnej rozważanego obiektu, postrzeganego przez studentów. Model ma postać wielomianu gdzie Q jakość kompleksowa, q i jakość cząstkowa wymiaru i postrzegane przez studentów, k liczba cech charakterystyki wymiarowej obiektu. Wyznaczone wagi stanowią również przesłankę dla uproszczenia charakterystyki wymiarowej określonej wcześniej (z opisu można wykluczyć wymiary z pomijalnie małymi wagami, upraszczając tym samym charakterystykę wymiarową obiektu i kwestionariusz do pomiaru jakości funkcjonalnej wybranych zajęć). Na podstawie wyników uzyskanych w ósmym etapie, w ostatnim kroku proponowanego postępowania, formułowany jest kwestionariusz do pomiaru opinii studentów na temat tego, jak są prowadzone badane zajęcia. Q = α k i q i i, 6 M. Zakrzewska, Analiza czynnikowa w budowaniu i sprawdzaniu modeli psychologicznych, Wyd. Nauk. UAM, Poznań 1994, s.56-58. 5
W wyniku zastosowania przedstawionego postępowania i ostatnio wymienionego kwestionariusza uzyskuje się następujące informacje artykułowane głosem studenta i badane narzędziem formułowanym na podstawie postaw studentów: właściwości zajęcia dydaktycznego określone na podstawie postrzegania studentów wymiary, na których ci ostatni w rzeczywistości oceniają ten obiekt, hierarchię ważności wymiarów obiektu postrzeganych przez studentów, deklarowaną przez nich, cząstkowe jakości funkcjonalne q i zajęcia dydaktycznego ocenione przez studentów, jakość kompleksową Q obiektu ocenioną przez studentów. Wymienione informacje, a w konsekwencji proponowane postępowanie, jak się wydaje, w oczywisty sposób wspierają proces kształcenia dzięki temu, że są określane przy pomocy narzędzia pomiarowego dostosowanego do percepcji studentów. Studium przypadku Postępowanie przedstawione na rys. 1 zastosowano do badań charakterystyki wymiarowej i jakości funkcjonalnej wykładu akademickiego postrzeganego przez studentów III i IV roku studiów dziennych Szkoły Głównej Handlowej 7. W wyniku badań przeprowadzonych w trakcie czterech pierwszych etapów sformułowano listę 47 cech pierwotnych i odpowiadających im stwierdzeń. Rezultatem dwóch następnych etapów postępowania była charakterystyka wymiarowa wykładu akademickiego, określona przez 12 następujących czynników: 1. Dbałość wykładowcy o zachowanie ciągłości i formy wykładu, 2. Fizyczne warunki panujące w sali podczas wykładu, 3. Sumienność wykładowcy związana z zapewnieniem odpowiednich warunków odbioru wykładu, 4. Umiejętność wykorzystywania środków audiowizualnych przez wykładowcę, 5. Umiejętność nawiązywania i podtrzymywania kontaktu ze studentami przez wykładowcę podczas wykładu, 6. Umiejętność wykładowcy gospodarowania czasem podczas wykładu (timing), 7. Umiejętność logicznego i uporządkowanego prowadzenia wykładu przez wykładowcę, 8. Poważne traktowanie studentów przez wykładowcę, 9. Umiejętność wykładowcy prowadzenia wykładu w sposób interesujący i z zaangażowaniem, 10. Dobre przygotowanie się wykładowcy do prowadzenia wykładu, 11. Umiejętność wykładowcy organizowania informacji o literaturze wspomagającej wykład, 12. Troska wykładowcy o to, aby wykład był zrozumiały. W etapach: siódmym i ósmym zastosowanego postępowania określono wagi dwunastu wyodrębnionych czynników i wielomianowy model jakości funkcjonalnej wykładu postrzeganego przez studentów studiówdziennych SGH: 7 S. Doroszewicz, A. Kobylińska, Jakość wykładu akademickiego postrzeganego przez studentów, [w:] Jerzy Żuchowski (red.), Towaroznawstwo wobec integracji z Unią Europejską, Wyd. Instytutu Technologii Eksploatacji, Radom 2004, s. 186-193 oraz Model jakości wykładu akademickiego postrzeganego przez studentów, etap II, Międzykolegialna praca badawcza, pod kierunkiem Stefana Doroszewicza, Szkoła Główna Handlowa, Warszawa 2004. 6
Q = 0,26q 7 + 0,26q 9 + 0,18q 12 +0,07q 10 + 0,04q 3 + 0,04q 1 + 0,01q 2 + 0,01q 4 + 0,01q 5 + 0,01q 6 + 0,01q 8 + 0,01q 11, gdzie q i=1,12 cząstkowe jakości funkcjonalne oznaczone zgodnie z następstwem zastosowanym w wypadku wyżej przedstawionej listy wymiarów wykładu. W wyniku badań przeprowadzonych zgodnie z proponowanym postępowaniem uzyskano ważoną charakterystykę wymiarową wykładu akademickiego, nawiązującą do schematów poznawczych studentów studiów dziennych SGH, wykorzystywanych przez tych ostatnich w ocenianiu rozważanego obiektu. Uzyskaną charakterystykę wykładu, biorąc pod uwagę trzy podzbiory wymiarów: ważnych (cechy 7, 9, i 12), średnio ważnych (cechy 1, 3, i 10) oraz mało ważnych (cechy 2, 4, 5, 6, 8, i 11), jak się wydaje, można schematycznie przedstawić przy pomocy trójpoziomowej struktury, jak na rys. 2. Rys. 2. Schemat trójpoziomowej struktury ważonej charakterystyki wymiarowej (jakości funkcjonalnej) wykładu 8 C B A A rdzeń usługi domena wymiarów najważniejszych, interpretowana jako umiejętność wykładowcy przekazywania wiedzy w sposób zorganizowany i wzbudzający zainteresowanie studentów B domena wymiarów średnio ważnych, interpretowana jako umiejętność budowania relacji nauczyciel-student przez wykładowcę C domena wymiarów mało ważnych, interpretowana jako umiejętność wykładowcy wzbogacania wykładu środkami technicznymi, mową ciała, dbałość o formę wykładu Wyniki przedstawionego studium przypadku charakterystyka wymiarowa i model jakości funkcjonalnej, jak się wydaje, z jednej strony (dwunastowymiarowa charakterystyka) można potraktować jako uniwersalne i tym samym możliwe do wykorzystania w różnych uczelniach do budowy kwestionariusza (etap 9 postępowania na rys. 1), z drugiej (struktura wag) jako specyficzne dla studiów dziennych w SGH. Pomiary jakości funkcjonalnej wykładów akademickich realizowanych w innych uczelniach powinny być poprzedzone wykonaniem etapów 7 i 8 proponowanego postępowania na próbie populacji studentów danej uczelni. 7