Liczby w ewaluacji są ważne lecz nie zawsze mówią o wszystkim

Transkrypt

1 dr hab. Toni A. Sondergeld dr hab. Kristin L. K. Koskey Liczby w ewaluacji są ważne lecz nie zawsze mówią o wszystkim Co to są badania ewaluacyjne? Jako specjaliści z sektora oświaty mamy możliwość uczestnictwa w procesie ewaluacji bieżącej. Pedagodzy nieustannie dążą do poprawy jakości pracy na poziomie klasy jak i całej szkoły, zastanawiając się nad tym, czym jest wiedza użyteczna w praktyce, dla celów poprawy naszych działań można powiedzieć, że jest to rodzaj ewaluacji. Z bardziej naukowego punktu widzenia można powiedzieć, iż badania ewaluacyjne prowadzone są w celu podejmowania świadomych decyzji lub ocen dotyczących merytorycznych, ilościowych i wartościowych działań na rzecz określonej grupy odbiorców zaangażowanych bezpośrednio lub pośrednio w badanie. Zakres materiału badawczego poddanego ewaluacji może zawierać: program instruktażowy, metodę nauczania, materiały dydaktyczne, określoną organizacji lub politykę oświatową. W pewnym stopniu każde badanie jest z zasady ewaluowane, tak, że wszyscy badacze zbierają dane w celu podjęcia decyzji lub sformułowania oceny. Różnica pomiędzy badaniami ewaluacyjnymi w edukacji, a innymi typami badań ewaluacyjnych prowadzonymi tradycyjnymi metodami może nie być wyraźna. Rozważmy następujący scenariusz, w celu ułatwienia słuchaczowi zrozumienia różnicy pomiędzy badaniami ewaluacyjnymi a badaniami tradycyjnymi. Scenariusz tradycyjnego badania: Badający poddaje analizie, porównanie czy uczniowie biorący udział w kursie internetowym osiągają takie same rezultaty, jak ci uczestniczący w tradycyjnych lekcjach odbywających się w klasach. Tego rodzaju podejście, to podejście tradycyjne do przeprowadzania badania.

2 Scenariusz badania ewaluacyjnego: Dla odmiany, ewaluator nie jest zainteresowany porównywaniem jednego podejścia do drugiego. Zamiast tego koncentrować się będzie na ewaluacji merytorycznej, ilościowej i wartościowej klasy internetowej. Aby to zrobić, ewaluator powinien osądzić lub poddać analizie więcej zagadnień niż tylko uzyskane osiągnięcia ucznia. Ewaluator zadaje pytania, by zbadać, czy taki kurs internetowy powinien być dalej przeprowadzany. Pytając na przykład o to: Czy ten kurs internetowy spełnia cele, które zostały postawione do osiągnięcia? Jakie strategie były skuteczne w wspieraniu nauki uczniów? Jakie czynniki blokowały kształcenie uczniów? Jakie cechy charakterystyczne posiadali internetowi uczniowie i instruktorzy? Jak długo i jakiego rodzaju wsparcie potrzebowali instruktorzy, aby efektywnie nauczać w środowisku internetowym? Czy uzyskane korzyści były większe niż poniesione koszty? Proszę zwrócić uwagę, że pytania przy badaniu ewaluacyjnym skupiają się na informowaniu merytorycznym, ilościowym lub wartościowym o kursie internetowym. Tak, więc, różnica pomiędzy badaniem ewaluacyjnym a innymi badaniami tradycyjnymi polega na tym, że badanie ewaluacyjne prowadzi się w celach podejmowania decyzji, natomiast inne typy badań są zazwyczaj przeprowadzane w celu stworzenia ogólnego zrozumienia i pozyskania wiedzy na dany temat. Pamiętać należy, że głównym celem, dla którego przeprowadza się badania ewaluacyjne jest pomoc w podejmowaniu świadomych decyzji o merytorycznych, ilościowych i wartościowych działaniach opartych na wiedzy dla określonej grupy zaangażowanych odbiorców. Istota grupy odbiorców zaangażowanych to kolejny element rozróżniający badania ewaluacyjne od innych typów badań tradycyjnych. Odbiorcy zaangażowani, to grupa osób zaangażowanych w proces badań, na postawie którego przeprowadza się ewaluację, jak w scenariuszu z poprzedniego przykładu - instruktor oraz uczniowie biorący udział w kursie internetowym. Odbiorcy zaangażowani, to ci, których wnioski z ewaluacji mogą dotyczyć lub są zainteresowani jej wynikami. Kto jeszcze może

3 być odbiorcą badania w poprzednim scenariuszu, poza uczniami i instruktorem? Prawdopodobnie szkoła lub administracja samorządowa osoby zarządzające, których może interesować kształcenie uczniów oraz ponoszone z tego tytułu koszty. Rodzaje ewaluacji Ewaluator lub zespół ewaluatorów mogą przeprowadzić ewaluację kształtującą i/lub podsumowującą, w zależności od przeznaczenia i celów badania. Ewaluacja kształtująca wykorzystuje dane zebrane na potrzeby programu lub zarządzania szkołą, podczas wdrożenia/ewaluacji programu. Informuje o zmianach, jakie są niezbędne do wprowadzenia w programie w celu poprawy jakości. Ewaluator może skorzystać z notatek, prezentacji, rozmów telefonicznych, raportów czy też innych form dokumentacji w celu zapoznania kierownika projektu z opinią zwrotną kształtującą program, na temat wszelkich zagadnień i problemów badawczych, aby ułatwić zmianę programu dla przyszłej poprawy jakości pracy. Ewaluacja podsumowująca wykorzystuje zgromadzone dane w celu zmierzenia wyników oraz sposobu, w jaki odnoszą się one do ogólnej oceny programu, metody, organizacji, czy też innego obszaru, który był ewaluowany. Podczas gdy wyniki badań kształtujących prezentowane są podczas fazy wprowadzania/ewaluacji programu, takie wyniki badań podsumowujących prezentuje się po zakończeniu ewaluacji lub jako zakończenie rocznego lub etapowego projektu. Ewaluacja ta może zawierać wyniki osiągnięć uczniów, odpowiedzi na badania kwestionariuszowe lub wyniki z przeprowadzanych indywidualnych i grupowych wywiadów. Dane te są następnie podsumowywane w celu zebrania informacji o wynikach programu i możliwości stwierdzenia, czy program jest skuteczny, czy też nie. Ponadto, rekomendacje programowe są często oparte na wynikach takiej ewaluacji. Metody wykorzystywane w ewaluacji Wykorzystywanie liczb w ewaluacji. Przeprowadzając ewaluację, meritum programu i opinie wartościujące tworzone są w oparciu o przemyślane i w pewnym stopniu dokładne wykorzystanie danych jakościowych z różnych źródeł. Każdego typu dane, które mogą wnieść dodatkowe informacje do oceny opartej na celach, są dopuszczane do wykorzystania. Jednak, w większości przypadków, ewaluacja kładzie większy nacisk na dane ilościowe. Dane wartościowe pochodzą z dowolnego źródła, które dostarcza informacje liczbowe. Przykładowe pytania ewaluacji ilościowej, które mogą i często są zadawane, to:

4 W jakim stopniu program wpływa na osiągnięcia uczniów? Jak często włącza się uczniów do programu? Ilu uczniów bierze udział w programie tygodniowo? Ile kosztuje uruchomienie programu? Dlaczego pytania ilościowe są tak istotne w badaniu ewaluacyjnym? Pytania ilościowe umożliwiają ocenę wpływu programu oraz porównanie czy trud dostarczenia konkretnej, liczbowej oceny całego programu ma znaczenie i jest wartościowy. Pozwólcie przedstawić sobie konkretny przykład wykorzystujący ilościowe pytanie ewaluacyjne. Duży grant finansowany przez rząd Stanów Zjednoczonych został przyznany uniwersytetowi, który współpracował z gimnazjum (grupa uczniów w wieku 11-14) w celu zreformowania szkoły i jej polityk dążących do poprawy jakości kształcenia uczniów, poprawy zachowania, zwiększenia frekwencji oraz ilości przyjęć na studia wyższe. Program reformy szkoły w tym miejscu dawał studentom możliwość dodatkowego pozyskania informacji o wymaganiach, jakie muszą spełniać, aby uczęszczać na uczelnię wyższą, oraz danych o potencjalnych korzyściach osobistych z uzyskania tytułu po ukończonych studiach. Rodzicom świadczone były usługi doradcze i opieka mentorska, jako pomoc w wyjaśnieniu jak mogą pomóc swoim dzieciom w dostaniu się na uczelnię wyższą i jak ją mogą opłacić. Natomiast nauczyciele uczestniczyli w profesjonalnym kursie rozwoju zawodowego, który wspomagał opracowanie własnych programów klasowych i wypracowanie interakcji skierowanych na uczniów o bardzo niskim poziomie zamożności, którzy zazwyczaj nie podejmowali studiów. Nauczycieli mieli także dostęp do środków dofinansowania na cele tworzenia programów motywacyjnych dla uczniów, aby zwiększyć osiągane wyniki w nauce, frekwencję w szkole oraz poprawić zachowanie. Pieniądze z dotacji można było także wykorzystać na tworzenie i utrzymywanie kół i programów szkolnych, które doprowadziłyby także do poprawy sytuacji w tych obszarach. Aby utrzymać otrzymaną dotację należało co roku sporządzić raport ewaluacyjny i odpowiedzieć na następujące pytania ilościowe. W jakim stopniu program grantowy wpłynął na poprawę wyników w nauce w śród uczniów z przedmiotów obowiązkowych (matematyka i czytanie)? O ile wzrosła frekwencja uczniów, dzięki wprowadzeniu programu grantowego? O ile zmniejszyła się liczba przypadków złego zachowania, dzięki wprowadzeniu programu grantowego?

5 Wskaźnik mediany frekwencji Wskaźnik mediany frekwencji Poniżej przedstawiony został wykres obrazujący wykorzystanie danych ilościowych w celu odpowiedzi na pytania ewaluacyjne, koncentrujący się wyłącznie na frekwencji uczniów w szkole w danym okresie czasu. Aby go przygotować, zespół ewaluacyjny zebrał dane dotyczące wskaźnika średniej frekwencji uczniów w szkole z okresu przed pozyskaniem dotacji (rok szkolny ) do ostatniego roku funkcjonowania programu (rok szkolny ). Idealna frekwencja wynosi 100% (oznacza: uczeń jest w szkole każdego dnia, w którym funkcjonuje instytucja). Natomiast średnia oczekiwana frekwencja, wg kryteriów stanu wynosi 94%. Szkoły w stanie Ohio (USA), które nie spełniły tego celu zostały ocenione niżej w ich karcie sprawozdania stanowego, a w konsekwencji mogą mieć nałożone sankcje stanowe (np. zmniejszone dofinansowanie stanowe, nałożone zarządzanie szkołą przez organ stanu). Poniższy schemat przedstawia wyniki badań dotyczące tego obszaru w zakresie ewaluacji ilościowej. Proszę zapoznać się z rysunkiem i zastanowić się, jak przedstawia się wpływ dotacji na frekwencję uczniów. Schemat 1 Średnia frekwencja w latach od do Średnia frekwencja wymagana przez władze stanowe (94%) przed programem Rok szkolny Rok szkolny jest rokiem bazowym, w którym nie były jeszcze realizowane żadne działania z programu dotacji. We wszystkich kolejnych latach realizacja działań z programu dotacji była widoczna.

6 Zespół ewaluatorów zinterpretował te dane, jako wskazujące na to, że realizacja działań z programu dotacji wpłynęła na znaczącą poprawę frekwencji uczniów w tej szkole. Dowody potwierdzające tą tezę zostały przedstawione na schemacie, gdzie widać, że przed realizacją działań z programów dotacyjnych ( ) średnia frekwencja uczniów w szkole wynosiła tylko 86%. Wskaźnik średniej frekwencji rósł z każdym rokiem od rozpoczęcia realizacji programów z dotacji, a w roku wskaźnik średniej frekwencji osiągnął wreszcie średni wskaźnik frekwencji wymagany przez stan, wynoszący 94%. Pomimo tego, iż osiągnięcie postawionego przez stan celu, zespół ewaluacyjny uznał, że działania realizowane z programu dotacji przynoszą dobre rezultaty i mają duży wpływ na frekwencję uczniów, z uwagi na wzrost ilościowy, jaki wskazano. Opierając rekomendacje zespołu ewaluacyjnego wyłącznie na tych wynikach liczbowych, można by uznać stwierdzenie kontynuowania obecnych działań programowych związanych z frekwencją uczniów, jako naturalne. Czy liczby w ewaluacji mówią o wszystkim? W tym miejscu możecie zadawać sobie pytanie, skąd zespół ewaluacyjny wiedział, że wzrost spowodowany był wprowadzeniem programu? A odpowiedzią na to istotne pytanie jest, iż zespół ewaluacyjny tak naprawdę nie wie czy ich wnioski są prawdziwe, gdy opiera je tylko na zebranych informacjach liczbowych (ilościowych). Grupa ewaluatorów nie wiedział, że realizowano wiele programów w tym czasie, aby zwiększyć motywację uczniów do uczęszczania do szkoły, zespół ewaluacyjny zobaczył znaczący wzrost wskaźnika frekwencji, więc wysnuł wniosek, że programy przyczyniły się do poprawy wskaźnika frekwencji. Pomimo, iż ten kierunek wnioskowania jest sensowny, nie daje jednak wymaganej asysty dla pełnego zrozumienia dlaczego te wzrosty wskaźnika frekwencji wystąpiły. W celu wykonania pełniejszej oceny ewaluacyjnej wpływu realizacji programowej dotacji na wskaźnik frekwencji uczniów, należy zebrać dane jakościowe. Dane jakościowe, to zazwyczaj dane w formie ustnej, które pomogą wyjaśnić jak lub dlaczego zostały uzyskane poszczególne wyniki liczbowe w ewaluacji. Czasami dane jakościowe wspomagają liczby a czasami wyjaśniają kwestie, które mogłyby być nie do końca zrozumiałe wykorzystując wyłącznie liczby. Nawiązując dalej do sytuacji z ewaluacji wskaźnika frekwencji, zespół ewaluacyjny zdecydował, iż nie chcą polegać wyłącznie na informacjach ilościowych (liczbowym wskaźniku frekwencji w czasie). Dlatego też, zespół ewaluacyjny przeprowadził 3

7 zogniskowane wywiady grupowe z grupami nauczycieli i pracownikami administracyjnymi, którzy pracowali w szkole nie krócej jak od czasu wprowadzenia działań programowych z dotacji. Zogniskowane wywiady prowadzone są zazwyczaj w grupach 7-10 osobowych, uczestnicy są w stanie dostarczyć znaczące informacje w celu głębszego zrozumienia pytań badawczych. W tym przypadku, grupie badanych nauczycieli i pracowników administracji pokazano ten sam schemat, jak wyżej, a następnie zadano następujące pytania, aby umożliwić wyjaśnienie kwestii, dlaczego wyniki mogą tak się przedstawiać. Dlaczego, według Pana/Pani, wskaźnik frekwencji wzrastał w Pana/Pani szkole od czasu pozyskania dotacji? Jak, według Pana/Pani, mogły wpłynąć działania programowe z dotacji na frekwencję uczniów? Zogniskowane wywiady grupowe były nagrywane i zapisywane (w programie do edycji), więc zespół ewaluacyjny mógł przeglądać odpowiedzi i starać się wyciągnąć wnioski na temat czynników, które przyczyniły się do poprawy wskaźnika frekwencji uczniów w szkole. Zespół ewaluacyjny stwierdził, iż wszyscy nauczyciele i cały personel administracyjny byli trochę zaskoczeni, gdy zobaczyli wzrost frekwencji uczniów na taką skalę. Zamiast przypisywać zasługi wzrostu frekwencji ściśle działaniom z programu dotacji, nauczyciele i pracownicy administracyjni mieli wrażenie, że wzrost ten może mieć związek ze zmianami stanowej polityki sprawozdawczej dot. frekwencji oraz ograniczonym możliwościom działu zajmującego się szkolną frekwencją przy prawidłowym odnotowywaniu danych dotyczących frekwencji. Odnośnie polityki stanu, w przeszłości, wliczano do frekwencji uczniów, kierunkowe zajęcia alternatywne, które obecnie nie są wliczane. Alternatywne zajęcia są oferowane uczniom, którzy otrzymają zawieszenie ze szkoły, uczniowie ci kierują się do innego budynku w celu wykonania zadań, aby uniknąć wpisania na listę jako nieobecni. W konsekwencji, niektórzy nauczyciele stwierdzili, iż frekwencja to gra z przepisami, które ciągle się zmieniają. Personel dydaktyczny i administracyjny odniósł także wrażenie, że wskaźnik frekwencji zależał w głównej mierze od tego, kto zajmował się prowadzeniem tego i kto to sprawdzał. Według opinii administracji rola sekretarza ds. frekwencji jest najmniej pożądaną funkcją w całym obiekcie a frekwencja uczniów w przeszłości nie była prawidłowo odnotowywana. Jeden z nauczycieli doniósł, że do roku szkolnego często zdarzało się, że uczniowie, którzy byli obecni w szkole byli wpisani jako

8 nieobecni, a uczniowie niebędący w szkole jako obecni na liście obecności. Odnośnie realizacji działań programowych z dotacji, nauczyciele uważają, że mogły one mieć jakiś wpływ na wzrost frekwencji, z uwagi na fakt, że programy grantowe pomagają w utworzeniu szkoły, która jest kierowana przez nauczycieli i dlatego obecnie to oni zwracają większą uwagę na rezultat (frekwencji). Nauczyciele twierdzą, że obecnie rozmawiają więcej z uczniami i rodzicami o tym gdzie uczniowie przebywali, kiedy nie byli obecni w szkole i dlaczego ich tam nie było. Po prostu wykazują większe zainteresowanie w tym zakresie, dzwoniąc do domu uczniów i wysyłając notatkę, gdy są oni nieobecni. Zmiana ta zaczęła być odnotowywana, gdy utworzono wiązki nauczycieli dla celów dotacji i te właśnie grupy rozpoczęły współpracę w celu utworzenia bliskich społeczności uczniów i studentów. Nauczyciele także odczuli, że uczniowie częściej uczęszczają do szkoły żeby zarobić regularną frekwencję, to bodźce z wiązek sprawiały wrażenie, że wszystko pochodzi z przyznanych dotacji. Dzięki zebraniu informacji w formie liczbowej (ilościowej) oraz w formie grupowych wywiadów zogniskowanych (jakościowej) można zobaczyć bardziej pełny i na pewien sposób inny obraz wpływu działań programowych z dotacji. Teraz, zamiast przypisywać zasługę wzrostu wskaźnika frekwencji samym działaniom programowym z dotacji, zespół ewaluacyjny musi wziąć pod uwagę potencjalny wpływ zmian polityki stanowej oraz prawdopodobny błąd odnotowywania frekwencji przez sekretarza ds. frekwencji w szkole. Rekomendacje, jakie zostały wydane na podstawie tej nowej, bardziej kompletnej ewaluacji były następujące: Za każdym razem, jak zmienia się polityka odnotowywania frekwencji na poziomie stanu, zespół ewaluacyjny powinien zostać o tym poinformowany by właściwie określić, jak taka zmiana polityki może wpłynąć na wskaźnik frekwencji uczniów. Odnotowywanie wskaźnika frekwencji w szkole należy poddać dalszemu badaniu przez administrację szkoły. W ramach możliwości powinno się wprowadzić szkolenie dla sekretarza ds. obecności lub nowy system odnotowujący obecność w całej szkole. Nauczyciele powinni utrzymywać kontakt z rodzicami w sprawie frekwencji uczniów. Wykorzystywanie narzędzia zachęcania do frekwencji wydaje się być dobre i powinno zostać zachowane.

9 Wnioski W dokumencie tym zostało krótko omówione, co oznacza ewaluacja w oświacie oraz opisane metody, jakie mogą być wykorzystane do przeprowadzania ewaluacji. Jak wykazano w niniejszym dokumencie, aby uzyskać najlepszy i najbardziej pełny obraz nt. znaczenia i wartości programu, ewaluatorzy powinni współpracować ze szkołami, zbierać dane z różnych źródeł oraz wykorzystywać zarówno ilościowe (liczbowe), jak i celowe jakościowe (ustne) informacje w celu informowania o wynikach i rekomendacjach. Wiedza o tym co się stało oraz ile zmian wystąpiło jest dobrym punktem wyjścia w ewaluacji. Jednak ze względu na brak danych o tym dlaczego zmiana miała lub nie miała miejsca pozostawia nas z niepełnym obrazem, który może wpływać na tylko częściowe lub nieprawidłowe rekomendacje. Mamy dla Was zadanie, abyście pomyśleli o danych, które zazwyczaj gromadzicie podczas wykonywania ewaluacji i zapytajcie siebie, w jaki sposób możecie połączyć zarówno liczby, jak i ustne wyjaśnienia w celu przedstawienia bardziej całościowej ewaluacji? Jakiego rodzaju pytania musicie zacząć zadawać, aby lepiej zrozumieć wyniki swoich ewaluacji?