Analizy danych oświatowych Od danych i informacji do wiedzy i mądrości Mariusz Tobor
Przykład na początek Pułapki wyboru metodologii i doboru przypadków do analiz na przykładzie banalnych rachunków wyliczania średnich wielkości oddziałów
Problem badawczy Porównanie średnich wielkości oddziałów gimnazjów w miastach pow. 5 tys. mieszkańców, w miastach do 5 tys. mieszkańców i na wsiach Na podstawie wyniku obliczeń mają być m.in. wyciągane wnioski na temat zasadności zwiększonego subwencjonowania gimnazjów wiejskich» Dane dotyczą roku szkolnego 2010/11
Średnie wielkości oddziałów gimnazjów wyliczone w pewnym opracowaniu 25 20 15 22,78 22,20 21,12 15% 10% 5% 0% 10-5% - 2,5% 5-10% -7,3 % 0-15% Miasta pow. 5 tys. Miasta do 5 tys. Wieś M. do 5 tys./ m. > 5 tys. Wieś/ m. > 5 tys. Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej
Liczby uczniów na oddział w kraju; wszystkie organy; wszystkie szkoły 25 15% 6 22,78 22,20 21,12 20 10% 5 15 10 5 5% 0% -5% -10% - 2,5% - 7,3% 4 3 2 0-15% 1 Miasta pow. 5 tys. Miasta do 5 tys. Wieś M. do 5 tys./ m. > 5 tys. Wieś/ m. > 5 tys. 0 - Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej
Liczby uczniów na oddział w kraju; tylko JST; wszystkie szkoły 25 15% 6 20 15 10 5 0 Miasta pow. 5 tys. 23,20 22,24 21,22 10% 5 5% 0% -5% -10% -15% - 4,1% - 8,5% 4 3 2 1 0,56 Miasta do 5 tys. Wieś M. do 5 tys./ m. > 5 tys. Wieś/ m. > 5 tys. 0 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej
Liczby uczniów na oddział w kraju; tylko JST; bez specjalnych 25 24,55 15% 6 22,49 21,46 20 10% 5 15 10 5% 0% -5% 4 3 2,40 5 0 Miasta pow. 5 tys. Miasta do 5 tys. Wieś -10% -15% - 8,4% M. do 5 tys./ m. > 5 tys. - 12,6 % Wieś/ m. > 5 tys. 2 1 0 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej
Liczby uczniów na oddział w kraju; tylko JST; tylko oddz. ogólnodost. 25 25,15 15% 6 22,66 21,51 20 10% 5 15 10 5% 0% -5% 4 3 3,22 5 0 Miasta pow. 5 tys. Miasta do 5 tys. Wieś -10% -15% - 9,9% M. do 5 tys./ m. > 5 tys. - 14,5 % Wieś/ m. > 5 tys. 2 1 0 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej
Liczby uczniów na oddział w kraju; tylko gminy; tylko oddz. ogólnodost. 25 25,12 15% 6 22,66 21,50 20 10% 5 15 10 5% 0% -5% 4 3 3,18 5 0 Miasta pow. 5 tys. Miasta do 5 tys. Wieś -10% -15% - 9,8% M. do 5 tys./ m. > 5 tys. - 14,4 % Wieś/ m. > 5 tys. 2 1 0 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej
Średnie z l. uczn. na oddział w JST; tylko gminy; tylko oddz. ogólnodost. 25 24,22 22,81 21,50 15% 6 20 10% 5 15 10 5 0 Miasta pow. 5 tys. Miasta do 5 tys. Wieś 5% 0% -5% -10% -15% - 5,8% M. do 5 tys./ m. > 5 tys. - 11,2 % Wieś/ m. > 5 tys. 4 3 2 1 0 2,43 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej
Mediany ze śr. l. uczn./oddz. w JST; tylko gminy; tylko oddz. ogólnodost. 25 25,09 23,64 22,47 15% 6 20 10% 5 5,10 15 10 5 0 5% 0% -5% -10% -15% - 5,8% - 10,4 % 4 3 2 1 Miasta pow. 5 tys. Miasta do 5 tys. Wieś M. do 5 tys./ m. > 5 tys. Wieś/ m. > 5 tys. 0 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej
Trochę teorii
Informacja Pojęcie złożone, występujące w różnych dziedzinach w statystyce, mechanice kwantowej, biologii molekularnej, neurobiologii, cybernetyce, teorii systemów, psychologii, teorii komunikacji i w informatyce Trudno znaleźć wspólną interpretację.
Szerokie ujęcie filozoficzne Informacja to odbicie (odwzorowanie) różnorodności cechującej otaczającą rzeczywistość (obiekt, zdarzenie, proces, zjawisko) Taką różnorodnością w biologii może być zbiór sygnałów docierających do żywego organizmu, zaś w psychologii bodźce odbierane z otoczenia przez człowieka (Arkadij D. Ursuł)
Dane Potrzeba Sprawne przekazywanie i opracowywanie informacji Potrzeba Posługiwanie się urządzeniami technicznymi (pozwalającymi na gromadzenie i sprawną analizę) Potrzeba Przedstawiania elementów informacji w odpowiedniej postaci (np. w postaci liter, cyfr i innych znaków)
Dane definicje Dane to liczby, pojęcia lub rozkazy przedstawione w sposób wygodny do przesyłania, interpretacji lub przetwarzania metodami ręcznymi lub automatycznymi Tradycyjna interpretacja informatyczna (polska norma 1971) Wycinek rzeczywistości przystosowany do reprezentowania innego wycinka rzeczywistość (Sundgren, 1973) Takie określenie obejmuje dane różnego rodzaju: zapisy znakowe, reprezentację analogową, mowę, obrazy, dźwięki, wykresy, schematy, filmy itd.
Pojedyncze dane (rozpatrywane osobno) nie są informacją Dane nabierają treści dopiero w określonym kontekście Liczba 2014 może oznaczać: koszt jakiejś usługi lub towaru odległość między dwoma miejscami rok Nazwa NYSA może oznaczać: rzekę Nysę (Kłodzką lub Łużycką) miasto markę samochodu dostawczego
Informacje mogą się stać danymi służącymi wytworzeniu kolejnych informacji Dane daty urodzenia Informacje/dane wiek poszczególnych osób Informacje średni wiek grupy osób
Pożądane cechy informacji Przydatność, użyteczność Poprawność zgodność z rzeczywistością i spełnianie warunków technicznych umożliwiających gromadzenie i przetwarzanie Opłacalność koszt pozyskania adekwatny do przydatności
Niepożądane cechy informacji Fragmentaryczność Ogólnikowość Rozwlekłość Niejednoznaczność
Wiedza Coś co pozwala ludziom organizować swoje życie Mnóstwo różnorakich definicji żadnej wyczerpującej i powszechnie akceptowanej
Wiedza a informacja Części składowe wiedzy: informacja doświadczenie (specyficzna forma wiedzy) kontekst Wiedza jest wartością dodaną do informacji przez człowieka mającego doświadczenia i zdolność do pojmowania jej rzeczywistego potencjału. ( ) dopiero złączenie informacji z doświadczeniami człowieka i uwzględnienie kontekstu, w jakim informacja i doświadczenia są brane pod uwagę, ujawnia znaczenie informacji jej sprawczego potencjału (Bogdan Stefanowicz, 2013)
Wiedza ujawnia się w interpretacji informacji Informację można traktować jako wiedzę dopiero po dokonaniu jednego z poniższych typów analizy: porównanie jak informacje na temat danej sytuacji przedstawiają się na tle pozostałych informacji następstwa jaki wpływ dana informacja wywiera na decyzje i działania powiązania jak dana informacja wiąże się z resztą posiadanych informacji dialog co inni ludzie myślą o tej informacji
Od danych do mądrości łańcuch pojęć Dane Informacje Wiedza Mądrość
Mądrość Pojęcie praktycznie niedefiniowalne Niektórzy mówią, że mądrość to umiejętność wykorzystania posiadanej wiedzy w praktyce
Subwencja a wydatki Przykład przygotowania i interpretacji informacji Opracowano na podstawie danych z ministerstwa finansów
Wysokość subwencji oświatowej
Wysokość subwencji oświatowej 50 mld 45 mld 40 mld 35 mld 30 mld 25 mld 20 mld
Wysokość subwencji oświatowej 50 mld 45 mld 40 mld 35 mld 30 mld 25 mld 20 mld 2012
Zmiany wysokości subwencji oświatowej 50 mld 45 mld 40 mld 35 mld Subwencja 30 mld 25 mld 20 mld 2004 2005 2006 2007 2008 2009 2010 2011 2012
Subwencja oświatowa i wydatki na utrzymanie szkół 50 mld 45 mld 40 mld 35 mld Subwencja Wydatki 30 mld 25 mld 20 mld 2004 2005 2006 2007 2008 2009 2010 2011 2012
Kwota nadwyżki wydatków nad subwencją 10 mld 9 mld 8 mld 7 mld 6 mld 5 mld 4 mld 3 mld 2 mld 1 mld 2004 2005 2006 2007 2008 2009 2010 2011 2012
Wskaźnik nadwyżki wydatków nad subwencją wydatki oświatowe subwencja oświatowa 100% 100% wydatki oświatowe to wydatki wykonane z działów 801 oraz 854 z wyłączeniem paragrafów wydatków majątkowych oraz rozdziałów 80103, 80104 i 80113 subwencja oświatowa przyznana danej JST część oświatowej subwencji ogólnej
Interpretacja wskaźnika nadwyżki wydatków nad subwencją (NWS) Jeśli wskaźnik wynosi 0, to wydatki na zadania finansowane przez subwencję oświatową są równe tej subwencji. Jeśli wskaźnik wynosi 15%, to wydatki są o 15% wyższe od subwencji. Gdy wskaźnik wynosi minus 5%, to wydatki są o 5% niższe od subwencji.
Zmiany wskaźnika nadwyżki wydatków nad subwencją 30% 25% 20% 15% 10% 5% 0% 2004 2005 2006 2007 2008 2009 2010 2011 2012
Proceny Dynamika zmian subwencji i wydatków (w proc. w stosunku do poprzedniego roku) 12 10 8 6 Subwencja Wydatki 4 2 0 2005 2006 2007 2008 2009 2010 2011 2012
Udział kwoty nadwyżki wydatków nad subwencją w dochodach własnych JST 20% 18% 16% 14% 12% 10% 8% 6% 4% 2% 0% 2004 2005 2006 2007 2008 2009 2010 2011 2012 Średnia (nadw./doch.) Mediana wszystkich JST
Zróżnicowanie sytuacji JST mediany wskaźników NWS (2012 r.) 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% gw do 10 tys. gw >10 tys. gmw do 10 tys. gmw 10-20 tys. gmw >20 tys. gm do 5 tys. gm >5 tys. mnp do 100 tys. mnp >100 tys. pz sw cały kraj
Mediany udziałów nadwyżki w dochodach własnych (2012 r.) 30% 25% 20% 15% 10% 5% 0% gw do 10 tys. gw >10 tys. gmw do 10 tys. gmw 10-20 tys. gmw >20 tys. gm do 5 tys. gm >5 tys. mnp do 100 tys. mnp >100 tys. pz sw cały kraj
Dobór i interpretowanie informacji Kolejne przykłady
Kontekst tło inne informacje trendy
Pytanie jak się zmieniała sieć szkół
Wielkości szkół podstawowych prowadzonych przez miasta na prawach powiatu 600 Średnie liczby uczniów w szkołach SP 500 400 300 Mediana 200 100 0 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
Średnie liczby uczniów na poziomie klas I wskaźniki charakteryzujące sieci szkół Wskaźniki odnoszące się tylko do klas I: szybciej uwidaczniają zmiany trendów; ułatwiają porównywanie szkół o różnych długościach cyklów kształcenia; Wskaźnik średniej liczby uczniów na poziomie klas I pozwala łatwo ocenić elastyczność organizacyjną szkoły (czyli względną łatwość regulowania liczby i wielkości oddziałów)
Wielkości klas I szkół podstawowych prowadzonych przez miasta na prawach powiatu 120 Średnie liczby uczniów w klasach I SP 100 80 60 10% Mediana 40 20 0 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
Wielkości klas I szkół podstawowych prowadzonych przez miasta na prawach powiatu szerszy obraz 120 Średnie liczby uczniów w klasach I SP 100 80 60 40 10% 25% Mediana 75% 90% 20 0 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
Średnie liczby uczniów w klasach I gimnazjów 130 120 110 100 90 80 70 gimn. wieś gimn. miasto 60 50 40 30 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
Średnie wielkości oddziałów klas I szkół podstawowych 24 23 22 21 20 19 18 SP wieś SP miasto 17 16 15 14 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
Średnie wielkości oddziałów klas I gimnazjów 27 26 25 24 23 22 21 gimn. wieś gimn. miasto 20 19 18 17 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
Procenty uczniów w szkołach z małymi oddziałami wskaźniki z progami Wskaźniki charakteryzujący rozdrobnienie sieci Użyteczne progi wielkości oddziałów 18 lub 12 uczniów szkoły podstawowe 18 uczniów gimnazja Istnienie progów może powodować gwałtowne zmiany wartości wskaźników
60 Procent uczniów w SP, w których przeciętne oddziały mają mniej niż 18 uczniów 50 40 30 SP wieś SP miasto 20 10 0 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
20 18 16 14 12 Procent uczniów w SP, w których przeciętne oddziały mają mniej niż 12 uczniów 10 8 SP wieś SP miasto 6 4 2 0 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
20 18 16 14 12 Procent uczniów w gimnazjach, w których przeciętne oddziały mają mniej niż 18 uczniów 10 8 gimn. wieś gimn. miasto 6 4 2 0 09-2005 09-2006 09-2007 09-2008 09-2009 09-2010 09-2011 09-2012
Informacje dotyczące pojedynczej JST należy odnosić do tła, czyli innych JST znajdujących się w podobnej sytuacji
Problem: Nauczyciele nie pracują wystarczająco dobrze czy można liczyć na szybką wymianę kadry nauczycielskiej
Tysiące Nauczyciele wg wieku (wszystkie jednostki oświatowe prowadzone przez JST) 50 45 40 2006-09-15 2012-09-30 35 30 25 20 15 10 5 0 <24 24-25 26-27 28-29 30-31 32-33 34-35 36-37 38-39 40-41 42-43 44-45 46-47 48-49 50-51 52-53 54-55 56-57 58-59 60-61 62-64 >64
Nauczyciele w wieku do 25 lat 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% 0,0% 09-2006 09-2012
Procent nauczycieli, którzy mają do ustawowej emerytury mniej niż 5 lat najwyżej 10 lat mniej niż 15 lat najwyżej 20 lat mniej niż 25 lat 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60%
Wniosek: Nie można liczyć na szybką wymianę kadry nauczycielskiej trzeba poprawić pracę tych, którzy już są zatrudnieni w szkołach
Skąd wziąć wiarygodne i odpowiednie dane
Budowanie procesów informacyjnych nie może rozpoczynać się od zbierania danych najpierw należy określić potrzebne informacje
Przykłady niedobrych praktyk Wg sprawozdania EN-3 w Polsce istniały szkoły, które miały uczniów, ale nie miały nauczycieli W zespole szkół każdy nauczyciel musiał być przypisany do szkoły, w której miał większość zajęć Dane o wypoczynku dzieci i młodzieży w SIO Uczniowie udzielają odpowiedzi przez podniesienie ręki Dane o kosztach oświaty w SIO Nieweryfikowane dane, których nikt nie wykorzystuje Pierwsza wersja rozporządzenia wykonawczego do art. 30a KN Brak algorytmu wyliczania średnich
Uzyskanie odpowiedzi na pytanie nie jest tożsame z uzyskaniem wiarygodnej informacji
Pytania pomocnicze Przystępując do pozyskiwania danych, należy określić Co chcemy wiedzieć? Gdzie znajdują się dane? Jak można je pozyskać (np. kogo i w jaki sposób będziemy pytać)? Jak będziemy przetwarzać dane?
Informacje i informacje pozorne
Ilu mamy w gminie nauczycieli? Jak liczyć? Nauczyciele jako osoby Jak liczyć nauczycieli pracujących w wielu szkołach? Nauczyciele przeliczeniowi, czyli etaty liczone jak przy wyznaczaniu średnich wynagrodzeń Etaty przeliczeniowe nauczycieli Kogo liczyć? Tylko nauczycieli prowadzących zajęcia z uczniami? Uwzględniać nauczycieli na urlopach, długotrwałych zwolnieniach lekarskich, w stanie nieczynnym?
Ilu jest uczniów w szkołach? Wg. projektów organizacyjnych majowych? 1 września? Średnio w roku szkolnym? Średnio w roku budżetowym?
Kilka zaleceń Należy stawiać precyzyjne i jednoznaczne pytania Należy unikać pytań o informacje przetworzone (np. o średnią liczbę uczniów w oddziale) Należy zdawać sobie sprawę, że niekiedy uzyskanie w pełni wiarygodnych i precyzyjnych danych nie jest możliwe. W niektórych sytuacjach przybliżone informacje mogą być wystarczające, ale należy zdawać sobie sprawę z tego, że dane są przybliżone
Ile kosztują szkoły podstawowe? Czy uwzględniać: Koszty rozdziału klasyfikacji budżetowej szkoły podstawowe? Koszty rozdziału klasyfikacji budżetowej świetlica? Koszty rozdziału klasyfikacji budżetowej oddziały przedszkolne? Czy doliczać: Część kosztów ZEAS? Dowożenie uczniów? Koszty nauczycieli uzupełniających i dopełniających etat? Jak to robić gdy szkoła podstawowa jest częścią zespołu?
Co nam mówią dane księgowe? To co wpisały służby księgowe Co wpisały służby księgowe? To co było im najwygodniej zrobić. Czy służby księgowe pracują nierzetelnie? Pracują pragmatycznie i zgadza im się każdy grosz. Nie da się zagwarantować, aby w dużym mieście kilkadziesiąt księgowych działało według dokładnie tych samych (nawet precyzyjnie opisanych) zasad.
Studium przypadku problem z budżetem zadaniowym W pewnym mieście księgowym nakazuje się księgować wszystko w podziale na klasyfikację budżetową i setki zadań, z użyciem różnych kluczy podziału pomiędzy zadania i rozdziały klasyfikacji budżetowej W tym mieście nadal naprawdę nie wiadomo, co ile kosztuje, ale wszyscy mają poczucie ciężkiej pracy i ciągłe wątpliwości co do rzetelności danych
Rozwiązanie problemu Zmiana podejścia do zagadnienia i odpowiednie narzędzia
Zapotrzebowanie na informację Chcę wiedzieć, jaki jest koszt kształcenia ucznia w zawodzie elektronika? W danych księgowych praktycznie nie da się znaleźć odpowiedzi na takie pytanie.
Co można zrobić? Należy uświadomić sobie, że koszty można liczyć nie tylko na podstawie danych księgowych
Można inaczej liczba zajęć jako miara zadania oświatowego Metodologia: Wyznaczam liczbę etatów przeliczeniowych nauczycieli uczących w wszystkich szkołach w których kształci się elektroników (pomijam etaty wsparcia) Wyznaczam liczbę etatów przeliczeniowych nauczycieli wynikających z zajęć realizowanych w oddziałach kształcących elektroników Wyliczam udział zajęć w oddziałach kształcących elektroników w ogólnej liczbie etatów nauczycieli w szkołach kształcących elektroników Mnożę otrzymany wynik przez koszty utrzymania badanych szkół Wyliczony koszt dzielę przez liczbę uczniów w oddziałach kształcących w zawodzie elektronika
Znaczenie poprawnego doboru wskaźników
Do czego potrzebne są wskaźniki? Do diagnozy Do opomiarowana celów i zadań Dobre wskaźniki pozwalają mierzyć i porównywać obiekty i zjawiska Złe wskaźniki wprowadzają tylko zamęt
Nieużyteczne wskaźniki Liczba nauczycieli jako miara poziomu zatrudnienia Kilka lat temu FOR przedstawił opracowanie, w którym udowadniał, że mamy bardzo drogą oświatę i że mimo zmniejszenia liczby uczniów nie spadła liczba nauczycieli. Autorzy nie uwzględnili zmniejszenia liczby godzin ponadwymiarowych i zwiększenia liczb nauczycieli niepełnozatrudnionych oraz zatrudnionych w niepełnych wymiarach w różnych szkołach Koszt jednego oddziału jako miara efektywności Koszt oddziału 30-osobowego jest zwykle wyższy od kosztu oddziału 20-osobowego Wynagrodzenie przypadające na jednego nauczyciela jako miara kosztów zatrudniania nauczycieli Liczba uczniów niepromowanych jako miara ilustrująca skalę zjawiska
Użyteczne wskaźniki Liczba etatów przeliczeniowych jako miara poziomu zatrudnienia Koszt jednego ucznia jako miara efektywności Wynagrodzenia przypadające na jeden etat przeliczeniowy jako miara kosztów zatrudniania nauczycieli Procent uczniów niepromowanych jako miara ilustrująca skalę zjawiska
Iluzja posługiwania się wskaźnikami łatwymi do uzyskania Bierzemy to, co potrafimy mierzyć za to, co chcielibyśmy wiedzieć
Ocena efektów pracy szkoły Tak naprawdę, chcielibyśmy wiedzieć, jak szkoła wpływa na rozwój uczniów Umiemy przeprowadzić testy, wyliczyć wyniki egzaminów i EWD Zatem mierzymy to, co potrafimy zmierzyć i niestety czasami utożsamiamy to z tym, co chcielibyśmy wiedzieć
Odrzućmy iluzję, że za pomocą prostych wskaźników da się obiektywnie stwierdzić, która szkoła jest najlepsza, a która najgorsza
Ocena jakości pracy szkół i jakości lokalnego systemu oświaty może być dokonywana na podstawie wielu złożonych i nie zawsze obiektywnych kryteriów Trzeba o tym dyskutować
Dziękuję za uwagę