Analizy danych oświatowych

Transkrypt

1 Analizy danych oświatowych Od danych i informacji do wiedzy i mądrości Mariusz Tobor

2 Przykład na początek Pułapki wyboru metodologii i doboru przypadków do analiz na przykładzie banalnych rachunków wyliczania średnich wielkości oddziałów

3 Problem badawczy Porównanie średnich wielkości oddziałów gimnazjów w miastach pow. 5 tys. mieszkańców, w miastach do 5 tys. mieszkańców i na wsiach Na podstawie wyniku obliczeń mają być m.in. wyciągane wnioski na temat zasadności zwiększonego subwencjonowania gimnazjów wiejskich» Dane dotyczą roku szkolnego 2010/11

4 Średnie wielkości oddziałów gimnazjów wyliczone w pewnym opracowaniu ,78 22,20 21,12 15% 10% 5% 0% 10-5% - 2,5% 5-10% -7,3 % 0-15% Miasta pow. 5 tys. Miasta do 5 tys. Wieś M. do 5 tys./ m. > 5 tys. Wieś/ m. > 5 tys. Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej

5 Liczby uczniów na oddział w kraju; wszystkie organy; wszystkie szkoły 25 15% 6 22,78 22,20 21, % % 0% -5% -10% - 2,5% - 7,3% % 1 Miasta pow. 5 tys. Miasta do 5 tys. Wieś M. do 5 tys./ m. > 5 tys. Wieś/ m. > 5 tys. 0 - Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej

6 Liczby uczniów na oddział w kraju; tylko JST; wszystkie szkoły 25 15% Miasta pow. 5 tys. 23,20 22,24 21,22 10% 5 5% 0% -5% -10% -15% - 4,1% - 8,5% ,56 Miasta do 5 tys. Wieś M. do 5 tys./ m. > 5 tys. Wieś/ m. > 5 tys. 0 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej

7 Liczby uczniów na oddział w kraju; tylko JST; bez specjalnych 25 24,55 15% 6 22,49 21, % % 0% -5% 4 3 2, Miasta pow. 5 tys. Miasta do 5 tys. Wieś -10% -15% - 8,4% M. do 5 tys./ m. > 5 tys. - 12,6 % Wieś/ m. > 5 tys Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej

8 Liczby uczniów na oddział w kraju; tylko JST; tylko oddz. ogólnodost ,15 15% 6 22,66 21, % % 0% -5% 4 3 3, Miasta pow. 5 tys. Miasta do 5 tys. Wieś -10% -15% - 9,9% M. do 5 tys./ m. > 5 tys. - 14,5 % Wieś/ m. > 5 tys Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej

9 Liczby uczniów na oddział w kraju; tylko gminy; tylko oddz. ogólnodost ,12 15% 6 22,66 21, % % 0% -5% 4 3 3, Miasta pow. 5 tys. Miasta do 5 tys. Wieś -10% -15% - 9,8% M. do 5 tys./ m. > 5 tys. - 14,4 % Wieś/ m. > 5 tys Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej

10 Średnie z l. uczn. na oddział w JST; tylko gminy; tylko oddz. ogólnodost ,22 22,81 21,50 15% % Miasta pow. 5 tys. Miasta do 5 tys. Wieś 5% 0% -5% -10% -15% - 5,8% M. do 5 tys./ m. > 5 tys. - 11,2 % Wieś/ m. > 5 tys ,43 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej

11 Mediany ze śr. l. uczn./oddz. w JST; tylko gminy; tylko oddz. ogólnodost ,09 23,64 22,47 15% % 5 5, % 0% -5% -10% -15% - 5,8% - 10,4 % Miasta pow. 5 tys. Miasta do 5 tys. Wieś M. do 5 tys./ m. > 5 tys. Wieś/ m. > 5 tys. 0 Średnie Różnice w procentach Sumy odchyleń od wersji pierwotnej

12 Trochę teorii

13 Informacja Pojęcie złożone, występujące w różnych dziedzinach w statystyce, mechanice kwantowej, biologii molekularnej, neurobiologii, cybernetyce, teorii systemów, psychologii, teorii komunikacji i w informatyce Trudno znaleźć wspólną interpretację.

14 Szerokie ujęcie filozoficzne Informacja to odbicie (odwzorowanie) różnorodności cechującej otaczającą rzeczywistość (obiekt, zdarzenie, proces, zjawisko) Taką różnorodnością w biologii może być zbiór sygnałów docierających do żywego organizmu, zaś w psychologii bodźce odbierane z otoczenia przez człowieka (Arkadij D. Ursuł)

15 Dane Potrzeba Sprawne przekazywanie i opracowywanie informacji Potrzeba Posługiwanie się urządzeniami technicznymi (pozwalającymi na gromadzenie i sprawną analizę) Potrzeba Przedstawiania elementów informacji w odpowiedniej postaci (np. w postaci liter, cyfr i innych znaków)

16 Dane definicje Dane to liczby, pojęcia lub rozkazy przedstawione w sposób wygodny do przesyłania, interpretacji lub przetwarzania metodami ręcznymi lub automatycznymi Tradycyjna interpretacja informatyczna (polska norma 1971) Wycinek rzeczywistości przystosowany do reprezentowania innego wycinka rzeczywistość (Sundgren, 1973) Takie określenie obejmuje dane różnego rodzaju: zapisy znakowe, reprezentację analogową, mowę, obrazy, dźwięki, wykresy, schematy, filmy itd.

17 Pojedyncze dane (rozpatrywane osobno) nie są informacją Dane nabierają treści dopiero w określonym kontekście Liczba 2014 może oznaczać: koszt jakiejś usługi lub towaru odległość między dwoma miejscami rok Nazwa NYSA może oznaczać: rzekę Nysę (Kłodzką lub Łużycką) miasto markę samochodu dostawczego

18 Informacje mogą się stać danymi służącymi wytworzeniu kolejnych informacji Dane daty urodzenia Informacje/dane wiek poszczególnych osób Informacje średni wiek grupy osób

19 Pożądane cechy informacji Przydatność, użyteczność Poprawność zgodność z rzeczywistością i spełnianie warunków technicznych umożliwiających gromadzenie i przetwarzanie Opłacalność koszt pozyskania adekwatny do przydatności

20 Niepożądane cechy informacji Fragmentaryczność Ogólnikowość Rozwlekłość Niejednoznaczność

21 Wiedza Coś co pozwala ludziom organizować swoje życie Mnóstwo różnorakich definicji żadnej wyczerpującej i powszechnie akceptowanej

22 Wiedza a informacja Części składowe wiedzy: informacja doświadczenie (specyficzna forma wiedzy) kontekst Wiedza jest wartością dodaną do informacji przez człowieka mającego doświadczenia i zdolność do pojmowania jej rzeczywistego potencjału. ( ) dopiero złączenie informacji z doświadczeniami człowieka i uwzględnienie kontekstu, w jakim informacja i doświadczenia są brane pod uwagę, ujawnia znaczenie informacji jej sprawczego potencjału (Bogdan Stefanowicz, 2013)

23 Wiedza ujawnia się w interpretacji informacji Informację można traktować jako wiedzę dopiero po dokonaniu jednego z poniższych typów analizy: porównanie jak informacje na temat danej sytuacji przedstawiają się na tle pozostałych informacji następstwa jaki wpływ dana informacja wywiera na decyzje i działania powiązania jak dana informacja wiąże się z resztą posiadanych informacji dialog co inni ludzie myślą o tej informacji

24 Od danych do mądrości łańcuch pojęć Dane Informacje Wiedza Mądrość

25 Mądrość Pojęcie praktycznie niedefiniowalne Niektórzy mówią, że mądrość to umiejętność wykorzystania posiadanej wiedzy w praktyce

26 Subwencja a wydatki Przykład przygotowania i interpretacji informacji Opracowano na podstawie danych z ministerstwa finansów

27 Wysokość subwencji oświatowej

28 Wysokość subwencji oświatowej 50 mld 45 mld 40 mld 35 mld 30 mld 25 mld 20 mld

29 Wysokość subwencji oświatowej 50 mld 45 mld 40 mld 35 mld 30 mld 25 mld 20 mld 2012

30 Zmiany wysokości subwencji oświatowej 50 mld 45 mld 40 mld 35 mld Subwencja 30 mld 25 mld 20 mld

31 Subwencja oświatowa i wydatki na utrzymanie szkół 50 mld 45 mld 40 mld 35 mld Subwencja Wydatki 30 mld 25 mld 20 mld

32 Kwota nadwyżki wydatków nad subwencją 10 mld 9 mld 8 mld 7 mld 6 mld 5 mld 4 mld 3 mld 2 mld 1 mld

33 Wskaźnik nadwyżki wydatków nad subwencją wydatki oświatowe subwencja oświatowa 100% 100% wydatki oświatowe to wydatki wykonane z działów 801 oraz 854 z wyłączeniem paragrafów wydatków majątkowych oraz rozdziałów 80103, i subwencja oświatowa przyznana danej JST część oświatowej subwencji ogólnej

34 Interpretacja wskaźnika nadwyżki wydatków nad subwencją (NWS) Jeśli wskaźnik wynosi 0, to wydatki na zadania finansowane przez subwencję oświatową są równe tej subwencji. Jeśli wskaźnik wynosi 15%, to wydatki są o 15% wyższe od subwencji. Gdy wskaźnik wynosi minus 5%, to wydatki są o 5% niższe od subwencji.

35 Zmiany wskaźnika nadwyżki wydatków nad subwencją 30% 25% 20% 15% 10% 5% 0%

36 Proceny Dynamika zmian subwencji i wydatków (w proc. w stosunku do poprzedniego roku) Subwencja Wydatki

37 Udział kwoty nadwyżki wydatków nad subwencją w dochodach własnych JST 20% 18% 16% 14% 12% 10% 8% 6% 4% 2% 0% Średnia (nadw./doch.) Mediana wszystkich JST

38 Zróżnicowanie sytuacji JST mediany wskaźników NWS (2012 r.) 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% gw do 10 tys. gw >10 tys. gmw do 10 tys. gmw tys. gmw >20 tys. gm do 5 tys. gm >5 tys. mnp do 100 tys. mnp >100 tys. pz sw cały kraj

39 Mediany udziałów nadwyżki w dochodach własnych (2012 r.) 30% 25% 20% 15% 10% 5% 0% gw do 10 tys. gw >10 tys. gmw do 10 tys. gmw tys. gmw >20 tys. gm do 5 tys. gm >5 tys. mnp do 100 tys. mnp >100 tys. pz sw cały kraj

40 Dobór i interpretowanie informacji Kolejne przykłady

41 Kontekst tło inne informacje trendy

42 Pytanie jak się zmieniała sieć szkół

43 Wielkości szkół podstawowych prowadzonych przez miasta na prawach powiatu 600 Średnie liczby uczniów w szkołach SP Mediana

44 Średnie liczby uczniów na poziomie klas I wskaźniki charakteryzujące sieci szkół Wskaźniki odnoszące się tylko do klas I: szybciej uwidaczniają zmiany trendów; ułatwiają porównywanie szkół o różnych długościach cyklów kształcenia; Wskaźnik średniej liczby uczniów na poziomie klas I pozwala łatwo ocenić elastyczność organizacyjną szkoły (czyli względną łatwość regulowania liczby i wielkości oddziałów)

45 Wielkości klas I szkół podstawowych prowadzonych przez miasta na prawach powiatu 120 Średnie liczby uczniów w klasach I SP % Mediana

46 Wielkości klas I szkół podstawowych prowadzonych przez miasta na prawach powiatu szerszy obraz 120 Średnie liczby uczniów w klasach I SP % 25% Mediana 75% 90%

47 Średnie liczby uczniów w klasach I gimnazjów gimn. wieś gimn. miasto

48 Średnie wielkości oddziałów klas I szkół podstawowych SP wieś SP miasto

49 Średnie wielkości oddziałów klas I gimnazjów gimn. wieś gimn. miasto

50 Procenty uczniów w szkołach z małymi oddziałami wskaźniki z progami Wskaźniki charakteryzujący rozdrobnienie sieci Użyteczne progi wielkości oddziałów 18 lub 12 uczniów szkoły podstawowe 18 uczniów gimnazja Istnienie progów może powodować gwałtowne zmiany wartości wskaźników

51 60 Procent uczniów w SP, w których przeciętne oddziały mają mniej niż 18 uczniów SP wieś SP miasto

52 Procent uczniów w SP, w których przeciętne oddziały mają mniej niż 12 uczniów 10 8 SP wieś SP miasto

53 Procent uczniów w gimnazjach, w których przeciętne oddziały mają mniej niż 18 uczniów 10 8 gimn. wieś gimn. miasto

54 Informacje dotyczące pojedynczej JST należy odnosić do tła, czyli innych JST znajdujących się w podobnej sytuacji

55 Problem: Nauczyciele nie pracują wystarczająco dobrze czy można liczyć na szybką wymianę kadry nauczycielskiej

56 Tysiące Nauczyciele wg wieku (wszystkie jednostki oświatowe prowadzone przez JST) < >64

57 Nauczyciele w wieku do 25 lat 4,5% 4,0% 3,5% 3,0% 2,5% 2,0% 1,5% 1,0% 0,5% 0,0%

58 Procent nauczycieli, którzy mają do ustawowej emerytury mniej niż 5 lat najwyżej 10 lat mniej niż 15 lat najwyżej 20 lat mniej niż 25 lat 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60%

59 Wniosek: Nie można liczyć na szybką wymianę kadry nauczycielskiej trzeba poprawić pracę tych, którzy już są zatrudnieni w szkołach

60 Skąd wziąć wiarygodne i odpowiednie dane

61 Budowanie procesów informacyjnych nie może rozpoczynać się od zbierania danych najpierw należy określić potrzebne informacje

62 Przykłady niedobrych praktyk Wg sprawozdania EN-3 w Polsce istniały szkoły, które miały uczniów, ale nie miały nauczycieli W zespole szkół każdy nauczyciel musiał być przypisany do szkoły, w której miał większość zajęć Dane o wypoczynku dzieci i młodzieży w SIO Uczniowie udzielają odpowiedzi przez podniesienie ręki Dane o kosztach oświaty w SIO Nieweryfikowane dane, których nikt nie wykorzystuje Pierwsza wersja rozporządzenia wykonawczego do art. 30a KN Brak algorytmu wyliczania średnich

63 Uzyskanie odpowiedzi na pytanie nie jest tożsame z uzyskaniem wiarygodnej informacji

64 Pytania pomocnicze Przystępując do pozyskiwania danych, należy określić Co chcemy wiedzieć? Gdzie znajdują się dane? Jak można je pozyskać (np. kogo i w jaki sposób będziemy pytać)? Jak będziemy przetwarzać dane?

65 Informacje i informacje pozorne

66 Ilu mamy w gminie nauczycieli? Jak liczyć? Nauczyciele jako osoby Jak liczyć nauczycieli pracujących w wielu szkołach? Nauczyciele przeliczeniowi, czyli etaty liczone jak przy wyznaczaniu średnich wynagrodzeń Etaty przeliczeniowe nauczycieli Kogo liczyć? Tylko nauczycieli prowadzących zajęcia z uczniami? Uwzględniać nauczycieli na urlopach, długotrwałych zwolnieniach lekarskich, w stanie nieczynnym?

67 Ilu jest uczniów w szkołach? Wg. projektów organizacyjnych majowych? 1 września? Średnio w roku szkolnym? Średnio w roku budżetowym?

68 Kilka zaleceń Należy stawiać precyzyjne i jednoznaczne pytania Należy unikać pytań o informacje przetworzone (np. o średnią liczbę uczniów w oddziale) Należy zdawać sobie sprawę, że niekiedy uzyskanie w pełni wiarygodnych i precyzyjnych danych nie jest możliwe. W niektórych sytuacjach przybliżone informacje mogą być wystarczające, ale należy zdawać sobie sprawę z tego, że dane są przybliżone

69 Ile kosztują szkoły podstawowe? Czy uwzględniać: Koszty rozdziału klasyfikacji budżetowej szkoły podstawowe? Koszty rozdziału klasyfikacji budżetowej świetlica? Koszty rozdziału klasyfikacji budżetowej oddziały przedszkolne? Czy doliczać: Część kosztów ZEAS? Dowożenie uczniów? Koszty nauczycieli uzupełniających i dopełniających etat? Jak to robić gdy szkoła podstawowa jest częścią zespołu?

70 Co nam mówią dane księgowe? To co wpisały służby księgowe Co wpisały służby księgowe? To co było im najwygodniej zrobić. Czy służby księgowe pracują nierzetelnie? Pracują pragmatycznie i zgadza im się każdy grosz. Nie da się zagwarantować, aby w dużym mieście kilkadziesiąt księgowych działało według dokładnie tych samych (nawet precyzyjnie opisanych) zasad.

71 Studium przypadku problem z budżetem zadaniowym W pewnym mieście księgowym nakazuje się księgować wszystko w podziale na klasyfikację budżetową i setki zadań, z użyciem różnych kluczy podziału pomiędzy zadania i rozdziały klasyfikacji budżetowej W tym mieście nadal naprawdę nie wiadomo, co ile kosztuje, ale wszyscy mają poczucie ciężkiej pracy i ciągłe wątpliwości co do rzetelności danych

72 Rozwiązanie problemu Zmiana podejścia do zagadnienia i odpowiednie narzędzia

73 Zapotrzebowanie na informację Chcę wiedzieć, jaki jest koszt kształcenia ucznia w zawodzie elektronika? W danych księgowych praktycznie nie da się znaleźć odpowiedzi na takie pytanie.

74 Co można zrobić? Należy uświadomić sobie, że koszty można liczyć nie tylko na podstawie danych księgowych

75 Można inaczej liczba zajęć jako miara zadania oświatowego Metodologia: Wyznaczam liczbę etatów przeliczeniowych nauczycieli uczących w wszystkich szkołach w których kształci się elektroników (pomijam etaty wsparcia) Wyznaczam liczbę etatów przeliczeniowych nauczycieli wynikających z zajęć realizowanych w oddziałach kształcących elektroników Wyliczam udział zajęć w oddziałach kształcących elektroników w ogólnej liczbie etatów nauczycieli w szkołach kształcących elektroników Mnożę otrzymany wynik przez koszty utrzymania badanych szkół Wyliczony koszt dzielę przez liczbę uczniów w oddziałach kształcących w zawodzie elektronika

76 Znaczenie poprawnego doboru wskaźników

77 Do czego potrzebne są wskaźniki? Do diagnozy Do opomiarowana celów i zadań Dobre wskaźniki pozwalają mierzyć i porównywać obiekty i zjawiska Złe wskaźniki wprowadzają tylko zamęt

78 Nieużyteczne wskaźniki Liczba nauczycieli jako miara poziomu zatrudnienia Kilka lat temu FOR przedstawił opracowanie, w którym udowadniał, że mamy bardzo drogą oświatę i że mimo zmniejszenia liczby uczniów nie spadła liczba nauczycieli. Autorzy nie uwzględnili zmniejszenia liczby godzin ponadwymiarowych i zwiększenia liczb nauczycieli niepełnozatrudnionych oraz zatrudnionych w niepełnych wymiarach w różnych szkołach Koszt jednego oddziału jako miara efektywności Koszt oddziału 30-osobowego jest zwykle wyższy od kosztu oddziału 20-osobowego Wynagrodzenie przypadające na jednego nauczyciela jako miara kosztów zatrudniania nauczycieli Liczba uczniów niepromowanych jako miara ilustrująca skalę zjawiska

79 Użyteczne wskaźniki Liczba etatów przeliczeniowych jako miara poziomu zatrudnienia Koszt jednego ucznia jako miara efektywności Wynagrodzenia przypadające na jeden etat przeliczeniowy jako miara kosztów zatrudniania nauczycieli Procent uczniów niepromowanych jako miara ilustrująca skalę zjawiska

80 Iluzja posługiwania się wskaźnikami łatwymi do uzyskania Bierzemy to, co potrafimy mierzyć za to, co chcielibyśmy wiedzieć

81 Ocena efektów pracy szkoły Tak naprawdę, chcielibyśmy wiedzieć, jak szkoła wpływa na rozwój uczniów Umiemy przeprowadzić testy, wyliczyć wyniki egzaminów i EWD Zatem mierzymy to, co potrafimy zmierzyć i niestety czasami utożsamiamy to z tym, co chcielibyśmy wiedzieć

82 Odrzućmy iluzję, że za pomocą prostych wskaźników da się obiektywnie stwierdzić, która szkoła jest najlepsza, a która najgorsza

83 Ocena jakości pracy szkół i jakości lokalnego systemu oświaty może być dokonywana na podstawie wielu złożonych i nie zawsze obiektywnych kryteriów Trzeba o tym dyskutować

84 Dziękuję za uwagę