KURS DOSKONALĄCY EWALUACJA WEWNĘTRZNA PRZEDMIOT BADANIA PROCESY WSPOMAGANIA ROZWOJU I EDUKACJI DZIECI SĄ ZORGANIZOWANE SPOSÓB SPRZYJAJĄCY UCZENIU SIĘ

Transkrypt

1 1 KURS DOSKONALĄCY EWALUACJA WEWNĘTRZNA PRZEDMIOT BADANIA PROCESY WSPOMAGANIA ROZWOJU I EDUKACJI DZIECI SĄ ZORGANIZOWANE SPOSÓB SPRZYJAJĄCY UCZENIU SIĘ KD - 6 Zajęcia prowadzi: konsultant ds. ewaluacji i oceniania, Maria M. Ferenc 10 stycznia 2017 r.

2 SPRAWOZDANIE Z TEGO, CO DOTYCHCZAS 2 czyli co Uczestnikom kursu udało się zrobić. Jakie lektury zgłębiali? Jakie metody i techniki wykorzystali? Czy mają zapiski, materiały i w jakiej postaci?

3 ANALIZA I INTERPRETACJA WYNIKÓW BADANIA 3 Przydatna literatura 1. M. Łobocki, Metody i techniki badań pedagogicznych, IMPULS, Kraków M.B. Miles, A.M. Huberman, Analiza danych jakościowych, Trans Humana, Białystok T. Pilch, T. Bauman, Zasady badań pedagogicznych. Strategie ilościowe i jakościowe, Wydawnictwo Akademickie Żak, Warszawa D. Silverman, Interpretacja danych jakościowych, PWN, Warszawa 2009.

4 KRYTERIA SŁUŻĄCE OCENIE BADANIA wg D. Silvermana 4 1. Czy przyjęta metoda badawcza jest adekwatna do natury stawianych pytań? 2. Czy istnieje wyraźny związek z przyjętym kanonem wiedzy bądź teorią? 3. Czy istnieje przekonujące uzasadnienie dla określenia kryteriów, które posłużyły do wyboru przypadków, gromadzenia danych i analizy?

5 KRYTERIA SŁUŻĄCE OCENIE BADANIA wg D. Silvermana 5 4. Czy czułość przyjętych metod odpowiada potrzebom wynikającym z pytań badawczych? 5. Czy gromadzenie danych i ich utrwalanie było systematyczne? 6. Czy czynione są odwołania do ogólnie przyjętych metod analizy? 7. Jak systematycznie była przeprowadzana analiza?

6 KRYTERIA SŁUŻĄCE OCENIE BADANIA wg D. Silvermana 6 8. Czy wokół sposobów wyboru tematów, pojęć oraz kategorii, pochodzących z zebranych danych, toczyła się należyta dyskusja? 9. Czy przedyskutowano dowody przemawiające za oraz przeciw twierdzeniom badacza? 10. Czy można przeprowadzić wyraźny podział między danymi, a ich interpretacją?

7 ETAPY OPRACOWANIA WYNIKÓW BADAŃ 7 1. Selekcja i porządkowanie. 2. Ustalenie adekwatnych kategorii analitycznych. 3. Analiza i interpretacja zgromadzonego materiału. 4. Wnioski/podsumowanie. 5. Rekomendacje/zalecenia.

8 PRZYCZYNY TRUDNOŚCI W ANALIZIE DANYCH 8 brak projektu nieprecyzyjne ustalenia zbyt szeroki zakres badania brak przygotowania członków zespołu badawczego źle dobrana próba badawcza nieprzestrzeganie harmonogramu

9 PRZYCZYNY TRUDNOŚCI W ANALIZIE DANYCH 9 nadmiar materiałów, rozproszone i słabo udokumentowane informacje, nieprawidłowe zarządzanie procesem, uwikłania między ewaluatorami, a ewaluowanymi, tendencja do potwierdzania wcześniejszych hipotez,

10 OGÓLNY PORZĄDEK ANALIZY 10 Uwaga! Przewodnikiem analizy danych jest projekt badania. Analiza komputerowa powinna być prowadzona równolegle z pisaniem raportu. Wtedy widać: co i kiedy należy obliczać, jaką wersję analizy wybrać, co sprawdzić, by się upewnić co do sensu wyniku.

11 METODY ANALIZY 11 Rodzaj gromadzonych danych determinuje metodę ich analizy. dane jakościowe - analiza jakościowa. dane ilościowe - metody statystyczne.

12 SELEKCJA I PORZĄDKOWANIE DANYCH 12 Postać danych surowe (evidence - dowody): ankiety notatki nagrania metryczki kopie/wyciągi z dokumentów listy/wykazy

13 SELEKCJA I PORZĄDKOWANIE DANYCH 13 Postać danych przetworzone: tabele wykresy: kołowe, kolumnowe rysunki: grafy, schematy cytaty wg kategorii nadanych przez ewaluatorów

14 ANALIZA DANYCH JAKOŚCIOWYCH 14 Analiza danych jakościowych jest interpretatywna, tzn. uzależniona od badacza. Ważność wyników badań jakościowych jest związana z: - odpowiednim doborem techniki badawczej i osób badanych, - sposobem interpretacji wyników i zasadnością prezentowanych wniosków.

15 ANALIZA DANYCH JAKOŚCIOWYCH 15 Kategorie analityczne W tworzeniu kategorii analitycznych powinno uczestniczyć kilka osób. Schemat, za pomocą którego utworzono te kategorie, powinien być szczegółowo opisany w raporcie wraz z uzasadnieniem, dlaczego przyjęto taki, a nie inny sposób tworzenia kategorii kodowania danych.

16 ANALIZA DANYCH JAKOŚCIOWYCH 16 Przykład kategorii Tabela (nr). Kategorie odpowiedzi na pytanie Jak jesteś oceniana/y na lekcjach? Kategoria Nauczyciel sprawiedliwie ocenia uczniów Cytaty Wszyscy są za to samo oceniani. Każdy musi zrobić pracę zgodną ze wzorem, żeby dostać piątkę. Nawet słaby uczeń może dostać dobry stopień, bo Pan mówi, co trzeba zrobić, za co są punkty. Nauczyciel wspiera uczniów Pan zawsze mówi, co muszę zrobić, żeby poprawić ocenę i daje przykładowe zadanie. Matematyk na sprawdzianach zapisuje, które kryteria spełniam i dlatego rozumiem ocenę. A nawet wiem, jak się poprawić.

17 ANALIZA DANYCH JAKOŚCIOWYCH 17 Przykład kategorii Opisując sposób prowadzenia lekcji uczniowie i nauczyciele udzielili odpowiedzi grupujących się w kategorie: metody słowne (pogadanki, opowiadanie, referat, wykład), metody problemowe (drzewko decyzyjne, metaplan, PMI), metody ćwiczeniowe (rozwiązywanie krzyżówki, wykonanie doświadczenia, redagowanie).

18 ANALIZA DANYCH JAKOŚCIOWYCH 18 Przykład kategorii Stworzenie swoistej mapy zagadnień po przeprowadzeniu obserwacji i wywiadów oraz zapoznaniu się z dokumentacją: kategorie osób (nauczyciele, uczniowie, specjaliści zewnętrzni, goście), otoczenie szkoły (społeczne, fizyczne, instytucjonalne), tradycje szkolne (Szkoła dla Rodziców, apele, wieczornice, koncerty, igrzyska sportowe, samorząd uczniowski, patron)

19 ANALIZA DANYCH JAKOŚCIOWYCH 19 Proces analizy Układamy puzzle. Opisujemy i /lub interpretujemy wypowiedzi i zachowania uczestników. Uwzględniamy cechy respondentów i kontekst badania. Nie zliczamy słów! Nie podajemy procentów!

20 ANALIZA DANYCH ILOŚCIOWYCH 20 Proces analizy analiza danych ilościowych jest weryfikowalna i niezależna od badacza, nadaje się do rozpowszechnienia jakiegoś zjawiska, np., jak wielu uczniów naszej szkoły nie czuje się w niej bezpiecznie, przy zastosowaniu odpowiedniego sposobu doboru próby rezultaty analizy stają się reprezentatywne dla danej grupy społecznej

21 ANALIZA DANYCH ILOŚCIOWYCH 21 Proces analizy badania ilościowe umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbce tej populacji, podlegają analizie statystycznej i regułom w niej obowiązującym,

22 ISTOTA ANALIZY DANYCH ILOŚCIOWYCH 22 Proces analizy sumowanie, uśrednianie, korelowanie informacji liczbowych (również takich, które można zakodować w formie liczb np. opinii w badaniach sondażowych), prezentacja graficzna rozkładów częstości występowania badanego zjawiska oraz poziomu zależności, jakie występują pomiędzy różnymi zmiennymi, czyli pokazanie, co te liczby znaczą,

23 ZASADY TWORZENIA WYKRESÓW 23 Proces analizy forma graficzna nie może być bardziej złożona niż treść - nadmiar efektów graficznych utrudnia korzystanie z nich, rodzaj wykresu jest ściśle powiązany z jego treścią, osie wykresu nie muszą zaczynać się od zera, wykres musi być zrozumiały niezależnie od tekstu, wykres nie zastępuje tabeli i statystycznej analizy istotności związku,

24 WYKORZYSTANIE KOMPUTERA 24 Służy jako notatnik, oszczędza papier. Możemy notatki zmieniać: uzupełniać, opatrywać komentarzami (tryb recenzja). Przechowuje w pamięci zdjęcia zdarzeń i scany dokumentów. Magazynuje pliki dźwiękowe, które mogą być wielokrotnie wykorzystane.

25 WYKORZYSTANIE KOMPUTERA 25 Ułatwia kodowanie tekstu, docieranie do już zakodowanych fragmentów i zmienianie kodu w czasie pracy. Pozwala wyszukiwać i indeksować słowa. Jest pomocny przy zliczaniu fraz, pozycji słów lub fraz w tekście względem siebie.

26 SPRAWOZDANIE Z BADANIA 26 Raport Raport kończy proces ewaluacji. Jego celem jest poinformowanie zainteresowanych o wynikach przeprowadzonej ewaluacji. Stanowi on również rodzaj wizytówki osób prowadzących ewaluację. Na podstawie raportu wydaje się opinie nie tylko na temat działań poddanych ewaluacji, lecz również o zespole który realizował projekt ewaluacyjny.

27 ZAWARTOŚĆ SPRAWOZDANIA 27 Raport Pytania badawcze (rozpoczynając czytanie trzeba wiedzieć, co i po co było badane). Koncepcja badania (model metodologiczny, pokazujący sposób zbierania informacji i ich interpretacji ). Wnioski i wartościowanie (wartościowanie działań wg kryteriów). Rekomendacje (propozycje działań, które mogą zmienić stan rzeczy na korzystniejszy).

28 ZAWARTOŚĆ SPRAWOZDANIA 28 Raport Narzędzia stosowane w zbieraniu informacji (kwestionariusze ankiet, arkusze obserwacji, zestawy zagadnień do analizy dokumentów itp.) umieszcza się w aneksie do raportu z ewaluacji. Czytanie aneksu służy na ogół ustaleniu, czy ewaluacja została przeprowadzona poprawnie i w pełni.

29 STRUKTURA SPRAWOZDANIA 29 Raport 1. Karta tytułowa 2. Spis treści 3. Wprowadzenie: cel badania 4. Charakterystyka przeprowadzonego badania 5. Analiza wyników 6. Podsumowanie: wnioski i rekomendacje

30 STRUKTURA SPRAWOZDANIA 30 Raport 1. Karta tytułowa 2. Spis treści 3. Wprowadzenie: cel badania 4. Charakterystyka przeprowadzonego badania 5. Analiza wyników 6. Podsumowanie: wnioski i rekomendacje

31 Traniangulacja danych ankieta do nauczycieli analiza dokumentów obserwacja 31 do rodziców dokumentacja diagnoz sprawozdania n-li z podjętych działań zajęć prowadzonych przez nauczycieli

32 KRYTERIA WARTOŚCI SPRAWOZDANIA 32 Raport Autentyczność - Raport powinien w trafny i rzetelny sposób dokumentować to, jakiego rodzaju doświadczenie płynie z badanego przypadku. Zgodność z przedmiotem ewaluacji - Przygotowując raport, nie możemy stracić z pola widzenia pytań, które postawiono w fazie projektowania ewaluacji.

33 PRZYKŁADY ANALIZ ILOŚCIOWO-JAKOŚCIOWYCH 33 Analiza danych wprowadzenie Termometr Pole siłowe Tarcza strzelnicza Róża wiatrów Sortowanie Balon

34 KRYTERIA WARTOŚCI SPRAWOZDANIA 34 Raport Kontekst kulturowy - W praktyce oznacza to konieczność opisania celów poddanych ewaluacji działań, czasu i miejsca działań. Wiarygodność i wewnętrzna spójność W raporcie mogą się znaleźć jedynie dobrze udokumentowane wnioski. Jednocześnie dane z ewaluacji trzeba przedstawić w formie na tyle przejrzystej, aby czytelnik miał pełny obraz opisywanego działania.

35 WSKAZÓWKI DLA PISZĄCYCH SPRAWOZDANIE 35 Raport Zadbać o dostosowanie terminologii do słownika odbiorców jeżeli w raporcie konieczne jest zastosowanie specjalistycznej terminologii, to należy ją opatrzyć wyjaśnieniem. Pisać w przystępnym stylu Należy tak opracować tekst, by unikać długich zdań i upiększeń stylistycznych. Raport nie musi być krótki, ale musi być łatwy w czytaniu.

36 WSKAZÓWKI DLA PISZĄCYCH SPRAWOZDANIE 36 Raport Stosować prezentacje graficzne W zdaniu nie może być więcej niż 2-3 dane liczbowe. Jeżeli jest ich więcej, konieczne są tabela lub wykres. Wykorzystywać w pełni rolę tabel i wykresów. Ich zadaniem jest uproszczenie przekazu. Należy używać własnych słów do podkreślenia istotnych pozycji w tabelach, szczególnie tam, gdzie czytelnik mógłby mieć trudności ze zrozumieniem lub interpretacją.

37 WSKAZÓWKI DLA PISZĄCYCH SPRAWOZDANIE 37 Raport Korzystać z wypowiedzi respondentów One powodują, że tabele, rysunki i tekst są bardziej interesujące. Używać czasu teraźniejszego i strony czynnej - Rezultaty pomiarów i analiz wyrażone w kategoriach teraz wywołują lepsze wrażenie. Jeżeli rezultaty badania nie są aktualne, to wykorzystanie ich wyników nie da spodziewanych efektów.

38 38 Konsultacje: (86) w. 17