RAPORT Z EWALUACJI WEWNĘTRZNEJ

Transkrypt

1 UNIWERSYTET PRZYRODNICZO-HUMANISTYCZNY w SIEDLCACH PROJEKT INNOWACYJNY TESTUJĄCY RAPORT Z EWALUACJI WEWNĘTRZNEJ Siedlce, kwiecień 2013 r. Publikacja dostępna na stronie:

2 2 RAPORT Z EWALUACJI WEWNĘTRZNEJ Podstawowym celem wewnętrznego raportu ewaluacyjnego jest weryfikacja osiągnięcia celu głównego i celów szczegółowych projektu innowacyjnego Chemia wiem, umiem, rozumiem realizowanego przez Uniwersytet Przyrodniczo- Humanistyczny w Siedlcach, poprzez ocenę poziomu realizacji wskaźników produktu (rezultatów twardych) i wskaźników rezultatu (rezultatów miękkich). W pierwszej części raportu opisano cele projektu, zakładane wskaźniki ich realizacji, metodologię badawczą i przegląd zastosowanych narzędzi ewaluacyjnych oraz przebieg procesu testowania. W dalszej części przedstawiono i przeanalizowano uzyskane wyniki badań. Integralną częścią raportu są załączniki: Załącznik nr 1: Zestawienie i analiza wyników ankiet Załącznik nr 2: Analiza wyników Testów WEJŚCIA/WYJŚCIA Załącznik nr 3: Kwestionariusz ucznia Dziennik użytkownika Kwestionariusz Obserwatora zajęć Opracowanie: dr Sebastian Grzyb, dr Barbara Pezler

3 3 Spis treści 1. Opis projektu, jego celów i rezultatów Wskaźniki produktu (rezultaty twarde) Wskaźniki rezultatu (rezultaty miękkie) Sposób weryfikacji osiągnięcia celów szczegółowych Opis przedmiotu ewaluacji i cele badania...7 Zakres badania ewaluacyjnego Opis przebiegu testowania Opis zastosowanej metodologii i narzędzi badawczych Formularze ankiet użytych w badaniach...10 Ankiety dla odbiorców...10 Ankiety dla użytkowników Testy WEJŚCIA i WYJŚCIA Sposób obliczania wartości wskaźników rezultatów miękkich Metoda oceny przebiegu testowania...17 Zajęcia w laboratorium...17 Spotkania z wybitnymi chemikami...18 Wyjazd edukacyjny Wyniki badań Ocena elementów podlegających testowaniu...19 Zajęcia w laboratorium...19 Spotkania z wybitnymi chemikami...20 Wyjazd edukacyjny Stopień realizacji wskaźników produktu (rezultatów twardych) Stopień realizacji wskaźników rezultatów miękkich...23 Rok szkolny 2011/ Rok szkolny 2012/ Wartość wskaźników na koniec etapu testowania produktu Stopień osiągnięcia celów Projektu Innowacyjnego Chemia wiem, umiem, rozumiem...30 Cele szczegółowe...30 Cel ogólny Podsumowanie Aktualność potrzeb Użyteczność Skuteczność Trwałość Rekomendacje...39

4 4 1. Opis projektu, jego celów i rezultatów Projekt Chemia wiem, umiem, rozumiem jest realizowany przez Uniwersytet Przyrodniczo-Humanistyczny w Siedlcach w okresie od 1 września 2010 do 30 września 2013 w ramach Programu Operacyjnego Kapitał Ludzki, Priorytetu III: Wysoka jakość systemu oświaty, Działania 3.3: Poprawa jakości kształcenia. Głównym celem projektu jest zwiększenie zainteresowania uczniów szkół ponadgimnazjalnych kontynuacją kształcenia na kierunku chemia. Celami szczegółowymi są: 1. Podniesienie atrakcyjności nauki chemii. 2. Podniesienie poziomu kompetencji chemicznych wśród uczniów/uczennic biorących udział w projekcie. 3. Poszerzenie wiedzy nt. praktycznych zastosowań chemii w życiu codziennym oraz rozwijanie zdolności/umiejętności praktycznego wykorzystania nabytej wiedzy. 4. Wyrównywanie poziomu wiedzy chemicznej absolwentów szkół ponadgimnazjalnych oraz dostosowanie sposobu nauczania do programu studiów w celu ułatwienia przyszłym potencjalnym studentom kontynuacji kształcenia na poziomie wyższym. 5. Dostarczenie uczniom możliwości zapoznania się z najnowszymi osiągnięciami naukowymi i ich zastosowaniem w praktyce. Produktem finalnym, który jest narzędziem wprowadzania innowacji opracowanym i testowanym w ramach projektu jest: Propozycja zasad funkcjonowania utworzonego na bazie uczelni wyższej (Instytut Chemii Uniwersytetu Przyrodniczo Humanistycznego w Siedlcach) Centrum Chemicznego Kształcenia Praktycznego (CCKP). Na produkt finalny składają się następujące elementy: katalog zajęć praktycznych dla starej (w roku szkolnym 2011/2012) i nowej (rok szkolny 2012/2013) podstawy programowej (odpowiednio 10 i 5 bloków ćwiczeniowych), w formie skryptu zawierającego instrukcje do ćwiczeń, przykładowe pytania testowe, instrukcje pokazów wykonywanych w ramach każdego bloku przez nauczyciela, wykaz szkła, sprzętu laboratoryjnego oraz odczynników koniecznych do wykonania eksperymentów, koncepcja zasad funkcjonowania Centrum Chemicznego Kształcenia Praktycznego (CCKP) w oparciu o Instytut Chemii Uniwersytetu Przyrodniczo-Humanistycznego w Siedlcach, zasady współpracy CCKP ze szkołami ponadgimnazjalnymi w zakresie prowadzenia nauczania praktycznego z chemii.

5 Wskaźniki produktu (rezultaty twarde) 1. Liczba użytkowników wartość docelowa na zakończenie projektu: 10 szkół oraz 10 nauczycieli/ek; 2. Liczba nauczycieli/ek uczestniczących w warsztatach wartość docelowa na zakończenie projektu: 10 osób; 3. Liczba uczniów/uczennic szkół ponadgimnazjalnych objętych wsparciem wartość docelowa na zakończenie projektu: 600 osób; 4. Liczba uczniów/uczennic szkół ponadgimnazjalnych uczestniczących w wyjazdach edukacyjnych wartość docelowa na zakończenie projektu: 600 osób; 5. Liczba uczniów/uczennic szkół ponadgimnazjalnych uczestniczących w spotkaniach z wybitnymi chemikami wartość docelowa na zakończenie projektu: 600 osób; 6. Liczba godzin zajęć praktycznych zrealizowanych w laboratoriach Instytutu Chemii UPH w Siedlcach wartość docelowa na zakończenie projektu: 400 godzin; 7. Liczba opracowanych raportów ewaluacyjnych i z audytu wartość docelowa na zakończenie projektu: 3; 8. Liczba zajęć pokazowych wartość docelowa na zakończenie projektu: 5 zajęć Wskaźniki rezultatu (rezultaty miękkie) I 80 % uczniów/uczennic, którzy pozytywnie ocenią zmiany w zakresie kształcenia praktycznego i formy wsparcia i/lub wyrażą opinię, iż są one atrakcyjne; II 80% nauczycieli/ek, które pozytywnie ocenią innowacyjny sposób kształcenia praktycznego w zakresie chemii; III 90% uczniów/uczennic, którzy pogłębili swoją wiedzę i/lub podwyższyli swoje umiejętności praktyczne z chemii; IV 70% uczniów/uczennic, którzy stwierdzą, iż chemia jest przedmiotem interesującym; V 80% uczniów/uczennic, którzy deklarują wzrost samooceny i wiary we własne możliwości Sposób weryfikacji osiągnięcia celów szczegółowych Cel 1. Podniesienie atrakcyjności nauki chemii Miarą osiągnięcia celu są wartości wskaźników rezultatów: I % uczniów/uczennic, pozytywnie oceniających zmiany w zakresie kształcenia praktycznego i formy wsparcia i/lub wyrażających opinię, iż są one atrakcyjne; II % nauczycielek pozytywnie oceniających innowacyjny sposób kształcenia praktycznego w zakresie chemii; IV % uczniów/uczennic, stwierdzających, iż chemia jest przedmiotem interesującym. Cel zostanie osiągnięty, jeśli wartości wskaźników w/w rezultatów miękkich nie będą mniejsze, niż wartości docelowe.

6 6 Cel 2. Podniesienie poziomu kompetencji chemicznych wśród uczniów/uczennic biorących udział w projekcie Stopień realizacji celu określają wskaźniki rezultatów: III % uczniów/uczennic, którzy pogłębili swoją wiedzę i/lub podwyższyli swoje umiejętności praktyczne z chemii; V % uczniów/uczennic deklarujących wzrost samooceny i wiary we własne możliwości; Cel można będzie uznać za osiągnięty, jeśli wartości tych wskaźników w drugim badaniu, przeprowadzonym po zakończeniu zajęć, będą wyraźnie wyższe, niż w badaniu pierwszym, przed rozpoczęciem zajęć w CCKP. O osiągnięciu tego celu będzie też świadczyła wysoka wartość wskaźnika rezultatu II zależnego od użytkowników, czyli % nauczycieli/ek, pozytywnie oceniających innowacyjny sposób kształcenia praktycznego w zakresie chemii. Cel 3. Poszerzenie wiedzy nt. praktycznych zastosowań chemii w życiu codziennym oraz rozwijanie zdolności/umiejętności praktycznego wykorzystania nabytej wiedzy O osiągnięciu celu będzie świadczyła wartość wskaźnika rezultatu III - % uczniów/uczennic, którzy pogłębili swoją wiedzę i/lub podwyższyli swoje umiejętności praktyczne z chemii. Dodatkowym kryterium będzie wskaźnik rezultatu IV - % uczniów/uczennic, stwierdzających, iż chemia jest przedmiotem interesującym. Cel 4. Wyrównywanie poziomu wiedzy chemicznej absolwentów szkół ponadgimnazjalnych oraz dostosowanie sposobu nauczania do programu studiów, w celu ułatwienia przyszłym potencjalnym studentom kontynuacji kształcenia na poziomie wyższym Miarą osiągnięcia celu jest wskaźnik rezultatu III - % uczniów/uczennic, którzy pogłębili swoją wiedzę i/lub podwyższyli swoje umiejętności praktyczne z chemii. Wartości elementów tego wskaźnika wyznaczone z pierwszego pomiaru (różne dla różnych szkół i klas), powinny być wyraźnie niższe od wartości docelowej, uzyskanej w drugim pomiarze, co będzie świadczyło o wyrównaniu poziomu uczniów kształcących się w różnych szkołach i według różnych programów. Dodatkowym kryterium osiągnięcia celu będzie też wartość wskaźników rezultatów: V - % uczniów/uczennic deklarujących wzrost samooceny i wiary we własne możliwości; II - % nauczycielek, które pozytywnie ocenią innowacyjny sposób kształcenia praktycznego w zakresie chemii. Cel 5. Dostarczenie uczniom możliwości zapoznania się z najnowszymi osiągnięciami naukowymi i ich zastosowaniem w praktyce. O osiągnięciu celu będzie świadczył poziom realizacji wskaźników rezultatów twardych: liczba uczniów/uczennic uczestniczących w spotkaniach z wybitnymi chemikami, liczba uczniów/ uczennic uczestniczących w wyjazdach edukacyjnych. Dodatkowym kryterium będą wartości wskaźników rezultatów miękkich: III - % uczniów/uczennic, którzy pogłębili swoją wiedzę i/lub podwyższyli swoje umiejętności praktyczne z chemii, IV - % uczniów/uczennic stwierdzających, iż chemia jest przedmiotem interesującym.

7 7 2. Opis przedmiotu ewaluacji i cele badania Ewaluacja wewnętrzna realizowana była w trakcie oraz po zakończeniu testowania produktu finalnego, w końcowej fazie II etapu realizacji projektu. Swoim zasięgiem objęła produkt finalny, czyli propozycję zasad funkcjonowania utworzonego na bazie uczelni wyższej (Instytut Chemii Uniwersytetu Przyrodniczo Humanistycznego w Siedlcach) Centrum Chemicznego Kształcenia Praktycznego (CCKP), ze wszystkimi, składającymi się nań elementami. Zakres badania ewaluacyjnego Zakres podmiotowy badania (respondenci): Nauczyciele (użytkownicy) Uczniowie i uczennice (odbiorcy) Zakres przedmiotowy badania: Etap testowania produktu finalnego oraz weryfikacja celu głównego i celów szczegółowych projektu poprzez ocenę poziomu realizacji wskaźników produktu (rezultatów twardych) i wskaźników rezultatu (rezultatów miękkich). Wyniki i rekomendacje ewaluacji wewnętrznej powinny zostać uwzględnione w przygotowaniu ostatecznej wersji innowacyjnego produktu do walidacji, poprzedzającej realizację III etapu projektu upowszechnianie produktu finalnego. 3. Opis przebiegu testowania W fazie testowania wstępnej wersji produktu finalnego wzięło udział 10 szkół ponadgimnazjalnych z Siedlec, Sokołowa Podlaskiego i Węgrowa. Użytkownikami projektu było 10 nauczycielek chemii. Odbiorcami projektu w roku szkolnym 2011/2012 było 303 uczniów/uczennic z 10 klas drugich, uczących się według starej podstawy programowej, natomiast w roku szkolnym 2012/ uczniów/uczennic z 10 klas pierwszych uczących się według nowej podstawy programowej. Szczegóły dotyczące uczestników projektu przedstawia tabela 1. Na potrzeby niniejszego opracowania poszczególnym szkołom nadano oznaczenia cyfrowe (rzymskie) od I do X, odpowiadające kolejności rozpoczynania zajęć praktycznych. Przed rozpoczęciem zajęć praktycznych w danym roku szkolnym wszystkie nauczycielki (użytkownicy) wzięły udział w warsztatach szkoleniowych (20 godzin), których głównym celem było wszechstronne (merytoryczne, organizacyjne, techniczne) przygotowanie użytkowników do zajęć w laboratorium chemicznym. Każda klasa (odbiorcy) wraz ze swoim nauczycielem (użytkownicy) wzięła udział w 5 dwugodzinnych zajęciach praktycznych, wykonując ćwiczenia z wybranego przez nauczyciela bloku tematycznego. Z 10 bloków tematycznych w ramach wstępnej wersji produktu finalnego, opracowanych dla starej podstawy programowej (2011/2012) do realizacji wybrano 8 bloków tematycznych. W roku szkolnym 2012/2013 zaplanowano i przetestowano 5 bloków ćwiczeń, obejmujących zagadnienia przewidziane dla zakresu podstawowego nowej podstawy programowej.

8 8 Zarówno odbiorcy, jak i użytkownicy (uczniowie/uczennice i nauczycielki) uczestniczyli w spotkaniach (wykładach) z wybitnymi naukowcami, zajmującymi się chemią oraz wzięli udział w wyjeździe edukacyjnym do wybranego przez siebie zakładu związanego z przemysłem chemicznym. IV Liceum Ogólnokształcące im. Hetmana Stanisława Żółkiewskiego w Siedlcach I Katolickie Liceum Ogólnokształcące im. Świętej Rodziny w Siedlcach Zespół Szkół Ponadgimnazjalnych nr 1 im. Stanisława Staszica w Siedlcach Zespół Szkół Ponadgimnazjalnych nr 3 im. Stanisława Staszica w Siedlcach Tabela 1. Uczestnicy projektu w fazie testowania wstępnej wersji produktu finalnego. 2011/ /2013 Szkoła L. L. Klasa II Klasa I ucz. ucz. I Liceum Ogólnokształcące biologicznochemiczna biologicznochemiczna im. Bolesława Prusa w Siedlcach II Liceum Ogólnokształcące biologicznochemiczna z Oddziałami Dwujęzycznymi im. 36 akademicka 30 Świętej Królowej Jadwigi w Siedlcach biologicznochemiczna 28 ogólna z elementami wiedzy europejskiej LO przyrodnicza z elementami turystyki technikum hotelarskie biologicznochemiczna przyrodnicza LO przyrodnicza z elementami turystyki technikum gastronomiczne z rozszerz. chemią i matematyką LO sportowomedyczna Zespół Szkół Ponadgimnazjalnych nr 4 LO biologicznogeograficzna im. Kazimierza Wielkiego w Siedlcach I Liceum Ogólnokształcące o rozszerzonym zakresie nauczania biologicznochemiczna im. Marii Skłodowskiej-Curie matematyki 30 w Sokołowie Podlaskim i geografii 30 Salezjańskie Liceum Ogólnokształcące biologicznochemiczna ogólna 30 w Sokołowie Podlaskim 30 I Liceum Ogólnokształcące im. Adama Mickiewicza w Węgrowie przyrodnicza 33 przyrodnicza 23 Ogółem: Zbieranie informacji o przebiegu testowania polegało na: 1. Kontroli obecności uczniów na zajęciach laboratoryjnych, wyjeździe edukacyjnym (lista obecności) i spotkaniu z wybitnym naukowcem z dziedziny chemii (lista obecności). 2. Zebraniu przez opiekuna z CCKP opinii uczniów o wykonywanych ćwiczeniach oraz instrukcjach do ćwiczeń (po każdych zajęciach laboratoryjnych, przy pomocy formularza). 3. Monitorowaniu przebiegu ćwiczeń laboratoryjnych (pod kątem ich organizacji, bezpieczeństwa, zaangażowania uczniów, atmosfery, itp.) oraz umiejętności eksperymentowania przez uczniów (ocena nauczyciela uczestniczącego w zajęciach przy pomocy formularza w dzienniku zajęć). 4. Monitorowaniu przyrostu wiedzy i umiejętności uczniów w zakresie treści programowych ściśle związanych z wykonanymi doświadczeniami. Służyły temu testy sprawdzające tzw. testy wejścia przeprowadzane przed rozpoczęciem zajęć praktycznych i wyjścia po

9 9 zakończeniu zajęć w danym roku szkolnym. Dodatkowym źródłem informacji były oceny semestralne i końcowe (dziennik użytkownika). 5. Monitorowaniu stopnia (osiągnięcia celu) zainteresowania uczniów chemią, jako przedmiotem maturalnym i kierunkiem studiów wyższych. Narzędziem była ankieta przeprowadzona po zakończeniu testowania wśród uczniów odbiorców. 4. Opis zastosowanej metodologii i narzędzi badawczych Ewaluację projektu przeprowadzono przede wszystkim metodą badań ankietowych, w oparciu o zawierający odpowiednio sformułowane pytania kwestionariusz w formie pisemnej. Konstrukcja ankiety umożliwiała respondentom udzielanie na poszczególne pytania odpowiedzi twierdzącej lub przeczącej (Tak lub Nie). Pozwoliło to określić procentowy poziom realizacji wskaźników rezultatów w odniesieniu do uczniów i nauczycieli oraz określić stopień osiągnięcia celów zgodnie z założeniami określonymi w strategii. Przygotowano ankiety dla odbiorców (uczniów/uczennic) oraz użytkowników (nauczycielek) testujących produkt. Badanie ankietowe wśród uczniów (odbiorców) przeprowadzone było dwukrotnie w danym roku szkolnym. Pierwsza ankieta (A) przed rozpoczęciem zajęć laboratoryjnych, druga (B) po zakończeniu całego cyklu zajęć w CCKP. Ankiety (C i D) skierowane do nauczycieli (użytkowników), przeprowadzone były po zakończeniu cyklu zajęć praktycznych (warsztaty szkoleniowe, zajęcia laboratoryjne, wyjazd edukacyjny, spotkanie z wybitnym chemikiem) w danym roku szkolnym. Wszystkie zastosowane ankiety ewaluacyjne były anonimowe. Pytano jedynie o płeć ankietowanych, w celu uwzględnienia w poszczególnych analizach ilościowego (procentowego) udziału kobiet i mężczyzn. Analizę ankiet skierowanych do uczniów w roku szkolnym 2011/2012 przeprowadzono bez podziału na szkoły, uwzględniając jedynie podział na płeć respondentów. Ze względu na znaczne zróżnicowanie poziomu kompetencji chemicznych uczniów uczących się w różnych szkołach (co pokazały wyniki testów sprawdzających), dla głębszej interpretacji wyników zdecydowano, aby analizę ankiet w roku szk. 2012/2013 przeprowadzić z uwzględnieniem podziału na szkoły (I-X). Dodatkowo zastosowano też formularze (kwestionariusze), umożliwiające respondentom wyrażenie opinii, spostrzeżeń i dodatkowych uwag w postaci swobodnej wypowiedzi pisemnej. Formularze te zawarto w dziennikach zajęć przeznaczonych dla nauczyciela (Dziennik zajęć użytkownika projektu) oraz ucznia (Dziennik laboratoryjny). Umożliwiły one monitorowanie przebiegu testowania i bezpośrednią ocenę i weryfikację osiągnięcia niektórych rezultatów w odniesieniu do poszczególnych celów projektu. Aby w sposób wymierny ocenić poziom wiedzy i umiejętności praktycznych oraz stopień ich przyrostu wśród odbiorców projektu (uczniów/uczennic) przeprowadzono testy wejścia/wyjścia. Testy pozwoliły sprawdzić wiadomości i umiejętności uczniów przed przystąpieniem do realizacji zajęć oraz po ich zakończeniu, pozwalając tym samym obliczyć obiektywną wartość wskaźnika dotyczącego pogłębienia wiedzy i podwyższenia umiejętności praktycznych z chemii.

10 Formularze ankiet użytych w badaniach Ankiety dla odbiorców Ankieta (A) skierowana do odbiorców (uczniów/uczennic) obydwu roczników przed rozpoczęciem zajęć praktycznych (9-30 września 2011 i 4-26 października 2012) 1. Czy chemia jest dla Ciebie przedmiotem trudnym? 2. Czy sposób nauczania chemii w szkole jest atrakcyjny? 3. Czy zamierzasz zdawać chemię na maturze? 4. Czy zamierzasz wybrać chemię jako kierunek studiów? 5. Czy znasz nazwy i przeznaczenie szkła i sprzętu laboratoryjnego? 6. Czy potrafisz zaprojektować doświadczenie, mając do dyspozycji odczynniki chemiczne i sprzęt laboratoryjny? 7. Czy uważasz, że Twoje wiadomości z chemii wymagają pogłębienia? 8. Czy na lekcjach chemii masz możliwość samodzielnego wykonywania doświadczeń chemicznych? 9. Czy uważasz, że na lekcjach chemii należy wykonywać więcej eksperymentów chemicznych? 10. Czy chciałbyś, pod nadzorem nauczyciela samodzielnie wykonać prosty eksperyment chemiczny? 11. Czy samodzielne wykonywanie eksperymentów mogłoby ułatwić zrozumienie niektórych zagadnień z tego przedmiotu? 12. Czy możliwość samodzielnego wykonywania doświadczeń mogłaby przyczynić się do osiągnięcia przez Ciebie lepszych wyników z chemii? Ankiety (B) skierowane do odbiorców (uczniów/uczennic) obydwu roczników po zakończeniu zajęć praktycznych (1-23 marca 2012 i 14 marca-19 kwietnia 2013) zawierały w większości te same pytania. Zmiany, które wprowadzono w kwestionariuszu w roku szk. 2012/2013 w przypadku pytań 2 i 17, wynikały z chęci doprecyzowania ich treści, aby były lepiej rozumiane przez respondentów. 1. Czy po odbyciu zajęć praktycznych chemia jest dla Ciebie przedmiotem tak samo trudnym jak przed zajęciami? / /2013 Czy po odbyciu zajęć praktycznych chemia Czy po odbyciu zajęć praktycznych jest dla Ciebie przedmiotem łatwiejszym, chemia wydaje Ci się przedmiotem ciekawszym jak przed zajęciami? ciekawszym jak przed zajęciami? 3. Czy po odbyciu zajęć praktycznych Twoje zainteresowanie chemią wzrosło/jest większe? 4. Czy podobały Ci się te zajęcia? 5. Czy podczas wykonywania eksperymentów byłaś/eś samodzielna/y? 6. Czy na zajęciach laboratoryjnych mogłaś/eś liczyć na pomoc nauczyciela lub personelu? 7. Czy zamierzasz zdawać chemię na maturze? 8. Czy zamierzasz wybrać chemię jako kierunek studiów? 9. Czy znasz nazwy i przeznaczenie szkła i sprzętu laboratoryjnego? 10. Czy potrafisz zaprojektować doświadczenie, mając do dyspozycji odczynniki chemiczne i sprzęt laboratoryjny? 11. Czy wykonując doświadczenie potrafisz opisać obserwacje i sformułować wnioski? 12. Czy wykonanie doświadczenia sprawia, że lepiej zapamiętujesz nowe wiadomości?

11 Czy samodzielne wykonywanie eksperymentów pomaga Ci lepiej zrozumieć procesy chemiczne? 14. Czy samodzielne wykonywanie doświadczeń pozwoli Ci osiągnąć lepsze wyniki z chemii? 15. Czy uczestnicząc w zajęciach praktycznych w Instytucie Chemii UPH pogłębiłeś swoją wiedzę z chemii? 16. Czy wykonując samodzielnie doświadczenia podwyższyłeś swoje umiejętności z chemii? / /2013 Czy po odbyciu zajęć praktycznych chemia stała się dla Ciebie przedmiotem bardziej interesującym i ciekawym? Czy po odbyciu zajęć praktycznych chemia stała się dla Ciebie przedmiotem bardziej interesującym? 18. Czy zajęcia laboratoryjne, w których samodzielnie wykonujesz eksperymenty są dla Ciebie atrakcyjną formą zdobywania wiedzy i umiejętności praktycznych? Ankiety dla użytkowników Ankieta (C) (wypełniana w maju 2012) skierowana do nauczycielek (użytkowników) w roku szk. 2011/2012 zawierała następujące pytania: 1. Czy pozytywnie ocenia Pani zaproponowany sposób kształcenia praktycznego z chemii? 2. Czy dodatkowe zajęcia w CCKP podniosły jakość nauczania chemii? 3. Czy uczniowie chętnie uczestniczyli w zajęciach? 4. Czy wśród uczniów zainteresowanie chemią wzrosło? 5. Czy uczniowie popełniają mniej błędów podczas rozwiązywania zadań związanych z doświadczeniami? 6. Czy po odbyciu zajęć praktycznych uczniowie potrafią: a) zaprojektować eksperyment chemiczny? b) dobrać sprzęt i odczynniki? c) dokonać obserwacji? d) prawidłowo wyciągnąć wnioski? 7. Czy zajęcia laboratoryjne pozytywnie wpłynęły na wyniki uczniów? 8. Czy podczas wykonywania eksperymentów uczniowie byli samodzielni? 9. Czy zostały spełnione Pani oczekiwania wobec: a) organizacji zajęć? b) przebiegu zajęć? c) współpracy z personelem CCKP? d) efektów dydaktycznych? 10. Wyjazd edukacyjny: a) Czy wyjazd był dobrze zorganizowany? b) Czy cel wyjazdu został osiągnięty? 11. Spotkanie z wybitnym chemikiem: a) Czy treść i sposób wygłoszenia wykładu był satysfakcjonujący? b) Czy była możliwość zadawania pytań/dyskusji? 12. Który z elementów testowanego rozwiązania wymaga zmiany/modyfikacji? a) zasady współpracy z CCKP określone w umowie ze szkołą b) zestaw ćwiczeń laboratoryjnych c) obsługa zajęć przez personel CCKP d) harmonogram zajęć

12 12 Ankieta (D) (wypełniana w kwietniu 2013) skierowana do tych samych nauczycielek w kolejnym roku testowania 2012/2013 została rozszerzona w stosunku do roku poprzedniego o pytania nr 9 oraz 14-16, związane z problematyką upowszechniania i włączania wypracowanego produktu do praktyki szkolnej: 1. Czy pozytywnie ocenia Pani zaproponowany sposób kształcenia praktycznego z chemii? 2. Czy zajęcia w CCKP podniosły jakość nauczania chemii? 3. Czy uczniowie chętnie uczestniczyli w zajęciach? 4. Czy wśród uczniów zainteresowanie chemią wzrosło? 5. Czy uczniowie popełniają mniej błędów podczas rozwiązywania zadań związanych z doświadczeniami? 6. Czy po odbyciu zajęć praktycznych uczniowie potrafią : a) zaprojektować eksperyment chemiczny? b) dobrać sprzęt i odczynniki? c) dokonać obserwacji? d) prawidłowo wyciągnąć wnioski? 7. Czy zajęcia laboratoryjne pozytywnie wpłynęły na wyniki uczniów? 8. Czy podczas wykonywania eksperymentów uczniowie byli samodzielni? 9. Czy uczniowie podnieśli swoją samoocenę i wiarę we własne możliwości? 10. Czy zostały spełnione Pani oczekiwania wobec: a) organizacji zajęć? b) przebiegu zajęć? c) współpracy z personelem CCKP? d) efektów dydaktycznych? 11. Wyjazd edukacyjny: a) Czy wyjazd był dobrze zorganizowany? b) Czy cel wyjazdu został osiągnięty? 12. Spotkanie z wybitnym chemikiem: a) Czy treść i sposób wygłoszenia wykładu był satysfakcjonujący? b) Czy była możliwość zadawania pytań/dyskusji? 13. Który z elementów testowanego rozwiązania wymaga zmiany/modyfikacji? a) zasady współpracy z CCKP określone w umowie ze szkołą b) zestaw ćwiczeń laboratoryjnych c) obsługa zajęć przez personel CCKP d) harmonogram zajęć 14. Czy chciałaby Pani w przyszłości kontynuować współpracę z CCKP? a) ile razy w ciągu roku szkolnego: 1, 2, 3, 4, 5 b) ile klas: 1, 2, 3, więcej. 15. Czy chciałaby Pani uczestniczyć wraz z uczniami w dodatkowych zajęciach w CCKP? a) w ramach koła zainteresowań b) przygotowania do matury c) konkursu chemicznego 16. Czy konieczne jest dodatkowe przeszkolenie nauczyciela przed udziałem w zajęciach w CCKP? a) szkolenie praktyczne (wykonanie wszystkich doświadczeń wybranych dla uczniów) b) przeszkolenie teoretyczne z zagadnień związanych z wybranymi doświadczeniami

13 Testy WEJŚCIA i WYJŚCIA Test wejścia był narzędziem pozwalającym określić poziom wiedzy i umiejętności uczniów/uczennic przed rozpoczęciem zajęć praktycznych w laboratorium, aby porównać go z poziomem uzyskanym po zakończeniu cyklu zajęć, określanym przez test wyjścia, a tym samym zmierzyć przyrost badanych kompetencji u odbiorców projektu. W celu zapewnienia obiektywności, przygotowanie i przeprowadzenie testu, a także jego późniejszą analizę i przedstawienie jej wyników w postaci raportu, zlecono niezależnemu ekspertowi, niezwiązanemu z żadną ze szkół uczestniczących w projekcie. Wszyscy odbiorcy, bez względu na rodzaj szkoły, profil klasy, czy zakres nauczania, rozwiązywali ten sam test. Aby zapobiec sztucznemu zawyżaniu wyników przez wcześniejsze przygotowanie uczniów, test nie był udostępniany nauczycielkom (użytkownikom), ani przed, ani po przeprowadzeniu go w danej klasie. Konstrukcja testów wejścia była identyczna, jak testów wyjścia. Oba testy zawierały tyle samo, tego samego typu i tak samo punktowanych zadań. Dzięki temu możliwe było bezpośrednie porównanie wyników obu testów. Testy wejścia i wyjścia przeprowadzane w roku szkolnym 2011/2012 w klasach drugich zawierały 7 zadań, w tym: zadania nr 1-5 (zadania otwarte) sprawdzające znajomość nazewnictwa podstawowego sprzętu laboratoryjnego i jego wykorzystania do przeprowadzania prostych eksperymentów chemicznych zadanie nr 5 i 6 obejmujące treści z obowiązującej wówczas starej Podstawy Programowej dla szkół średnich, które dotyczyły zapisywania równań reakcji chemicznych oraz określania typu reakcji. Na rozwiązanie testu uczniowie mieli 25 minut. Rozwiązując poprawnie wszystkie zadania uczeń mógł zdobyć maksymalnie 21 punktów. Testy wejścia i wyjścia w roku szkolnym 2012/2013 przeznaczone dla uczniów klas pierwszych zawierały 15 zadań, w tym: zadania nr 1-4 (zadania otwarte), w których sprawdzano znajomość nazewnictwa podstawowego sprzętu laboratoryjnego i jego wykorzystania do przeprowadzania prostych eksperymentów chemicznych, zadania nr 5-8 obejmujące treści z nowej Podstawy Programowej dla szkół średnich dotyczące rodzajów mieszanin, sposobów ich rozdziału czy też podania wzorów kilku substancji chemicznych, zadania nr 9-15 test jednokrotnego wyboru. Na rozwiązanie testu uczniowie mieli 25 minut. Rozwiązując poprawnie wszystkie zadania uczeń mógł zdobyć maksymalnie 27 punktów. Opracowane wyniki testów pozwoliły określić częstość występowania danego wyniku punktowego w konkretnej klasie (rozkład ilości zdobytych punktów), średnią ilość zdobytych punktów, wynik najwyższy i najczęstszy w poszczególnych klasach, a także stwierdzić, ile osób przystępujących do testu zdało go, otrzymując minimum 30%, w tym ilość wyników przekraczających 50% próg punktowy. Analiza tych danych, przedstawiona w załączniku nr 2 doprowadziła do wniosku, że kryterium odpowiednim do określenia odsetka osób, które pogłębiły wiedzę lub podniosły umiejętności z chemii, będzie odsetek uczniów/uczennic, które z testu wyjścia otrzymały wynik wyższy, niż średnia z testu wejścia uzyskana w danej klasie.

14 Sposób obliczania wartości wskaźników rezultatów miękkich Wartości poszczególnych wskaźników obliczano dla każdego roku szkolnego oddzielnie, ze względu na duże różnice między grupami odbiorców. Ustalając wysokość wskaźnika brano pod uwagę wyniki (procentowe) ankiet skierowanych do odpowiedniej grupy respondentów (uczniowie/uczennice lub nauczyciele). Ponadto, przy obliczaniu wskaźnika III uwzględniono wyniki testów wejścia i wyjścia. Odpowiedziom na pytania przypisano wagę odpowiednią dla danego rezultatu, według schematów podanych w tabelach 2-6 i zilustrowanych rysunkami 1-6. Rezultat I - % uczniów/uczennic, którzy pozytywnie ocenią zmiany w zakresie kształcenia praktycznego i formy wsparcia i/lub wyrażą opinię, iż są one atrakcyjne REZULTAT I Rys. 1. Udział (waga) odpowiedzi na wskazane pytania ankiety B w wartości wskaźnika rezultatu I. B18 B4 B13 B12 Tabela 2. Źródła danych dla wskaźnika rezultatu I. Źródło Nr Treść pytania Waga 4 Czy podobały Ci się te zajęcia? 0,3 Czy wykonanie doświadczenia sprawia, że lepiej zapamiętujesz nowe Ankieta B 2011/ / wiadomości? Czy samodzielne wykonywanie eksperymentów pomaga Ci lepiej zrozumieć procesy chemiczne? Czy zajęcia laboratoryjne, w których samodzielnie wykonujesz eksperymenty są dla Ciebie atrakcyjną formą zdobywania wiedzy i umiejętności praktycznych? 0,2 0,2 0,3 Rezultat II - % nauczycielek, które pozytywnie ocenią innowacyjny sposób kształcenia praktycznego w zakresie chemii C10b/D11b REZULTAT II Rys. 2. Udział (waga) odpowiedzi na wskazane pytania ankiety C (2011/12) lub D (2012/13) w wartości wskaźnika rezultatu II. C9d/D10d C9c/D10c C9b/D10b C9a/D10a C7/D7 C11a/D12a C1/D1 C5/D5 C4/D4 C3/D3 C2/D2

15 15 Tabela 3. Źródła danych dla wskaźnika rezultatu II. Źródło Nr Treść pytania Waga 1 Czy pozytywnie ocenia Pani zaproponowany sposób kształcenia praktycznego z chemii? 0,4 2 Czy zajęcia w CCKP podniosły jakość nauczania chemii? 0,1 3 Czy uczniowie chętnie uczestniczyli w zajęciach? Ankieta C, D 4 Czy wśród uczniów zainteresowanie chemią wzrosło? 5 Czy uczniowie popełniają mniej błędów podczas rozwiązywania zadań związanych z doświadczeniami? 7 Czy zajęcia laboratoryjne pozytywnie wpłynęły na wyniki uczniów? Ankieta C 9 Czy zostały spełnione Pani oczekiwania wobec: 10 a) organizacji zajęć? b) przebiegu zajęć? Ankieta D c) współpracy z personelem CCKP? d) efektów dydaktycznych? Ankieta C 10b Ankieta D 11b Czy cel wyjazdu został osiągnięty? Ankieta C 11a Spotkanie z wybitnym chemikiem Ankieta D 12a Czy treść i sposób wygłoszenia wykładu był satysfakcjonujący? Rezultat III - % uczniów/uczennic, którzy pogłębili swoją wiedzę i/lub podwyższyli swoje umiejętności praktyczne z chemii REZULTAT III Rys. 3. Udział (waga) odpowiedzi na wskazane pytania ankiety B oraz wyników Testów w wartości wskaźnika rezultatu III. TESTY B9 B10 B11 B12 B13 B15 Tabela 4. Źródła danych dla wskaźnika rezultatu III. Źródło Nr Treść pytania Waga 9 Czy znasz nazwy i przeznaczenie szkła i sprzętu laboratoryjnego? 10 Czy potrafisz zaprojektować doświadczenie, mając do dyspozycji odczynniki chemiczne i sprzęt laboratoryjny? Czy wykonując doświadczenie potrafisz opisać obserwacje 11 i sformułować wnioski? Ankieta B Czy wykonanie doświadczenia sprawia, że lepiej 2011/ zapamiętujesz nowe wiadomości? 2012/2013 Czy samodzielne wykonywanie eksperymentów pomaga Ci 13 lepiej zrozumieć procesy chemiczne? 15 Czy uczestnicząc w zajęciach praktycznych w Instytucie Chemii UPH pogłębiłeś swoją wiedzę z chemii? 0, Czy wykonując samodzielnie doświadczenia podwyższyłeś swoje umiejętności z chemii? 0,125 Testy sprawdzające % osób, które z testu wyjścia uzyskały wynik wyższy, niż średnia z testu wejścia w danej klasie 0,5 B16

16 16 Rezultat IV - % uczniów/uczennic, którzy stwierdzą, iż chemia jest przedmiotem interesującym Rys. 4. Udział (waga) odpowiedzi na wskazane pytania ankiety B w wartości wskaźnika rezultatu IV. B17 REZULTAT IV B2 Tabela 5. Źródła danych dla wskaźnika rezultatu IV. Źródło Nr Treść pytania Waga Ankieta B Czy po odbyciu zajęć praktycznych chemia jest dla Ciebie /2012 przedmiotem łatwiejszym, ciekawszym jak przed zajęciami? Ankieta B Czy po odbyciu zajęć praktycznych chemia wydaje Ci się /2013 przedmiotem ciekawszym jak przed zajęciami? 0,25 Ankieta B Czy po odbyciu zajęć praktycznych Twoje zainteresowanie chemią 2011/ wzrosło/jest większe? 2012/2013 0,25 Ankieta B 2011/2012 Ankieta B 2012/ Czy po odbyciu zajęć praktycznych chemia stała się dla Ciebie przedmiotem bardziej interesującym i ciekawym? Czy po odbyciu zajęć praktycznych chemia stała się dla Ciebie przedmiotem bardziej interesującym? Rezultat V - % uczniów/uczennic, którzy deklarują wzrost samooceny i wiary we własne możliwości B3 0,5 REZULTAT V 2011/2012 B1 B2 REZULTAT V 2012/2013 B1 B14 B5 B14 B5 B13 B12 Rys. 5. Udział (waga) odpowiedzi na wskazane pytania ankiety B w wartości wskaźnika rezultatu V, obliczanego dla odbiorców w roku szk. 2011/12 (lewy diagram) i 2012/13(prawy diagram). Tabela 6. Źródła danych dla wskaźnika rezultatu V. Źródło Nr Treść pytania Waga Ankieta B Czy po odbyciu zajęć praktycznych chemia jest dla Ciebie przedmiotem /2012 tak samo trudnym jak przed zajęciami? 0,1 Ankieta B Czy po odbyciu zajęć praktycznych chemia jest dla Ciebie przedmiotem /2013 tak samo trudnym jak przed zajęciami? 0,2 Ankieta B Czy po odbyciu zajęć praktycznych chemia jest dla Ciebie przedmiotem /2012 łatwiejszym, ciekawszym jak przed zajęciami? 0,1 5 Czy podczas wykonywania eksperymentów byłaś/eś samodzielna/y? 0,2 Ankieta B 2011/ / Czy wykonanie doświadczenia sprawia, że lepiej zapamiętujesz nowe wiadomości? Czy samodzielne wykonywanie eksperymentów pomaga Ci lepiej zrozumieć procesy chemiczne? Czy samodzielne wykonywanie doświadczeń pozwoli Ci osiągnąć lepsze wyniki z chemii? B13 B12 0,5

17 Metoda oceny przebiegu testowania Sposób realizacji zadań przewidzianych w etapie testowania proponowanych rozwiązań monitorowany był przy pomocy zarówno ankiet (A, B, C i D), jak i kwestionariuszy umieszczonych w Dzienniku laboratoryjnym (odbiorcy), Dzienniku użytkownika oraz Dzienniku zajęć (personel CCKP). Frekwencja uczniów na wszystkich zajęciach (laboratoryjnych, wykładach, wyjazdach) monitorowana była przy pomocy list obecności. Uczniowie mogli zapisywać swoje zastrzeżenia, co do organizacji i przebiegu zajęć w laboratorium, wypełniając odpowiednie pola w kwestionariuszu ucznia, załączonym do instrukcji dla danego bloku ćwiczeń. Pytania zawarte w formularzu odnosiły się do każdego z wykonywanych ćwiczeń i dotyczyły kwestii: - Czy instrukcja jest niezrozumiała? - Czy miałeś/aś problemy z wykonaniem doświadczenia? - Czy miałeś/aś problemy z dokonaniem obserwacji? - Czy musiałeś/aś skorzystać z pomocy personelu CCKP? Kwestionariusz zawierał także miejsce na swobodne uwagi i opinie ucznia. Wypełnione formularze były oddawane po każdych zajęciach i bezpośrednio po nich analizowane przez personel. Nauczycielki zobowiązane były do notowania spostrzeżeń negatywnych w formularzach umieszczonych w dzienniku użytkownika oddzielnie dla każdego bloku ćwiczeń, odnosząc się do następujących kwestii dotyczących każdego z wykonywanych ćwiczeń: - Problemy ze zrozumieniem instrukcji - Problemy z wykonaniem ćwiczenia - Problemy z dokonaniem obserwacji - Problemy ze sformułowaniem wniosków Formularz przewidywał również odpowiedź na pytania: - Czy wystąpiły sytuacje zagrażające bezpieczeństwu? - Propozycje modyfikacji/zmian? Formularz w Dzienniku zajęć CCKP również zawierał pytanie o bezpieczeństwo na zajęciach, a dodatkowo pozwalał odnotowywać zaistniałe straty materialne oraz uwagi, co do organizacji i przebiegu zajęć. Informacje odnotowywane przez personel CCKP analizowane były na bieżąco, natomiast nauczycielki zdawały swoje dzienniki po zakończeniu cyklu zajęć w danym roku szkolnym. Zestawienie informacji pochodzących ze wszystkich wymienionych kwestionariuszy zawiera Załącznik nr 3. Na ich podstawie można ocenić (znajdując odsetek ocen negatywnych) elementy podlegające testowaniu w sposób opisany poniżej: Zajęcia w laboratorium Testowanie zajęć praktycznych, odbywających się w laboratorium chemicznym, obejmowało takie elementy, jak: dobór ćwiczeń w danym bloku tematycznym, jakość instrukcji, przebieg zajęć, w tym organizacja pracy i samodzielność uczniów, praca personelu, a zwłaszcza bezpieczeństwo wszystkich uczestników zajęć.

18 18 Źródłem ocen były opracowane wyniki ankiet skierowanych do wszystkich uczestników testowania (odbiorców i użytkowników) zawierające pytania monitorujące przebieg zajęć oraz wypełnione formularze (kwestionariusze) znajdujące się w dziennikach użytkownika, odbiorcy i personelu Projektu. Informacje pozyskane z wymienionych dokumentów wykorzystano do ustalenia najwyższej negatywnej oceny danego elementu, (przedmiotu oceny) wydanej przez daną grupę respondentów, na podstawie ustalenia stosunku sformułowanych opinii negatywnych do ilości opinii, które mogły być wydane przez wszystkich uczestniczących w zajęciach danej grupy. Szczegółowe zestawienie zawiera poniższa tabela 7. Tabela 7. Źródła danych do oceny elementów składających się na zajęcia praktyczne w laboratorium. Przedmiot oceny Źródło Uczniowie Nauczycielki Personel Kwestionariusz Dziennik Dobór ćwiczeń Ankieta C (pyt. 12 b), Dziennik Ankieta D (pyt. 13 b) Jakość instrukcji Kwestionariusz Dziennik - Organizacja zajęć Kwestionariusz Ankieta B (pyt. 4) Dziennik Ankieta C (pyt. 8a, 8b), - Praca personelu Kwestionariusz Ankieta B (pyt. 6) Ankieta D (pyt. 10a, 10b) Dziennik Ankieta C (pyt. 9c, 12 c) Ankieta D (pyt. 10c, 13 c) Samodzielność Kwestionariusz Dziennik - uczniów Ankieta B (pyt. 5) Ankieta C i D (pyt. 8) Bezpieczeństwo Kwestionariusz Dziennik Dziennik - Spotkania z wybitnymi chemikami Źródłem ocen dotyczących tematu i sposobu przeprowadzenia wykładu są ankiety dla nauczycielek (pytania C11 i D12) oraz uwagi zawarte w Dzienniku nauczyciela. Wyjazd edukacyjny Źródłem ocen dotyczących wyjazdu edukacyjnego są ankiety dla nauczycielek (pytania C10 i D11), uwagi zawarte w Dzienniku nauczyciela oraz notatki sporządzone podczas warsztatów szkoleniowych w 2012r. zawierające uwagi krytyczne wyrażone przez nauczycielki.

19 19 5. Wyniki badań Wyniki badań zostały opracowane statystycznie i przedstawione w formie graficznej lub tabelarycznej, w postaci danych liczbowych (wartości bezwzględnych lub procentowych). Zestawienie wyników wszystkich przeprowadzonych ankiet zawiera załącznik nr 1. Analizę i zestawienie wyników wszystkich przeprowadzonych testów zawiera załącznik 2. Opracowanie danych pochodzących z kwestionariuszy umieszczonych w dziennikach: ucznia (Notes chemiczny Dziennik laboratoryjny), nauczyciela (Dziennik użytkownika) i personelu (Dziennik zajęć CCKP) zamieszczono w załączniku nr Ocena elementów podlegających testowaniu Zajęcia w laboratorium Tabela 8. Odsetek ocen negatywnych dla elementów składających się na zajęcia praktyczne w laboratorium. Maksymalny odsetek ocen negatywnych Przedmiot oceny Dobór ćwiczeń Jakość instrukcji Organizacja zajęć Praca personelu Samodzielność uczniów Bezpieczeństwo Kwest.(pokazy) (2011/12) Kwest.(uwagi) (2011/12) (2012/13) Kwest. (2011/12) Kwest. (2012/13) Kwest. (2011/12) Kwest. (2012/13) Ankieta: B 4 (2011/12) B 4 (2012/13) Kwest. (uwagi) (2011/12) (2012/13) Ankieta: B 6 (2011/12) B 6 (2012/13) Kwest. (2011/12) Kwest. (2012/13) Ankieta: B 5 (2011/12) B 5 (2012/13) Kwest. (uwagi) (2011/12) (2012/13) Uczniowie Nauczycielki Personel Dziennik (2011/12) 2% Dziennik 9,2% Dziennik (2012/13) 0% (2011/12) 0% Ankieta: C 12 b, 30% Dziennik D 13 b 20% (2012/13) 0% 0,1% 0,0% 3,4% 5,3% 5,5% 6,7% 5,0% 2,0% 0,7% 2,3% 4,0% 2,0% 11,9% 24,5% 15,0% 2,0% 0,1% 0,1% Dziennik (2011/12) Dziennik (2012/13) Ankieta: C 9a, C 9b, D 10a, D 9b, Dziennik (2011/12) Dziennik (2012/13) Ankieta: C 9c C 12 c D 10c D 13 c Dziennik (2011/12) Dziennik (2012/13) Ankieta: C 8 D 8 Dziennik (2011/12) Dziennik (2012/13) 2% 0% 0% 0% 0% 0% 2% 0% 0% 10% 0% 30% 2% 0% 20% 0% 0% 2% Dziennik (2011/12) 0% (2012/13) 2%

20 20 Realizacja zajęć w laboratorium podczas całego etapu testowania nie budziła większych zastrzeżeń ze strony wszystkich ich uczestników. Elementem najmniej satysfakcjonującym była samodzielność uczniów, przy czym to właśnie uczniowie byli pod tym względem najbardziej krytyczni. Z analizy wszystkich zgromadzonych dokumentów, a także z bezpośrednich obserwacji przebiegu zajęć wynika, że wszyscy uczniowie w miarę potrzeb korzystali z pomocy personelu obsługującego zajęcia, a jakość tej pomocy była co najmniej wystarczająca. Jedną z przyczyn braku samodzielności uczniów było niedostateczne przygotowanie się do zajęć (wielu uczniów nie czytało wcześniej instrukcji). W przypadku pozostałych ocenianych aspektów zajęć w laboratorium odsetek uczniów sygnalizujących nieprawidłowości nie przekraczał 10% osób w nich uczestniczących. Korekty, jakie na podstawie zgłaszanych uwag wprowadzano, na bieżąco likwidowały przyczyny ich zgłaszania. 3 nauczycielki zgłosiły potrzebę wzbogacenia zestawu bloków tematycznych ćwiczeń o nowe, które nie były testowane w ramach projektu. Oczywistą sprawą jest konieczność opracowania w przyszłości zestawów ćwiczeń odpowiednich dla nowej podstawy programowej, zarówno z zakresu podstawowego, jak i zakresu rozszerzonego. Nowe opracowanie może jednak w dużej mierze opierać się na materiale sprawdzonym przez uczniów klas II w roku szk. 2011/12. Z przeprowadzonej ankiety wynika, że 3 nauczycielki są zdania, iż obsługa zajęć przez personel CCKP wymaga zmiany lub modyfikacji. W Dzienniku użytkownika również pojawia się jeden zapis mówiący o niepotrzebnym wyręczaniu uczniów podczas wykonywania ćwiczenia lub formułowaniu obserwacji. W bezpośredniej dyskusji ustalono jednak, że takie postępowanie personelu jest nie tylko akceptowalne, ale wręcz pożądane przez większość nauczycielek. W trakcie całego etapu testowania odnotowano jeden przypadek wystąpienia sytuacji istotnie zagrażającej bezpieczeństwu osób odbywających zajęcia w laboratorium. Z analizy zapisów w dziennikach odbiorców, użytkowników i personelu, a także z bezpośrednich rozmów przeprowadzonych ze wszystkimi uczestnikami zaistniałej sytuacji wynika, że zagrożenie spowodowane było przez grupę uczniów, którzy nie zastosowali się do regulaminu pracowni (zachowanie), przy biernej postawie nauczycielki (załącznik nr 3 odpowiednie zapisy wyróżniono kolorem czerwonym). Jako środek zaradczy zastosowano oficjalne pismo skierowane do nauczycielki, przypominające o konieczności przestrzegania przez uczniów wszystkich obowiązujących w pracowniach chemicznych przepisów BHP i regulaminów oraz o odpowiedzialności nauczyciela w tym zakresie (zgodnie z zapisami umowy zawartej ze szkołą). Działanie to odniosło pożądany skutek. Spotkania z wybitnymi chemikami Celem spotkań z naukowcami było zapoznanie uczniów z aktualnie prowadzonymi badaniami naukowymi w dziedzinie chemii i wskazanie ich zastosowań w praktyce. Przewidziano dwa wykłady, z których jeden miał być wygłoszony przez kobietę, drugi przez mężczyznę.

21 21 W roku szk. 2011/12 do wygłoszenia wykładów zaproszono dwoje uczonych: kobietę (profesor Akademii Medycznej w Lublinie) i mężczyznę (profesor UPH w Siedlcach). Wszyscy odbiorcy i użytkownicy wysłuchali obydwu wykładów. Treść i sposób wygłoszenia wykładu nie był satysfakcjonujący dla 7 z 10 nauczycielek, jednak 8 z nich przyznało, że była możliwość zadawania pytań i prowadzenia dyskusji. Uwagi krytyczne wyrażone ustnie, zostały uwzględnione podczas organizacji spotkań w roku 2012/2013. Na spotkanie z odbiorcami projektu w roku szkolnym 2012/13 zaproszono dwoje uczonych: kobietę (profesor Uniwersytetu Warszawskiego) i mężczyznę (profesor Uniwersytetu w Białymstoku) Użytkownicy wraz z odbiorcami mogli zdecydować, którego wykładu chcą wysłuchać, przy czym 4 nauczycielki zobowiązały swoich uczniów do udziału w obydwu wykładach. W ocenie 4 nauczycielek treść i sposób wygłoszenia wykładów był satysfakcjonujący, a 6 nauczycielek uważa, że istniała możliwość prowadzenia dyskusji. Należy uznać, że mimo dołożonych starań ze strony beneficjenta w zakresie organizacji spotkań i wysokiej (w ocenie beneficjenta) wartości prezentowanych wykładów, zaproponowana forma przekazywania wiedzy nie sprawdziła się wobec większości odbiorców. Jest za to odpowiednia dla szczególnie zainteresowanych uczniów (i nauczycieli!). Wyjazd edukacyjny Celem wyjazdu edukacyjnego było zwiedzanie zakładu przemysłu chemicznego i poznanie metod produkcji w nim stosowanych. Miejsca docelowe wyjazdu zostały wybrane przez użytkowników w porozumieniu z odbiorcami, spośród listy zakładów zaproponowanych przez beneficjenta. Organizację wyjazdu w całości zlecono firmom zewnętrznym, które wygrały ogłoszony przetarg. Źródłem ocen dotyczących wyjazdu edukacyjnego są ankiety dla nauczycielek (pytania C10 i D11) oraz notatka sporządzona podczas warsztatów szkoleniowych w 2012r. W roku szk. 2011/2012 odbyły się następujące wyjazdy edukacyjne: - Zakłady Chemiczne SYNTHOS S.A. w Oświęcimiu 2 klasy - Fabryka Fajansu we Włocławku 6 klas - Fabryka Papieru ROLLS Sp. z o.o. we Włocławku 1 klasa - Zakład LIBELLA Sp. z o.o. w Kałuszynie i Kotuniu (producent chemii gospodarczej i artykułów spożywczych) 1 klasa Z organizacji wyjazdu edukacyjnego zadowolone były 4 nauczycielki. 6 nauczycielek uznało, że cel wyjazdu został osiągnięty, 2 były przeciwnego zadania, a 2 pozostały niezdecydowane. Jako powody niezadowolenia podawano: warunki podróży i stan techniczny autokaru, jakość wyżywienia, obsługi pilota, a nawet naganne zachowanie uczniów (!). Na opinii, że cel wyjazdu nie został osiągnięty zaważyło rozczarowanie stanem technicznym zwiedzanych zakładów. Należy zauważyć, że wybierając miejsce docelowe wyjazdu, użytkowniczki kierowały się głównie walorami turystycznymi, spychając właściwy cel wyjazdu na drugi plan.

22 22 W roku szk. 2012/2013, korzystając z uwag i sugestii użytkowniczek projektu, wyjazdy edukacyjne zorganizowano do wybranych (spośród ok. 20 proponowanych przez beneficjenta) zakładów: - Krośnieńskie Huty Szkła "KROSNO S.A." - 7 klas, - Fabryka Fajansu we Włocławku - 2 klasy, - Huta Szkła ZAWIERCIE Spółka z o.o. - 1 klasa. Wszystkie użytkowniczki projektu (10 nauczycielek) były zadowolone z organizacji wyjazdów i uznały, że cel wyjazdu został osiągnięty. Beneficjent zorganizował wyjazdy dla wszystkich odbiorców i użytkowników projektu oraz niezbędnej liczby osób, sprawujących opiekę podczas wyjazdu nad nieletnimi uczestnikami, zgodnie z odpowiednimi w tym przypadku przepisami. Mimo to, w wyjazdach nie uczestniczyło łącznie 9 % odbiorców, z przyczyn niezależnych od beneficjenta. Nasuwa się wniosek, że bardziej racjonalnym od testowanego rozwiązaniem byłoby organizowanie wyjazdów (wycieczek) o charakterze turystycznym, w czasie których zwiedzanie zakładu związanego z produkcją chemiczną byłoby jedną z atrakcji. Inicjatorem organizowania tego rodzaju wycieczek powinna być szkoła, a rola CCKP ograniczać się może do wskazania zakładów, które można i warto zwiedzać Stopień realizacji wskaźników produktu (rezultatów twardych) Zestawienie wartości docelowych i wartości osiągniętych dla wskaźników rezultatów produktu na koniec etapu jego testowania zawiera tabela 9. Tabela 9. Wskaźniki rezultatów twardych nr Rezultat twardy Wartość Wartość Procent docelowa osiągnięta realizacji 1 Liczba użytkowników ,0% 2 Liczba nauczycieli/ek uczestniczących w warsztatach ,0% 3 Liczba uczniów/uczennic szkół ponadgimnazjalnych objętych wsparciem ,8% 4 Liczba uczniów/uczennic szkół ponadgimnazjalnych uczestniczących w wyjazdach edukacyjnych ,7% 5 Liczba uczniów/uczennic szkół ponadgimnazjalnych uczestniczących w spotkaniach z wybitnymi ,3% chemikami 6 Liczba godzin zajęć praktycznych zrealizowanych w laboratoriach Instytutu Chemii UPH w Siedlcach ,0% 7 Liczba opracowanych raportów ewaluacyjnych i z audytu wartość docelowa na zakończenie projektu ,0% 8 Liczba zajęć pokazowych ,0%

23 23 Skład osobowy użytkowników - nauczycielek chemii nie zmieniał się w okresie testowania. Zarówno użytkownicy, jak i odbiorcy projektu pochodzili z 10 szkół ponadgimnazjalnych, których zestaw nie uległ zmianie w okresie testowania. Zmianom podlegał skład osobowy i ilościowy odbiorców projektu. W roku szkolnym 2011/2012 udział w projekcie rozpoczęło 81 uczniów i 222 uczennice, a zakończyło zgodnie z harmonogramem 80 uczniów i 222 uczennice. W roku szkolnym 2012/2013 udział w projekcie rozpoczęło 81 uczniów i 222 uczennice, a zakończyło zgodnie z harmonogramem 80 uczniów i 218 uczennic. Udział w projekcie przerwało 6 osób z przyczyn niezależnych od beneficjenta, użytkowników i samych odbiorców (długotrwała choroba, zmiana szkoły lub klasy w trakcie trwania roku szkolnego). Łączna liczba odbiorców, którzy przeszli pełną fazę testowania to 600 uczniów i uczennic. W spotkaniach z wybitnymi chemikami (listopad 2011 r. i grudzień 2012 r.) wzięło udział łącznie 602 uczniów i uczennic. Nie wszyscy odbiorcy mogli wziąć udział w wyjeździe edukacyjnym z przyczyn niezależnych od beneficjenta, takich jak nagła choroba ucznia lub przeciwwskazania zdrowotne, uczestnictwo w innych ważnych wydarzeniach lub sprzeciw rodziców w obawie o bezpieczeństwo w czasie podróży (wyjątkowo niesprzyjające warunki pogodowe w dniu wyjazdu w kwietniu 2013 r.). Zajęcia pokazowe w liczbie 8 zrealizowano w ramach upowszechniania produktu w skali lokalnej. Wzięli w nich udział uczniowie i nauczyciele z 6 szkół ponadgimnazjalnych, (których dyrektorzy odpowiedzieli na wysłane zaproszenia) z Mińska Mazowieckiego, Garwolina, Łaskarzewa, Stoczka, Łosic i Siedlec, a także z jednego gimnazjum z gminy Zbuczyn. Po pozytywnej walidacji planowane są kolejne zajęcia pokazowe w celu upowszechnia i włączenia produktu do głównego nurtu polityki w skali całego kraju Stopień realizacji wskaźników rezultatów miękkich Rok szkolny 2011/2012 Wskaźniki rezultatów I, III, IV oraz V zestawione w tabeli 10 obliczono na podstawie przedstawionych w załączniku nr 1 wyników ankiet B (skierowanych do uczniów/uczennic po zakończeniu cyklu zajęć w laboratorium) oraz wyników testów wejścia i wyjścia, które przeanalizowano w załączniku nr 2. W badaniu ankietowym przeprowadzonym po ostatnich zajęciach z daną klasą wzięło udział mniej respondentów, niż było odbiorców projektu. Pod liczbami określającymi obliczoną wartość danego wskaźnika podano w nawiasach wartość wynikającą z przypisania uczniom nieobecnym odpowiedzi wyłącznie niekorzystnych. Stąd liczby w nawiasach reprezentują najniższą z możliwych (choć mało prawdopodobną) wartość wskaźnika. Wartość wskaźnika II obliczono na podstawie danych pochodzących z badań ankietowych przeprowadzonych wśród nauczycielek (ankieta C) w roku szk. 2011/12 zawiera tabela 11. W przypadku rezultatów I i IV wyznaczona wartość wskaźnika przewyższa wartość docelową o ok. 10%. Wskaźniki rezultatów III i V są o niecałe 2% niższe od zakładanych wartości docelowych. Wskaźnik rezultatu II osiągnął wartość o 14 % wyższą od zakładanej wartości docelowej.