Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego PROTOKÓŁ OCENY OFERT na przeprowadzenie ewaluacji zewnętrznej w ramach projektu Zostać przedsiębiorczym - program edukacyjny z multimedialnym pakietem dydaktycznym dla gimnazjum. Kod zamówienia w zgodzie z kodami CPV to CPV: 73110000-6 usługi badawcze. OCENA OFERT EWALUACYJNYCH Kryteria oceny doświadczenie w badaniach ewaluacyjnych doświadczenie w badaniach społ. dot. problematyki edukacyjnej ze szczególnym uwzględnieniem badań nauczycieli wstępna koncepcja badań Maksymalna liczba punktów 20 25 25 30 100 cena Razem Grupa Gumułka 20 20 12 30 82 FPBiIS Stocznia 15 25 16 28 84 Question Mark 15 25 23 25 88 BIOSTAT Ewa Tkacz Piszczek Oferta nie spełnia kryteriów zawartych w zaproszeniu do udziału w konkursie (zgodnie z protokołem oceny ofert i uzasadnieniem). Tym samym została odrzucona. Pracowania badań SOMA Monika Kwiecińska Zdrenka Oferta nie spełnia kryteriów zawartych w zaproszeniu do udziału w konkursie (zgodnie z protokołem oceny ofert i uzasadnieniem). Tym samym została odrzucona.
Uzasadnienie punktacji 1. doświadczenie w badaniach ewaluacyjnych: Grupa Gumułka + Stocznia: znacząco niższa (poniżej 10) w stosunku do Oferenta legitymującego się największą liczbą zrealizowanych badań ewaluacyjnych (powyżej 40) liczba zrealizowanych badań o charakterze ewaluacyjnym, w zaprezentowanych badaniach wykorzystane głównie techniki jakościowe, małe zróżnicowanie stosowanych technik ilościowych (wyłącznie CAWI) (-5 pkt.) Question Mark: znacząco niższa (poniżej 10) w stosunku do Oferenta legitymującego się największą liczbą zrealizowanych badań ewaluacyjnych (powyżej 40) liczba zrealizowanych badań o charakterze ewaluacyjnym (- 5 pkt.) 2. doświadczenie w badaniach społ. dot. problematyki edukacyjnej ze szczególnym uwzględnieniem badań nauczycieli Grupa Gumułka: kilka zrealizowanych badań z zakresu problematyki edukacyjnej, brak badań na grupie nauczycieli (-5pkt.) Stocznia: kilka zrealizowanych badań z zakresu problematyki edukacyjnej, w tym badania na grupie nauczycieli Question Mark: kilka zrealizowanych badań z zakresu problematyki edukacyjnej, w tym badania na grupie nauczycieli
3. wstępna koncepcja badań: OFERENCI Grupa Gumułka: (-13 pkt) Elementy poddane ocenie Problematyka badawcza uwzględniająca wszystkie punkty zaproszenia do udziału w konkursie (analizę zmian zachowań i umiejętności uczniów i nauczycieli, analizę atrakcyjności programu na rynku edukacyjnym) wraz ze wskazaniem źródeł informacji i metod pozwalających na rozstrzygnięcie postawionych problemów (5pkt) Na obniżenie oceny wpływa brak opisu badań (źródeł, technik) umożliwiających przeprowadzenie analizy atrakcyjności programu ZP na tle innych programów tego typu na rynku edukacyjnym (ze względu na kompleksowość pakietu dydaktycznego, możliwość autoanalizy mocnych i słabych stron uczniów, oferowane narzędzia dla nauczyciela w zakresie analizy odnotowanych zachowań uczniów oraz kontroli nad prowadzeniem dokumentacji projektu edukacyjnego, możliwość przechowywania informacji w formie elektronicznej i upubliczniania przykładów dobrych praktyk, przygotowanie nauczycieli do korzystania z pakietu w formie e-learningowej). Oferent wprawdzie uwzględnił ten punkt w problematyce badawczej pomijając jednak w dalszej części koncepcji opis jego rozwiązania (-2 pkt) Dobór prób do badań ilościowych (preferowana próba wyczerpująca) oraz do badań jakościowych (pogłębiających i uzupełniających informacje od obu grup uczestników) oraz sposobów realizacji badania gwarantujących jego realizację na założonej próbie (20pkt) Na obniżenie oceny wpływa zaproponowany sposób doboru uczniów do badania ankietowego. Oferent ogranicza się do przesłania do Dyrektora szkoły pakietu ankiet do wypełnienia i w żaden sposób nie nadzoruje realizacji badania Zgodnie z zaproponowaną procedurą faktycznego doboru (poprzez rozdysponowanie ankiet) ma dokonać Dyrektor szkoły, do którego zostaną przesłane kwestionariusze (on też ma zadbać o nadanie uczniom kodów, które wykorzystają oni także w drugiej fazie badania, zebrać kwestionariusze i odesłać do ewaluatora). Wątpliwa wydaje się możliwość uzyskania próby wyczerpującej lub choćby reprezentatywnej (brak kontroli badacza nad tym kto i w jakich warunkach wypełnia kwestionariusz). Brak ewaluatora zewnętrznego podczas realizacji całego badania i scedowanie go w całości na szkołę rodzi ryzyko niestarannego lub przeciwnie nazbyt poprawnego (pod nadzorem nauczyciela) wypełnienia ankiet, stoi też w sprzeczności do idei ewaluacji zewnętrznej. Uściślenia wymaga dobór próby nauczycieli do badania CATI. Oferent pisze także, iż obejmie badaniem CATI wszystkich nauczycieli biorących udział w projekcie, wskazując jednocześnie, ze będzie to 40 osób po dwie z każdej szkoły (podczas gdy liczba nauczycieli realizujących projekt w roku szkolnym 2012/2013 wynosi 70 osób (+20 liderów) i jest różna w różnych szkołach. Realizacja projektu w bieżącym roku obejmie też nie dwa, ale wszystkie województwa. Założony dobór próby do badań jakościowych nie uwzględnia w ogóle pogłębienia perspektywy uczniów sytuacja ucznia ma być rozpatrywana wyłącznie z perspektywy nauczyciela. Oferent proponuje zastosowanie techniki IDI na próbie 6 nauczycieli przy zastosowaniu doboru losowego, według klucza terytorialnego i o charakterze dogodnościowym nie uściślając jakiego typu dogodność ma na myśli i w jaki sposób wpływa ona na założoną wcześniej losowość doboru. (-11 pkt) Stocznia: (-9 pkt) Question Mark: (-2 pkt) BRAK UWAG BRAK UWAG Na obniżenie oceny wpływa zaproponowany sposób realizacji badania ilościowego wśród uczniów i nauczycieli metodą wywiadu z wykorzystaniem strony www. Realizacja programu ujawniła liczne problemy wynikające z utrudnionego dostępu do Internetu oraz związane z brakiem potrzebnych kompetencji w zakresie wykorzystania narzędzi i zasobów internetowych w przypadku wielu uczniów. Fundacja nie dysponuje adresami mailowymi uczniów, wielu z nich korzysta z Internetu tylko w szkole, pod nadzorem nauczyciela. Wątpliwa wydaje się zatem możliwość uzyskania nie tylko próby wyczerpującej ale nawet próby reprezentatywnej dla ogółu uczestników programu, wątpliwości budzi także rzetelność uzyskanych danych (całkowity brak kontroli badacza nad tym kto i w jakich warunkach wypełnia kwestionariusz - ze względu na zastosowaną technikę badawczą dobór próby będzie miał charakter samorzutny w badaniu wezmą udział ci uczniowie i nauczyciele, którzy będą mieli dostęp do Internetu i ochotę na wypełnienie kwestionariusza w okresie realizacji badania). (-9 pkt) Na obniżenie oceny wpływa brak badania ilościowego na grupie nauczycieli. Oferent poddaje tę grupę tylko badaniom przy pomocy wywiadu pogłębionego. Nie ograniczając jednak ściśle liczby badanych i pozostawiając tę kwestię uzgodnieniom z Zamawiającym stwarza możliwość realizacji tego badania na próbie wyczerpującej. (-2pkt)
4. Cena punktacja proporcjonalna (najniższa cena = 30 punktów) Grupa Gumułka 28290zł; Stocznia 30750; (-2 pkt) Question Mark 33900 (-5 pkt) 5. Oferty odrzucone. a. SOMA TORUŃ Oferta nie spełniła kryteriów zawartych w zaproszeniu do udziału w konkursie ponieważ w żadnym z punktów zaprezentowanej koncepcji badawczej nie uwzględniono jednego z istotnych punktów zawartych w zaproszeniu do udziału w konkursie: analizy i oceny atrakcyjności programu na tle innych programów tego typu funkcjonujących na rynku edukacyjnym (ze względu na kompleksowość pakietu dydaktycznego, możliwość autoanalizy mocnych i słabych stron uczniów, oferowane narzędzia dla nauczyciela w zakresie analizy odnotowanych zachowań uczniów oraz kontroli nad prowadzeniem dokumentacji projektu edukacyjnego, możliwość przechowywania informacji w formie elektronicznej i upubliczniania przykładów dobrych praktyk, przygotowanie nauczycieli do korzystania z pakietu w formie e-learningowej). Na ocenę oferty wpływa także zaproponowany sposób realizacji badania nie gwarantujący jego realizacji na rekomendowanej przez Zleceniodawcę próbie wyczerpującej. Zaproponowana metodologia (i odpowiadający jej kosztorys badania) zakłada jego realizację na terenie 20 szkół z dwu województw (czyli na obszarze, na którym projekt realizowany był w I edycji testu), podczas gdy w roku szkolnym 2012/2013 program będzie realizowany w 30 34 szkołach zlokalizowanych na terenie co najmniej kilku innych (poza łódzkim i świętokrzyskim) województw. Ponadto Oferent zakłada realizację tylko 2 wizyt w każdej z 20 szkół, a podczas każdej z nich przeprowadzenie badania audytoryjnego w 7-8 klasach, wywiadów kwestionariuszowych z 10 nauczycielami oraz wywiadu pogłębionego z koordynatorem. Wcześniejsze doświadczenia Zleceniodawcy w realizacji projektów i towarzyszących im badań, prowadzonych na terenie placówek edukacyjnych wskazują, iż skoordynowanie terminów spotkań/badań wszystkich wymienionych grup w tym samym dniu nie jest możliwe w przypadku zdecydowanej większości szkół.
b. BIOSTAT Rybnik Oferta nie spełniła kryteriów zawartych w zaproszeniu do udziału w konkursie ponieważ: - w problematyce badawczej w ogóle nie uwzględniono oceny poziomu realizacji części założonych celów (tj. trzech celów związanych z wykorzystywaniem przez uczniów narzędzi opracowanych w ramach programu oraz kształtowaniem ich umiejętności w zakresie samoanalizy i planowania/dokumentowania własnych działań, a także umiejętności realizowania projektów uczniowskich), - zaproponowana próba badawcza nie ma charakteru wyczerpującego - badaniem objęto wyłącznie nauczycieli, pomijając uczniów (w przypadku próby nauczycieli brak szczegółowego opisu sposobu ich doboru do badania i uzasadnienia założonej liczebności założono zbadanie 40 nauczycieli z 20 szkół uczestniczących w programie metodą wywiadu telefonicznego + 10 nauczycieli metodą wywiadu indywidualnego (podczas gdy program realizuje 70 nauczycieli), - analizę i ocenę atrakcyjności programu na tle innych programów tego typu funkcjonujących na rynku edukacyjnym ograniczono do opinii nauczycieli (nie uwzględniając wszystkich wymiarów oceny wskazanych przez Zleceniodawcę). Oferta zawiera także istotne błędy merytoryczne na str.8 Oferent pisze o rzetelności gromadzonych danych wskazując jednocześnie, iż badania realizowane będą na próbie pracowników naukowych oraz na próbie przedstawicieli przedsiębiorstw, podczas gdy takich grup projekt Zostać Przedsiębiorczym w żaden sposób nie obejmuje.