Ocena skuteczności i użyteczności działań informacyjno-promocyjnych dotyczących PROW

Transkrypt

1 Europejski Fundusz Rolny na rzecz Rozwoju Obszarów Wiejskich: Europa inwestująca w obszary wiejskie Publikacja współfinansowana ze środków Unii Europejskiej w ramach Pomocy Technicznej Programu Rozwoju Obszarów Wiejskich na lata Instytucja Zarządzająca Programem Rozwoju Obszarów Wiejskich na lata Ministerstwo Rolnictwa i Rozwoju Wsi Ocena skuteczności i użyteczności działań informacyjno-promocyjnych dotyczących PROW Raport Końcowy Zamawiający Ministerstwo Rolnictwa i Rozwoju Wsi ul. Wspólna Warszawa Wykonawca maj 2010

2 - 2 -

3 Streszczenie Głównym celem badania było określenie skuteczności i użyteczności działań informacyjno-promocyjnych dotyczących PROW , realizowanych przez Instytucję Zarządzającą oraz podmioty wdrażające PROW Zakres czasowy objął lata W toku realizacji badania została przeprowadzona kompleksowa analiza prowadzonych działań informacyjnopromocyjnych i szkoleniowych. Badanie pozwoliło ocenić, w jakim stopniu podjęte działania informacyjno-promocyjne i szkoleniowe przyczyniają się do skutecznego wdrożenia PROW Realizacja celu głównego badania wymagała sformułowania następujących celów szczegółowych: 1. Określenie, w jakim stopniu podjęte działania informacyjno-promocyjne i szkoleniowe odpowiadają na rzeczywiste potrzeby potencjalnych beneficjentów i beneficjentów PROW Określenie, w jakim stopniu podjęte działania informacyjno-promocyjne i szkoleniowe były skuteczne. 3. Identyfikacja i analiza barier utrudniających realizowanie działań informacyjno - promocyjnych w ramach PROW Sformułowanie rekomendacji dla przyszłych działań informacyjnopromocyjnych i szkoleniowych. W badaniu zastosowano zestaw wzajemnie uzupełniających się metod ilościowych i jakościowych, pozwalający na wielostronną weryfikację wyników. Na reprezentatywnej próbie beneficjentów PROW (813 respondentów) przeprowadzono badanie metodą telefonicznego wywiadu kwestionariuszowego wspomaganego komputerowo (CATI). Ponadto z pracownikami komórek Instytucji Wdrażających, które zajmują się informacją i promocją przeprowadzono ankiety internetowe (CAWI). Z kluczowymi pracownikami IZ i IW, dziennikarzami, doradcami ODR i pracownikami sekretariatów KSOW przeprowadzono bezpośrednie (IDI) i telefoniczne wywiady (TDI) pogłębione. Jakość pracy punktów informacyjnych została przebadana za pomocą techniki Tajemniczy Klient. Ponadto zrealizowano dwa studia przypadku projektu szkoleniowego: szkoleń organizowanych dla LGD (LGD Razem dla rozwoju, woj. mazowieckie) oraz szkoleń rolnośrodowiskowych (cykl szkoleń organizowany przez ŚODR Modliszewice, woj. świętokrzyskie). Badanie wykazało, że działania informacyjne i promocyjne w ramach PROW opierały się o dobre rozpoznanie potrzeb potencjalnych beneficjentów i beneficjentów. Wskazywać na to może ogólnie wysoki, deklarowany przez respondentów, poziom zadowolenia z dostępności informacji, w tym dostępności informacji szczegółowej. Nieco niższy niż w przypadku ogółu beneficjentów poziom ocen jakości i dostępności informacji stwierdzono w przypadku działania 142 i - 3 -

4 działania 211. Poza tymi przypadkami generalnie stwierdzono zadowolenie beneficjentów i potencjalnych beneficjentów z przekazywanych treści i formy przekazu. W przypadku szkoleń wskazywano na to, że szkolenie w większym stopniu niż obecnie powinny zawierać treści, których nie można poznać za pomocą innych źródeł. Zgłaszano pewne zastrzeżenia odnośnie niezrozumiałości języka, w jakim formułowany jest przekaz. W największym stopniu odnosi się to jednak do przekazu dla opinii publicznej, a nie dla potencjalnych beneficjentów. Pomimo braku wyczerpującej charakterystyki grup docelowych działań informacyjnych i promocyjnych w strategii komunikacji PROW i w Planach Komunikacyjnych większość tych działań była adresowana prawidłowo i realizowana za pomocą właściwych instrumentów. W stopniu niewystarczającym uwzględniono konieczność oddziaływania na niektóre grupy będące dystrybutorami informacji, jak organizacje pozarządowe czy LGD. W przypadku działań mających służyć podstawowej informacji o Programie oraz jego promocji - badanie potwierdziło kluczowe znaczenie przekazu telewizyjnego i prasowego. Jeśli chodzi o działania służące przekazowi informacji pogłębionych, przeznaczonych przede wszystkim dla potencjalnych beneficjentów i beneficjentów kluczową rolę odgrywa internet oraz doradztwo rolnicze. W związku z tym wybór modelu marketingu bezpośredniego, opartego o pracę doradców, szkolenia i punkty informacyjne - należy uznać za właściwy w pierwszej fazie wdrażania PROW Dużą rozpoznawalność i skuteczność w docieraniu do beneficjentów i potencjalnych beneficjentów należy przypisać rozbudowanym strukturom doradztwa oraz skumulowanemu efektowi gromadzenia doświadczeń już od czasu wdrażania programów przedakcesyjnych (przede wszystkim SAPARD). W drugiej fazie wdrażania PROW konieczne jest natomiast zwiększenie uwagi poświęcanej przekazowi kierowanemu do opinii publicznej z uwagi na niedostatecznie ugruntowanie w społeczeństwie przekonania, co do wpływu PROW na ogólny dobrobyt i stan całej gospodarki. W tym kontekście warto odnotować, że w opinii dziennikarzy praca służb prasowych MRiRW, a także Urzędów Marszałkowskich nie budzi poważniejszych zastrzeżeń. Problemem jest natomiast wiedza szerokiego ogółu dziennikarzy na temat PROW Z uwagi na potrzebę wzmocnienia przekazu do opinii publicznej wiedza ta powinna ulec poprawie. W największym stopniu dotyczy to dziennikarzy lokalnych, którzy równocześnie w największym stopniu zainteresowani są dokształcaniem się w tym zakresie. Pracownicy komórek IW i IZ zajmujących się promocją i informacją są w większej mierze dobrze przygotowani do kontaktów z mediami. Potrzeba doskonalenia w tym zakresie pojawia się przede wszystkim w przypadku członków grup docelowych, którzy są dystrybutorami informacji (LGD, organizacji pozarządowych), co powinno spotkać się ze wsparciem ze strony systemu informacji i promocji PROW Postulat ten kierować można w pierwszym rzędzie do Urzędów Marszałkowskich

5 Jeśli chodzi o pracę punktów informacyjnych, badanie metodą Tajemniczy Klient wykazało pewien deficyt w obszarze umiejętności pracy z klientem. Badanie pozwoliło zidentyfikować główne bariery utrudniające realizację działań informacyjnych i komunikacyjnych PROW : Brak dostatecznej uwagi poświęcanej PROW przez Urzędy Marszałkowskie, dla których kluczowym przedmiotem troski są programy regionalne. Niedostateczna koordynacja działań samorządów województw i ARiMR w zakresie informowania potencjalnych mikroprzedsiębiorców, LGD i współpracy z mediami. Informowanie mediów (głównie przez kierownictwo IZ, niekiedy przez Marszałków województw lub pozostałe IW) o działaniach planowanych, których termin i sposób wdrożenia nie został ustalony. Pobudza to oczekiwania potencjalnych beneficjentów, które często nie mogą być natychmiast zaspokojone i rodzi frustrację, gdy taka informacja z zasady niepełna stwarza nadzieję, że anonsowane działanie może dotyczyć grup, które ostatecznie nie zostają później nim objęte. Niedostateczna współpraca z mediami lokalnymi i regionalnymi w informowaniu opinii publicznej. Niedostateczne wykorzystanie potencjału organizacji pozarządowych w informowaniu o PROW W wyniku badania sformułowano następujące rekomendacje: Wdrożenie porozumienia ramowego pomiędzy zaangażowanymi w realizację Programu instytucjami, przede wszystkim pomiędzy MRiRW a ARiMR. Przedmiotowa umowa regulowałaby kwestie związane z zasadami współpracy i trybem przekazywania określonych dokumentów i danych pomiędzy ww. podmiotami w związku z badaniami, analizami, ocenami, etc. prowadzonymi na zamówienie MRiRW lub z własnej inicjatywy przez instytuty naukowe, badawcze oraz uczelnie 1. Stworzenie bazy informacji o dobrych praktykach w zakresie wdrażania projektów w ramach PROW Baza taka powinna opierać się przykłady dostarczane przez poszczególne IW. Stworzenie bazy informacji o dobrych praktykach administracyjnych w zakresie współpracy Instytucji Wdrażających w informowaniu i promocji PROW Rekomendacja wynikająca z trudności w pozyskaniu baz danych respondentów w trakcie badania - 5 -

6 Stworzenie FAQ (ang. Frequently Asked Questions; najczęściej pojawiające się pytania wraz z odpowiedziami, na bieżąco aktualizowane) odnośnie wszystkich Działań, dostępne na stronach internetowych odpowiednich Instytucji Wdrażających i Instytucji Zarządzającej. Szkolenia powinny wnosić wartość dodaną, nie być tylko źródłem informacji o tym, co można się dowiedzieć również z innych źródeł. Informowanie i szkolenie organizacji pozarządowych na temat PROW , co pozwoli na ich silniejsze zaangażowanie w proces informacji i promocji o PROW Wzmocnienie potencjału organizacji pozarządowych w procesie informacji i promocji na temat PROW poprzez zwiększenie ilości szkoleń, seminariów, spotkań tematycznych. Przeprowadzenie wielopoziomowej (ogólnokrajowej, regionalnej i adresowanej lokalnie) kampanii informacyjno-promocyjnej, ukazującej rolę PROW jako Programu wpływającego na całokształt rozwoju gospodarczego kraju i stymulującego pożądane z punktu widzenia całego społeczeństwa zmiany społeczne na obszarach wiejskich. Organizacja szkoleń, seminariów, study tours (wyjazdy studyjne) dla dziennikarzy - przede wszystkim lokalnych. Organizacja szkoleń z zakresu komunikacji (umiejętność przekazywania informacji, wystąpienia publiczne i komunikacja interpersonalna, komunikacja z mediami) dla członków i pracowników LGD. Poprawa koordynacji działań informacyjno-promocyjnych ARiMR i Urzędów Marszałkowskich oraz włączenie w ten proces LGD w zakresie informowania o działaniach osi 3 i 4. Szersze wykorzystanie doradców rolniczych ODR w procesie informowania na temat PROW Powierzenie zadań informacyjno-promocyjnych ODR i wykorzystanie na ten cel środków z Pomocy Technicznej. Szkolenie doradców rolniczych w zakresie pracy z klientem. Zwiększenie nakładów na pracę doradców metodą face-to-face. Organizacja szkoleń dla pracowników punktów informacyjnych z zakresu pracy z klientem. Podjęcie działań na rzecz większej skuteczności punktów informacyjnych Urzędów Marszałkowskich w zakresie odpowiadania na pytania beneficjentów i potencjalnych beneficjentów drogą

7 Anonsowanie zmian w zakładkach stron internetowych MRiRW oraz IW na stronie głównej. Ze strony kierownictwa IZ i IW nie powinny być przekazywane informacje o działaniach dopiero planowanych, których termin i sposób wdrożenia nie jest pewny. Zgodnie z Rozporządzeniem Rady (WE) nr 1698/2005 IZ i IW ma przekazywać jedynie pewne informacje pewne i prawdziwe

8 Spis treści 1 Wstęp Opis przedmiotu badania Główne założenia, cele i logika badania Opis okoliczności badania Metodologia badania i wykorzystane źródła Analiza dokumentów i danych zastanych Badania ilościowe CATI Badanie standaryzowane CAWI Studium przypadku Badanie z zastosowaniem techniki Tajemniczy klient Indywidualne wywiady pogłębione (IDI) Telefoniczne wywiady pogłębione (TDI) Warsztat heurystyczny Opis wyników badania Działania informacyjno-promocyjne i szkoleniowe a rzeczywiste potrzeby potencjalnych beneficjentów i beneficjentów PROW Ocena dostępności i jakości udzielanych informacji Ocena jakości pracy punktów informacyjnych Ocena jakości szkoleń w ramach działań informacyjnych o promocyjnych PROW Ocena skuteczności działań informacyjno-promocyjnych i szkoleniowych Znaczenie segmentacji i charakterystyki grup docelowych Znaczenie doradców ODR w obiegu informacji PROW Rola organizacji pozarządowych i LGD Rola i znaczenie mediów Wpływ działań informacyjnych i promocyjnych na zainteresowanie PROW Identyfikacja i analiza barier utrudniających realizowanie działań informacyjno-promocyjnych w ramach PROW Rekomendacje dla przyszłych działań informacyjno-promocyjnych i szkoleniowych

9 Aneks Kwestionariusz do badania CATI z udziałem beneficjentów PROW Kwestionariusz badania CAWI...94 Scenariusz indywidualnego wywiadu pogłębionego z przedstawicielami instytucji wdrażających PROW , odpowiedzialnymi za działania promocyjne i informacyjne Zagadnienia do rozmowy z przedstawicielem mediów (IDI/TDI) Szablon raportu z rozmowy telefonicznej w ramach badania z zastosowaniem techniki Tajemniczy klient Scenariusz rozmowy telefonicznej w ramach badania z zastosowaniem techniki Tajemniczy klient

10 Wykaz skrótów ARiMR Agencja Restrukturyzacji i Modernizacji Rolnictwa ARR Agencja Rynku Rolnego CATI Wywiad kwestionariuszowy realizowany telefonicznie (ang. Computer Assisted Telephone Interview) CAWI CDR Wywiad kwestionariuszowy realizowany przez Internet (ang. Computer Assisted Web Interview) Centrum Doradztwa Rolniczego FAO Forum Aktywizacji obszarów Wiejskich FAPA IDI Fundacja Programów Pomocy dla Rolnictwa Indywidualny Wywiad Pogłębiony (ang. Individual In-Depth Interview) IŻ Instytucja Zarządzająca MRiRW Ministerstwo Rolnictwa i Rozwoju Wsi ODR OR ARiMR Ośrodek Doradztwa Rolniczego Odział Regionalny Agencji Restrukturyzacji i Modernizacji Rolnictwa PROW Program Rozwoju Obszarów Wiejskich na lata TDI UE Telefoniczny Wywiad Pogłębiony (ang. Telephone In-Depth Interview) Unia Europejska UM Urząd Marszałkowski

11 1 Wstęp 1.1 Opis przedmiotu badania Przedmiotem niniejszego badania były działania informacyjno-promocyjne dotyczące PROW Program Rozwoju Obszarów Wiejskich na lata jest programem adresowanym do wielu zróżnicowanych grup potencjalnych beneficjentów: rolników indywidualnych, grup producentów rolnych, jednostek samorządu terytorialnego, przedsiębiorców, partnerów społeczno-gospodarczych, organizacji pozarządowych. Jeszcze szerszy i bardziej złożony jest segment odbiorców działań informacyjnych i promocyjnych, niebędących beneficjentami Programu. Obejmuje on szeroko pojętą opinię publiczną, środki masowego przekazu, instytucje zaangażowane we wdrażanie PROW , instytucje, organizacje, stowarzyszenia oraz środowiska, których działalność związana jest pośrednio lub bezpośrednio z sektorem rolnym lub z rozwojem obszarów wiejskich oraz szereg innych podmiotów, których działalność i cele mogą choćby częściowo dotyczyć mieszkańców obszarów wiejskich. Działania realizowane w ramach Osi Priorytetowych PROW mają różny poziom złożoności. Od stosunkowo prostych, zorientowanych na wsparcie podmiotów indywidualnych, takich jak np. rolnicy czy przedsiębiorcy, aż po działania o dużym poziomie złożoności, kierowane do podmiotów zbiorowych, angażujących interesariuszy zróżnicowanych zarówno pod względem przygotowania do realizacji projektów, jak i stopnia zmotywowania, co ma miejsce na przykład w przypadku Lokalnych Grup Działania. Wielość i różnorodność beneficjentów i odbiorców oraz zróżnicowanie działań w Programie wymagają odpowiedniego zróżnicowania instrumentów i kanałów komunikacji w przypadku działań informacyjno-promocyjnych. Działania informacyjno-promocyjne mają na celu podnoszenie świadomości społecznej na temat funduszy europejskich i możliwości ich wykorzystania. Prowadzone działania mają przede wszystkim przyczynić się do zwiększenia stanu wiedzy społeczeństwa na temat Unii Europejskiej oraz związanej z nią administracji krajowej i regionalnej. Powinny informować opinię publiczną o roli Unii Europejskiej w działaniach na rzecz rozwoju (m.in. rozwoju obszarów wiejskich) oraz promować możliwości wykorzystania funduszy strukturalnych poprzez zapewnienie czytelnych informacji na temat tych funduszy. Zgodnie z art. 76 rozporządzenia Rady (WE) 1698/2005 z dnia 20 września 2005 r. w sprawie wsparcia rozwoju obszarów wiejskich przez Europejski Fundusz Rolny na rzecz Rozwoju Obszarów Wiejskich, (Dz. Urz. UE. L 277 z , str. 1, z późn. zm.) Instytucja Zarządzająca PROW na lata ma obowiązek zapewnienia rozpowszechniania informacji na temat krajowych planów strategicznych, programów

12 rozwoju obszarów wiejskich i wkładu Wspólnoty. Na poziomie krajowym za koordynację i nadzór nad realizacją działań komunikacyjnych odpowiada Minister Rolnictwa i Rozwoju Wsi, pełniący funkcję Instytucji Zarządzającej PROW MRiRW jest odpowiedzialny za przekazywanie i dostarczanie informacji o PROW ogółowi społeczeństwa i potencjalnym beneficjentom oraz podmiotom zaangażowanym w proces informowania o Programie. Zgodnie z postanowieniami PROW , strategia komunikacji powinna być oceniana m.in. poprzez badania, oceniające wpływ przekazywanych informacji na wiedzę o PROW i postrzeganie go przez ogół społeczeństwa i poszczególnych beneficjentów. Ocena taka ma na celu określenie w tym wypadku efektywności i użyteczności działań informacyjnych i promocyjnych podejmowanych przez instytucje zaangażowane w proces informacji i promocji PROW Główne założenia, cele i logika badania Podstawowym założeniem realizacji niniejszego badania ewaluacyjnego było przyjęcie partycypacyjnego modelu ewaluacji. Ewaluacja tak rozumiana spełnia dwa kryteria jakości badania: rzetelności i poprawności metod gromadzenia danych; odpowiedniego wkomponowania procesu ewaluacji w praktykę działania instytucji zaangażowanych w ten proces. Partycypacyjny model ewaluacji oznacza włączenie w proces badawczy wszystkich istotnych interesariuszy, których badanie w ten lub w inny sposób dotyczy. Kooperacja w trakcie projektowania i realizacji badania z jak najszerszym spectrum zainteresowanych sprzyja budowaniu szerokiego wsparcia dla działań, jakie w wyniku ewaluacji zostaną podjęte. W tak rozumianej ewaluacji w postępowaniu ewaluatora obowiązuje generalna d y r e k t y w a d i a l o g u : jednym z naczelnych jej zadań jest doprowadzenie do tego, aby każda grupa, wyróżniona ze względu na swe roszczenia, troski i dążenia, mogła je wyrazić oraz skonfrontować z tym, jak swoje problemy postrzegają inne grupy. Realizacji takiego podejścia służy zastosowanie odpowiedniego zestawu narzędzi, zawierającego techniki pozwalające na konfrontację różnych opinii/ stanowisk oraz na wypracowywanie konsensusu wokół konkluzji badania jeszcze przed ostatecznym sformułowaniem treści raportu końcowego. Zaletą takiego postępowania jest też to, że ostateczne konkluzje, które pojawiają się w wyniku badania ewaluacyjnego, postrzegane są jako efekt wspólnej pracy ewaluatorów i osób zaangażowanych w ewaluowany projekt, program lub działania. Tak rozumiana ewaluacja stanowi również jedno z kluczowych narzędzi komunikacji między wszystkimi zaangażowanymi w realizację Programu, działań lub projektów i dzięki temu przyczynia się do poprawy jakości wszystkich procesów zarządzania w obszarach, których badanie dotyczy

13 Partycypacyjny model ewaluacji został osiągnięty w niniejszym badaniu poprzez: Zastosowanie technik badawczych pozwalających różnym interesariuszom na sformułowanie nie tylko opinii, ale także przedstawienie i przedyskutowanie propozycji rozwiązań i rekomendacji (między innymi podczas wywiadów pogłębionych i warsztatu heurystycznego, w którym wzięli udział przedstawiciele interesariuszy zaangażowanych w ewaluację); Możliwość uczestniczenia oraz obserwacji procesu ewaluacji przez Zamawiającego oraz uczestnictwo w procesie formułowania rekomendacji (warsztat heurystyczny); Triangulację źródeł informacji zaangażowanie w proces badawczy wszystkich interesariuszy, którymi są przede wszystkim: Instytucja Zarządzająca (MRiRW) oraz podmioty wdrażające PROW (ARiMR, ARR, FAPA, Samorządy Województw), beneficjenci/odbiorcy działań, instytucje działające na rzecz rozwoju obszarów wiejskich (np. ODR), organizacje pozarządowe, media podejmujące tematykę związaną z rozwojem wsi i rolnictwa. Głównym celem badania było określenie skuteczności i użyteczności działań informacyjno-promocyjnych dotyczących PROW , realizowanych przez Instytucję Zarządzającą oraz podmioty wdrażające PROW Zakres czasowy objął lata W toku realizacji badania została przeprowadzona kompleksowa analiza prowadzonych działań informacyjnopromocyjnych i szkoleniowych. Badanie pozwoliło ocenić, w jakim stopniu podjęte działania informacyjno-promocyjne i szkoleniowe przyczyniają się do skutecznego wdrożenia PROW Realizacja celu głównego badania wymagała sformułowania następujących celów szczegółowych: 1. Określenie, w jakim stopniu podjęte działania informacyjno-promocyjne i szkoleniowe odpowiadają na rzeczywiste potrzeby potencjalnych beneficjentów i beneficjentów PROW Określenie, w jakim stopniu podjęte działania informacyjno-promocyjne i szkoleniowe były skuteczne. 3. Identyfikacja i analiza barier utrudniających realizowanie działań informacyjno - promocyjnych w ramach PROW Sformułowanie rekomendacji dla przyszłych działań informacyjno-promocyjnych i szkoleniowych. Dokonana została też dogłębna analiza celów szczegółowych, co zaowocowało stworzeniem logiki badania - niezbędnego narzędzia, które pozwalało prawidłowo i racjonalnie realizować badanie. Logika badania stanowiła fundament procesu

14 badawczego, którego celem była ocena skuteczności i użyteczności działań informacyjno-promocyjnych dotyczących PROW Zgodnie z przyjętą logiką badania cały proces badawczy został podzielony na trzy fazy: 1. Diagnoza i ocena stanu faktycznego, 2. Analiza, 3. Opracowanie wniosków i rekomendacji (punkt docelowy badania). I. FAZA LOGICZNA BADANIA (Diagnoza i ocena stanu faktycznego) obejmowała badania prowadzone w następujących obszarach badawczych: 1. Strategia i planowanie (badanie spójności zewnętrznej i wewnętrznej działań informacyjno-promocyjnych), 2. Realizacja działań perspektywa zewnętrzna (badanie/opis stanu faktycznego/rezultatów prowadzonych działań informacyjnych i promocyjnych, oszacowanie barier i determinant), 3. Realizacja działań perspektywa wewnętrzna (badanie procesu zarządzania działaniami, kompetencji pracowników, ocena instytucjonalna). II. FAZA LOGICZNA BADANIA (Analiza) gromadziła pytania badawcze skupiające się na wyciągnięciu wniosków na podstawie dokonanego w I. FAZIE badania opinii i oceny stanu faktycznego w zakresie działań informacyjno-promocyjnych PROW Wnioski były podstawą do wypracowania rekomendacji. Pytania badawcze zostały przełożone na następujące elementy logiczne badania (obszary analityczne): 1. Analiza strategii, 2. Analiza realizacji, 3. Analiza zarządzania. Graficznym zaprezentowaniem logiki badania jest schemat logiczny badania przedstawiony poniżej

15 Schemat 1. Logika procesu badawczego Prawidłowe przeprowadzenie procesu badawczego wymagało także zastosowania odpowiednich metod badawczych w poszczególnych fazach logicznych badania. Pierwszej Fazie (diagnozy i oceny stanu faktycznego) odpowiadały zarówno metody jakościowe i ilościowe (IDI, TDI, CATI, CAWI, badanie z zastosowaniem techniki Tajemniczy Klient, studium przypadku). Są to metody, które z racji swej specyfiki są używane do zbierania danych pierwotnych. Schemat logiki badania w powiązaniu z metodami (Schemat 2) wyraźnie obrazuje, że niezwykle użyteczne było zastosowanie dodatkowej metody, łączącej cechy metody badawczej i analitycznej, czyli warsztatu heurystycznego. Pozwoliło to na dogłębną analizę materiału zebranego w I. FAZIE, a wiedza ekspercka pochodząca zarówno od ekspertów zewnętrznych, jak i samych uczestników procesu ewaluacji stanowiła wartość dodaną badania, pozwalającą na wypracowanie użytecznych i możliwych do wdrożenia wniosków i rekomendacji. Celem warsztatu, który został zorganizowany pod koniec procesu badawczego, była zarówno weryfikacja wypracowanych w poprzednich etapach badania wniosków i rekomendacji, jak i pozyskanie dodatkowych informacji i danych (stąd też na poniższym schemacie warsztat heurystyczny powiązano logicznie z FAZĄ I oraz FAZĄ II). Wszystkie metody wraz ze szczegółowymi charakterystykami zostały przedstawione w rozdziale

16 następnym (Rozdział 2). Na wszystkich etapach badania stosowana była analiza dokumentów i danych zastanych. Poniższy schemat ilustruje powiązanie logicznych faz badania z metodami. Schemat 2. Logika procesu badawczego w powiązaniu z metodami

17 1.3 Opis okoliczności badania Realizację badania rozpoczęto 26 stycznia 2010 roku. Przystąpiono do realizacji badania zgodnie z założeniami i ustalonym szczegółowo harmonogramem. Zrealizowano wszystkie zaplanowane zadania. Podstawowym problemem, który pojawił się od początku realizacji badania były trudności z pozyskaniem bazy z danymi beneficjentów PROW Za przekazanie Wykonawcy bazy danych niezbędnej do realizacji jednej z metod (CATI) odpowiadał Zamawiający (MRiRW), który jednak nie jest ich dysponentem. Dane beneficjentów PROW są w posiadaniu Instytucji Wdrażającej (ARiMR). Trudności i zawiłości proceduralne w porozumieniu między MRiRW a ARiMR spowodowały, że niemożliwe było uzyskanie bazy danych niezbędnej do prowadzenia badań metodą CATI w zaplanowanym przez Wykonawcę terminie. To z kolei spowodowało konieczność przedłużenia czasu potrzebnego na wykonanie niniejszego badania. W dniu 13 kwietnia 2010 roku podpisany został Aneks przedłużający czas zakończenia badania o 4 tygodnie. Wykonawca po rozwiązaniu kwestii niezależnych od niego i otrzymaniu baz natychmiast przystąpił do realizacji badania metodą CATI. Badanie przebiegło sprawnie i szybko, narzędzie badawcze było tak skonstruowane, że nie sprawiało problemów respondentom. W związku z obowiązkami prowadzenia badań ewaluacyjnych, nałożonymi na Instytucje Zarządzające i Wdrażające programy współfinansowane ze środków UE problem pozyskiwania baz danych zasługuje na regulację o charakterze systemowym. Realizacja ocen wiąże się często z koniecznością prowadzenia pogłębionych analiz informacji na temat charakteru i zakresu przedsięwzięć, jakie poszczególni wnioskodawcy planowali zrealizować w ramach Programu. Oznacza to, że Instytucja Zarządzająca i Wdrażająca będą stale spotykać się z postulatami ze strony wykonawców ewaluacji, dotyczącymi umożliwienia im dostępu do szczegółowych informacji i baz przygotowywanych przez ARiMR, w ramach prowadzonego przez nią systemu monitorowania i sprawozdawczości, a zawierających szczegółowe dane podmiotowe na temat poszczególnych wnioskodawców/beneficjentów Programów. Dostęp do tych danych jest dla podmiotów prowadzących ewaluacje niezbędny w celu przygotowania (dobór próby) i realizacji ilościowych badań terenowych (ankiety, wywiady) obejmujących beneficjentów Programu. Ww. kwestie dotyczą również zadań badawczych prowadzonych przez instytucje naukowe i uczelnie, które, podobnie jak wykonawcy ocen, wnoszą o dostęp do dokumentów i danych. Rozwiązaniem umożliwiającym usprawnienie przepływu ww. informacji pomiędzy Instytucją Zarządzająca i Wdrażającą oraz wykonawcami poszczególnych badań, analiz, ekspertyz i ocen, przyczyniającym się do ograniczenia powtarzających się problemów mających często negatywny wpływ na terminowość i jakość prac badawczych może być wdrożenie porozumienia ramowego pomiędzy zaangażowanymi w realizację Programu instytucjami. W interesującym nas przypadku sugeruje się zawarcie porozumienia ramowego pomiędzy MRiRW a ARiMR

18 Przedmiotowa umowa regulowałaby kwestie związane z zasadami współpracy i trybem przekazywania określonych dokumentów i danych pomiędzy ww. podmiotami, w związku z badaniami, analizami, ocenami, etc. prowadzonymi na zamówienie MRiRW lub z własnej inicjatywy przez instytuty naukowe, badawcze oraz uczelnie. Dzięki przyjęciu zaproponowanego rozwiązania, w przypadku realizacji poszczególnych badań, w ramach których zaistnieje potwierdzona przez MRiRW zasadność przekazania danych wrażliwych, będących w posiadaniu ARiMR (centrali lub właściwych Oddziałów Regionalnych), ich udostępnienie (bezpośrednio podmiotom trzecim lub za pośrednictwem MRiRW) następowałoby, w zależności od przyjętych w umowie ramowej rozwiązań, w oparciu o stosowne pismo lub standardowe porozumienie wykonawcze, określające zakres i termin przekazania danych. Jednym z elementów procesu badawczego było też badanie metodą CAWI (ankieta internetowa). Zgodnie z harmonogramem i założeniami, rozesłano do pracowników odpowiedzialnych za działania informacyjno-promocyjne w Instytucjach Wdrażających, informację o badaniu z prośbą o wypełnienie tejże ankiety. Dane pozyskiwane taką metodą są automatycznie zapisywane na serwerze. Na bieżąco monitorowany był poziom zwrotu ankiet (poziom odpowiedzi), który został oceniony jako zadowalający. W końcowej fazie badania, z przyczyn niezależnych od Wykonawcy (awaria zewnętrznego serwera) okazało się, że wszystkie dotychczas zebrane informacje dzięki ankiecie CAWI zostały utracone. Przystąpiono do szybkich działań zaradczych, które sprowadziły się do natychmiastowego rozesłania informacji z prośbą o ponowne wypełnienie ankiety CAWI. Kilkanaście razy dziennie szczegółowo monitorowany był poziom zwrotu tychże ankiet. Gdy Wykonawca zauważył, że poziom jest zbyt niski, zdecydował jeszcze raz rozesłać prośbę o wypełnienie ankiet, gorąco namawiając adresatów do zaangażowania się w badanie. Ostatecznie ze względu na problemy, które się pojawiły (utrata danych, ponowne wysyłanie ankiet, krótki czas ponownej realizacji) został osiągnięty niższy niż zakładano, ale zadowalający (w opisanych wyżej okolicznościach) poziom zwrotu ankiet CAWI (54,4%). Poza wymienionymi wyżej problemami badanie przebiegało zgodnie z harmonogramem i poczynionymi na jego początku założeniami. Zespół badawczy prowadził działania zgodnie z opracowaną logiką badania. W realizacji badania oparto się na Standardach ewaluacji Polskiego Towarzystwa Ewaluacyjnego 2. 2 Standardy ewaluacji dostępne są na stronie

19 2 Metodologia badania i wykorzystane źródła Zaproponowany w niniejszym badaniu zestaw metod badawczych miał charakter komplementarny. Wykorzystanie różnorodnych, jakościowych, ilościowych i eksperckich metod badawczych i analitycznych pozwoliło na zebranie kompleksowych i wyczerpujących informacji, pozyskanych od szerokiego kręgu osób i instytucji. Dzięki zastosowaniu różnorodnych narzędzi uzyskany został efekt kumulowania się i wzajemnego uzupełnienia danych pochodzących z różnych źródeł. Tzw. triangulacja, czyli różnorodność technik gromadzenia informacji i ich analizy pozwoliła lepiej poznać i zrozumieć przedmiot badania oraz stworzyć możliwość dokonywania odniesień i porównań. Jednocześnie zebrane na poszczególnych etapach badania informacje pozwoliły na udoskonalanie i doprecyzowanie narzędzi badawczych. W niniejszym rozdziale przedstawiony zostanie szczegółowy opis metod badawczych zastosowanych w badaniu. Poniżej znajduje się syntetyczne zestawienie metod badawczych, zawierające zaplanowane i wykonane wielkości prób. Tabela 1. Syntetyczne zestawienie metod badawczych Metoda Respondent / źródło informacji Zaplanowana próba Wykonana próba Analiza dokumentów i danych zastanych Analiza dokumentów związanych z informacją i promocją w zakresie PROW Wszystkie dostępne dokumenty związane z informacją i promocją PROW Wszystkie dostępne dokumenty związane z informacją i promocją PROW Lista dokumentów znajduje się w Rozdziale 2.1. Badania ilościowe CATI Badania ilościowe (CATI) przeprowadzone na reprezentatywnej próbie beneficjentów PROW Próba reprezentatywna 800 beneficjentów wszystkich Działań PROW , z którymi podpisano umowy do 30 października 2009 r. Zrealizowana została ostatecznie próba reprezentatywna 813 beneficjentów Działań PROW , z którymi podpisano umowy do 30 października 2009 r. Różnica wynikła z specyfiki stosowania metody CATI, co ostatecznie miało pozytywny wpływ na zwiększenie ilości wywiadów CATI. Dokładny opis w rozdziale 2.2. Badanie standaryzowane CAWI Badanie standaryzowane CAWI przeprowadzone z pracownikami podmiotów wdrażających PROW odpowiedzialnymi za planowanie i realizację działań informacyjnych i promocyjnych. Badaniem CAWI miały zostać objęte następujące podmioty wdrażające odpowiedzialne za planowanie i realizację działań informacyjnopromocyjnych: Centrala i Oddziały Regionalne ARiMR, FAPA, Centrala i Odziały Regionalne ARR, Odpowiednie komórki Badaniem CAWI zostały objęte następujące podmioty wdrażające odpowiedzialne za planowanie i realizację działań informacyjnopromocyjnych: Centrala i Oddziały Regionalne ARiMR, Centrala i Odziały Regionalne ARR, Odpowiednie komórki w ramach Urzędów Marszałkowskich. Zrezygnowano z realizacji badania wśród pracowników FAPA z uwagi na

20 Metoda Respondent / źródło informacji Zaplanowana próba Wykonana próba w ramach Urzędów Marszałkowskich. to, że informacje od nich pozyskano inną metodą IDI. Dokładny opis w rozdz Studium przypadku Badanie efektywności i skuteczności na podstawie 2 szkoleń organizowanych w ramach PROW W doborze przypadków do studiów zastosowano kryteria: kryterium obszaru, do którego kierowane jest wsparcie; kryterium złożoności projektu szkoleniowego. Zrealizowano dwa studia przypadków: działalności szkoleniowej prowadzonej w ramach LGD Razem dla rozwoju w Bodzanowie (woj. mazowieckie) szkoleń rolnośrodowiskowych organizowanych w latach przez ŚODR w Modliszewicach (woj. świętokrzyskie) Dokładny opis w rozdz. 2.4 Badanie z zastosowaniem techniki Tajemniczy klient Badaniem z zastosowaniem techniki Tajemniczy klient na podstawie kontaktu z punktami informacyjnymi MRiRW, ARR, ARiMR, FAPA, Samorządów Województw. Wykonawca planował przeprowadzić badania w następujący sposób: Mystery client (wizyta osobista) w biurach powiatowych i OR ARiMR; Mystery ing (kontakt owy) z punktami informacyjnymi MRiRW i FAPA, oddziałami regionalnymi ARiMR, punktami informacyjnymi Urzędów Marszałkowskich; Mystery calling (kontakt telefoniczny): Infolinia ARiMR, Telefoniczny Punkt Informacyjny ARR, punkty informacyjne MRiRW i FAPA, punkty informacyjne Urzędów Marszałkowskich. Wykonawca przeprowadził badania w następujący sposób: Mystery client (wizyta osobista) w biurach powiatowych ARiMR (3) i w jednym OR; Mystery ing (kontakt e- mailowy) z punktem informacyjnym MRiRW, oddziałami regionalnymi ARiMR, punktami informacyjnymi Urzędów Marszałkowskich; Mystery calling (kontakt telefoniczny): Infolinia ARiMR, Telefoniczny Punkt Informacyjny ARR, punkt informacyjny MRiRW, punkty informacyjne Urzędów Marszałkowskich i OR ARiMR, które nie odpowiedziały na . Zrezygnowano z kontaktu i telefonicznego z FAPA z uwagi na zakres działania instytucji, który został poznany w toku prowadzonego badania. Badanie z zastosowaniem techniki Tajemniczy klient okazało się bezzasadne. Dokładny opis w rozdz

21 Metoda Respondent / źródło informacji Zaplanowana próba Wykonana próba Indywidualne wywiady pogłębione (IDI) Informacje, udzielą: których kluczowi pracownicy MRiRW, ARR, ARiMR i FAPA odpowiedzialni za kreowanie polityki informacyjnej i promocyjnej PROW oraz za zarządzanie działaniami informacyjnymi i promocyjnymi na poziomie krajowym; przedstawiciele organizacji pozarządowych i ich porozumień, działających na obszarach wiejskich: np. FAOW, Fundacja Wspomagania Wsi itp. doradcy ODR; przedstawiciele KSOW (sekretariat centralny i wybrane sekretariaty regionalne); przedstawiciele dobranych celowo mediów krajowych, zajmujący się problematyką rolną i rozwoju obszarów wiejskich oraz wybranych mediów specjalistycznych (o największym zasięgu). Miało zostać przeprowadzonych min. 4 wywiady z pracownikami, min. 2 wywiady z przedstawicielami organizacji i porozumień organizacji, min. 1 wywiad z przedstawicielem CDR, min. 2 wywiady z doradcami ODR, min. 3 z przedstawicielami KSOW, min. 2 wywiady z przedstawicielami mediów krajowych oraz wybranych mediów specjalistycznych. Razem min. 14 IDI Zrealizowano: 7 wywiadów z kluczowymi pracownikami IZ i IW zajmującymi sie informacją i promocją, 2 wywiady z przedstawicielami Urzędu Marszałkowskiego, 5 wywiadów z doradcami ODR, 2 wywiady z przedstawicielami mediów, 1 wywiad z przedstawicielem FAOW, 1 wywiad z przedstawicielem organizacji pozarządowej, 2 wywiady z przedstawicielami KSOW. Razem 20 IDI Różnice wynikają z tego, że w trakcie badania istniała potrzeba zebrania jak najszerszego materiału do analiz. Telefoniczne Wywiady Pogłębione (TDI) Dobrani przedstawiciele: celowo mediów regionalnych, specjalistycznych o mniejszym zasięgu i niektórych branżowych; ODR; KSOW. Miało zostać przeprowadzonych minimum 12 TDI, w tym min. 4 z przedstawicielami mediów, min. 4 z przedstawicielami sekretariatów regionalnych KSOW i min. 4 z doradcami ODR Zrealizowano 12 TDI: 4 TDI z przedstawicielami mediów, 4 z przedstawicielami sekretariatów regionalnych KSOW, 4 z doradcami ODR. Uczestnikami mogliby być: Warsztat heurystyczny przedstawiciele MRiRW, ARR, FAPA, ARiMR odpowiedzialni za informację i promocję; przedstawiciele prasy specjalistycznej i mediów, specjalizujący się w problematyce rolnej i rozwoju Planowano zrealizowanie 1 warsztatu heurystycznego z przedstawicielami IZ, IW, doradców ODR, ekspert ds. PR i komunikacji. Zrealizowano 1 warsztat heurystyczny, w którym wzięło udział 14 osób (przedstawiciele IZ, IW, doradcy ODR, ekspert ds. PR i komunikacji). Lista uczestników w rozdz

22 Metoda Respondent / źródło informacji Zaplanowana próba Wykonana próba obszarów wiejskich; przedstawiciele organizacji pozarządowych i ich porozumień (FAOW, Fundacja Wspomagania Wsi itp.); przedstawiciele środowiska doradców rolniczych; ekspert ds. programów wspierania obszarów wiejskich; ekspert ds. PR i komunikacji. 2.1 Analiza dokumentów i danych zastanych W realizacji badania wykorzystano dane ze źródeł zastanych, czyli dane i informacje, które nie zostały wytworzone na potrzeby prowadzonego badania. Dane były gromadzone i analizowane na każdym etapie prowadzenia niniejszego badania: We wstępnej fazie badania, analiza podstawowych dokumentów źródłowych pozwoliła na dogłębne poznanie przedmiotu i kontekstu badania. Pozwoliła na trafne opracowanie narzędzi badawczych (kwestionariuszy ankiet, scenariuszy do wywiadów), Analiza dokumentów programowych stanowiła podstawę do odpowiedzi na pytania badawcze dotyczące spójności zewnętrznej i wewnętrznej działań informacyjnych i promocyjnych PROW , Forma działań informacyjnych i promocyjnych (w tym materiały promocyjne i strony internetowe) zostały poddane ocenie eksperckiej pod kątem ich użyteczności dla korzystających z informacji i skuteczności oddziaływania na odbiorców przekazu. Analiza podstawowych dokumentów źródłowych obejmowała w szczególności: Krajowy Plan Strategiczny Rozwoju Obszarów Wiejskich na lata ; Program Rozwoju Obszarów Wiejskich na lata ; rozporządzenie Rady (WE) 1698/2005 z dnia 20 września 2005 r. w sprawie wsparcia rozwoju obszarów wiejskich przez Europejski Fundusz Rolny na rzecz Rozwoju Obszarów Wiejskich (Dz. Urz. UE. L 277 z , str. 1, z późn. zm.);

23 rozporządzenie Komisji (WE) NR 1974/2006 z dnia 15 grudnia 2006 r. ustanawiające szczegółowe zasady stosowania rozporządzenia Rady (WE) nr 1698/2005 w sprawie wsparcia rozwoju obszarów wiejskich przez Europejski Fundusz Rolny na rzecz Rozwoju Obszarów Wiejskich (EFRROW) (Dz. Urz. UE. L 368 z , str. 15 z późn. zm.); ustawę z dnia 7 marca 2007 r. o wspieraniu rozwoju obszarów wiejskich z udziałem środków Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich (Dz.U. Nr 64, poz. 427, z późn. zm.); rozporządzenie Ministra Rolnictwa i Rozwoju Wsi z dnia 31 sierpnia 2007 r. w sprawie szczegółowego sposobu sprawowania nadzoru nad podmiotami, które wykonują jako delegowane zadania instytucji zarządzającej w ramach Programu Rozwoju Obszarów Wiejskich na lata (Dz. U. Nr 163, poz. 1160, z późn. zm.); Plany Komunikacyjne na lata 2007, 2008 i 2009; materiały promocyjne i informacyjne PROW ; internetowe witryny informacyjne, odnoszące się do sektora rolnego i rozwoju obszarów wiejskich; przegląd najważniejszych publikacji prasowych, związanych z PROW Badania ilościowe CATI CATI (ang. Computer Assisted Telephone Interview) jest to technika stosowana przy realizacji badań ilościowych, polegająca na przeprowadzaniu wywiadów telefonicznych z respondentami z wykorzystaniem komputera. Badanie pozwoliło na uzyskanie reprezentatywnego przeglądu opinii beneficjentów - adresatów kierowanego w ramach PROW przekazu informacyjnego i promocyjnego, co stanowiło kluczowe źródło informacji na temat skuteczności, adekwatności i użyteczności przekazu. Podstawę interpretacji danych ilościowych CATI stanowiły informacje uzyskane dzięki analizie źródeł zastanych oraz dane jakościowe (IDI, TDI, studia przypadku, a w dalszej kolejności wyniki warsztatu heurystycznego). Badanie ilościowe z beneficjentami było reprezentatywne, co pozwoliło na wyciąganie wniosków o charakterze statystycznym, których wyniki można generalizować na poziomie ogólnopolskim oraz na poziomie poszczególnych Działań Programu. W sumie poprzez wywiad CATI została zbadana opinia 813 beneficjentów (zakładano zbadanie opinii 800 beneficjentów) na temat działań informacyjnopromocyjnych i szkoleniowych PROW Poniższa tabela przedstawia zestawienie planowanych i faktycznie zrealizowanych ilości wywiadów CATI w poszczególnych Działaniach PROW

24 Tabela 2. Zakładana i zrealizowana ilość wywiadów CATI Oś Nazwa Działania Liczba beneficjentów Zakładana wielkość próby Zrealizowana ilość wywiadów Szkolenia zawodowe dla osób zatrudnionych w rolnictwie i leśnictwie (111) Ułatwienie startu młodym rolnikom (112) Renty strukturalne (113) Korzystanie z usług doradczych przez rolników i posiadaczy lasów (114) Modernizacja gospodarstw rolnych (121) Oś 1 Zwiększanie wartości dodanej podstawowej produkcji rolnej i leśnej (123) Poprawianie i rozwijanie infrastruktury związanej z rozwojem i dostosowaniem rolnictwa i leśnictwa (125) Uczestnictwo rolników w systemach jakości żywności (132) Działania informacyjne i promocyjne (133) Grupy producentów rolnych (142) Zakładana wielkość próby/zrealizowana ilość wywiadów Oś 2 Wspieranie gospodarowania na obszarach górskich i innych obszarach o niekorzystnych warunkach gospodarowania (ONW) (211/212) Program rolnośrodowiskowy (Płatności rolnośrodowiskowe) (214) Zalesianie gruntów rolnych oraz zalesianie gruntów innych niż rolne (221/223) Odtwarzanie potencjału produkcji leśnej zniszczonego przez katastrofy oraz wprowadzanie zapobiegawczych (226) instrumentów Zakładana wielkość próby/zrealizowana ilość wywiadów Oś 3 Różnicowanie w kierunku działalności nierolniczej (311) Tworzenie i rozwój mikroprzedsiębiorstw (312)

25 Oś Nazwa Działania Liczba beneficjentów Zakładana wielkość próby Zrealizowana ilość wywiadów Podstawowe usługi dla gospodarki i ludności wiejskiej (321) Odnowa i rozwój wsi (313/322/323) Zakładana wielkość próby/zrealizowana ilość wywiadów Wdrażanie lokalnych strategii rozwoju (413) Oś 4 Leader Wdrażanie projektów współpracy (421) Funkcjonowanie lokalnej grupy działania, nabywanie umiejętności i aktywizacja (431) Zakładana wielkość próby/zrealizowana ilość wywiadów SUMA Źródło informacji: Tabela przedstawia dane o liczbie beneficjentów pozyskane ze strony internetowej MRIRW (Biuletyn Informacyjny Nr 11 12/2009 (133): Realizacja działań PROW wg stanu na ). Zwiększenie wielkości próby wynikało z charakteru i specyfiki realizacji badań metodą CATI i z pewnością miało pozytywny wpływ na wyniki badania (poznana została opinia większej liczby beneficjentów). 2.3 Badanie standaryzowane CAWI Wywiad kwestionariuszowy realizowany przez internet (ang. Computer Assisted Web Interview) jest to technika stosowana w badaniach ilościowych, wykorzystująca internet do realizacji wywiadów z respondentami. Respondent otrzymuje pocztą mailową link do strony z ankietą, którą może wypełnić w dowolnym dla siebie momencie. Wykonawca założył, że wszyscy pracownicy podmiotów wdrażających PROW odpowiedzialni za planowanie, realizację działań informacyjnopromocyjnych objęci badaniem posiadają i korzystają z poczty mailowej. Badaniem CAWI objęto wszystkich pracowników podmiotów wdrażających PROW odpowiedzialnych za planowanie i realizację działań informacyjnopromocyjnych. Na etapie przygotowania Raportu metodologicznego Wykonawca w porozumieniu z Zamawiającym szacowali, że wielkość populacji może wynieść około 93 osób. Po otrzymaniu ostatecznych baz danych od Zamawiającego (MRiRW) okazało się, że wielkość populacji jest mniejsza i wynosi 79 osób. Poniżej przedstawiono tabelę z szacowaną i rzeczywistą wielkością populacji dla poszczególnych instytucji. Ankieta CAWI została ostatecznie rozesłana do 79 osób

26 Tabela 3. Wielkość populacji - badanie CAWI Podmioty wdrażające Samorządy województw (Urzędy Marszałkowskie) ARiMR (oddziały regionalne i Centrala) Szacowana wielkość populacji Rzeczywista wielkość populacji Ok. 48 osób 43 Ok. 25 osób 25 FAPA Ok. 2 osoby -* ARR (oddziały terenowe i Centrala) Ok. 18 osób 11 Ogółem Ok. 93 osób 79 *Wykonawca zrezygnował z realizacji badania metodą CAWI niezbędne informacje i dane pozyskane zostały podczas IDI; badanie CAWI okazało się bezzasadne w tym przypadku Doświadczenie Wykonawcy wskazywało, że zakładamy minimalny poziom realizacji badania to 65%. Jednak w wyniku okoliczności powstałych w związku z wypadkami losowymi opisanymi w rozdziale 1.3 osiągnięty został niższy niż zakładano poziom realizacji 54,4%. Z uwagi na krótki czas realizacji i ponowną wysyłkę tej samej ankiety wynik należy, w ocenie Wykonawcy, uznać za satysfakcjonujący. Pozyskane dane z pewnością okazały się pożyteczne w ocenie skuteczności i użyteczności działań informacyjno-promocyjnych dotyczących PROW Studium przypadku Studium przypadku, mające szczegółowo opisać i ocenić skuteczność i efektywność projektu szkoleniowego, nie jest jedynie metodą badawczą, lecz strategią badawczą polegającą na dogłębnym i kompleksowym poznaniu badanych przypadków. W doborze przypadków do studiów kierowano się dwoma kryteriami: kryterium obszaru, do którego kierowane jest wsparcie; kryterium złożoności projektu szkoleniowego. W ramach PROW wsparcie kierowane jest do dwóch podstawowych obszarów: sektora rolnego gospodarki oraz działań na rzecz wszechstronnego rozwoju obszarów wiejskich. W związku z tym zaproponowano, by jeden z projektów szkoleniowych objętych studium dotyczył działań odnoszących się do pierwszego z obszarów - sektora rolnego gospodarki, a drugi do działań na rzecz wszechstronnego rozwoju obszarów wiejskich. Wybór projektu o dużej złożoności wynikał z kolei z faktu, że w projekcie takim zaobserwować można większą, niż w przypadku projektów prostszych, liczbę problemów związanych z działaniami informacyjnymi i szkoleniowymi, które po dalszej analizie mogą okazać się problemami typowymi

27 W związku z tym przeprowadzono: dla sektora rolnego - studium przypadku cyklu szkoleń kierowanych do beneficjentów programów rolnośrodowiskowych z uwagi na złożoność problematyki tych programów oraz wyraźny komponent motywowania uczestników szkoleń, wynikający z dość powszechnego wśród rolników braku wiedzy i zrozumienia przynajmniej dla części tematyki rolnośrodowiskowej (np. obszary Natura 2000; ochrona gleb i wód itp.), a także z uwagi na wieloletnie zobowiązanie związane z wdrażaniem tych programów; studium dotyczyło szkoleń realizowanych w ŚODR w Modliszewicach, dla działań na rzecz rozwoju obszarów wiejskich studium szkolenia dotyczącego funkcjonowania Lokalnej Grupy Działania, nabywania umiejętności i jej aktywizacji, z uwagi na różnorodność adresatów takiego szkolenia oraz bardzo dużą złożoność tematyki takiego szkolenia; studium zrealizowano dla LGD Razem dla rozwoju w Bodzanowie. 2.5 Badanie z zastosowaniem techniki Tajemniczy klient W niniejszym badaniu zastosowano metodę, która w bezpośredni sposób pozwoliła sprawdzić skuteczność świadczenia usług informacyjnych, realizowanych na rzecz beneficjentów wsparcia w ramach PROW Badanie z zastosowaniem techniki Tajemniczy Klient polega na zaangażowaniu specjalnie przeszkolonych obserwatorów, którzy, wcielając się w rolę anonimowych klientów, zbierają potrzebne informacje. W niniejszym badaniu odbyło się to poprzez kontakt osobisty, telefoniczny oraz owy. Metoda, jako technika obserwacyjna, ma przede wszystkim walor kontrolny i nie może stanowić źródła pogłębionych informacji, szczególnie na temat przyczyn obserwowanych zjawisk. Metoda stanowiła dodatkowe, eksperymentalne potwierdzenie danych uzyskanych za pomocą metody CATI i CAWI, odnoszących się do jakości pracy punktów informacyjnych oraz barier w informowaniu, zidentyfikowanych za pomocą tych metod, a także za pomocą metod jakościowych (IDI, TDI, studium przypadku). Pierwszym etapem badania było rozesłanie zapytań drogą elektroniczną ( ) do: punktów informacyjnych we wszystkich Urzędach Marszałkowskich, wszystkich Oddziałów Regionalnych ARiMR oraz punktu informacyjnego w MRiRW. Zastosowane zostały różnorodne scenariusze rozmów: Tajemniczy klient nr 1 kobieta posiadająca wspólnie z rodziną gospodarstwo o powierzchni 3ha, mąż prowadzi jednocześnie małą firmę remontowo-budowlaną, interesowała się uzyskaniem dofinansowania do remontu budynków w gospodarstwie, dofinansowania do firmy prowadzonej przez męża, zainteresowana była też możliwością dotacji do agroturystyki;