Raport z badania ewaluacyjnego przygotowany przez CASE Doradcy Sp. z o.o.

Transkrypt

1 2009 Badanie ewaluacyjne pn. Ocena skuteczności działań promocyjnych i informacyjnych Ocena skuteczności działań promocyjnych i informacyjnych w ramach komponentu regionalnego Programu Operacyjnego Kapitał Ludzki w województwie podlaskim na lata Raport z badania ewaluacyjnego przygotowany przez CASE Doradcy Sp. z o.o. 1

2 Badanie Ocena skuteczności działań promocyjnych i informacyjnych w ramach komponentu regionalnego Programu Operacyjnego Kapitał Ludzki w województwie podlaskim na lata zrealizowane zostało na zlecenie Departamentu Europejskiego Funduszu Społecznego Urzędu Marszałkowskiego Województwa Podlaskiego przez CASE Doradcy Sp. z o.o. z siedzibą w Warszawie. 2

3 SPIS TREŚCI 1. Streszczenie Summary Zakres prowadzonego badania Cele badania Przedmiot badania Obszary i pytania badawcze Kryteria ewaluacji Metodologia przeprowadzonego badania Syntetyczne zestawienie metod badawczych Opis metod i technik badawczych Analiza dokumentów (desk research) Indywidualny wywiad pogłębiony (IDI) Wywiady kwestionariuszowe (CATI i CAWI) Tajemniczy klient Studia przypadku Panel ekspertów Wyniki ewaluacji Analiza i ocena działań promocyjnych i informacyjnych realizowanych przez IP, IP2 i ROEFS Odbiór podejmowanych działań informacyjno promocyjnych przez beneficjentów Wnioski i rekomendacje Załączniki Załącznik 1. Lista osób z którymi przeprowadzono pogłębione wywiady indywidualne Załącznik 2. Studia przypadku Załącznik 3. Narzędzia badawcze

4 1. Streszczenie Badanie Ocena skuteczności działań promocyjnych i informacyjnych w ramach komponentu regionalnego Programu Operacyjnego Kapitał Ludzki w województwie podlaskim na lata zrealizowane zostało na zlecenie Departamentu EFS Urzędu Marszałkowskiego Województwa Podlaskiego. Głównym celem badania było uzyskanie pogłębionej wiedzy na temat systemu komunikacji, informacji i promocji Programu Operacyjnego Kapitał Ludzki w województwie podlaskim na lata Przeprowadzono analizę dotychczas podejmowanych działań informacyjnopromocyjnych, jak również, poprzez zbadanie odbioru tych działań przez beneficjentów i potencjalnych beneficjentów, oceniono ich skuteczność. Badanie przeprowadzano w oparciu o kryteria użyteczności, skuteczności, trafności i efektywności. Podstawowymi metodami badawczymi, które posłużyły Wykonawcy do uzyskania wyników były: analiza desk research, badania CATI i CAWI, pogłębione wywiady indywidualne, studia przypadków oraz mystery shopping. I. Analiza i ocena działań promocyjnych i informacyjnych realizowanych przez IP, IP2 i ROEFS. Wyniki badania pokazały, że IP i IP2 stosują bardzo szeroki wachlarz kanałów komunikacji oraz wykorzystują wszystkie wyszczególnione w Planie Komunikacji PO KL narzędzia promocji i informacji. Podejmowane działania są spójne z wytycznymi zawartymi w PK PO KL. Wynikają ponadto ze wspólnych ustaleń między IP i IP2. Pozytywnie należy oceniać działalność Regionalnej Informacyjnej Grupy Roboczej, której struktura jest dostosowana do potrzeb realizacji polityki promocyjnoinformacyjnej. Z analizy danych jakościowych wynika, że brakującym ogniwem do idealnej współpracy jest brak jednolitych wytycznych w sprawie trybu traktowania ROEFS oraz sposobu rozliczania wydatków ośrodków, na tle których dochodzi do nieporozumień. IP i IP2 posiadają wystarczające zasoby rzeczowe do realizacji polityki promocyjno informacyjnej Podkreślano, że posiadany sprzęt jest nowoczesny i wydajny. Warunki w Punktach Informacyjnych IP oraz IP2 są zadowalające. Jeżeli chodzi o zasoby ludzkie to według respondentów z IP zawsze będzie tych ludzi za mało, ale przeważa opinia, że nie brakuje personelu. Działania promocyjne są prowadzone w trybie ciągłym, ze względu na ich cel którym jest oddziaływanie na świadomość społeczeństwa regionu; nie jest konieczna ich pełna integracja z momentami ogłaszania konkursów. Działania informacyjne podejmowane przez Urząd Marszałkowski 4

5 są zdaniem respondentów z ROEFS spóźnione co np. utrudnia rozplanowanie pracy doradcom, którzy pomagają beneficjentom w opracowywaniu wniosków. Powinny mieć miejsce co najmniej na tydzień, dwa przed datą otwarcia konkursu. II. Odbiór podejmowanych działań informacyjno promocyjnych przez beneficjentów Większość ankietowanych (odpowiednio prawie 76% i 65% w badaniu CATI i CAWI) pozytywnie oceniła dostępność informacji o PO KL w województwie podlaskim. Zróżnicowanie podejmowanych przez IP, IP 2 i ROEFS działań pozwala na dotarcie z informacjami do tych grup, do których dostęp za pomocą tradycyjnych środków takich jak np. internet jest utrudniony, w szczególności chodzi tu o mieszkańców obszarów wiejskich. Wyniki badania CAWI wskazały, że ponad 71% ankietowanych słyszała o możliwości ubiegania się o fundusze w ramach POKL skuteczność należy ocenić jako zadowalającą. Najczęściej pierwsze informacje o Programie i możliwości skorzystania z dofinansowania respondenci czerpali z Internetu (66,1% odpowiedzi w przypadku badania CATI i 27,5% w przypadku badania CAWI). Następnie ankietowani wskazywali na miejsce pracy (25,3% w przypadku CAWI) oraz szkolenia odpowiednio 15,9 i 12,2 procent. Prawie 70% beneficjentów uznało, że prowadzone działania promocyjne przyczyniły się do zwiększenia ich zainteresowania PO KL. Ciągle jest jednak duża grupa potencjalnych beneficjentów, dla których Program jest niezrozumiały i do których należy dotrzeć, nie tylko z polityką promocyjną, ale również informacyjną. Ponad 60% respondentów na pytanie o to czy poprawiła się dostępność informacji na temat funduszy strukturalnych w porównaniu z okresem programowania udzieliło pozytywnej odpowiedzi. Jeżeli chodzi o przydatność i łatwość znalezienia materiałów informacyjnych, to osoby które pozytywnie oceniają dostęp do informacji z reguły pozytywnie oceniają także ich przydatność. Łącznie 70% ankietowanych w badaniu CAWI jest zdania, że materiały są przydatne. Z drugiej strony 20% respondentów w przypadku badania CATI i 40% w przypadku badania CAWI negatywnie oceniło użyteczność informacji w zakresie wskazówek pomagających sprawnie realizować projekty. 40% respondentów w badaniu CAWI na pytanie o to czy dostępne informacje są wystarczające do sprawnego złożenia wniosku udzieliło odpowiedzi negatywnej. Wyniki te powinny stanowić cenną wskazówkę przy podejmowaniu przyszłych działań informacyjno promocyjnych. Analiza desk research wykazała, że działania promocyjne są dostosowane do różnych grup beneficjentów. O ile działania promocyjne realizowane przez IP określone zostały przez 5

6 respondentów jako ogólno promocyjne, o tyle działalność ROEFS ów ma wymiar bardziej lokalny i szczegółowy a opracowywane przez nie materiały są mocno sprofilowane i ich treść odpowiada zapotrzebowaniu konkretnych grup beneficjentów. 85% ankietowanych pozytywnie ocenia działalność IP, IP2 oraz ROEFS pod kątem wymagań konkretnych grup beneficjentów. W 2009 roku zrealizowano bardzo dużą liczbę spotkań dla beneficjentów systemowych. Z drugiej strony beneficjenci wyłonieni w ramach otwartych konkursów często mówili, że szkolenia nie zawsze organizowane z wystarczającą częstotliwością, a te cieszące się największą popularnością są niedostępne z powodu braku miejsc Strony internetowe redagowane przez IP oraz IP2 zapewniają dostęp do wniosków aplikacyjnych i innych dokumentów bez konieczności bezpośredniego kontaktu z pracownikami Departamentu Europejskiego Funduszu Społecznego. Blisko 100% ankietowanych w badaniu CATI oceniła informację o PO KL jako wystarczającą. Bardzo pozytywnym aspektem polityki promocyjnej w mediach jest fakt, że beneficjenci są generalnie zgodni co do jakości informacji na temat funduszy strukturalnych. Najlepiej ocenione zostały materiały dostępne w prasie. Blisko 90% ankietowanych wyraża się na ich temat pozytywnie. Niedaleko w tyle pozostaje telewizja (80%) oraz radio (72%). Problemem jest więc dotarcie do odbiorców, a nie poziom przekazywanych treści, które stoją na bardzo wysokim poziomie w oczach beneficjentów. Prawie 70% beneficjentów ankietowanych telefonicznie dobrze lub bardzo dobrze ocenia kampanię informacyjno promocyjną na temat PO KL realizowaną w województwie podlaskim. Podsumowując, polityka informacyjno promocyjna znacząco wpływa na wzrost świadomości mieszkańców województwa podlaskiego o funduszach unijnych. Punkty Informacyjne Zaledwie co czwarty respondent przyznaje, że miał okazję korzystać z usług oferowanych tamże. Ankietowani są zgodni co do tego, że punkty informacyjne PO KL bardzo efektywnie udzielają informacji. ROEFS Wyniki badań CATI i CAWI nie są zadowalające. Odpowiednio zaledwie 43% i 22% ankietowanych deklaruje, że korzystało z usług ROEFS. 92% ankietowanych oceniło pozytywnie działalność ROEFS. Najmniej pozytywnie został oceniony ROEFS w Białymstoku. III. Oczekiwania i potrzeby społeczeństwa województwa podlaskiego/potencjalnych beneficjentów w zakresie informacji odnośnie Programu. 6

7 Podstawową barierą z punktu widzenia beneficjentów jest wysoki stopień biurokracji oraz niezrozumiały sposób prezentowania informacji. Respondenci narzekali na trudny język przekazywanych informacji, nie tylko w dokumentach programowych, ale również w krótkich komunikatach zamieszczanych na stronach internetowych. Respondenci zwracają uwagę, że informacje przekazywane im na stronie internetowej, czy podczas szkoleń często są mało praktyczne. Często brakuje przykładów najczęściej popełnianych błędów na różnych etapach aplikowania i realizowania projektu. Respondenci sugerowali, że IP oraz IP2 powinny przygotować obszerną broszurę przedstawiającą wzorcowe projekty. Zdaniem respondentów informacje dotyczące szkoleń pojawiają się na stronach zbyt późno, co często uniemożliwia zapisanie się na szkolenie. Podobnie zbyt późno do beneficjentów dociera informacja na temat działań, które będą wspierane w danym roku. Blisko 94% ankietowanych chciałoby otrzymywać informacje o zmianach wytycznych i innych zmianach w PO KL. 7

8 2. Summary The research Evaluation of the efficiency of promotion and information activities conducted within the regional component of the Human Capital Programme was carried out on order of the Office of the Marshal Departament of Regional Politics and EU Funds of Podlaskie voivodeship. Its main objective was to obtain profound knowledge about the communication, promotion and information system of the Human Capital Programme in Podlaskie voivodeship for the period. The research included a wide analysis of all the activities within the information and promotion politics, as well as investigating its impact on the beneficiaries and potential benefitiaries, which led to evaluating the effectiveness of those actions on the basis of the following criteria: accuracy, utility, and efficiency. The evaluation has been realised with help of diverse, qualitative and quantitative research methods, which allowed to gather complex and in depth information from a wide range of persons and institutions. The basic methods used during the research included: desk research analysis, CATI and CAWI surveys, deepened individual interviews, case studies and mystery client. I. Analysis of promotion and information activities carried out by Intermediate Bodies (IB), 2nd Level Intermediate Bodies (IB2) and Regional Centers of European Funds. The results pinpointed that both IB and IB2 apply a very wide range of communication channels and use all information and promotion tools in accordance with the Communication Plan of the Human Capital Programme All the actions are coherent with the directives of the mentioned Plan. Moreover, they constitute a result of consensus between both institutions. Another positive aspect is the activity of the Regional Information Working Group. Its structure is well adapted to the needs of information and promotion politics. Furthermore, the desk research analysis showed that the only inconvenience in this respect is lack of uniform guidelines on accounting costs of ROEFS and this sometimes leads to misunderstandings. IB and IB2 have at their disposal enough human and material resources, all the equipment meets their needs and working conditions in Information Points in IB and IB2 are satisfactory. As far as 8

9 human resources are concerned, it was said that there won t be ever enough people working around here. Nevertheless, the general opinion about the number of staff is rather positive. The promotion activities are conducted continuously due to their social effect. Therefore, it is unnecesary to implement them along with particular contests. On the other hand, according to Regional Centers of European Funds, actions carried out by IB are belated, what makes difficult the planning of the consultants tasks, who are responsible for helping the beneficiaries in preparing their applications. Therefore, it should be reconsidered whether some actions should not be more intergrated with particular contests. II. Reception of conducted information and promotion activities from the point of view of beneficiaries. The majority of the respondents (accordingly almost 76% and 65% in CATi and CAWI surveys) assessed positively accesibility of the information about Human Capital Programme in Podlaskie voivodeship. Significant variety of activities carried out by IB and IB2 allows to reach those target groups, which are unable to use such means of communication as for example Internet (e.g. habitants of rural areas). Results of CAWI surveys demonstrated that more than 71% of the respondents heard about the possibility of applying for EU funds. Such a result has to considered as very positive. Internet is the most popular source of information. 66,1% of CATI and 27,5% of CAWI respondents said that they found out about Human Capital Programme precisely from the Internet. 25,3% of the CAWI survey respondents mentioned the place they work and trainings organised by IB and IB2 (accordingly 15,9% and 12,2%) as an important source of information. Almost 70% of the respondents admitted that their interest in Human Capital Programme had risen due to the conducted promotion activities. Nevertheless, there is still a significant group of potential beneficiaries, for whom the Programme is difficult to understand. Precisely those potential beneficiaries should constitute target group not only for promotion, but also for information activities. More that 60% of respondents admitted that in comparison with the period, accessibility of the information about EU funds has improved. As far as usefullness and accessibility of the information materials is concerned, 70% of CAWI survey respondents assess it positively. It means that great majority of the beneficiaries is satisfied not only with access to the information, but also find that information useful. Only 20% of CATI and 40% of 9

10 CAWI respondents gave a negative opinion about the usefullness of the materials, saying that they are not sufficient to apply successfully for the EU funds. Those results should constitute a valuable indicator while planning future information and promotion activities. Desk research analysis showed that promotion activities are adjusted to different target groups. As much as activities carried out by IB were assessed by respondents as generally targeted to all groups, actions taken by Regional Centers of European Funds are more local and detailed. Leaflets and other information materials are narrowly specialized and their content meets the needs of particular groups of beneficiaries. 85% of respondents admits that IB, IB2 and Regional Centers of European Funds adjust their activities according to different target groups. In 2009 IB and IB2 have organised many meetings with systemic beneficiaries. As long as all sides agree that systemic beneficiaries received all the help possible, it is not like this refering to call for proposals beneficiaries, who commented that conferences and seminars are not always organised with sufficient frequency and the most popular trainings are not accesible due to the fact that they get full instantly. IB and IB2 web pages offer access to application forms and other important documents without turning to direct contact with IB and IB2 consultants. Almost 100% of respondents agreed that the informaction about Human Capital Programme is sufficient. A very positive aspect of the promotion politics is the fact that beneficiaries are unanimous about the quality of the information which appears in the media. Almost 90% agrees that the most efficient in this respect is press, followed by television (80%) and radio (72%). The content of advertisments and other forms of promotion have been evaluated very high. Therefore, it seems that it is not the quality of the information that constitutes the problem, but reaching target groups. Almost 70% of respondents is satisified with information and promotion campaign in Podlaskie voivodeship. To sum up, information and promotion activities significantly influence awareness of the society about EU funds. As far as IB and IB2 Information Points are concerned, only 25% of respondents admits to use the services offered there. The quality of service is very high and has been generally assessed as effective. The level of services offered at Regional Centers of European Funds is also satisfactory, although only 43% of CATI and 22% of CAWI survey respondents declare to have turned to those information points. Still, 92% of those who look for help in Regional Centers of European Funds is satisfied with information they received. Mystery client demonstrated that among three Regional Centers of 10

11 European Funds in Podlaskie voivedoship, the one located in Bialystok received the least positive assessment. III. Expectations and needs of the Podlaskie voivodeship citizens/potential beneficiaries. The basic impediment from the point of view of beneficiaries is high level of bureaucracy and the fact that the information is presented in a rather difficult way. Respondents complained about the language of all the materials, which was defined as incomprehensible not only in Programme Documents, but also in short announcements on IB and IB2 web pages. Moreover, a lot of emphasis has been put on lack of practical information (in Internet or during trainings), such as examples of popular mistakes in application forms or during the realisation of projects. Respondents suggested that it might be useful to prepare a booklet or brochure presenting the best projects. As far as trainings are concerned, respondents complained about the timing of informing about particular meetings. Information about date and subject of particular training appears too late in Internet, what very often makes it impossible to participate in those events. The same thing refers to information about measures financed each year. It is also published too late. Almost 94% of the respondents would like to receive information concerning changes in the guidelines and other changes in Human Capital Programme. 11

12 3. Zakres prowadzonego badania 3.1 Cele badania Głównym celem badania było uzyskanie pogłębionej wiedzy na temat systemu komunikacji, informacji i promocji Programu Operacyjnego Kapitał Ludzki w województwie podlaskim na lata Nastąpiło to poprzez osiągnięcie celów szczegółowych badania tj.: 1. Ocenę dotychczas prowadzonych działań informacyjno promocyjnych realizowanych w ramach komponentu regionalnego PO KL w województwie podlaskim na lata ; 2. Zbadanie stanu świadomości społeczeństwa województwa podlaskiego w zakresie PO KL oraz identyfikację potrzeb w zakresie działań informacyjno promocyjnych; 3. Zdefiniowanie usprawnień systemu informacji i promocji w ramach komponentu regionalnego Programu Operacyjnego Kapitał Ludzki w województwie podlaskim na lata Wskazane przez Zamawiającego trzy cele szczegółowe wyznaczyły ramy niniejszego badania ewaluacyjnego. Warto zauważyć w tym miejscu, że cel pierwszy dotyczył analizy i oceny działań informacyjnych promocyjnych podejmowanych przez IP, podczas kiedy cel drugi koncentrował się na odbiorze podejmowanych działań przez beneficjentów i potencjalnych beneficjentów. Cel trzeci koncentrował się na wypracowaniu rekomendacji i sugestii służących poprawieniu skuteczności i efektywności systemy komunikacji w ramach komponentu regionalnego PO KL w województwie podlaskim na lata Tym samym wyznaczono dwa kierunki badania łącząc powyższe cele: 1. Kierunek opisowy Pozwolił m.in. dokonać analizy użyteczności dostępnych materiałów informacyjno promocyjnych oraz ocenić jakość stosowanych narzędzi pod kątem celów zawartych w Planie Komunikacji PO KL na lata Nastąpiła także diagnoza funkcjonowania systemu informacji i promocji Programu. 12

13 2. Kierunek diagnostyczny Umożliwił przeprowadzenie oceny skuteczności podejmowanych działań informacyjnopromocyjnych poprzez przeanalizowanie ich odbioru przez beneficjentów i potencjalnych beneficjentów. Dzięki wyznaczeniu powyższych kierunków działań znacznie łatwiej było zidentyfikować ewentualne luki w systemie komunikacji oraz zaproponować rekomendacje. Poniższy schemat przedstawia strukturę badania. Schemat 1. Struktura logiczna badania. FUNKCJONOWANIE SYSTEMU INFORMACJI I PROMOCJI OCENA NARZĘDZI POD KĄTEM CELÓW ZAWARTYCH W PLANIE KOMUNIKACJI PO KL ANALIZA OCZEKIWAŃ I POTRZEB DOSTĘPNOŚĆ INFORMACJI NT. PO KL CZYTELNOŚĆ I ZROZUMIENIE KOMUNIKATÓW ANALIZA I OCENA DZIAŁAŃ PROMOCYJNO- INFORMACYJNYCH REALIZOWANYCH PRZEZ IP ODBIÓR PODEJMOWANYCH DZIAŁAŃ INFORMACYJNO- PROMOCYJNYCH PRZEZ BENEFICJENTÓW KIERUNEK OPISOWY PERSPEKTYWA INSTYTUCJI ODPOWIEDZIALNEJ ZA INFORMACJĘ I PROMOCJĘ KIERUNEK DIAGNOSTYCZNY PERSPEKTYWA BENEFICJENTA REKOMENDACJE 13

14 3.2 Przedmiot badania Badaniem zostali objęci beneficjenci i potencjalni beneficjenci komponentu regionalnego PO KL, tj. Priorytetu VI IX PO KL w województwie podlaskim w tym: 1) Powiatowe Urzędy Pracy 2) Instytucje polityki społecznej (m.in. Powiatowe Centra Pomocy Rodzinie, Ośrodki Pomocy Społecznej); 3) Jednostki samorządu terytorialnego; 4) Uczelnie wyższe; 5) Szkoły i przedszkola (m.in. szkoły podstawowe oraz gimnazja); 6) Fundacje i stowarzyszenia; 7) Przedsiębiorstwa (zarówno realizujące projekty, jak i korzystające z ich wyników); 8) Mieszkańcy regionu. Kompleksowe zbadanie kwestii skuteczności systemu informacji i promocji PO KL wymagało również wyjścia poza perspektywę bezpośrednich beneficjentów i odbiorców ostatecznych pomocy. Dlatego badaniem zostały objęte także: Instytucja Pośrednicząca i Instytucja Pośrednicząca II stopnia (IP2) komponent regionalnego PO KL w województwie podlaskim ( Urząd Marszałkowski, Wojewódzki Urząd Pracy); Instytucje wspierające proces wdrażania projektów EFS (ROEFS). W odniesieniu do mieszkańców regionu, nie było możliwe pełne zbadanie stanu świadomości społeczeństwa województwa podlaskiego w zakresie PO KL. Wymagałoby to bowiem pogłębionych i reprezentatywnych badań dla całego regionu. W związku z powyższym, Wykonawca badaniem objął wybrane grupy, które mogły być potencjalnie zainteresowane środkami pomocowymi lub korzyściami wynikającymi z wdrażania środków pomocowych lub miały z nimi bezpośredni związek. 14

15 Założono bowiem, że nie wszyscy mieszkańcy regionu są i będą zainteresowani korzystaniem ze środków pomocowych UE (PO KL). 3.3 Obszary i pytania badawcze Zakres ewaluacji zawierał się w dwóch obszarach badawczych. W ramach tych obszarów uzyskane zostały odpowiedzi na poszczególne pytania badawcze. Obszar badawczy I Analiza i ocena działań promocyjnych i informacyjnych realizowanych przez IP oraz IP2 i ROEFS Pytania szczegółowe i zagadnienia badawcze: 1. Które kanały komunikacji oraz narzędzie informacji i promocji są stosowane przez Zamawiającego? 2. Czy wykorzystywane są wszystkie narzędzia promocji i informacji wyszczególnione w Planie Komunikacji PO KL? 3. Czy są one spójne z wytycznymi zawartymi w Planie Komunikacji PO KL? 4. Czy podejmowane działania są wynikiem realizacji wspólnej strategii promocyjnej? 5. W jakich obszarach konieczne są usprawnienia w tej współpracy? 15

16 6. Czy struktura organizacyjna Regionalnej Informacyjnej Grupy Roboczej jest dostosowana do potrzeb realizacji polityki informacyjno promocyjnej? 7. Czy IP i IP2 posiadają wystarczające zasoby rzeczowe i ludzkie do realizacji polityki informacyjnopromocyjnej? 8. Czy informacja i promocja są realizowane w odpowiednich momentach wdrażania Programu? 9. Czy stosowany system informacji i promocji PO KL wpływa na zainteresowanie Programem przez potencjalnych beneficjentów i ogół społeczeństwa? 10. Czy działalność informacyjno szkoleniowa skierowana do beneficjentów wpływa na lepsze przygotowanie wniosków i sprawniejsze realizowanie projektów? Obszar badawczy II Odbiór podejmowanych działań informacyjno promocyjnych przez beneficjentów 1. Czy dostęp do informacji o możliwościach ubiegania się o środki w ramach PO KL jest prosty i dostępny dla wszystkich zainteresowanych? 2. Czy materiały oraz narzędzia są dostosowane do potrzeb i wymagań konkretnych grup beneficjentów? 3. Czy jest zapewniony dostęp do dokumentów programowych, wniosków aplikacyjnych i innych dokumentów (bez konieczności bezpośredniego kontaktu z pracownikami Departamentu Europejskiego Funduszu Społecznego)? 16

17 4. Czy dostępne materiały informacyjne o PO KL w województwie podlaskim są użyteczne pod względem jakościowym? 5. Czy do działań informacyjno promocyjnych Programu zostały wykorzystane odpowiednie kanały komunikacji, czy są one skuteczne? 6. W jakim stopniu stosowane narzędzia informacyjno promocyjne trafiają do społeczeństwa województwa podlaskiego, czy zostały dobrane właściwe instrumenty? 7. Czy realizowana polityka informacyjno promocyjna odpowiada rzeczywistym potrzebom w tym zakresie? 8. Jakie są oczekiwania i potrzeby społeczeństwa województwa podlaskiego/potencjalnych beneficjentów w zakresie informacji odnośnie Programu? 9. Czy beneficjenci są zadowoleni z jakości obsługi przez IP PO KL w ramach punktów informacyjnych i konsultacyjnych? 10. Jakie preferowane są w przyszłości techniki w przekazie informacji o PO KL w województwie podlaskim jak i samej promocji Programu? 11. Czy społeczeństwo regionalne zostało wystarczająco dobrze poinformowane o uruchomieniu PO KL? Czy wzrosła świadomość o znaczeniu funduszy unijnych w rozwoju regionu i korzyści płynących dla obywateli? 3.4 Kryteria ewaluacji W badaniu uwzględnione zostały następujące kryteria ewaluacyjne: 17

18 4. Metodologia przeprowadzonego badania 4.1 Syntetyczne zestawienie metod badawczych Poniżej znajduje się syntetyczne zestawienie zastosowanych metod badawczych wraz z doborem prób badawczych. Tabela 1. Zestawienie metod badawczych. Metoda Respondent/źródło informacji Próba/dobór Analiza dokumentów (desk research) Indywidualny wywiad pogłębiony (IDI) Wywiady kwestionariuszowe (CATI) Analiza dokumentów wspólnotowych, krajowych oraz wewnętrznych IP dotyczących PO KL, materiałów informacyjnych oraz promocyjnych. Rozmowy z kluczowymi osobami z IP, IP2 oraz ROEFS odpowiedzialnymi za realizację polityki informacyjnopromocyjnej oraz wywiady w ramach studium przypadku. Beneficjenci oraz potencjalni beneficjenci: przedstawiciele Powiatowych Urzędów Pracy, Dokumenty zawierające wytyczne dot. polityki informacyjnopromocyjnej w ramach PO KL, materiały informacyjnopromocyjne. 12 wywiadów indywidualnych z przedstawicielami IP, IP2 oraz ROEFS. 8 wywiadów indywidualnych z beneficjentami w ramach studium przypadku. 167 wywiadów kwestionariuszowych CATI. 18

19 instytucji polityki społecznej, jednostek samorządu terytorialnego, uczelni wyższych regionu, szkół i przedszkoli, fundacji i stowarzyszeń oraz firm. Wywiady kwestionariuszowe (CAWI) Beneficjenci i potencjalni beneficjenci PO KL: mieszkańcy województwa podlaskiego. 350 kwestionariuszy ankietowych CAWI. Tajemniczy klient Regionalne Ośrodki EFS. Przeprowadzano 3 badania typu Tajemniczy klient w ROEFS w Białymstoku, Łomży oraz Suwałkach. Studium przypadku (case study) Do studium przypadku wybrane zostały po 2 projekty z każdego z 4 Priorytetów komponentu regionalnego PO KL. 8 wywiadów indywidualnych z beneficjentami realizującymi projekty w ramach komponentu regionalnego PO KL. Panel ekspertów W panelu ekspertów podsumowującym wyniki badania wzięło udział 5 osób, których doświadczenie i wiedza pozwoliła dokonać weryfikacji wypracowanych w trybie roboczym wniosków. 4.2 Opis metod i technik badawczych Analiza dokumentów (desk research) W realizacji badania zostały wykorzystane dane ze źródeł zastanych. Analizie poddane zostały dokumenty wspólnotowe, krajowe oraz wewnętrzne IP dotyczące PO KL. Skupiono się przede wszystkim na analizie wytycznych dotyczących polityki informacji i promocji PO KL, w tym w szczególności na Planie Komunikacji Programu Operacyjnego Kapitał Ludzki (luty 2009). Dokładna analiza tych dokumentów pozwoliła na krytyczną ocenę materiałów informacyjnych i promocyjnych dotyczących PO KL. Analizie poddano także listę przeprowadzonych działań informacyjnych i promocyjnych zarówno przez IP, jak i IP2 oraz szereg innych dokumentów Indywidualny wywiad pogłębiony (IDI) Głównym celem indywidualnych wywiadów pogłębionych (opcjonalnie diad) było zebranie informacji jakościowej: opinii osób sterujących i realizujących polityką informacyjno promocyjną w województwie podlaskim. Ewaluator dysponował scenariuszem wywiadu pokrywającym się 19

20 z zagadnieniami zawartymi w raporcie metodologicznym. Rozmowy z respondentami kluczowymi osobami odpowiedzialnymi za realizowanie polityki informacyjno promocyjnej prowadzone były w siedzibach IP, IP2 oraz ROEFS. Długość prowadzonych rozmów wahała się od 30 minut do blisko 2 godzin. Listę osób z którymi przeprowadzono pogłębione wywiady indywidualne zawiera załącznik do raportu Wywiady kwestionariuszowe (CATI i CAWI) Badanie oparte o kwestionariusz realizowany drogą telefoniczną (CATI) oraz elektroniczną (CAWI) było właściwe z punktu widzenia konieczności zebrania dużej liczby odpowiedzi w ograniczonym czasie. Zrealizowane badanie umożliwiło wyciąganie wniosków o charakterze statystycznym, których wyniki można było generalizować na poziom województwa. Wywiady oparte o kwestionariusz realizowany drogą telefoniczną prowadzone były przede wszystkim z beneficjentami i potencjalnymi beneficjentami komponentu regionalnego PO KL. W sumie przeprowadzono 167 wywiadów. Wywiady oparte o kwestionariusz realizowany drogą elektroniczną prowadzone były z potencjalnymi beneficjentami ostatecznymi oraz beneficjentami ostatecznymi, a ich celem była analiza opinii mieszkańców województwa na temat polityki informacyjno promocyjnej Programu. Respondenci wypełnili 350 ankiet. Podsumowując, zakładane na etapie raportu metodologicznego próby badawcze w odniesieniu do obu technik, zostały zrealizowane. Scenariusze wywiadów CATI oraz CAWI stanowią załącznik do raportu Tajemniczy klient Badanie Tajemniczy klient umożliwia uzyskanie rzetelnej i obiektywnej informacji na temat jakości obsługi klienta w danej placówce czy punkcie usługowym. W przypadku niniejszego badania, głównym celem zastosowania metody była ocena jakości świadczonych usług w Regionalnych Ośrodkach EFS. Ewaluator wcielił się w rolę zwykłego klienta ośrodka, potencjalnego beneficjenta korzystającego z usług ROEFS. Anonimowość ewaluatora pozwoliła uzyskać autentyczny obraz jakości oferowanych usług. Narzędzie badawcze stanowi załącznik do niniejszego raportu. 20