Ocena działań informacyjnych i promocyjnych dotyczących Programu ZPORR w województwie śląskim w latach 2004-2006 wybrane wyniki badania Katowice, 7 lipca 2008 Projekt współfinansowany ze środków Unii Europejskiej i budżetu województwa
Informacje o badaniu Najważniejsze wnioski Rekomendacje 2
Informacje o badaniu 3
Cele badania Ocena działań informacyjnych i promocyjnych dotyczących ZPORR w województwie śląskim w latach 2004-2006 Uzyskanie wiedzy na temat instrumentów informacji i promocji zrealizowanych przez poszczególne Instytucje zaangażowane we wdrażanie ZPORR w województwie śląskim Analiza skuteczności i efektywności kampanii informacyjno - promocyjnej ZPORR w województwie śląskim Analiza dostępności informacji na temat ZPORR w województwie śląskim w opinii beneficjentów Programu 4
Porównanie z województwami: dolnośląskim, łódzkim, podkarpackim, zachodniopomorskim. Metodologia badania [1] Analiza danych zastanych, obejmująca przekazane Plany Działań Informacyjnych i Promocyjnych (PDIiP), sprawozdania roczne z realizacji PDIiP, dane dotyczące liczby projektodawców oraz złożonych wniosków o dofinansowanie. Wywiady jakościowe (IDI) z pracownikami czterech Instytucji zaangażowanych w realizację działań informacyjnych i promocyjnych w województwie śląskim (Urząd Marszałkowski, Wojewódzki Urząd Pracy, Górnośląska Agencja Rozwoju Regionalnego, Śląski Urząd Wojewódzki) oraz z przedstawicielem Instytucji Zarządzającej ZPORR. 5
Badanie ilościowe Metodologia badania [2] 253 kwestionariuszowe wywiady telefoniczne (CATI) z: projektodawcami pozytywnie ocenionymi (instytucjami, które aplikowały o środki ze ZPORR w woj. śląskim, a minimum jeden złożony przez nie wniosek przeszedł pozytywnie przez wszystkie etapy oceny): 100 wywiadów projektodawcami negatywnie ocenionymi (instytucjami, które ubiegały się o środki ze ZPORR, ale żaden ze złożonych przez nie wniosków nie został pozytywnie oceniony): 76 wywiadów projektodawcami potencjalnymi (instytucjami, które nie starały się o środki ze ZPORR, pomimo, że należały do grup docelowych Programu): 77 wywiadów 6
Metodologia badania [3] Próba w badaniu ilościowym losowa możliwość uogólniania wyników na populację warstwowana ze względu na: Priorytet ZPORR (Projektodawcy pozytywnie i negatywnie ocenieni) / rodzaj instytucji mogących zostać beneficjentami ZPORR (Projektodawcy potencjalni ) maksymalny błąd oszacowania (na poziomie ufności 0,95): +/- 10% dla Projektodawców pozytywnie ocenionych +/- 11% dla Projektodawców negatywnie ocenionych +/- 11% dla Projektodawców potencjalnych 7
Ograniczenia procesu badawczego Trudności z pozyskaniem danych niezbędnych do wykonania porównań międzywojewódzkich ograniczony zakres porównań Stosunkowo niewielka liczebność próby kwestionariusz odnosi się do kwestii dotyczących znacznej części respondentów Retrospektywny charakter badania ograniczenie częściowo przezwyciężone dzięki umieszczeniu w początkowej części kwestionariusza pytań wprowadzających Badanie pionierskie brak punktów odniesienia w postaci rezultatów ewaluacji działań informacyjno-promocyjnych w innych województwach 8
Najważniejsze wnioski 9
W1: Zastosowane w województwie śląskim działania informacyjno-promocyjne dotyczące ZPORR skutecznie przyczyniły się do podniesienia liczby złożonych wniosków o dofinansowanie. Absorpcja: W województwie śląskim do dnia 31 marca 2008 roku zakontraktowano 102,7% wszystkich środków dostępnych dla województwa, o łącznej wartości 1,1 mld zł. Województwo śląskie otrzymało drugą pod względem wielkości alokację ZPORR, o wartości 1,072 mld zł. /Potrzeba empirycznego potwierdzenia bezpośredniego związku pomiędzy działaniami informacyjno-promocyjnymi a składaniem wniosków./ 10
W2: Zastosowane działania informacyjno-promocyjne dotyczące ZPORR w województwie śląskim w dużej mierze przyczyniły się do aktywizacji Projektodawców, którzy złożyli wnioski. Żadne źródło informacji nie zainteresowało Projektodawcy możliwością aplikowania o środki ze ZPORR Minimum jedno źródło informacji "zdecydowanie" lub "raczej" zainteresowało Projektodawcę możliwością aplikowania o środki ZPORR Projektodawcy pozytywnie ocenieni [N=100] Projektodawcy negatywnie ocenieni [N=76] 13 9 87 91 Projektodawcy potencjalni [N=77] 55 45 % odpowiedzi 11
W3: Zastosowane działania informacyjno-promocyjne dotyczące ZPORR w województwie śląskim w dużej mierze zapewniły Projektodawcom, którzy złożyli wnioski, informacje potrzebne do ubiegania się o środki z Programu. Żadne źródło nie dostarczyło Projektodawcy szczegółowych informacji potrzebnych do aplikowania o środki ze ZPORR Minimum jedno źródło "zdecydowanie" lub "raczej" dostarczyło Projektodawcy szczegółowych informacji potrzebnych do aplikowania o środki ze ZPORR Projektodawcy pozytywnie ocenieni [N=100] 10 90 Projektodawcy negatywnie ocenieni [N=76] 21 79 Projektodawcy potencjalni [N=77] 68 32 % odpowiedzi 12
W4: Poziom poinformowania potencjalnych projektodawców o możliwości ubiegania się o środki ze ZPORR w województwie śląskim można ocenić jako umiarkowany. Czy wiedzieli P., że instytucje takie jak ta, w której P. pracuje mogą się ubiegać o środki ze ZPORR? Nie 45% Trudno powiedzieć 3% Tak 52% 13
W5: Dostępność informacji na temat ZPORR została oceniona przez Projektodawców w sposób zróżnicowany. Informacje były dostępne ( bardzo + raczej ): pozytywnie ocenieni: 76% / negatywnie ocenieni: 60% / potencjalni: 24% Informacje w ogóle nie były dostępne (1) Informacje raczej nie były dostępne (2-4) Informacje były średnio dostępne (5-6) Informacje były raczej raczej dostępne (7-9) Informacje były bardzo dostępne (10) Projektodawcy pozytywnie ocenieni [N=99] 7 17 65 11 Projektodawcy negatywnie ocenieni [N=76] 4 16 20 48 12 Projektodawcy potencjalni [N=77] 4 43 29 20 4 % odpowiedzi 14
W6: Jakość informacji na temat ZPORR została oceniona przez projektodawców w sposób zróżnicowany. Informacje były dobrej jakości ( bardzo + raczej ): pozytywnie ocenieni: 68% / negatywnie ocenieni: 60% / potencjalni: 21% Informacje były bardzo złej jakości (1) Informacje były raczej złej jakości (2-4) Informacje były średniej jakości (5-6) Informacje były raczej dobrej jakości (7-9) Informacje były bardzo dobrej jakości (10) Projektodawcy pozytywnie ocenieni [N=99] 1 8 23 60 8 Projektodawcy negatywnie ocenieni [N=73] 15 25 46 14 Projektodawcy potencjalni [N=47] 43 36 19 2 % odpowiedzi 15
AKTYWIZACJA - Odsetek respondentów, których informacje z danego żródła zachęciły do aplikowania W7: Wobec Projektodawców pozytywnie ocenionych najskuteczniejsze okazały się: szkolenia, spotkania informacyjne i konferencje strony internetowe punkty informacyjne / kontaktowe. 100 90 80 70 60 50 40 30 20 10 0 Publikacje w prasie Broszury Billboardy Programy w radio i telewizji Biuletyn ZPORR Szkolenia Strony internetowe Punkty informacyjne 0 10 20 30 40 50 60 70 80 90 100 INFORMOWANIE - Odsetek respondentów, którzy z danego źródła uzyskali informacje potrzebne do aplikowania 16
AKTYWIZACJA - Odsetek respondentów, których informacje z danego żródła zachęciły do aplikowania W8: Wobec Projektodawców negatywnie ocenionych najskuteczniejsze okazały się: szkolenia, spotkania informacyjne i konferencje strony internetowe biuletyn ZPORR punkty informacyjne / kontaktowe. 100 90 80 70 60 50 40 30 20 10 Billboardy Programy w radio i telewizji Broszury Publikacje w prasie Szkolenia Strony internetowe Biuletyn ZPORR Punkty informacyjne 0 0 10 20 30 40 50 60 70 80 90 100 INFORMOWANIE - Odsetek respondentów, którzy z danego źródła uzyskali informacje potrzebne do aplikowania 17
W8: Plan Działań Informacyjnych i Promocyjnych (PDiP) dla Województwa Śląskiego na lata 2004 2006 został sformułowany zgodnie z wytycznymi zawartymi w Planie Promocji ZPORR, ale na wysokim poziomie ogólności. Na wysoki poziom ogólności PDIiP dla województwa śląskiego wpłynęły: brak precyzyjnych wytycznych programowych co do planowania strategii komunikacyjnej brak doświadczenia w planowaniu działań informacyjnych i promocyjnych Programów finansowanych z funduszy strukturalnych długa perspektywa: lata 2004 2008 (uwzględniając regułę n+2). W tej sytuacji wysoki poziom ogólności Planu pozwolił na zachowanie bezpiecznej elastyczności. Niedookreślenie wskaźników realizacji działań informacyjno-promocyjnych utrudnia ocenę. 18
W9: Podział kompetencji pomiędzy instytucjami zaangażowanymi w realizację działań informacyjnych i promocyjnych w województwie śląskim był czytelny, natomiast bieżąca współpraca pomiędzy nimi mało intensywna Przedstawiciele zaangażowanych instytucji zgodnie stwierdzają, że współpraca przebiegała bez zakłóceń. Podział kompetencji był czytelny a grupy odbiorców działań informacyjnych zostały określone. Zespół ds. Wdrażania Działań Informacyjnych i Promocyjnych spotykał się głównie na etapie planowania działań informacyjnych i promocyjnych, natomiast w fazie wdrażania zaplanowanych działań współpraca była mało intensywna. Wspólne przedsięwzięcia: 2 konferencje i 1 szkolenie (Urząd Marszałkowski Województwa Śląskiego + Śląski Urząd Wojewódzki); Śląskie Targi Pracy (Górnośląska Agencja Rozwoju Regionalnego + Wojewódzki Urząd Pracy w Katowicach); uczestnictwo czterech instytucji w magazynie telewizyjnym Europieniądze. 19
W10: Zasoby finansowe, zaangażowane w realizację działań informacyjno-promocyjnych w województwie śląskim, były wystarczające. W zestawieniu z porównywanymi województwami region śląski dysponował największym budżetem na realizację działań informacyjnych i promocyjnych (odpowiednio do alokacji). Największe środki przydzielono Urzędowi Marszałkowskiemu, który spośród czterech zaangażowanych instytucji miał najszerszy zakres odpowiedzialności. Urząd Marszałkowski Urząd Wojewódzki Regionalna Instytucja Finansująca Wojewódzki Urząd Pracy Budżet ogółem Śląskie 1 838 833 324 650 314 061 329 309 2 806 853 Dolnośląskie 1 496 590 379 086 183 360 567 550 2 626 586 Łódzkie 1 349 878 295 748 242 670 317 815 2 206 112 Zachodniopomorskie 1 268 900 99 685 216 975 300 000 1 885 560 Podkarpackie 1 032 910 261636 253 102 265 257 1 812 905 20
W11: Budżet przeznaczony na realizację działań informacyjno - promocyjnych dotyczących ZPORR w województwie śląskim został wykorzystany w sposób efektywny. Za takim wnioskiem przemawia wysoka liczba Projektodawców ubiegających się o dofinansowanie (1 487), a także Projektodawców pozytywnie ocenionych (691). Ponadto, w województwie śląskim wskaźnik kosztu działań informacyjnych i promocyjnych w przeliczeniu na jednego Projektodawcę aplikującego o dofinansowanie (612 zł), a także na jednego Projektodawcę pozytywnie ocenionego okazał się niższy, niż w porównywanych województwach (dolnośląskim, łódzkim, podkarpackim i zachodniopomorskim). Uwaga: wartość powyższych wskaźników jest ograniczona, ze względu na: wpływ wywierany na liczbę projektodawców przez czynniki inne, niż działania informacyjne i promocyjne (wielkość alokacji, specyfika województwa) niemożność wyodrębnienia kosztów skierowanych wyłącznie do (potencjalnych) projektodawców. 21
W12: Zasoby ludzkie zaangażowane w realizację Działań Informacyjnych i Promocyjnych w województwie śląskim nie we wszystkich Instytucjach były wystarczające. W Instytucjach zaangażowanych w realizację działań informacyjnych i promocyjnych dotyczących Programu ZPORR zastosowano się do wymogu zawartego w dokumentach programowych, by działaniami tymi zajmował się minimum jeden pracownik. Liczba pracowników wahała się od jednego do czterech, w zależności od momentu oraz Instytucji. Zbyt mała liczba osób koordynujących działania informacyjno- promocyjne (szczególnie gdy była to jedna tylko osoba) uniemożliwiała niekiedy terminowe przeprowadzenie zaplanowanych zadań. Niezapewnienie dostatecznej liczby pracowników zajmujących się prowadzeniem działań informacyjno-promocyjnych wynikało z nadawania tym działaniom relatywnie niskiego priorytetu (w porównaniu z zadaniami uważanymi za kluczowe z perspektywy wdrażania ZPORR). 22
W13: Początkowe przekonanie o relatywnie niskim priorytecie działań informacyjno-promocyjnych w systemie wdrażania funduszy strukturalnych utrudniało prowadzenie takich działań. Przejawy niskiego priorytetu działań informacyjno-promocyjnych w systemie wdrażania ZPORR, zaobserwowane przez niektórych Respondentów: Niewielki stopień zorganizowania działań przez IZ, brak wytycznych dotyczących ich planowania. Konsekwencje niskiego priorytetu działań informacyjno-promocyjnych, zaobserwowane przez niektórych Respondentów: Niezapewnienie dostatecznej liczby pracowników zajmujących się prowadzeniem działań informacyjno-promocyjnych. Nie docenienie, w dostatecznym stopniu, zrealizowanych działań. Niższa skłonność innych działów zaangażowanej Instytucji (odpowiedzialnych za finanse, zamówienia publiczne) do uwzględniania specyfiki działań 23 informacyjno-promocyjnych.
W14: Trudności w realizacji działań informacyjno -promocyjnych dotyczyły przede wszystkim zamówień publicznych. Problem stwarzało pogodzenie warunku obiektywności wyboru oferenta z uzyskaniem odpowiedniej jakości przedmiotu zamówienia: stosowanie (najniższej) ceny jako jedynego kryterium nie zawsze umożliwiało wybór wykonawcy gwarantującego satysfakcjonujący poziom wykonywanej usługi. Rozwiązanie: wypracowanie sobie grupy stałych, rzetelnie współpracujących firm, które w ramach zamówień publicznych realizowały powierzone im zadania. Rozwiązanie to nie wydaje się optymalne. Początkowy brak dostawców usług, którzy byliby kompetentni w kwestiach dotyczących funduszy strukturalnych. Dodatkowe utrudnienie: konieczność składania zamówień wraz ze wszystkimi zamówieniami o podobnym charakterze realizowanymi przez daną Instytucję wydłużenie procedury wyłonienia Wykonawców. 24
W15: Instytucje odpowiedzialne za realizację działań informacyjno-promocyjnych ZPORR w województwie śląskim koncentrowały się na stosowaniu środków o największej wartości aktywizacyjnej i informacyjnej oraz w największym stopniu preferowanych przez Projektodawców. Spotkania informacyjne, konferencje, szkolenia (symbol * oznacza dane niepełne) Województwo Liczba zrealizowanych Ogółem Adresowanych do Projektodawców Liczba uczestników Ogółem Adresowanych do Projektodawców Dolnośląskie 227 123 9 118 5 264 Śląskie 208 127 11 121 6 201 Łódzkie* 182 40 2 077 711 Podkarpackie 120 89 3 795 3 208 Zachodniopomorskie* 55 30 3 980 544 25
Strony internetowe dotyczące ZPORR (symbol * oznacza dane niepełne) Województwo Liczba stron Liczba wejść Śląskie 4 2 936 661 Zachodniopomorskie* 2 934 854 Dolnośląskie 4 905 852 Łódzkie* 5 441 962 Podkarpackie 3 291 833 Punkty informacyjne / kontaktowe (symbol * oznacza dane niepełne) Województwo Liczba punktów Liczba udzielonych porad Śląskie 4 50 045 Zachodniopomorskie* 2 29 254 Łódzkie* 4 27 723 Dolnośląskie 4 17 290 Podkarpackie 3 14 467 26
Rekomendacje 27
Rekomendacja 1 Plan działań informacyjnych i promocyjnych dotyczących Regionalnego Planu Operacyjnego Województwa Śląskiego na lata 2007-2013 powinien zostać sformułowany w sposób bardziej precyzyjny, niż Plan Działań Informacyjnych i Promocyjnych dotyczący ZPORR w okresie programowania 2004-2006. 28
Pożądane jest sprecyzowanie sposobu oceny działań przewidzianych w Planie, w tym określenie danych, które będą podstawą tej oceny, sposobu ich pozyskiwania oraz kryteriów oceny. Określenie sposobu, w jaki będzie ustalany osiągnięty poziom dotarcia do grup docelowych poprzez poszczególne źródła przewidziane w strategii działań informacyjnych i promocyjnych Regionalnego Programu Operacyjnego (Na przykład: sporządzanie okresowych raportów na temat liczby klientów, którzy skorzystali z poszczególnych punktów informacyjnych dla projektodawców; pozyskiwanie danych na temat poziomu czytelnictwa gazet, w których zamieszczono informacje skierowane do opinii publicznej, w odpowiednim okresie). Wskazanie podmiotu odpowiedzialnego za gromadzenie takich danych oraz określenie terminu i formy, w jakiej będą mu przekazywane (Na przykład: okresowe raporty na temat liczby klientów, którzy skorzystali z punktów informacyjnych będą przekazywane w formie elektronicznej do instytucji odpowiedzialnej za koordynację działań informacyjnych i promocyjnych w województwie śląskim, terminem przekazania raportu będzie koniec kolejnego miesiąca). 29
Określenie sposobu oceny skuteczności (w tym: dotarcia) i użyteczności działań informacyjno-promocyjnych poprzez: 1) Zdefiniowanie wskaźników realizacji poszczególnych celów określonych w Planie 2) Określenie minimalnej wartości poszczególnych wskaźników, której osiągnięcie będzie stanowiło podstawę do stwierdzenia, że dany cel Planu został osiągnięty w zadowalającym stopniu 3) Określenie sposobu uzyskania oszacowań, które będą podstawą oceny (Na przykład: poprzez badanie ankietowe z Projektodawcami pozytywnie ocenionymi, negatywnie ocenionymi oraz potencjalnymi, na próbach liczących po co najmniej 400 respondentów.) 4) Zapewnienie, że podczas wdrażania programu dane o Projektodawcach, którzy aplikowali o dotację, będą gromadzone w sposób, który umożliwi sporządzenie operatu, z którego dobrane zostaną próby do badania ankietowego Określenie sposobu rejestrowania, gromadzenia i przechowywania danych na temat kosztów poniesionych na poszczególne formy działań informacyjnych i promocyjnych oraz określenie odpowiedzialność poszczególnych podmiotów w tym zakresie, aby możliwe było dokonanie oceny efektywności wykonania Planu. 30
Wskazane jest określenie zasad funkcjonowania Grupy Roboczej, będącej forum wymiany doświadczeń oraz koordynacji działań prowadzonych przez poszczególne instytucje Grupa Robocza została zawiązana pod koniec 2007 roku przez Instytucję Zarządzającą Programem. W celu zapewnienia efektywnego działanie Grupy istotne jest określenie podstawowych zasad jej funkcjonowania, dotyczących między innymi: 1) częstotliwości spotkań (co najmniej raz na pół roku) 2) rejestrowania spotkań (na przykład sporządzanie protokołów) 3) odpowiedzialności za organizacyjną obsługę spotkań (proponujemy, żeby instytucją odpowiedzialną za organizację spotkań Grupy Roboczej była Instytucja Zarządzająca PO / RPO). 31
Rekomendacja 2 W celu usprawnienia współpracy pomiędzy zespołami zajmującymi się działaniami informacyjnymi i promocyjnymi a pracą innych komórek organizacyjnych zaangażowanych Instytucji wskazane jest zorganizowanie szkoleń lub warsztatów dla pracowników tych komórek. 32
Szkolenia lub warsztaty na tematy dotyczące działań informacyjnych i promocyjnych Regionalnego Programu Operacyjnego Województwa Śląskiego na lata 2007 2013 zostałyby skierowane do pracowników komórek organizacyjnych współpracujących bezpośrednio z zespołem odpowiedzialnym za informację i promocję (w szczególności do pracowników wydziału księgowości oraz wydziału odpowiedzialnego za realizację zamówień publicznych). Szkolenia powinny dotyczyć przede wszystkim roli, jaką w realizacji Regionalnego Programu Operacyjnego Województwa Śląskiego na lata 2007-2013 pełnią działania informacyjne i promocyjne oraz specyfiki, którą wyróżniają się te działania na tle całokształtu działalności danej instytucji. 33
Warsztaty, w których wspólnie braliby udział pracownicy zespołów odpowiedzialnych za informację i promocję oraz pracownicy innych komórek byłyby forum wymiany doświadczeń stwarzającym szansę wypracowania rozwiązań usprawniających bieżącą współpracę. Zagadnieniem, w przypadku którego potrzeba taka rysuje się szczególnie wyraźnie, jest kwestia zamówień publicznych (w szczególności: wymagania wobec przedmiotu zamówienia oraz kryteria oceny ofert). W celu wypracowania efektywnych rozwiązań istotne wydaje się również zapewnienie udziału zewnętrznych ekspertów w dziedzinach, których będą dotyczyły szkolenia lub warsztaty (na przykład eksperta dysponującego doświadczeniem w przeprowadzaniu zamówień publicznych związanych z działaniami informacyjnymi i promocyjnymi dotyczącymi programów unijnych). 34
Rekomendacja 3 Do zalecanych instrumentów informacyjno- promocyjnych, skierowanych do podmiotów wstępnie zainteresowanych ubieganiem się o dotację zaliczyć należy w szczególności spotkania informacyjne, konferencje i szkolenia a także strony internetowe oraz punkty kontaktowe. 35
Spotkania informacyjne, konferencje i szkolenia, strony internetowe oraz punkty informacyjne okazały się środkami o wysokiej wartości aktywizacyjnej i informacyjnej należały również do źródeł informacji preferowanych przez grupy docelowe zalecenie kontynuacji Ponadto można rekomendować wykorzystanie poczty elektronicznej (sposób, który sprawdził się przy prowadzeniu mailigu w oparciu o bazę PARTNER) warto rozważyć poszerzenie grupy odbiorców mailingu o przedsiębiorców (mikro, małych i średnich), którzy zaliczają się do grup docelowych Regionalnego Programu Operacyjnego Województwa Śląskiego na lata 2007-2013. 36
Rekomendacja 4 Działania informacyjne i promocyjne powinny służyć (również) uświadomieniu możliwości aplikowania potencjalnym projektodawcom, którzy dotychczas o niej nie wiedzieli. Z tego względu należy zwrócić uwagę na prowadzenie działań informacyjnych i promocyjnych skierowanych do tej grupy z wykorzystaniem odpowiednich dla niej instrumentów. 37
W odniesieniu do potencjalnych projektodawców, którzy nie są jeszcze świadomi, że mogą ubiegać się o dotację, wskazane jest zastosowanie instrumentów dostarczających mniej szczegółowych informacji o możliwości skorzystania ze środków unijnych takich jak ogłoszenia w mediach czy plakaty i ulotki. Tej grupie odbiorców w pierwszej kolejności powinny zostać przekazane informacje o typach podmiotów uprawnionych do aplikowania, rodzajach projektów, które mają szanse uzyskać dofinansowanie oraz o dostępnych źródłach bardziej szczegółowej wiedzy na temat dostępnego wsparcia. Wydaje się, że jednym ze skutecznych sposobów przekazywania tego rodzaju kluczowych informacji potencjalnym projektodawcom, którzy nie są jeszcze świadomi, że mogą ubiegać się o dotację, jest również wysyłka listów elektronicznych (mailing). 38
Dziękuję za uwagę. 39