Załącznik nr 1 do SOPZ

Transkrypt

1 Załącznik nr 1 do SOPZ I. Grupa docelowa Ogół społeczeństwa, w tym mieszkańcy Polski Wschodniej jako główni odbiorcy rezultatów Kampanie o szerokim zasięgu Czy rozpoznawalność PO RPW (lub treści związanych z PO RPW) zmieniała się po przeprowadzeniu poszczególnych kampanii o szerokim zasięgu? W jakim stopniu i w jakich grupach społeczno-demograficznych 1 najbardziej, a w jakich najmniej zmieniała się rozpoznawalność PO RPW lub treści związanych z PO RPW po przeprowadzeniu kampanii o szerokim zasięgu? Jaka jest rozpoznawalność PO RPW w 2014 r., w porównaniu do roku 2009 i 2011 w poszczególnych grupach społeczno-demograficznych 2, w tym wśród mieszkańców Polski Wschodniej? Czy respondenci odwiedzili projekt PO RPW w trakcie Dni Otwartych zorganizowanych z okazji 10-lecia Polski w Unii Europejskiej? Jaka jest ocena otrzymanych wyników w kontekście prowadzonych działań informacyjnopromocyjnych? Czy biorąc pod uwagę odpowiedzi na powyższe pytania można uznać prowadzone kampanie o szerokim zasięgu odnoszące się do PO RPW lub treści związanych z PO RPW za skuteczne? Ocena skuteczności poszczególnych narzędzi komunikacji (punkty informacyjne, strona internetowa, profil na facebooku etc.). Metaewaluacja badań oceniających skuteczność poszczególnych kampanii o szerokim zasięgu w odniesieniu do PO RPW lub treści związanych z PO RPW 3 Badanie CATI przeprowadzone w ramach niniejszej ewaluacji oraz porównanie wyników dla poszczególnych grup z odpowiednimi wynikami badań z 2009 r. i 2011 r. 2. Najważniejsze działania informacyjno-promocyjne Współpraca z TV product placement, programy w TV, w tym Na Wschodzie zmiany (2008), promocja PO RPW w serialu M jak miłość - TVP 2 (2012), oraz programie Kocham Cię, Polsko! - TVP 2 (2012) 2.1. Pytania ewaluacyjne Czy odnosząc się do statystyk oglądalności programów zawierających treści związane z PO RPW oraz uwzględniając wnioski z innych badań oceniających skuteczność lokowania produktów w TV można uznać taką formę informacji i promocji PO RPW za skuteczną? 2.2. Obligatoryjne metody badawcze Analiza statystyk odnoszących się do oglądalności i raportów po edycji programów w TV (udostępnionych przez Zamawiającego) 1 Grupy społeczno-demograficzne, o których mowa w pyt.2 są określone w raportach z badań oceniających skuteczność poszczególnych kampanii o szerokim zasięgu. 2 Grupy społeczno-demograficzne, o których mowa w pyt. 3 są określone w raportach z badań CATI przeprowadzonych w 2009 r. i 2011 r. i opisanych w pkt. IV SOPZ. 3 W okresie do końca 2013 r. zrealizowano 5 kampanii o szerokim zasięgu odnoszące się do PO RPW lub treści związanych z PO RPW: w 2009 r. (wrzesień-październik) Przymierz się, w 2010 r. (październik-listopad) Na tropie Funduszy, w 2011 r. (maj-czerwiec) powtórzono kampanię Na tropie Funduszy, w 2012 r. (październik- grudzień) Każdy korzysta, nie każdy widzi, w 2013 r. (kwiecień-maj) powtórzono kampanię Każdy korzysta, nie każdy widzi. Każda z nich została poddana badaniu ewaluacyjnemu określającemu stan przed i po kampanii. Tytuły raportów z badań ewaluacyjnych tych kampanii wraz z informacją o ich dostępności zostały zamieszczone w pkt. IV SOPZ. 1

2 I.1. Podgrupa docelowa Młodzież Analiza wniosków z badań oceniających skuteczność i efektywność promocji poprzez lokowanie produktu w serialach i programach (do zgromadzenia przez Wykonawcę) I.1. Serwis społecznościowy - facebook 4 I Pytania ewaluacyjne Czy znają profil I love Polska Wschodnia 5 i są jego fanami? Jakich treści tam szukają? Czy czerpią z niego informacje nt. PO RPW? Czy brali udział w organizowanych na profilu konkursach? Czy można uznać taką formę informacji i promocji za skuteczną, szczególnie w grupie młodzieży? I Obligatoryjne metody badawcze Analiza statystyk w czasie odnoszących się do popularności korzystania z funpage u (udostępnionych przez Zamawiającego) oraz porównanie z odpowiednimi funpage ami innych instytucji publicznych lub o podobnej tematyce Analiza raportu z działań promocyjnych związany z funpage em przeprowadzonych w 2013 r. (przekazanego przez Zamawiającego) Ankieta audytoryjna I.1.2. Najważniejsze działania informacyjno-promocyjne Lekcje o Funduszach Europejskich I Pytania ewaluacyjne Jak liczna była grupa młodzieży, która zapoznała się z PO RPW poprzez lekcje o funduszach? Jaka była ocena przeprowadzonych lekcji? Czy można uznać taką formę informacji i promocji za skuteczną w grupie młodzieży? I Obligatoryjne metody badawcze Metaewaluacja raportów z 3 edycji6 lekcji przeprowadzonych w województwach Polski Wschodniej (przekazanych przez Zamawiającego) Ankieta audytoryjna II. Grupa docelowa Beneficjenci Szkolenia, warsztaty, spotkania, doradztwo bezpośrednie (kontakty z pracownikami IP PO RPW) Skąd beneficjenci czerpali informacje potrzebne do prawidłowej realizacji projektów? Strona internetowa IP, IZ, szkolenia, spotkania indywidualne? Kontakt telefoniczny czy owy? Inne? 4 W 2013 r. trwała promocja profilu I love Polska Wschodnia poprzez zwiększoną liczbę postów, konkursy i gry angażujące użytkowników oraz linki sponsorowane. Celem działania było zwiększenie liczby fanów Polski Wschodniej na Facebooku. W ramach promocji profilu zostały również zorganizowane 3 konkursy: Poznaj Polskę Wschodnią test z wiedzy, Odkryj Polskę Wschodnią gra memo oraz Zrób zdjęcie Polsce Wschodniej konkurs fotograficzny. Stworzono również grę strategiczną Rozwój Polski Wschodniej Trzecia edycja lekcji o funduszach zakończy się br. i raport z tej edycji zostanie przekazany Wykonawcy w terminie końca czerwca 2014 r. 2

3 Którą formę komunikacji uważają za najskuteczniejszą? Jak je oceniają? Z których źródeł informacji o PO RPW korzystają (strona internetowa, prasa etc.)? Jak często korzystają ze stron internetowych o PO RPW (IZ i IP)? Z której? Dlaczego? Co o nich myślą? Czy łatwo znaleźć informacje na tych stronach? Czy są one wystarczające? Czego im brakuje? Czy beneficjent korzystał z usług punktu informacyjnego o funduszach europejskich? Którego (MIR/PARP)? Czy informacje uzyskane były wystarczające? Jak ocenia pomoc udzieloną przez konsultantów? Czy informacje w zakresie obowiązków promocyjnych, udzielane przez IP były dla beneficjenta pomocne, precyzyjne oraz wystarczające? Czy beneficjent poszukiwał innych źródeł informacji? Czy informacje zawarte w publikacji Poradnik Beneficjenta - Zasady promocji projektów dla Programu Operacyjnego Rozwój Polski Wschodniej zaspokajają potrzeby beneficjentów? Jakich treści zabrakło? Czy beneficjent był kontrolowany pod kątem realizacji obowiązków informacyjno-promocyjnych i jakie były zalecenia pokontrolne? Czy z perspektywy czasu beneficjent uważa, że przydatny byłby poradnik obejmujący również inne kwestie związane z realizacją projektów (kwalifikowalność wydatków, sprawozdawczość, prawo zamówień publicznych etc.)? Jakie? Czego najczęściej dotyczyły problemy beneficjentów związane z promocją (IDI z IP i beneficjentami)? Z jakich źródeł informacji korzystali w celu wyjaśnienia kwestii wątpliwych? Czy gdyby dostali w przeszłości publikację zawierającą najlepsze praktyki/przykłady działań informacyjno-promocyjnych to chętnie by z niej skorzystali i przeprowadzili podobne akcje? Ułatwiłoby im to realizację obowiązków informacyjno-promocyjnych? Czy IP PO RPW bada potrzeby informacyjne beneficjentów PO RPW? Jak często i w jaki sposób? Czy częstotliwość i forma badania potrzeb informacyjnych jest odpowiednia? Czy IP PO RPW odpowiada na zapotrzebowanie informacyjne beneficjentów np. poprzez organizację odpowiednich szkoleń, warsztatów, spotkań? Jeśli nie odpowiada na wszystkie, jakie są jeszcze obszary informacyjne beneficjentów, które nie zostały zaspokojone w wyniku prowadzonych działań informacyjnych IP PO RPW? Jaki był sposób doboru tematów szkoleń, ich formy, prowadzących, częstotliwości oraz sposobu rekrutacji uczestników w odniesieniu do potrzeb informacyjnych beneficjentów? Ilu beneficjentów uczestniczyło w szkoleniach skierowanych do beneficjentów? Jaka była ocena użyteczności szkoleń skierowanych do beneficjentów przez ich uczestników? Czy w opinii beneficjentów zaspokajane są ich potrzeby informacyjne? Jeśli nie, dlaczego nie są, w jakich obszarach i w jakiej formie powinny być zaspokojone? Czy w opinii beneficjentów działania informacyjne prowadzone przez IP PO RPW (szkolenia, bezpośrednie kontakty z pracownikami, spotkania itd.) pomagają im sprawnie realizować projekty i poprawnie je rozliczać? Jeśli nie, dlaczego i jak powinny być zorganizowane? Czy w opinii IP PO RPW prowadzone działania informacyjne wpływają na poprawę jakości dokumentów przygotowywanych przez beneficjentów i przekazywanych do IP (np. wniosków o płatność, aneksów do umów o dofinansowanie)? Jakie jeszcze czynniki mają istotne znaczenie dla sprawnej realizacji projektów przez beneficjentów oraz poprawności ich rozliczania? Czy czynniki te (włączenie z działaniami informacyjnymi) można uogólnić na poziomie Programu i uszeregować zgodnie z ich wpływem? Jakie czynniki wpływają na skuteczną absorbcję informacji przekazywanych przez beneficjentów (potencjał kadrowy beneficjenta: rotacja pracowników zajmujących się projektem, liczba osób zaangażowanych w projekt, dobór osób uczestniczących w spotkaniach, szkoleniach, warsztatach - ich kompetencje, przepływ informacji)? 3

4 Czy, biorąc pod uwagę odpowiedzi na powyższe pytania, można uznać za skuteczne dotychczas prowadzone działania skierowane do beneficjentów, w tym szkolenia i doradztwo bezpośrednie? Czy beneficjent organizował Dzień Otwarty Projektu z okazji 10-lecia Polski w Unii Europejskiej? Jakie ma spostrzeżenia? Czy uważają, że tego typu wydarzenia są przydatne? Dlaczego? Czy widzą korzyści z promocji projektów we współpracy z innymi beneficjentami? Z IZ/IP? Dlaczego? Czy chętnie dzieliliby się doświadczeniami? CAPI i IDI z beneficjentami Analiza ankiet szkoleniowych beneficjentów (udostępnionych przez IP PO RPW) 7 Wywiady w IP PO RPW z pracownikami odpowiedzialnymi za przygotowanie szkoleń dla beneficjentów, pracownikami udzielającymi doradztwa bezpośredniego beneficjentom oraz pracownikami odpowiadającymi za działania informacyjno-promocyjne skierowane do beneficjentów 2. Najważniejsze działania informacyjno-promocyjne Serwisy internetowe: Profil I love Polska Wschodnia na Facebooku; aplikacja mobilna I love Polska Wschodnia 2.1. Pytania ewaluacyjne Jak kształtowała się w czasie popularność korzystania z serwisów internetowych dotyczących PO RPW, w tym przez użytkowników z Polski Wschodniej? Czy można uznać serwisy internetowe za użyteczne i funkcjonalne z punktu widzenia potrzeb beneficjentów? Co myślą o profilu I love Polska Wschodnia na Facebooku? Czy słyszeli o aplikacji mobilnej I love Polska Wschodnia? Co o niej myślą? Czy brali udział w projekcie poprzez wywieszenie plakatu w miejscu projektu, banneru czy informacji na stronie internetowej? Więcej zagadnień ewaluacyjnych opisanych jest przy poszczególnych grupach docelowych Obligatoryjne metody badawcze Analiza statystyk odnoszących się do serwisów (udostępnionych przez Zamawiającego) Analiza raportów oceniających serwisy internetowe (udostępnionych przez Zamawiającego) Wywiady w IZ PO RPW z Wydziałem Informacji i Promocji DPP i w IP PO RPW z osobami odpowiedzialnymi za prowadzenie serwisów w celu weryfikacji wniosków z analizy statystyk i raportów odnoszących się do serwisów i sposobu ich interpretacji. CAPI i IDI z beneficjentami III. Grupa docelowa Dziennikarze Newslettery, konferencje prasowe, spotkania z dziennikarzami przy okazji otwarcia projektów, komunikaty prasowe, strona internetowa, Facebook 7 W celu analizy ankiet szkoleniowych beneficjentów należy wziąć pod uwagę wyniki analizy ankiet szkoleniowych do 2010 r. zawarte w raporcie z Ewaluacji działań informacyjnych i promocyjnych Programu Operacyjnego Rozwój Polski Wschodniej zrealizowanych w okresie " oraz przeanalizować ankiety szkoleniowe z lat : 2011 r. 114 ankiet z 4 szkoleń, 2012 r ankiet z 12 szkoleń, 2013 r ankiety z 3 szkoleń. Wszystkie ankiety dostępne są w wersji papierowej, a dla roku 2012 i 2013 zastosowano jednakowy wzór ankiety. 4

5 Skąd dziennikarze czerpią informacje nt. PO RPW? Które działania realizowane przez IZ lub IP uważają za najskuteczniejsze? Dlaczego? Jaką oni preferują formę komunikacji? Jakie treści są dla nich najciekawsze? Czy korzystają z newslettera PO RPW (PARP/MIiR)? Co myślą o stronach internetowych i tej formie komunikacji? Czego/jakich informacji im brakuje? Co by poprawili? Jak oceniają treść i język? Czy można uznać serwisy internetowe za użyteczne i funkcjonalne z punktu widzenia potrzeb dziennikarzy? Czy facebook jest dla nich przydatnym źródłem informacji? Jakie inne medium społecznościowe? Czy znają profil I love Polska Wschodnia? Czy jest/byłoby to dla nich dobre źródło informacji o wydarzeniach w PO RPW? Jak oceniają częstotliwość i jakość informacji prasowych? Czy z nich korzystają (impuls lub treść do przygotowania materiału)? Czy kiedykolwiek korzystali z materiałów drukowanych o PO RPW (publikacji, broszur)? Jak kształtowała się w poszczególnych latach liczba przekazów medialnych PO RPW? dotyczących Ile z przekazów medialnych dotyczących PO RPW miało wydźwięk pozytywny/negatywny/neutralny i czy struktura ta zmieniała się w poszczególnych latach? Jaki był zasięg oddziaływania mediów, które przekazywały informacje dotyczące PO RPW (lokalny/regionalny/krajowy) i czy struktura ta zmieniała się w czasie? Ilu dziennikarzy jest autorem przekazów medialnych dotyczących PO RPW? Co jest dla nich impulsem do przygotowania i publikacji materiału o PO RPW? Czy, biorąc pod uwagę odpowiedzi na powyższe pytania, można uznać działania informacyjnopromocyjne skierowane do przedstawicieli mediów za skuteczne? Analiza danych dotyczących przeglądu mediów 8 MIR wywiady w MIR (z Biurem Prasowym) i IZ PO RPW (Wydziałem Informacji i Promocji) IDI z dziennikarzami IV. Grupa docelowa Partnerzy społeczno-gospodarczy Działania skierowane do przedstawicieli partnerów społeczno-gospodarczych będących członkami Komitetu Monitorującego (KM) PO RPW Czy partnerzy społeczno-gospodarczy uczestniczący w pracach Komitetu Monitorującego (KM) PO RPW czują się poinformowani o przebiegu realizacji Programu? Czy korzystają z Bazy Wiedzy, gdzie są zamieszczane dla nich materiały? Czy znajdują tam potrzebne informacje? Czy korzystają ze strony internetowej? Czy woleliby otrzymywać informacje również w innej formie niż poprzez umieszczanie ich w Bazie Wiedzy, na stronie internetowej czy drogą ową? Jeśli tak, w jakiej formie? Czy dotyczy to określonego typu informacji? Jakiego? I jak często potrzebowaliby otrzymywać określone informacje? 8 W razie potrzeby Wykonawca otrzyma również dostęp do treści artykułów prasowych, audycji radiowych i programów telewizyjnych. 5

6 Czy otrzymują informacje, jeśli zgłaszają taką potrzebę poza posiedzeniami KM? Jeśli nie, czy wystąpiły sytuacje, w których zareagowaliby, gdyby otrzymali odpowiednią informację w określonym czasie? Czy można uznać działania informacyjno-promocyjne skierowane do przedstawicieli partnerów społeczno-gospodarczych będących członkami Komitetu Monitorującego za skuteczne? V. Grupa docelowa CAWI/CATI z członkami KM PO RPW Grupy docelowe PO PW Pytania ewaluacyjna Źródła informacji: Z jakich źródeł przedstawiciele grup docelowych czerpią informacje na temat Funduszy Europejskich? Z jakich chcieliby w przyszłości? Zapotrzebowanie na informacje: Czego chcieliby się dowiedzieć/dowiadywać? Jakie informacje ich interesują? Dlaczego nie zamierzają poszukiwać informacji o Funduszach Europejskich i możliwościach dofinansowania? Czy informacje dotychczas przekazywane są optymalne? Jeżeli nie, to czego brakuje? Jakość informacji: Jak oceniają dostęp do rzetelnych i dokładnych informacji? Co mogą powiedzieć o języku? Czy jest zrozumiały i przystępny? Konsumpcja mediów (stopień korzystania i preferowane tytuły) i kanały komunikacji: która gazeta, rozgłośnia radiowa, kanał TV, strona/portal internetowy, serwis społecznościowy/blog, aplikacja mobilna, inne źródła informacji (np. które konferencje etc.). 2. Obligatoryjne metody badawcze Sposób pozyskania informacji zaproponowany przez Wykonawcę Panel ekspertów 6