Raport końcowy BADANIE STRON INTERNETOWYCH INSTYTUCJI TWORZĄCYCH SYSTEM WDRAŻANIA PO I RPO W RAMACH NARODOWEJ STRATEGII SPÓJNOŚCI NA LATA 2007 2013
Paweł Haltof, YUUX Research Director pawel.haltof@yuux.eu
Spis treści 1. Opis badania: etapy, zakres, kryteria analizy 2. Wyniki II etapu badania 3. Rekomendacje 4. Podsumowanie
Informacje wstępne Metodą realizacji badania była analiza ekspercka. Badanie przeprowadzono w dwóch etapach: ETAP I. Okres realizacji: 25.01.2009-26.02.2009 Cel: ocena użyteczności i poprawności merytorycznej, wydanie rekomendacji ETAP II. Okres realizacji: 18.05.2009-26.06.2009 Cel: ponowna ocena poprawności merytorycznej, wydanie rekomendacji
Zakres podmiotowy badania Analizowano 100 serwisów prowadzonych przez 102 instytucje tworzące system wdrażania Narodowej Strategii Spójności na lata 2007-2013: 78 IP i IPII PO 24 IZ, IP, IPII RPO właściwe dla poszczególnych programów w tym: 16 IZ RPO 8 IP i IPII RPO
Kryteria poprawności merytorycznej - utworzone na podstawie Wytycznych Ministra Rozwoju Regionalnego w zakresie informacji i promocji z dnia 13 sierpnia 2007 r. i Strategii komunikacji Funduszy Europejskich w Polsce w ramach Narodowej Strategii Spójności na lata 2007-2013 CZY STRONA ZAWIERA? 1. Akty prawne dotyczące okresu programowania 2007 2013 (rozporządzenia Unii Europejskiej, polskie akty prawne i wytyczne Ministerstwa Rozwoju Regionalnego) Akty prawne do pobrania (min 4 akty), rejestr (lista) zmian aktów prawnych, opis zmian aktów prawnych 2. Dokumenty programowe: tekst programu operacyjnego, uszczegółowienie programu Dokumenty programowe do pobrania (min 2), rejestr (lista) zmian dokumentów programowych, opis zmian dokumentów programowych 3. Skrótowe informacje na temat danego programu Syntetyczny opis programu, opisy priorytetów, opisy działań, listy typów beneficjentów kwalifikujących siędo pomocy, listy typów beneficjentów wraz z odniesieniem rodzajów projektów, na które mogą oni uzyskać wsparcie 4. Harmonogram naboru wniosków (data, działanie) 5. Ogłoszenia o planowanych konkursach w formie aktualności (opis lub podstrona) 6. Dane teleadresowe instytucji prowadzących nabory lub przekierowania do ogłoszeńna stronach domowych tych instytucji
Kryteria poprawności merytorycznej cd. 7. Sprawozdania z realizacji programu Sprawozdanie okresowe (min 2), sprawozdania roczne (min 2) 8. Aktualne dane o wysokości środków dostępnych w ramach programu 9. Dane o stanie realizacji programów (z ostatnich 3 miesięcy) 10. Uproszczone opisy aplikowania o środki (np. informacje o procesie oceny wniosków) 11. Informacje o realizowanych projektach listy beneficjentów (którzy otrzymali dotacjęnazwa, kwota, projekt), nazwy beneficjentów, tytuły projektów, kwoty dofinansowania publicznego, kwoty dofinansowania publicznego w rozbiciu na wkład unijny i polski, dane teleadresowe punktów udzielających beneficjentom informacji i porad (numer telefonu, numer faksu, adres pocztowy, adres e- mail 12. Opis obowiązków beneficjentów w zakresie informacji i promocji Ogólny opis obowiązków w ww. zakresach (dział, opis lub podstrona), dokumenty do pobrania (wytyczne, zasady) dostępne bez logowania,zestaw znaków (logo) do pobrania, odpowiedzi na najczęściej zadawane pytania (FAQ) min 10 pozycji pyt.
Kryteria poprawności merytorycznej cd. 13.(dla stron prowadzonych przez IP, IPII) Przekierowania do: Strony głównej instytucji zarządzającej (IZ), Stron pozostałych instytucji pośredniczących (IP) danego programu, Wyraźne odesłanie, ze strony głównej instytucji, do części serwisu poświęconej PO / RPO 14.(dla stron poświęconych RPO) Przekierowania do: Portalu Funduszy Europejskich: www.funduszeeuropejskie.gov.pl, Strony Ministerstwa Rozwoju Regionalnego: www.mrr.gov.pl, Strony Komisji Europejskiej: www.ec.europa.eu 15. Zawarto informację, że projekt strony jest współfinansowany (widoczne dla użytkownika strony) 16. Występują elementy prawidłowej wizualizacji: Znak graficzny Narodowej Strategii Spójności właściwy dla danego programu, Flaga UE wraz z odwołaniem słownym do Unii Europejskiej 17. Zastosowano znak graficzny Narodowej Strategii Spójności wraz z logotypem w wersji pełno kolorowej (nie monochromatycznej lub achromatycznej) 18. W logotypie zastosowano czcionkęz rodziny The Mix CE. 19. Zachowano pole ochronne znaku 20. Zastosowano prawidłowy sposób zestawienia znaków
Ocena kryteriów poprawności merytorycznej Punktacja Punkty za spełnianie kryterium -od 0 do 1 punktu 0,5 punktu za rozwiązania częściowe: niedoskonałe, mało popularne lub częściowo zgodne z oczekiwaniami Maksymalne oceny poprawności merytorycznej: dla serwisów prowadzonych przez IP i IPII PO oraz IZ RPO max 41 pkt. dla IP i IPII RPO -suma punktów / kryteriów wynosiła max 44 pkt.
Wyniki II etapu badania
Ranking stron pod względem poprawności merytorycznej
Zmiana stopnia poprawności merytorycznej analizowanych serwisów pomiędzy pierwszym, a drugim etapem badania to: +14% 65% 79% Uwagęzwraca wyraźna ogólna poprawa jakości merytorycznej stron i przesunięcie wyników ku skali procentowej realizacji z zakresu 70% - 100%.
Analiza wyników sumarycznych Najbardziej poprawną merytorycznie stroną (98% zgodności z kryteriami)okazałsięserwis prowadzony przez Wojewódzki Fundusz Ochrony Środowiska i Gospodarki Wodnej w Olsztynie (IPII PO IiŚ) http://www.wfosigw.olszt yn.pl/index.php?sp=2
Analiza wyników sumarycznych Kluczowe cechy zwycięskiego serwisu WFOŚiGW w Olsztynie: strona wygląda bardzo profesjonalnie łączy prostotęi naturalnośćpodziału informacji, strona graficznie jest dośćprosta, a intuicyjne punkty menu i układ treści tworzący architekturę informacji są skuteczne i zrozumiałe, trzymanie się kryteriów z raportu.
Analiza wyników sumarycznych Drugie miejsce zajmująserwisy o 95% zgodności z kryteriami merytorycznymi, czyli: Narodowy Fundusz Ochrony Środowiska i Gospodarki Wodnej (IPII PO IiŚ) Ministerstwo Edukacji Narodowej (IP PO KL) UM Woj. Lubelskiego (IP PO KL) Ministerstwo Zdrowia (IPII PO KL) WUP w Warszawie (IPII PO KL) UM Woj. Lubelskie (IZ RPO) UM Woj. Świętokrzyskiego (IZ RPO) UM Woj. Wielkopolskiego (IZ RPO) Trzecie miejsce zajmująserwisy o 94%zgodności z kryteriami merytorycznymi, czyli: Ośrodek Przetwarzania Informacji (IPII PO IG) UM Woj. Dolnośląskiego (IP PO KL)
Analiza wyników sumarycznych -10 pierwszych wyników pod względem poprawności merytorycznej Nazwa instytucji Procent realizacji w I etapie Procent realizacji w II etapie Program IZ, IP, IPII WFOŚiGW Olsztyn 80% 98% PO IiŚ IPII Narodowy Fundusz Ochrony Środowiska i Gospodarki Wodnej 77% 95% PO IiŚ IPII Ministerstwo Edukacji Narodowej 82% 95% PO KL IP UM Woj. Lubelskiego 72% 95% PO KL IP Ministerstwo Zdrowia 88% 95% PO KL IPII WUP w Warszawie 88% 95% PO KL IPII UM. Woj. Lubelskie 94% 95% RPO IZ UM Woj. Świętokrzyskiego 76% 95% RPO IZ UM Woj. Wielkopolskiego 83% 95% RPO IZ Ośrodek Przetwarzania Informacji 91% 94% PO IG IPII
Największe zmiany poprawności merytorycznej pomiędzy pierwszym, a drugim etapem badań Nazwa instytucji Procent realizacji w I etapie Procent realizacji w II etapie Wzrost stopnia realizacji kryteriów Program IZ, IP, IPII WFOŚiGW Warszawa 24% 90% 66% PO IiŚ IPII WFOŚiGW Wrocław 27% 82% 55% PO IiŚ IPII WFOŚiGW Białystok 46% 91% 45% PO IiŚ IPII WFOŚiGW Szczecin 44% 80% 37% PO IiŚ IPII Centrum Systemów Informacyjnych Ochrony Zdrowia 51% 88% 37% PO IiŚ IPII Śląskie Centrum Przedsiębiorczości 40% 75% 35% RPO IP II UM Woj. Kujawsko- Pomorskie 56% 90% 34% RPO IZ Instytut Paliw i Energii Odnawialnej 39% 73% 34% PO IiŚ IPII Ministerstwo Zdrowia 57% 90% 33% PO IiŚ IP WUP w Białymstoku 38% 67% 29% PO KL IPII
Analiza wyników sumarycznych Kolejne 5 miejsc w rankingu największych zmianwzględem poprzedniego etapu badania zajęły strony: WFOŚiGW Warszawa (66% zmian), WFOŚiGW Wrocław (55% zmian), WFOŚiGW Białystok (45% zmian), WFOŚiGW Szczecin (37% zmian), Centrum Systemów Informacyjnych Ochrony Zdrowia (37% zmian).
Analiza wyników sumarycznych - 10 ostatnich wyników - pod względem poprawności merytorycznej Nazwa instytucji Procent realizacji w I etapie Procent realizacji w II etapie Program IZ, IP, IPII WFOŚiGW Lublin 51% 63% PO IiŚ IPII Kancelaria Prezesa Rady Ministrów 51% 63% PO KL IPII WUP w Olsztynie 39% 63% PO KL IPII WFOŚiGW Zielona Góra 34% 61% RPO IP WFOŚiGW Poznań 44% 57% PO IiŚ IPII Instytut Nafty i Gazu 56% 56% PO IiŚ IPII Opolskie Centrum Rozwoju Gospodarki 80% 55% RPO IPII UM Woj. Mazowieckiego 49% 51% RPO IZ UM Woj. Małopolskiego 28% 48% RPO IZ UM Woj. Małopolskiego 32% 44% PO KL IP
Analiza wyników sumarycznych - Poprawność merytoryczna serwisów ze względu na typ instytucji Poprawność merytoryczna w pierwszym etapie badań PO IiŚ PO IG PO KL RPW RPO IZ Nie badano Nie badano Nie badano Nie badano 67% IP 76% 72% 73% 77% 58% IPII 54% 84% 64% Nie badano 67% Ogółem 58% 78% 68% 77% 65% Poprawność merytoryczna w drugim etapie badań PO IiŚ PO IG PO KL RPW RPO IZ Nie badano Nie badano Nie badano Nie badano 80% IP 85% 79% 82% 82% 80% IPII 77% 88% 77% Nie badano Ogółem 79% 84% 79% 82% 79% 74% Zmiana poprawności merytorycznej pomiędzy pierwszym, a drugim etapem badań PO IiŚ PO IG PO KL RPW RPO IZ Nie badano Nie badano Nie badano Nie badano 13% IP 9% 7% 9% 5% 22% IPII 23% 4% 13% Nie badano 7% Ogółem 21% 6% 11% 5% 14%
UM Woj. Małopolskiego 32%44%12%PO KLIP
Analiza wyników sumarycznych - Poprawność merytoryczna serwisów ze względu na typ instytucji
Szczegółowa analiza realizacji kryteriów merytorycznych
10 najlepiej spełnianych kryteriów merytorycznych Ogólne kryteria Kryteria C Szczegółowe kryteria Procent realizacji w I etapie Procent realizacj i w II etapie Niezbędne informacje merytoryczne dokumenty programowe do pobrania (min 2) 94% 100% 6% Niezbędne informacje merytoryczne dane teleadresowe instytucji prowadzących nabory / przekierowania do ogłoszeńna stronach domowych tych instytucji Wzrost stopnia realizacji kryterium ** 79% 99% 20% Niezbędne informacje merytoryczne numer telefonu 87% 99% 12% Niezbędne informacje merytoryczne akty prawne do pobrania (min 4 akty) 82% 98% 16% Niezbędne informacje merytoryczne syntetyczny opis programu 93% 97% 4% Przekierowania do waŝnych adresów Strony głównej IZ 94% 97% 2% Niezbędne informacje merytoryczne opisy priorytetów 91% 96% 5% Niezbędne informacje merytoryczne opisy działań 90% 96% 6% Niezbędne informacje merytoryczne Harmonogram naboru wniosków (data, działanie) 82% 95% 13% Niezbędne informacje merytoryczne tytuły projektów 77% 95% 18% Niezbędne informacje merytoryczne adres e-mail 85% 95% 10%
10 najgorzej spełnianych kryteriów merytorycznych Kryteria C Procent Wzrost Procent realizacji stopnia realizacji w II realizacji w I etapie Ogólne kryteria Szczegółowe kryteria etapie kryterium ** Niezbędne informacje merytoryczne rejestr (lista) zmian dokumentów programowych 38% 66% 27% Niezbędne informacje merytoryczne opis zmian dokumentów programowych 20% 58% 38% Zgodność z systemem identyfikacji wizualnej NSRO Zawarto informację, Ŝe projekt strony jest współfinansowany (widoczne dla uŝytkownika strony) 44% 57% 13% Zgodność z systemem identyfikacji wizualnej NSRO Zachowano pole ochronne znaku 35% 55% 20% Niezbędne informacje merytoryczne sprawozdanie okresowe (min 2) 33% 52% 19% Zgodność z systemem identyfikacji wizualnej NSRO Zastosowano prawidłowy sposób zestawienia znaków, tj. znak programu operacyjnego znajduje siępo prawej stronie od znaku Unii Europejskiej, a godło instytucji lub herb 41% 47% 6% województwa (jeśli występuje) znajduje siępomiędzy nimi (dotyczy zarówno wariantu poziomego, jak i pionowego). Niezbędne informacje merytoryczne kwoty dofinansowania publicznego w rozbiciu na wkład unijny i polski 36% 43% 7% Niezbędne informacje merytoryczne rejestr (lista) zmian aktów prawnych 29% 41% 12% Niezbędne informacje merytoryczne sprawozdania roczne (min 2) 21% 37% 17% Niezbędne informacje merytoryczne opis zmian aktów prawnych 17% 28% 12%
Kluczowe obszary poprawy i zmian Uzupełnienia konieczne w serwisach dotycząkryteriów spełnianych najgorzej, szczególnie tych, których procent realizacji jest mniejszy niż 50%, czyli: zamieszczenie sprawozdańz realizacji programów, ważnych dokumentów rozszerzonych o opis zmian i ich rejestr, uzupełnienie sekcji pytań i odpowiedzi, dopasowanie wizualizacji stron do wymogów Księgi Identyfikacji Wizualnej szczególnie w zakresie zestawienia logo.
10 największych zmian pomiędzy pierwszym,a drugim etapem pod względem realizacji kryteriów merytorycznych Ogólne kryteria Kryteria C Szczegółowe kryteria Procent realizacji w I etapie Procent realizacji w II etapie Wzrost stopnia realizacji kryterium ** Niezbędne informacje merytoryczne opis zmian dokumentów programowych 20% 58% 38% Niezbędne informacje merytoryczne Dane o stanie realizacji programów (z ostatnich 3 miesięcy) 50% 79% 29% Niezbędne informacje merytoryczne adres pocztowy 60% 88% 28% Niezbędne informacje merytoryczne rejestr (lista) zmian dokumentów programowych 38% 66% 27% Niezbędne informacje merytoryczne listy beneficjentów (którzy otrzymali dotację-nazwa, kwota, projekt) 68% 89% 22% Niezbędne informacje merytoryczne numer faksu 64% 85% 22% Niezbędne informacje merytoryczne Niezbędne informacje merytoryczne Uproszczone opisy aplikowania o środki (np. informacje o procesie oceny wniosków) dane teleadresowe instytucji prowadzących nabory / przekierowania do ogłoszeńna stronach domowych tych instytucji 60% 80% 21% 79% 99% 20% Zgodność z systemem identyfikacji wizualnej NSRO Zachowano pole ochronne znaku 35% 55% 20% Niezbędne informacje merytoryczne kwoty dofinansowania publicznego 71% 90% 20%
Rekomendacje
Pliki Ważne dokumenty (np. akty, ustawy, harmonogramy, informacje o realizowanych projektach) format PDF Opisane datami, wielkością pliku, Dostępny odnośnik do programu PDF - Adobe Reader, Dostępne z własnego serwera, Podzielone na sekcje tematyczne. Dokumenty robocze (wnioski, wzory otwarte do wypełnienia) preferowany format RTF
Opisy i inne treści (opisy programu itp.) Dostępne bez konieczności pobierania PDF, Czytelne dla użytkownika, do max 20 zdań, Rozdzielone sekcjami, Z odnośnikami do poszczególnych działów strony (linki wewnętrzne).
Zmiany plików Opis zmian Połączony z dokumentem, którego dotyczą zmiany, Opisany datązmiany, Opis zmian wystarczy dla ostatnich zmian, Preferowany czytelny format to tabela opisów zmian w pliku PDF.
Zasady promocji projektów Tak jak w zakładce zasad promocji portalu funduszeeuropejskie.gov.pl Opis ogólny zasad w dostępnej formie html, Dane o finansowaniu musząbyćwidoczne (stopka strony).
Grafika i identyfikacja Loga mogąbyćpobrane na serwisu z bazy portalu funduszeeuropejskie.gov.pl, Logo nie można zmieniać, Logo musi zachować wymaganą przestrzeń znaku, Logo musi występowaćw odpowiedniej sekwencji znaków.
Podsumowanie
Podsumowanie Strony uległy poprawie, a efekty zmian są widoczne, Kryteria sąbardzo dobrym wyznacznikiem do zastosowania użyteczności w praktyce, Badanie nie jest końcem procesu usprawniania, należy dalej usprawniaćstrony, testowaćz użytkownikami ich użyteczność, Rozwój serwisu nie może powodowaćpogorszenia jakości informacji ciągły proces dbałości o serwisy internetowe.
Dziękujemy ph@yuux.eu