Załącznik 15 - Arkusz oceny produktu finalnego projektu innowacyjnego testującego wraz z objaśnieniem kryteriów Temat innowacyjny Poszukiwanie nowych skutecznych metod aktywizacji zawodowej i społecznej Grup Docelowych wymagających szczególnego wsparcia Nazwa projektodawcy GB Group Polska sp. z o.o. Tytuł projektu PI GO WORK szansą dla osób niepełnosprawnych Numer umowy UDA-POKL.06.02.00-02-116/11-00 Ekspert (imię i nazwisko) Renata Kapłon Data wypełnienia arkusza: 27.08.2013 r. Przydatność produktu innowacyjnego Zgodność produktu ze strategią w zakresie celu i grupy docelowej Waga (0-1) Ocena produktu (1-5) Ocena ogólna (waga x ocena) Uwagi i komentarze 0,10 4 0,40 Wskazany cel główny projektu, zweryfikowany na etapie strategii wdrażania to: zwiększenie skuteczności działań na rzecz podejmowania zatrudnienia przez osoby niepełnosprawne z woj. dolnośląskiego do 31.12.2013 r. Na realizację celu głównego wpływają trzy cele szczegółowe, 1. Nabycie kompetencji w zakresie skutecznej aktywizacji z wykorzystaniem gier symulacyjnostrategicznych przez grupę testową 10 trenerów testowych i 35 trenerów upowszechniających. do 31.12.2013 r. 2. Pogłębienie wiedzy o potencjale metodyki gry symulacyjno-strategicznej oraz skali i charakterystyki zapotrzebowania na taką usługę do 30.04.2012 r. 3. Wypracowanie, przetestowanie a następnie upowszechnienie i włączenie do polityki 1 programu wsparcia ON, dostępnego na terenie województwa dolnośląskiego, wykorzystującego model gry symulacyjno-strategicznejgo WORK do 31.12.2013 r. Cel główny oraz cele szczegółowe projektu określają ścieżkę do zaplanowanego modelu wsparcia : Na etapie oceny strategii wdrażania dopracowano cel główny oraz cele szczegółowe projektu
Skuteczność produktu (korzyści dla grup docelowych) Uzupełniono o wskaźniki mierzące uzyskane rezultaty potwierdzające zrealizowanie zakładanych w projekcie celów. Jako doprecyzowanie celu głównego w zakresie skuteczności oddziaływania dodano wskaźnik dotyczący efektywności zatrudnieniowej. Został on określony dla osób biorących udział w testowaniu na poziomie 35 %. W efekcie realizacji projektu opracowano Opis produktu finalnego składający się z czterech części: Model gry strategicznosymulacyjnej GO WORK (wraz z podręcznikami zastosowania dla użytkowników i odbiorców) dostosowany do potrzeb Osób Niepełnosprawnych w województwie dolnośląskim wraz z Podręcznikami dla użytkowników tj.: Podręcznik: Szkolenie dla Trenerów (Train the Trainers) Podręcznik użytkownika - Trenerzy. Podręcznik użytkownika Osoby Niepełnosprawne Powyższe elementy stanowią wzajemnie powiązaną całość. Służą grupom użytkowników i odbiorców w zakresie funkcjonalnej obsługi gry strategicznosymulacyjnej GO WORK. Wskazano zmiany w stosunku do wstępnej wersji sprzed okresu testowania. Uwzględniono uwagi Trenerów i Osób Niepełnosprawnych biorących udział w okresie testowania. Rozbudowano model o nowe zagadnienia merytoryczne oraz materiały audio-video. Udoskonalono w zakresie modułów merytorycznych. W fazie testowania produktu wzięły udział 62 osoby niepełnosprawne pozostające bez zatrudnienia tj. o dwie więcej niż zakładano. Zmianie uległ parytet udziału kobiet i mężczyzn. Zakładano udział: K- 48 M-12. Faktyczny udział K- 33, M-29. Poinformowano, że powyższe nie przełożyło się negatywnie na fazę testowania ani negatywnie na jakość wniosków wysuniętych na jej podstawie. Natomiast nie uzasadniono przyczyny wprowadzenia zmian. Opracowane dokumenty składające się na produkt finalny odpowiadają na przedstawione w strategii założenia i cele w zakresie rozwiązywania potrzeb, oraz problemów grupy docelowej rozpoznane na etapie fazy diagnostycznej projektu. Produkt finalny zawiera dobrze przemyślane i całościowo opracowane materiały wdrożeniowe ( Instrukcje dla graczy,modułowe materiały szkoleniowe, programy i scenariusze szkoleń) dla nowego narzędzia aktywizacji osób niepełnosprawnych. Opis produktu finalnego jest zgodny w swej strukturze z Minimalnym wzorem opisu produktu finalnego projektu innowacyjnego testującego. 0,20 3 0,60 Skuteczność produktu finalnego oceniono na podstawie realizacji określonych w strategii wdrażania projektu dla fazy testowania wskaźników, które zostały zmierzone podczas ewaluacji zewnętrznej. W opisie produktu finalnego nie ujęto
informacji dotyczącej stopnia i wartości liczbowych dotyczących zrealizowanych wskaźników. W publikacji Ewaluacja zewnętrzna produktu finalnego przedstawiono poziom realizacji wskaźnika celu głównego oraz tylko częściowo dotyczących celów szczegółowych. Zakładano przeszkolenie 10 trenerów testowych. Faktycznie przeszkolono 12 trenerów (9 kobiet i 3 mężczyzn wskaźniki dla płci osiągnięte). Przyjęte założenia zrealizowano. Brak jest informacji dot. liczby przeszkolonych trenerów upowszechniających. Na etapie akceptacji Strategii wdrażania jako uzupełnienie celu głównego projektu oraz celów szczegółowych o wskaźniki mierzące uzyskane rezultaty potwierdzające zrealizowanie zakładanych w projekcie celów, wprowadzono nowy wskaźnik: dot. zatrudnienia osób, które wezmą udział w aktywizacji przy wykorzystaniu gry GO WORK ON wynoszący 35% skuteczności zatrudnieniowej (z uwzględnieniem stażu) wśród osób biorących udział w testowaniu. Należy zaznaczyć, że staż nie jest zaliczany do efektywności zatrudnieniowej. Staż jest wsparciem w zakresie zdobycia efektywności zatrudnieniowej. W umowie z pracodawcą można przewidzieć zatrudnienie po jego zakończeniu. Pomiar przewidziano raz w miesiącu na podstawie monitorowania stanu zatrudnienia ON. Na podstawie Ewaluacji zewnętrznej produktu finalnego stwierdza się, że wskaźnik ten na dzień złożenia do oceny produktu finalnego nie został zrealizowany. W Raporcie z Ewaluacji zewnętrznej wskazano dwie osoby, które podjęły zatrudnienie, kilkanaście osób było na etapie umówienia się z pracodawcą na rozmowę kwalifikacyjną Powyższe świadczy o optymistycznej deklaracji i o braku rzeczywistego rozpoznania sytuacji na rynku pracy. Natomiast potwierdzono założony progres czynników mających wpływ na aktywizację, tj. motywacja, umiejętność poruszania się po rynku pracy, zdolności komunikacyjne lub społeczne, wiara w siebie oraz samoocena przed fazą testowania i po fazie testowania. Dokonano szacunku zmian testowanych umiejętności względem oczekiwań w ocenie trenerów oraz osób niepełnosprawnych. Uzyskane wyniki potwierdzają skuteczność GO WORK w obrębie przyjętych celów. W trakcie badań uzyskano zadowalające wyniki w zakresie oddziaływania na kontakty z pracodawcą. Skuteczność nowego narzędzia będzie różna dla poszczególnych grup osób niepełnosprawnych i uzależniona w dużej mierze od otwartości na korzystanie z nowego narzędzia aktywizacji. Aktualność potrzeby wprowadzenia produktu 0,20 5 1,00 Na etapie walidacji produktu finalnego została zachowana aktualność potrzeby wprowadzenia innowacji określonej w założeniach innowacyjnego przedsięwzięcia projektowego. W diagnozie sytuacji problemowej przedstawiono wieloaspektową charakterystykę rynku pracy osób
Stopień skomplikowania produktu (łatwość zastosowania wypracowanych narzędzi) niepełnosprawnych o negatywnym zabarwieniu. Problemy osób niepełnosprawnych dotyczą barier zdrowotnych, niskiej samooceny, braku umiejętności poruszania się po rynku pracy, stereotypowych schematów postrzegania ON przez pracodawców i trudności w przepływach informacji, których nie udaje się rozwiązywać przy pomocy funkcjonujących form wsparcia oferowanych przez instytucje pomocowe. Produkt finalny jest narzędziem odpowiadającym na oczekiwania trzech grup adresatów: - osób niepełnosprawnych (określenie i opracowanie form wsparcia, w których chcą brać udział na podst. doświadczeń związanych z funkcjonowaniem na rynku pracy), - doradców zawodowych i innych osób zajmujących się aktywizacja zawodową ON (wykorzystania w pracy bardziej skutecznego narzędzia wsparcia), -pracodawców (usprawnienie procesu rekrutacji pracowników niepełnosprawnych, pokonanie barier w rozmowach dot. niepełnosprawności). Oferowany model gry symulacyjno-strategicznej GO WORK jest wysoce adekwatny wobec aktualnej oferty narzędzi wspierających proces doradczy ułatwiający funkcjonowanie na rynku pracy. Produkt finalny oraz jego załączniki jeszcze mocnej wskazują na zasadność rozwijania innowacyjnych narzędzi wzmacniających ten proces.. Aktualność potrzeby wprowadzenia produktu finalnego została zweryfikowana podczas testowania. Oczekiwania uczestników zostały zestawione z wynikami testowania w zakresie poprawy stanu zastanego. 0,15 5 0,75 Produkt finalny składający się z czterech głównych elementów ma czytelną i zrozumiałą formę. W zakresie formy odpowiada na oczekiwania i możliwości osób niepełnosprawnych. Umożliwia zaangażowanie osób z różnym rodzajem i stopniem niepełnosprawności. Model gry strategiczno-symulacyjnej GO WORK jest grą planszową z dołączoną Instrukcję dla grających w wersji pudełkowej. Przygotowano także wersję elektroniczną gry. Części podręcznikowe wyróżniają się zwięzłym, uporządkowanym opisem modułów szkoleniowych, gotowych scenariuszy, programów, Przedstawiono założenia i wskazówki metodyczne. Możliwe jest użytkowanie gry po zapoznaniu się z instruktażem. Wyeksponowane zostały praktyczne dla użytkowników aspekty gry. Zgodnie z instrukcją, użytkownicy będą potrafili samodzielnie przeprowadzić rozgrywkę (w warunkach domowych lub w gronie przyjaciół z wykorzystaniem modułów merytorycznych, związanych ze zwiększaniem aktywności zawodowej i skuteczności pozyskiwania pracy.
Możliwości zastosowania przez użytkowników (prawne, organizacyjne) Gra ma charakter otwarty pod kątem modułów merytorycznych. Użytkownicy mogą samodzielnie rozbudowywać grę o potrzebny im zakres merytoryczny wykraczający poza obecnie znajdujący się w modelu gry. W opisie produktu finalnego wskazano, że na bieżąco gromadzono sugestie i rekomendacje przedstawicieli grup docelowych w zakresie modyfikacji merytorycznej i wizualizacji gry.. Projektodawca daje do wyboru użytkownikom dwie ścieżki zapoznania się z nowym produktem i przygotowaniem do wdrożenia. Pierwszy: w ramach zaplanowanych szkoleń. Drugi: poprzez osobista lekturę przygotowanych dokumentów składających się na produkt finalny. 0,10 3 0,30 Wskazano dwie kategorie użytkowników: 1. Pracownicy publicznych służb zatrudnienia, organizacji sektora pozarządowego zaangażowanych w realizację polityki społecznej, firm prywatnych świadczących usługi wsparcia rynku pracy, instytucji samorządowych. 2. Bezrobotne osoby niepełnosprawne W pierwszej kategorii użytkowników błędnie wskazano liczbę Powiatowych Urzędów Pracy w woj. dolnośląskim. Poprawna liczba wynosi 26 i jest równa liczbie powiatów. Projektodawca przedstawił warunki wdrożenia innowacji w sektorze prywatnym oraz pozarządowym, a także przez publiczne służby zatrudnienia oraz niepubliczne instytucje zajmujące się aktywizacja osób niepełnosprawnych. Nie istnieją przeszkody organizacyjno-prawne aby zastosować nowy produkt w ww. instytutach. Należy jednak uwzględnić trudności z zakupem gry przez instytucje sektora publicznego. W przypadku wykorzystania gry przez PUP w ramach programów specjalnych i 10% limitu środków Funduszu Pracy lub dodatkowych środków tego Funduszu z rezerwy Ministra od roku 2014 i w latach kolejnych trzeba wziąć pod uwagę fakt, że są one kierowane do określonej grupy osób bezrobotnych (30-, 50+), co nie wyklucza udziału osób niepełnosprawnych. Gra może być wykorzystywana podczas zajęć aktywizacyjnych, doradztwa grupowego czy szkoleń prowadzonych na szczeblu gminy, powiatu czy województwa. Nie jest również wymagana inwestycja w infrastrukturę techniczną. Należy jednak stworzyć odpowiednie warunki dla uczestników szkolenia osób niepełnosprawnych. Instytucja, której pracownicy będą przeprowadzać szkolenie z wykorzystaniem gry powinna zabezpieczyć pomieszczenia, które zapewniają odpowiedni komfort i warunki do przeprowadzenia rozgrywek, tj. duży stół, miejsca do siedzenia,
Efektywność (nakłady do rezultatów) wprowadzenia rozwiązania dodatkowa wolna przestrzeń do ćwiczeń oraz sprzęt w postaci: projektor, flipchart. Wdrożenie GO WORK odbywa się w oparciu o istniejące zasoby personalne oraz techniczne na podstawie obowiązujących przepisów. Użytkownicy produktu w postaci Trenerów, muszą posiadać dostęp do modelu gry GO WORK oraz być przeszkoleni w zakresie jej prowadzenia. Nie wskazano jak zostanie zapewniana dostępność trenerów. Wskazano na możliwość samodzielnego korzystania z elementów wchodzących w skład produktu finalnego. Zapewniono, że produkt finalny będzie dostępny w siedzibie firmy w wersji pudełkowej, co umożliwi wszystkim zainteresowanym zapoznanie się z nim. Przewidziano również możliwość wysyłania do zainteresowanych wersji elektronicznej gry na każde uzasadnione życzenie. Produkt cechuje pełna dostępność i funkcjonalność. Nie przedstawiono informacji jak będzie przebiegał pod względem organizacyjnym proces produkcji gry. Przedstawione uwarunkowania wskazują, że gra GO WORK może być użytkowana w dłuższej perspektywie. 0,15 4 0,60 Dokumentacja dotycząca produktu finalnego wskazuje na niskie koszty jego wdrożenia z pozycji pojedynczego użytkowania. Koszt jednostkowy wytworzenia produktu finalnego zróżnicowany jest w zależności od jakości produktu oraz ilości w produkcji. W przypadku jednostkowej produkcji oszacowano koszt na poziomie ok. 450 900 zł, przy produkcji powyżej 100 sztuk wyniesie ok. 90 180 zł. Koszt przygotowania trenera do prowadzenia zajęć z wykorzystaniem produktu finalnego w pełnej wersji dziesięciu modułów merytorycznych oszacowano na ok. 1500 zł. Koszt przeszkolenia trenera z samych zasad prowadzenia gry wynosić będzie maksymalnie 300 zł. Możliwe są modyfikacje zawartości merytorycznej bez dużych nakładów kosztowych. Konieczne jest poniesienie wydatku na wytworzenie kart zadań. Po poniesieniu tych wydatków korzystanie z GO WORK jest bezpłatne i nie wymaga żadnych dodatkowych nakładów finansowych. Powyższe stanowi niepodważalną zaletę innowacji. Jednakże należy uwzględnić fakt, ze dla instytucji publicznych zakup nowego narzędzia jest wydatkiem problematycznym. Jednakże słabszym ogniwem przedstawionej dokumentacji związanej z walidacją jest brak przedstawienia całościowych szacunkowych kosztów związanych z wprowadzeniem do praktyki proponowanych rozwiązań. Nie można zatem dokonać oceny poniesionych nakładów do
osiągniętych rezultatów. W Raporcie z ewaluacji zewnętrznej dokonano podsumowania wskazując, że GO WORK jest rozwiązaniem tańszym od rozwiązań czysto komercyjnych. Innowacyjność rozwiązania 0,10 5 0,50 Projekt jest innowacyjny w wymiarze problemu oraz formy wsparcia i grupy docelowej. Wymiar problemu wynika z trudności, jakich doświadczają osoby niepełnosprawne na rynku pracy. Wymiar formy wsparcia wynika z braku atrakcyjnych i prostych w obsłudze narzędzi wspierających proces poradnictwa zawodowego. Przedstawiona innowacja jest dostosowana do specyfiki osób niepełnosprawnych. RAZEM (maksymalnie 5 punktów) Opracowana w ramach projektu gra GO WORK skierowana jest zarówno do użytkowników jak i odbiorców. Stanowi nowoczesne narzędzie pracy trenerskiej, pozwalające na wypracowanie pożądanych umiejętności, cech, zachowań, postaw, nastawień prowadzących do osiągnięcia założonego celu jakim jest lepsze zaprezentowanie się w trakcie procesu rekrutacji do pracy. Gra integruje i stymuluję usługę doradczą, pobudzając klienta do aktywności i współpracy w zespole, a tym samym do większego zaangażowania w planowanie swojej ścieżki czy kariery zawodowej. Przeprowadzone testowanie wśród użytkowników i odbiorców oraz ewaluacja zewnętrzna potwierdziły potrzebę opracowania nowego narzędzia w poradnictwie zawodowym w przedstawionym wymiarze i formie. 1,00 ------------- 4,15 W każdym z 7 pytań produkt finalny spełnia kryteria oceny. Opinia na temat zmian wprowadzanych przez beneficjenta w zakresie strategii upowszechniania i włączania do głównego nurtu polityki oraz ewentualne rekomendacje w tym zakresie: Zgodnie z deklaracją projektodawcy ostateczna wersja produktu finalnego nie wymaga wprowadzenia zmian w strategii działań upowszechniających, jak również zmian w strategii działań włączających, o których mowa w Strategii Projektu Innowacyjnego Testującego.
Komentarz i rekomendacje eksperta 1 : Zdiagnozowane w obrębie rynku pracy osób niepełnosprawnych problemy stały się podstawą tworzenia gry symulacyjno-strategicznej GO WORK. Opracowany w ramach projektu produkt finalny: Model gry symulacyjno-strategicznej GO WORK ON stanowi nowe narzędzie wspierające proces aktywizacji zawodowej osób niepełnosprawnych, które znacząco rozszerza katalog dostępnych usług. Wychodząc naprzeciw zidentyfikowanym potrzebom wypełnia lukę warsztatu doradcy zawodowego. Jednakże nie jest narzędziem izolowanym od całego procesu doradczego. Stymuluję usługę doradczą, pobudzając osoby niepełnosprawne do współpracy, a tym samym do większego zaangażowania w planowanie swojej kariery zawodowej. Nowatorski charakter GO WORK przejawia się w formie i dostępności dla użytkowników i odbiorców. Gra posiada przyjazną wizualizację elektronicznej wersji i intuicyjną instrukcję przygotowującą do prowadzenia rozgrywki. Narzędzie funkcjonuje w wersji pudełkowej oraz elektronicznej. Optymalnie oszacowano czas przeprowadzenia rozgrywki. Nowy produkt w równym stopniu służy zarówno użytkownikom jak i odbiorcom. Niepodważalną zaletą innowacji jest to, że ma wpływ na ograniczenie kosztów społecznych związanych z pozostawaniem osób niepełnosprawnych poza rynkiem pracy. Gra spełnia oczekiwania tych osób, które będą chciały skorzystać z nowej formy aktywizacji. Dla trudnych, niezmotywowanych do szukania zatrudnienia klientów pomimo swej przyjaznej formy, może się okazać narzędziem niezrozumiałym. Czego zabrakło w przygotowanej dokumentacji dot. produktu finalnego? W uzasadnieniu realizacji przedsięwzięcia projektowego brak wskazania natężenia problemu w skali kraju, co powinno stanowić tło działań upowszechniających i włączających do głównego nurtu. Docelowo proponowane innowacyjne rozwiązanie ma służyć gronu użytkowników i odbiorców z obszaru całego kraju. W projektach innowacyjnych wskazane jest dokonanie analizy i przedstawienie danych dotyczących skali rozpoznania problemu w szerszym zasięgu na podstawie dostępnych źródeł. Nie przedstawiono również informacji dot. wstępnych deklaracji wdrożenia GO WORK. Brak przedstawienia szacunkowych kosztów związanych z wprowadzeniem do praktyki proponowanych rozwiązań. Reasumując ocenę mając na uwadze zalety innowacji stwierdza się,że produkt finalny został przygotowany profesjonalnie i stanowi narzędzie gotowe do użycia i replikowania. Uzasadnienie oceny punktowej: Zgodność produktu z założeniami zawartymi w strategii: 4 pkt Na obniżenie punktacji wpłynęło: - brak uzasadnienia wprowadzenia zmian w grupie docelowej na etapie testowania, Skuteczność produktu (korzyści dla grup docelowych): 3 pkt Na obniżenie punktacji wpłynęło: -błąd w metodologii pomiaru efektywności zatrudnieniowej, - niezrealizowanie wskaźnika dot. efektywności zatrudnieniowej, - brak jest informacji dot. liczby przeszkolonych trenerów upowszechniających. Aktualność potrzeby wprowadzenia produktu: 5 pkt W sposób wystarczający została przedstawiona potencjalna niezbędność produktu. Przyznano maksymalną liczbę punktów. Stopień skomplikowania produktu (łatwość zastosowania wypracowanych narzędzi): 5 pkt Wypracowane narzędzia jest łatwe w zastosowaniu. Przyznano maksymalną liczbę punktów. Możliwości zastosowania przez użytkowników (prawne, organizacyjne): 3 pkt 1 W przypadku rekomendowania odrzucenia opisu produktu finalnego i braku jego walidacji komentarz powinien zawierać uzasadnienie takiej propozycji z odniesieniem do tych elementów arkusza oceny, które zaważyły na negatywnej decyzji.
Na obniżenie punktacji wpłynęło: - niepoprawna liczba użytkowników, - brak informacji jak będzie przebiegał pod względem organizacyjnym proces produkcji gry, - brak pełnego rozpoznania w zakresie zakupu gry przez użytkowników. Efektywność wprowadzenia rozwiązania (stosunek nakładów do rezultatów): 4 pkt Na obniżenie punktacji wpłynęło: - brak przedstawienia całościowych szacunkowych kosztów związanych z wprowadzeniem do praktyki proponowanych rozwiązań. Innowacyjność rozwiązania: 5 pkt Wskazano trzy wymiary innowacji. Przyznano maksymalną liczbę punktów Opina dot. walidacji produktu finalnego została sporządzona w oparciu o przedstawioną dokumentację opisującą produkt finalny, strategię, raporty z przeprowadzonych badań oraz ewaluacji zewnętrznej dokumenty programowe POKL oraz materiały Krajowej Instytucji Wspomagającej dostępne na stronie internetowej: www.kiw-pokl.org.pl. Rekomendacja: - uznać produkt finalny za zwalidowany, - uznać produkt finalny za niezwalidowany. Podpis Renata Kapłon
Objaśnienia do kryteriów: Zgodność produktu z założeniami zawartymi w strategii Weryfikacji i ocenie podlega to, jak dalece przedstawiony produkt spełnia założenia zawarte w strategii. Produkt nie musi być identyczny jak opisany w strategii, ponieważ okres testowania i oceny produktu mógł wpłynąć na jego skorygowanie. Musi jednak nadal służyć celowi wskazanemu w strategii i dotyczyć wskazanych w strategii grup docelowych. Skuteczność produktu (korzyści dla grup docelowych) Ocenie podlega zakładana (szacowana) skuteczność produktu wobec opisanych we wniosku i doprecyzowanych w strategii problemów grup docelowych jak dalece produkt ma szansę sprzyjać rozwiązywaniu tych problemów, w jaki sposób będzie wywierał wpływ na sytuację grup docelowych. Aktualność potrzeby wprowadzenia produktu Od momentu złożenia wniosku i rozpoczęcia realizacji projektu do momentu dokonywania walidacji upłynie wiele czasu od 2 do 3 lat. Może się więc okazać, że potrzeba zidentyfikowana w diagnozie wstępnej i potwierdzona w ramach badań przeprowadzonych w I etapie projektu zniknie zmieni się sytuacja, ktoś inny wprowadzi skuteczne rozwiązanie itp. Ocenie podlega aktualność potrzeby będącej punktem wyjścia dla projektu oraz potencjalna niezbędność produktu. Stopień skomplikowania produktu (łatwość zastosowania wypracowanych narzędzi) Im produkt jest łatwiejszy w stosowaniu, tym ocena będzie wyższa. Łatwość zastosowania produktu oznacza, że nie ma konieczności prowadzenia wielu specyficznych działań związanych z jego wdrożeniem, wymagających dużej skali długotrwałych szkoleń i innych przygotowań użytkowników. Za szczególnie łatwy w zastosowaniu można uznać taki produkt, który użytkownik może zastosować samodzielnie, bez szkoleń i instruktażu, wyłącznie na podstawie opisu stosowania. Tym samym ocenie podlega też jakość instrukcji stosowania produktu oraz jakość materiałów składających się na produkt (metodologie, podręczniki itp.). To kryterium nie dotyczy kwestii związanych z ewentualnymi zmianami prawnymi i organizacyjnymi, niezbędnymi do wdrożenia produktu, które oceniane są osobno. Możliwości zastosowania przez użytkowników (prawne, organizacyjne) W tym kryterium ocenie podlegają skala zmian prawnych i/lub organizacyjnych, niezbędnych do wdrożenia produktu oraz szanse na ich dokonanie w krótkim okresie. Im większa skala zmian, tym ocena musi być niższa. Efektywność wprowadzenia rozwiązania (stosunek nakładów do rezultatów) Kryterium dotyczy szacunkowych kosztów związanych z wprowadzeniem do praktyki proponowanych rozwiązań oraz z ich stosowaniem w stosunku do zakładanych efektów stosowania produktu. Im koszty są wyższe, tym niższa jest ocena. Innowacyjność rozwiązania Kryterium dotyczy stopnia innowacyjności proponowanego rozwiązania jeśli dotyczy ono obszaru/grupy/problemu, którym nikt inny się nie zajmuje, w którym jak dotąd nie działają żadne instrumenty wówczas ocena będzie wyższa niż w sytuacji, gdy produkt dotyczy kwestii co prawda aktualnych, ale wokół których podejmowane są liczne inicjatywy usprawniające.