Miejscowość Warszawa, data 12.2010. RAPORT Z TESTOWANIA USŁUG NA PLATFORMIE ELA-ENT 1. Dane podstawowe W poniższych polach należy wpisać informacje o testującym, szkolącym, sprawdzanych przez niego usługach, oraz o oprogramowaniu, które wykorzystano do testów. 1. Imię i nazwisko testującego: Dr Aldona Dunicz-Sokolowska 2. Login (nazwa użytkownika) testującego: Stokrotka login testującego usługę AnalizyStatAld login Wykonawcy usługi Analiza danych statystycznych AnalPLWOZ login Zamawiającego usługę Analiza danych statystycznych 3. Nazwa testowanej usługi (nazwa usługi, Analiza danych statystycznych którą testujący sprawdzał jako Przygotowanie danych ankietowych do obróbki usługodawca oraz jako klient): za pomocą stosownych pakietów obliczeniowych. Okres realizacji od 21.2010 do 4. 02.2010. 4. Imię i nazwisko osoby/osób szkolących: Marek Faderewski 5. Przeglądarka internetowa z jakiej Internet Explorer korzystano podczas testów (proszę Mozilla Firefox zostawić tylko właściwą): Opera Netscape Navigator Safari Google Chrome Inna (proszę podać) 6. Wersja przeglądarki internetowej, którą Windows Internet Explorer 8 użyto do testów: Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 1 z 15
7. System operacyjny na którym przeprowadzane były testy: System Microsoft Windows XP Home Edition Wersja 2002 Dodatek Service Pack 3 Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 2 z 15
2. Uwagi ogólne Poniżej należy zamieścić ogólne uwagi dotyczące użytkowania platformy ELA-enT w czasie całego procesu testowania, jakie nasunęły się testującemu. Powinny one zawierać sugestie ogólnych zmian, łatwości korzystania ze stron platformy, propozycje ulepszeń lub zmian dotyczących całej platformy, oraz spostrzeżeń i uwag na temat rozwiązań które ułatwiły korzystanie z platformy. Ilość uwag może być dowolna. W uwagach można zamieszczać zrzuty ekranów w celu lepszego zobrazowania i wyjaśnienia opisywanych uwag, sugestii i problemów. Formułując uwagi należy uwzględnić następujące aspekty: a) Sposób korzystania z systemu (używana przeglądarka), używany program screenreader lub magnifier (tylko w przypadku osób niewidomych lub słabowidzących), używany system operacyjny. b) Ogólne problemy, jakie wystąpiły przy korzystaniu z platformy: dostępność elementów formularza, wyświetlanie się okienek, pól edycyjnych, list itd. Problemy z użytkowaniem formularzy przy pomocy klawiatury. Uwagi, problemy sugestie, spostrzeżenia: 1. Zarówno Wykonawca jak i Zamawiający usługę analiza danych statystycznych mogą mieć pewne trudności z wstępnym zapoznaniem się z wewnętrznym algorytmem Platformy Usług. Ustanowienie takiego algorytmu dla usług byłoby bardzo pomocne użytkownikom i wskazane. 2. Algorytm mógłby uwzględniać etap prezentacji ofert (bez potrzeby szczegółowej rejestracji), etap składania wstępnego zamówienia (bez potrzeby szczegółowej rejestracji), etap dopracowywania warunków realizacji usługi i etap podpisywania dokumentów (na tym etapie zapytanie o zgodę na umowę elektroniczną lub o inną drogę realizacji dokumentacji usługi). 3. Wymogi rejestracyjne dla Wykonawcy eliminują osoby pozbawione adresu (PeSelu). 4. Realizacja etapu łączenia Zamawiającego i Wykonawcę usługi Analiza danych statystycznych może być utrudniona przez nadmierną liczbę szacowania cen etapów pośrednich analiz naukowych. Tak jak w ofercie Zamawiającego, oferta Wykonawcy powinna być zredukowana do jednej ceny za całość pracy. Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 3 z 15
3. Sugestie dotyczące rejestracji w systemie ELA-enT (pkt 1. instrukcji testowania) Poniżej należy zamieścić uwagi, sugestie oraz propozycje zmian dotyczące użytkowania strony związanej z rejestracją użytkownika w systemie. Należy wymienić również problemy, jakie wystąpiły podczas rejestracji w systemie (rejestracja użytkowników zleceniobiorcy i zleceniodawcy). W uwagach można zamieszczać zrzuty ekranów w celu lepszego zobrazowania i wyjaśnienia opisywanych uwaga, sugestii i problemów. Ilość uwag może być dowolna. Uwagi, problemy, sugestie, spostrzeżenia: 1. Wejście na stronę rejestracyjną nie sprawia problemów. 2. Problemem jest duża liczba danych osobowych w przypadku zarejestrowania się, celem zgłoszenia usługi oraz dane osobowe i instytucjonalne wymagane dla obejrzenia oferty Wykonawcy usługi. 3. Brak szczegółowego opisu jakie dane i dlaczego są wymagane w konkretnych przypadkach, np. - by obejrzeć usługi - nie jest wymagana rejestracja. - gdy chcesz dać ofertę to zarejestruj się takimi a takimi danymi gdyż są one wymagane dla generowania umów lub rachunków. - potrzeba włączenia opcji wyboru dotyczącej generowania umów i rachunków na Platformie lub poza Platformą (dane przekazywane inną drogą). 4. W formularzu rejestracyjnym brak opcji dla osób nigdzie nie zatrudnionych i nie posiadających żadnych świadczeń. 5. Zauważono, że brak jednej danej, np. nr konta, uniemożliwiała cały proces rejestracji. Jedynie wczytanie wszystkich danych w pełnej wersji umożliwia proces rejestracji. A co z ludźmi bez nr konta, bez stałego adresu, bez PESEL-u, bez swiadczeń? 6. Pracownicy naukowi stanowią grupę pominiętą w formularzu rejestracyjnym (absolwent?). Ten punkt należy dopracować i uzupełnić o inne grupy osób (także bezrobotnych i bez zasiłku). Płeć* : Dokument potwierdzający tożsamość* : Numer lub Seria i numer dokumentu tożsamości*? : Przez kogo wydany*? : Wybierz dokume Pesel* : Jestem studentem* : NIE Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 4 z 15
Nr legitymacji studenckiej** : Jestem uczniem szkoły ponadpodstawowej* : Jestem absolwentem szkoły wyższej* : Jestem emerytem* : Jestem rencistą* : NIE NIE NIE NIE Nr świadczenia ZUS** : Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 5 z 15
4. Sugestie dotyczące dodawania nowej oferty w usłudze jako usługodawca (pkt 2. instrukcji testowania) Poniżej należy zamieścić uwagi, sugestie oraz propozycje zmian dotyczące użytkowania strony związanej z dodawaniem oferty do zgłaszanej (opisywanej) przez siebie usługi. Należy wymienić również problemy, jakie wystąpiły podczas dodawania nowej oferty. W uwagach można zamieszczać zrzuty ekranów w celu lepszego zobrazowania i wyjaśnienia opisywanych uwag, sugestii i problemów. Formułując uwagi i sugestie należy uwzględnić następujące aspekty: a) Czy interfejs usługi (wygląd i działanie formularzy i innych elementów) jest przyjazne dla użytkownika? b) Czy formularz pozwala na dodanie możliwie szerokiej gamy ofert różnych usługodawców w proponowanej usłudze? c) Co należałoby ulepszyć, poprawić, dodać do formularza dodawania oferty? d) Co można dodać, ulepszyć w funkcjonalności usługi? e) Co jest dobrym i funkcjonalnym rozwiązaniem? Interfejs wagi, problemy, sugestie, spostrzeżenia: 1. By zamieścić ofertę jako Wykonawca należy dokonać pełnej procedury rejestracji. Po otrzymaniu hasła można się zalogować. 2. Ukazuje się strona Usługi, na której można wypełniać formularz opisu możliwości wykonawczych: http://ent.ipipan.waw.pl/statisticalanalysis/mainpage.html 3. Pola podstawowe zawierają informacje o Wykonawcy Usługi. Trudności nastręcza określenie sumy za analizę 1 rekordu danych. Województwo: Miasto: Cena za analize rekordu danych: Pola podstawowe mazowieckie Warszawa 9.8 zł Doświadczenie : Wykładowca statystyki, ekonometrii, doktorat z chemometrii, doswiadczenie z analiz klinicznych i populacyjnych. Kursy i certyfikaty : doktorat z chemometrii 4. W pozycji Usługi zauważono kilka błędów redakcyjnych: - zapis analiizy Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 6 z 15
- zagubiona literka metrologia echniczna Usługi Nazwa Cena [zł] analizy sondażowe 2.0 badania ankietowe analizy eksperymentu badawczego analizy kliniczno-kontrolne badania epidemiologiczne badania populacyjne analiizy socjologiczne metrologia echniczna analizy ekonometryczne analizy wyceny nieruchomości analizy wysokospecjalistyczne 5.. Wejście w EDYCJĘ usług także zawiera kilka błędów: - dwa razy zapis analizy chemometryczne - brak literki t w zapisie metrologia echniczna - brak opcji inne - duże trudności sprawia wycena cząstkowa poszczególnych etapów obliczeniowych -- ten punkt absolutnie nie do przyjęcia. Nazwa analizy sondażowe badania ankietowe analizy eksperymentu badawczego analizy kliniczno-kontrolne badania epidemiologiczne badania populacyjne analizy chemometryczne kontrola jakości analiizy socjologiczne analizy psychologiczne analizy pedagogiczne metrologia echniczna analizy finansowe analizy ekonometryczne Cena [zł]* 2.0 Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 7 z 15
analizy chemometryczne karty kontrolne wysokie technologie techniczne analizy wyceny nieruchomości badania operacyjne prognozowanie i symulacja szeregi czasowe analizy wysokospecjalistyczne *Cena dotyczy wykonania 6. Edycja Dziedziny danych powinna być poszerzona o inne. Także w tym punkcie wycena dziedziny jest nie do przyjęcia. Nazwa medycyna farmacja biologia chemia fizyka technika rolnictwo weterynaria nowe technologie zastosowania nauk ekonomia humanistyka socjologia budownictwo Cena [zł]* motoryzacja *Cena dotyczy wykonania usługi z danej dziedziny 7. W pozycji Edycja poziomów analiz brak inne. Wycena jest nie do przyjęcia. Nazwa specjalistyczny analizy jednej zmiennej analizy dwoch zmiennych analizy wielu zmiennych analizy zależności i różnic pomiędzy dwiema zmiennymi i grupami zmiennych Cena [zł]* Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 8 z 15
analizy zależności i róznic pomiedzy wieloma zmiennymi i grupami zmiennych analizy gradacyjne analizy data mining budowa modeli i ich weryfikacja analiza przeżycia wielowymiarowe techniki eksploatacyjne zawansowane modele liniowe i nieliniowe *Cena dotyczy wykonania usługi przy użyciu wybranego poziomu analizy 8. W pozycji Narzędzia analiz brak inne. Sugerowałabym nazwę tego etapu - pakiety obliczeniowe. Wycena jest nie do przyjęcia. Nazwa Excell Statistica GradeStat SPSS EViews SAS STATA PPPP SAM Minitab S-Pluss Cena [zł]* EPINFO *Cena dotyczy wykonania usługi 9. Zawartość Raportu końcowego powinna uwzględniać inne. Nazwa opis przeprowadzonych analiz statystycznych opis postaci przyjętych założeń opis obiektów odrzuconych z analiz przedstawienie wyników analiz w postaci tabel wizualizacja danych i wyników analiz opis zastosowanych testów statystycznych opis zastosowanych baz danych komputerowych interpretacja wyników analiz *Cena dotyczy Cena [zł]* Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 9 z 15
10. Brak punktu opisującego nośnik dostarczonych danych ( z bezwzględnym uwzględnieniem zapisu ręcznego). Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 10 z 15
5. Sugestie dotyczące korzystania z dodanej oferty jako klient (pkt 3. instrukcji testowania) Poniżej należy zamieścić uwagi, sugestie oraz propozycje zmian dotyczące użytkowania strony związanej z wyszukiwaniem oraz korzystaniem ze zgłoszonej usługi. Należy wymienić również problemy, jakie wystąpiły podczas wyszukiwania oferty oraz zawierania elektronicznej umowy z wybranym usługodawcą. W uwagach można zamieszczać zrzuty ekranów w celu lepszego zobrazowania i wyjaśnienia opisywanych uwag, sugestii i problemów. Ilość uwag może być dowolna. Formułując uwagi i sugestie należy uwzględnić następujące aspekty: a) Czy interfejs klienta (wygląd i działanie formularzy do wyszukiwania i zawierania kontraktu) jest przyjazny dla użytkownika (w tym także dla użytkownika niepełnosprawnego)? b) Na ile formularz pozwala na szybkie wyszukanie i wybranie potrzebnej oferty? c) Co należałoby ulepszyć, poprawić, dodać do formularzy wyszukiwania oraz kreatora zawierania kontraktu? d) Co jest dobrym i funkcjonalnym rozwiązaniem dla użytkownika? Uwagi, problemy, sugestie, spostrzeżenia: 1. Bez rejestracji można dowiedzieć się o istnieniu usługi p.t. Analiza danych statystycznych 2. W zakładce Nauka i Edukacja Nauka Analiza danych statystycznych. Na stronie https://ent.ipipan.waw.pl/client/jsp/servicessearch.jsp?f=50 Ukazuje się kwestionariusz dla zamawiającego usługę, z opisem wstępnym i można przejść do tworzenia oferty Zamawiającego: 3. W pozycji Dziedzina danych - brak wyboru - inne Dziedzina danych * : biologia 4. W pozycji Specjalność danych - brak wyboru - inne 5. W pozycji Rodzaj (poziom) danych - brak wyboru - inne 6. W pozycji Narzędzie analiz - brak wyboru - inne 7. W pozycji Rodzaj bazy - brak wyboru ręczne zapisy danych oraz - inne Rodzaj bazy * : komputerowa baza danych 8. Pozycja Ilość rekordów może być niejasna dla osób spoza branży Ilość rekordów * : Orientacyjna liczba rekordów w bazie 9. Pozycja Zawartość raportu końcowego mogłaby uwzględniać specjalne życzenia zamawiającego Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 11 z 15
Zawartość raportu końcowego * : interpretacja wyników analiz opis obiektów odrzuconych z analiz opis przeprowadzonych analiz statystycznych opis zastosowanych baz danych komputerowych opis zastosowanych testów statystycznych przedstawienie wyników analiz w postaci tabel wizualizacja danych i wyników analiz 10. Wydaje się zbędne pytania o Województwo i kolejne o Miejscowość, w których szukamy usługodawcy. Województwo : w którym szukamy usługodawcy Miejscowość : w której szukamy usługodawcy 11. Brak pytania o kontakt (potrzebę kontaktu i możliwość jego realizacji) Wykonawcy tej naukowej usługi z Zamawiającym w celu dyskusji w trakcie kolejnych kroków wykonywanych analiz. Taki punkt został zaproponowany w źródłowym opisie Usługi. Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 12 z 15
6. Sugestie dotyczące podpisywania kontraktu ze strony usługodawcy (pkt 4. instrukcji testowania) Poniżej należy zamieścić uwagi, sugestie oraz propozycje zmian dotyczące użytkowania strony związanej z podpisywaniem elektronicznego kontraktu od strony usługodawcy (na serwerze usług). Należy wymienić również problemy, jakie wystąpiły podczas podpisywania kontraktu. W uwagach można zamieszczać zrzuty ekranów w celu lepszego zobrazowania i wyjaśnienia opisywanych uwag, sugestii i problemów. Ilość uwag może być dowolna. Uwagi, problemy, sugestie, spostrzeżenia: 1. W trakcie testowania Usługi udało się wygenerować Umowy i Rachunki.. Analiza danych statystycznych Logowanie Rejestracja Wyloguj Oferta Dane do umowy i rachunku Kontrakty Terminarz Data i godzina sporządzenia umowy 2010-01-21 16:56:52 Data i godzina wystawienia rachunku / odrzucenia umowy 2010-01-21 17:07:12 Lista 1 kontraktów Typ kontraktu Analiza danych statystycznych - Umowa o dzieło Nazwa klienta Stefan Lachiewicz PL WOZ Cena całkowita zł 700,00 Status Rachunek Zaakceptowany i Wysłany Opcje 2. Zaobserwowano jednakże Ze UMOWA O DZIEŁO w Paragrafie 1 w punkcie 1 automatycznie generuje Usługę WYNAJEM LIMUZYN zamiast WYKONANIE ANALIZ DANYCH STATYSTYCZNYCH. 1. Zamawiający zamawia, a Wykonawca przyjmuje zamówienie wykonania: Wynajem limuzyn 2. Szczegółowy zakres pracy określa załącznik nr 1 niniejszej umowy. 3. W Postanowieniach Wykonawcy zbędny wydaje się punkt 3 $ 1 3. Wykonawca jest obowiązany przestrzegać przepisów oraz zasad bezpieczeństwa i higieny pracy. 4. Wszystkie kontrakty, umowy powinny jednakże być zaopiniowane przez prawników 5. Testowanie usługi przebiegało z trudnościami, ze względu na ogromne trudności z dopasowaniem ceny za usługę oferowaną przez Zamawiającego z cenami Wykonawcy, które są Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 13 z 15
składowymi kilkunastu elementów składowych. Powinna być jedna cena za całość pracy Wykonawcy. Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 14 z 15
7. Sugestie dotyczące sprawdzenia rezultatów podpisania kontraktu jako klient (pkt 5. instrukcji testowania) Poniżej należy zamieścić uwagi, sugestie oraz propozycje zmian dotyczące użytkowania strony klienta (aplikacji klienckiej) związanej z prezentacją rachunków za wykonane usługi. Należy wymienić również problemy, jakie wystąpiły podczas przeglądania rachunków za wykonaną usługę. W uwagach można zamieszczać zrzuty ekranów w celu lepszego zobrazowania i wyjaśnienia opisywanych uwag, sugestii i problemów. Ilość uwag może być dowolna. Uwagi, problemy, sugestie, spostrzeżenia: 1. Klient łatwo, bez logowania uzyskuje informację o istnieniu na Platformie ELA-enT usługi o nazwie Analiza danych statystycznych. 2. Jednakże szczegółowe oferty Wykonawcy usługi Analizy danych statystycznych możliwe są do obejrzenia dla ewentualnego Zamawiającego dopiero po zalogowaniu (po dokonaniu rejestracji i otrzymaniu hasła). 3. Klient może sprawdzić warunki Umowy i Rachunku logując się na stronę: https://ent.ipipan.waw.pl/client/jsp/contracts.jsp Data i godzina 2010-01-21 16:56:52 Usługa Analiza danych statystycznych Typ umowy Umowa o dzieło Sprzedający Umowa Rachunek Aldona Dunicz- Sokolowska 4. Podobnie jak Wykonawca Zamawiający zauważy, że Umowa w $1 definiuje usługę jako WYNAJEM LIMUZYN (do poprawki). Pokaż Opracowanie szablonu raportu: M. Faderewski i D. Mikułowski Strona 15 z 15