KROK 2: ZDEFINIOWANIE I OKREŚLENIE CELÓW KROK 3: CZYM JEST SATYSFAKCJA UŻYTKOWNIKA?

Transkrypt

1 Jak połączyć twarde konwersje z pomiarem satysfakcji użytkownika? Testy A/B w serwisach kontentowych na przykładzie wyszukiwarki panoramafirm.pl. Zespół Panoramy Firm od dłuższego czasu przeprowadzał testy A/B serwisu oraz mierzył kondycję marki i lojalność użytkowników. Nigdy jednak nie łączył tych dwóch odrębnych zbiorów danych w celu optymalizacji serwisu. Czy jest to w ogóle możliwe, zwłaszcza w serwisie, w którym konwersja nie jest oczywista? W przypadku sklepu internetowego konwersją będzie zakup, w przypadku innych serwisów pozostawienie zapytania ofertowego w formie numeru telefonu, adresu czy pobranie pliku lub zapisanie się do newslettera. A co będzie konwersją dla wyszukiwarki lokalnej, jaką jest panoramafirm.pl? W tym przypadku trudno mówić o prostych konwersjach mierzących wszystkie istotne interakcje użytkownika z serwisem. Z takim wyzwaniem zmierzył się zespół Panoramy Firm wspólnie z firmą Conversion. Celem projektu było stworzenie wskaźnika, który łączy satysfakcję użytkownika i liczbę leadów generowanych przez serwis. Zaprojektowanie takiej metryki stanowiło podstawę do nowej metodyki optymalizacji współczynnika konwersji opartej na testach A/B. KROK 1: ANALIZA POTRZEB Panorama Firm to największa w Polsce lokalna wyszukiwarka firm, produktów i usług. Serwis ten łączy użytkowników z usługodawcami z ponad 1000 branż. Jego celem jest dostarczenie użytkownikom jak najbardziej wartościowych informacji, a klientom (reklamodawcom) kontaktów biznesowych. Mamy więc dwie strony klientów Panoramy Firm, którzy umieszczają i płacą za swoje wizytówki w serwisie oraz użytkowników wyszukiwarki firm, którzy poszukują dostawców usług i produktów. Działania, które z punktu widzenia jednej grupy mają usprawnić Panoramę Firm, nie zawsze są optymalne z punktu widzenia drugiej grupy. Przykładem mogą być agresywne reklamy zwiększające widoczność usługodawcy (klienta), ale irytujące użytkowników serwisu. Największym wyzwaniem jest więc znalezienie złotego środka serwisu, który jest przyjazny i użyteczny dla internautów, a jednocześnie będący źródłem leadów dla klientów. Liczba leadów zależy w głównej mierze od wielkości ruchu w serwisie. Sam ruch buduje się dwoma sposobami: przyciągając nowych użytkowników oraz wzmacniając lojalność wśród obecnych. Zadowolony użytkownik, którego doświadczenia z serwisem internetowym były pozytywne, zazwyczaj odwiedza go ponownie. W SKRÓCIE Panorama Firm to największa w Polsce lokalna wyszukiwarka firm, produktów i usług. Serwis ten łączy użytkowników z usługodawcami z ponad 1000 branż. Witryna: htp:// Branża: Wyszukiwarka produktów i usług Cel współpracy Celem projektu analitycznego we współpracy z firmą Conversion było znalezienie odpowiedzi na poniższe pytania: Jak mierzyć konwersję zdefiniowaną jako satysfakcja użytkownika? Jak mierzyć i optymalizować jednocześnie satysfakcję użytkownika oraz generowanie leadów? Jakie zmiany należy wprowadzić w serwisie, aby działał lepiej? Końcowe rezultaty 1. Wypracowanie wskaźnika, który pozwala mierzyć konwersję w serwisie definiowaną jako poziom lojalności użytkownika, 2. Wdrożenie mechanizmu testowania i zintegrowano dane z narzędziami analitycznymi Panoramy Firm, 3. Stworzenie podstaw do nowej metodyki optymalizacji współczynnika konwersji opartej na testach A/B.. Patrzymy na analitykę cyfrową jako integralny element doskonalenia user experience. Nasza wizja data-driven design zakłada bliską współpracę i uzupełnianie kompetencji projektantów i analityków. Prezentowany projekt, łączący dane ankietowe z click stream jest tego przykładem. Mam również nadzieję, że inspiracją dla innych. Piotr Poznański Traffic and Product Development Manager Eniro Polska. Panoramafirm.pl przykład listingu branżowego.

2 Leady dla Klientów Leadami w Panoramie Firm są poszczególne akcje podejmowane przez użytkowników może to być wysłanie a, kontakt telefoniczny czy przejście do serwisu. Każda z tych interakcji jest mierzona, a następnie na ich bazie budowany jest złożony KPI, wyrażający w syntetyczny sposób wartość leadów dla klienta. Wskaźnik satysfakcji użytkowników Na tym etapie projektu brakowało odpowiedniego wskaźnika mierzącego satysfakcję użytkowników możliwego do wykorzystania jako twarda metryka w testach A/B. KROK 2: ZDEFINIOWANIE I OKREŚLENIE CELÓW Celem projektu analitycznego we współpracy z firmą Conversion było znalezienie odpowiedzi na poniższe pytania: 1. Jak mierzyć konwersję zdefiniowaną jako satysfakcja użytkownika? 2. Jak mierzyć i optymalizować jednocześnie satysfakcję użytkownika oraz generowanie leadów? 3. Jakie zmiany należy wprowadzić w serwisie, aby działał lepiej? Na tym etapie najważniejsze było zbudowanie wskaźnika, który w wymierny sposób prezentowałby poziom satysfakcji użytkowników. Opracowany wskaźnik miał posłużyć jako jeden z KPI serwisu. KPI mierzą efektywność w realizacji celów operacyjnych oraz strategicznych. Dzięki nim możemy na bieżąco oceniać performance serwisu. Nowy wskaźnik miał odzwierciedlać poziom satysfakcji użytkowników i stanowić obiektywną ocenę podejmowanych działań mówi Bogna Mikołajewska, Project Manager ze strony Conversion. KROK 3: CZYM JEST SATYSFAKCJA UŻYTKOWNIKA? Nie ma wątpliwości, że zadowolenie użytkownika ma ogromne znaczenie dla zwiększenia ruchu na stronie. A im więcej zadowolonych użytkowników, tym większy ruch i tym więcej firm, które zdecydują się umieścić swoje wizytówki na panoramafirm.pl Dlatego w pierwszym etapie projektu przeprowadzono warsztaty, mające na celu poznanie i przeanalizowanie ścieżek użytkowników w serwisie. Określono 3 główne elementy, które wpływają na satysfakcję użytkownika: adekwatne wyniki wyszukiwania prosty i intuicyjny interfejs użytkownika, kompletna i aktualna baza firm i ich ofert. Celem warsztatów było także zdefiniowanie, w którym momencie kształtuje się satysfakcja użytkownika. Model wykorzystany do analizy budowania satysfakcji użytkownika. Najpierw szczegółowo omówiony został proces zachowywania się użytkowników przed, w trakcie i po wizycie w serwisie. Wykorzystana została wiedza o użytkownikach, jaką posiada Zespół panoramafirm.pl Magdalena Raszewska i Piotr Poznański. Następnym etapem było zastanowienie się, w których momentach tego procesu użytkownik może odczuwać satysfakcję i w jakim momencie kreuje się jego ocena wyników wyszukiwania.

3 KROK 4: STWORZENIE METRYKI W celu ustalenia metryki do pomiaru satysfakcji użytkowników wykorzystano ankietę zbierającą dane na temat zadowolenia, celu i przebiegu wizyty. Za pomocą pop-up zachęcano użytkowników do wzięcia udziału w badaniu. Okno pokazywało się w momencie, w którym użytkownik chciał opuścić serwis zgodnie z założeniem, że satysfakcja tworzy się po zakończeniu wizyty. Po wyrażeniu zgody użytkownik był przenoszony do nowej karty przeglądarki, gdzie znajdowała się ankieta. W ankiecie wykorzystano pytania wypracowane w trakcie warsztatów. Ankieta obejmowała takie obszary, jak: cel wizyty i poziom jego realizacji sposób wykorzystania znalezionych danych korzystanie z poszczególnych elementów serwisu, takich jak mapa czy filtrowanie wyników typ wyszukanych informacji (np. telefon, adres) satysfakcja Dane z ankiety posłużyły do analizy korelacji pomiędzy poszczególnymi akcjami użytkownika na stronie a poziomem zadowolenia. Przykładowa analiza wykonana w oparciu o zebrane dane Jedną z przeprowadzonych analiz była analiza samooceny zadowolenia użytkownika. Odnalezienie poszukiwanego produktu lub usługi w wyraźny sposób koreluje z satysfakcją użytkownika. Na uwagę zasługuje fakt, że samo odnalezienie informacji nie determinuje najwyższej satysfakcji. Nawet użytkownicy, którzy nie znaleźli produktu lub usługi oceniali swoją wizytę w przedziale 0-5. A ci, którym się to udaje, nie zawsze przyznają najwyższą ocenę.

4 KROK 5: BADANIE NPS Analizując kompletne wyniki ankiety określono, że w przypadku serwisu Panorama Firm wskaźnikiem najlepiej korelującym z satysfakcją użytkownika jest NPS (Net Promotor Score). Na tej podstawie zdecydowaliśmy, że docelowo konwersję będziemy badać wykorzystując właśnie założenie NPS tyle że wynik będziemy mierzyć inaczej. Pytanie pozostało bez zmian: W skali od zera do dziesięciu, na ile prawdopodobne jest, że polecisz firmę X swojemu znajomemu?, natomiast zmienił się sposób obliczania końcowego wyniku. Ustalono także graniczne wartości NPS, których osiągnięcie będzie traktowane jako konwersja. Badanie NPS zakłada zgłębienie przyczyny konkretnej odpowiedzi. Dlatego zdecydowano, że dla NPS o wartości niższej niż graniczna, użytkownikowi pojawi się dodatkowe pytanie: Co powinniśmy poprawić w serwisie Panorama Firm?. Następnie wdrożyliśmy ankietę umożliwiającą mierzenie wyżej omawianego wskaźnika. Zdecydowaliśmy się nie korzystać z zewnętrznych narzędzi, ale wdrożyć własne rozwiązanie. Dało nam to możliwość dopasowania ankiety do naszych potrzeb i obniżyło koszty (wdrożenie przez nasze wewnętrzne IT). I co najważniejsze sama ankieta mogła zostać zintegrowana z narzędziami analitycznymi, tj. SiteCatalyst i Google Analytics mówi Magdalena Raszewska, User Analytics Expert KROK 6: WDROŻENIE MECHANIZMU TESTÓW I INTEGRACJA NARZĘDZI Pierwszym krokiem była implementacja mechanizmu testów. Mechanizm losujący został przygotowany w narzędziu do zarządzania tagami firmy Innometrics. Pozwala ono określić poziom próbkowania oraz podzielić użytkowników na grupy. Informacja o wersji testu jest przekazywana w ciasteczku, stworzonym na potrzeby testów A/B. Dane z ankiety zostały zintegrowane z dwoma narzędziami analitycznymi wykorzystywanymi przez Panoramę Firm Google Analytics oraz Adobe Analytics. Adobe Analytics Za pośrednictwem Adobe Analytics (SiteCatalyst) zachodzi losowanie wersji serwisu, jaka pokazuje się użytkownikowi. W celu przekazywania danych z ankiety do SiteCatalyst utworzono nowe zmienne, a do analizowania wyników - dedykowane raporty. Za konfigurację SiteCatalyst odpowiadał Zespół Panorama Firm. Adobe Analytics daje możliwość analizy ruchu w serwisie w dużo bardziej zaawansowany sposób niż darmowe rozwiązania. Narzędzie pozwala tworzyć metryki dedykowane dla konkretnych zachowań użytkowników, również tych niestandardowych i specyficznych dla naszego biznesu. Przełożenie informacji, zbieranych dotychczas w badaniach marketingowych, na metryki ilościowe pozwoliła ująć aspekt jakościowy we wszystkich analizach i połączyć informacje o satysfakcji z szeregiem innych istotnych wymiarów. mówi Magdalena Raszewska, User Analytics Expert. Google Analytics Wszystkie interakcje wewnątrz ankiety NPS oraz wersja witryny były przekazywane do Google Analytics. Do tego celu wykorzystano śledzenie zdarzeń, skonfigurowane za pomocą Google Tag Manager. Dane z ankiet i wersje testu są przekazywane do Google Analytics za pomocą śledzenia zdarzeń.

5 Szczegółowy opis konfiguracji narzędzi został przedstawiony w załączniku.: Z uwagi na fakt, że wypracowana metodyka miała ma być wykorzystywana do podejmowania istotnych decyzji biznesowych, musieliśmy mieć pewność, że zbieramy kompletne i nieprzekłamane dane. Aby dokonać walidacji poprawności konfiguracji narzędzi w teście, wykorzystywaliśmy równolegle Adobe Analytics i Google Analytics. Pełna zgodność danych utwierdziła nas w przekonaniu, że możemy im zaufać mówi Piotr Poznański, Traffic and Product Development Manager w Eniro Polska. KROK 6: TEST PILOTAŻOWY Jak wspomniano na początku, celem projektu było nie tylko wdrożenie wskaźnika mierzącego konwersję, ale także wykorzystanie go przy testach A/B. Zanim zespół Panoramy Firm przystąpił do testów, wspólnie z ekspertami Conversion zweryfikowano wdrożone rozwiązania za pomocą testu pilotażowego. Sprawdzano poprawność działania mechanizmu losującego i przekazywania danych do Google Analytics i SiteCatalyst. Użytkownicy byli losowo kierowani na wersję A albo B serwisu, z tym że obie wersje były takie same. Po kilku dniach przeprowadzono analizę, której celem było sprawdzenie czy wyniki ankiety w obu wersjach nie różnią się od siebie statystycznie. Analiza pokazała, że nie ma istotnej statystycznie różnicy w udzielanych odpowiedziach, co świadczyło o tym, że test działa poprawnie. Ankieta, którą widzieli użytkownicy składała się z dwóch pytań. Pytanie typu NPS czy poleciłbyś serwis Panorama Firm swojemu przyjacielowi? Ze skalą 0 (na pewno nie polecę) do 10 (Zdecydowanie polecę). W przypadku gdy odpowiedź była niższa niż 10 pojawiało się kolejne pytanie co powinniśmy poprawić w serwisie panoramafirm.pl. KROK 8: WŁAŚCIWE TESTY A/B Efektem współpracy było wypracowanie wskaźnika, który pozwala mierzyć konwersję w serwisie definiowaną jako poziom lojalności użytkownika. Wdrożono także mechanizm testowania i zintegrowano dane z narzędziami analitycznymi Panoramy Firm. Wspólny projekt Conversion i Eniro Polska pokazuje, że punktem wyjścia dla rozwoju analityki internetowej są potrzeby biznesowe. Najpierw powstają pytania. W poszukiwaniu rozwiązań i odpowiedzi dobierane są metryki i wskaźniki, które stanowią podstawę optymalizacji i zmian w serwisie. mówi Bogna Mikołajewska, Project Manager po stronie Conversion. Wspólny projekt pozwolił wzbogacić wykorzystywaną dotychczas bazę danych ilościowych na temat ruchu w serwisie o czynnik jakościowy. Informacje na temat satysfakcji użytkowników weszły na stałe do zestawu analizowanych danych. Teraz decyzje są podejmowane nie tylko w oparciu o oglądane treści i generowane leady, ale również o doświadczenie użytkowników z serwisem. mówi Magdalena Raszewska, User Analytics Expert w Eniro Polska. Patrzymy na analitykę cyfrową jako integralny element doskonalenia user experience. Nasza wizja data-driven design zakłada bliską współpracę i uzupełnianie kompetencji projektantów i analityków. Prezentowany projekt, łączący dane ankietowe z click stream jest tego przykładem. Mam również nadzieję, że inspiracją dla innych. mówi Piotr Poznański, Traffic and Product Development Manager w Eniro Polska.