Tytuł oryginału: A/B Testing: The Most Powerful Way to Turn Clicks Into Customers

Transkrypt

1

2 Tytuł oryginału: A/B Testing: The Most Powerful Way to Turn Clicks Into Customers Tłumaczenie: Maksymilian Gutowski Projekt okładki: Jan Paluch ISBN: Copyright 2013 by Dan Siroker and Pete Koomen. All rights reserved. All Rights Reserved. This translation published under license with the original publisher John Wiley & Sons, Inc. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, recording, scanning or otherwise without the prior permission of the publisher. Translation copyright 2014 by Helion S.A. Wszelkie prawa zastrzeżone. Nieautoryzowane rozpowszechnianie całości lub fragmentu niniejszej publikacji w jakiejkolwiek postaci jest zabronione. Wykonywanie kopii metodą kserograficzną, fotograficzną, a także kopiowanie książki na nośniku filmowym, magnetycznym lub innym powoduje naruszenie praw autorskich niniejszej publikacji. Wszystkie znaki występujące w tekście są zastrzeżonymi znakami firmowymi bądź towarowymi ich właścicieli. Autor oraz Wydawnictwo HELION dołożyli wszelkich starań, by zawarte w tej książce informacje były kompletne i rzetelne. Nie biorą jednak żadnej odpowiedzialności ani za ich wykorzystanie, ani za związane z tym ewentualne naruszenie praw patentowych lub autorskich. Autor oraz Wydawnictwo HELION nie ponoszą również żadnej odpowiedzialności za ewentualne szkody wynikłe z wykorzystania informacji zawartych w książce. Materiały graficzne na okładce zostały wykorzystane za zgodą Shutterstock Images LLC. Wydawnictwo HELION ul. Kościuszki 1c, GLIWICE tel , helion@helion.pl WWW: (księgarnia internetowa, katalog książek) Drogi Czytelniku! Jeżeli chcesz ocenić tę książkę, zajrzyj pod adres Możesz tam wpisać swoje uwagi, spostrzeżenia, recenzję. Printed in Poland. Oceń książkę Księgarnia internetowa Lubię to!» Nasza społeczność

3 Spis treści Rozdział 1. Jak testy A/B dwukrotnie pomog y w zdobyciu Bia ego Domu 5 CZĘŚĆ I CO WYNIE LI MY Z PONAD 200 TYSI CY TESTÓW A/B 15 Rozdział 2. Co testowa 17 Rozdział 3. Mierz w maksimum globalne 33 Rozdział 4. Mniej znaczy wi cej: ograniczaj wybór 47 Rozdział 5. S owa: skoncentruj si na swoim CTA 59 Rozdział 6. Ucz si na pora kach 71 CZĘŚĆ II WDRO ENIE TESTÓW A/B: KROK PO KROKU 81 Rozdział 7. Wybierz rozwi zanie odpowiednie dla Twojej organizacji 83 Rozdział 8. Syndrom HiPPO i jak si z niego wyleczy 95 Rozdział 9. Zespó testerów A/B 105 Rozdział 10. Powtórzenia i powtórzenia 115 CZĘŚĆ III ZAAWANSOWANE PROBLEMY TESTOWANIA A/B 127 Rozdział 11. Jak zepsu test A/B 129 Rozdział 12. Witryna to nie wszystko: testowanie A/B w innych obszarach 137 Rozdział 13. Personalizacja 149

4 4 Testy A/B. Od kliknięcia do klienta Zako czenie 159 Dodatek A. 60 testów A/B 161 Dodatek B. Wska niki i statystyki testowania A/B 173 Podzi kowania 187 Skorowidz 189

5 ROZDZIAŁ 6 Ucz się na porażkach Jak się cieszyć, że jednak A wygrało z B

6 72 Co wynieśliśmy z ponad 200 tysięcy testów A/B

7 Ucz się na porażkach 73 Z Je li chcesz zwi kszy swój wska nik sukcesów, musisz podwoi swój wska nik pora ek. Thomas J. Watson, by y prezes i dyrektor generalny IBM poprzednich rozdzia ów mog e wysnu wniosek, e ka dy przeprowadzony eksperyment przyniesie pozytywny wynik. (To po co w ogóle je prowadzi? Wystarczy wprowadza w elementach zmiany, które chcia- e przetestowa, a wiat stanie przed Tob otworem!) W rzeczywisto ci jednak nie ka dy wariant okazuje si lepszy od wariantu kontrolnego. Mimo wszystko nawet nieudane eksperymenty maj swoj warto u wiadomienie sobie, e dana zmiana zadzia a na Twoj niekorzy, jest niew tpliwie korzystniejsze od wprowadzenia tej zmiany. Co wi cej, cz sto z takich w a nie eksperymentów dowiadujemy si najwi cej o u ytkownikach i o tym, czym si kieruj. W istocie nieudane eksperymenty podwa aj przyj te przez testera za o enia, a ich wyniki mog wskaza, dlaczego owe za o enia by y b dne. Najlepsze miejsce kontra znajome miejsce: IGN Serwis dla graczy IGN chcia sprowadzi wi ksz liczb u ytkowników na podstron z filmami, która odpowiada a za znaczn cz przychodów z reklam. Zespó firmowy zatem postanowi przeprowadzi test A/B, w ramach którego link Videos zosta przeniesiony na lewy kraniec g ównego panelu nawigacyjnego (rysunek 6.1). W wielu organizacjach wprowadzenie takiej modyfikacji zosta oby zaordynowane na samym szczycie przez osob, która na ca ym interesie zarabia najwi cej. Tymczasem przed wprowadzeniem tej zmiany na sta e IGN przeprowadzi eksperyment, by si dowiedzie, jakiego dok adnie wzrostu mo na oczekiwa po wyeksponowaniu linku Videos.

8 74 Co wynieśliśmy z ponad 200 tysięcy testów A/B RYSUNEK 6.1. Pierwotny panel nawigacji IGN oraz wariant z przyciskiem Videos w innym miejscu Nie do, e testy nie wykaza y wzrostu, to jeszcze pokaza y, e nowy banner obni y klikalno filmów o nieprawdopodobne 92,3%. Gdyby przeniesiono link Videos w ciemno, bez uprzedniego wykonania testu, zmiana mia aby katastrofalne skutki. Poniewa ruch na IGN jest bardzo intensywny, wystarczy o par godzin na uzyskanie statystycznie znamiennych wyników. Dzi ki temu mo na by o przerwa eksperyment, powróci do pierwotnego designu i zacz szuka odpowiedzi w zebranych danych. Test ocali IGN przed katastrof, która mia aby miejsce, gdyby zdecydowano si na wprowadzenie nowego panelu nawigacyjnego, ale nale y z tego wyci gn powa niejsze wnioski. Jedn z najwa niejszych przyczyn wyst pienia tak skrajnych rozbie no ci w wynikach jest to, e znaczna cz ruchu na serwisie pochodzi zazwyczaj od powracaj cych u ytkowników, postrzegaj cych stron w okre lony sposób w tym wypadku oczekuj cych, e link Videos znajd po prawej, a nie po lewej stronie. Je li element zniknie ze swojego miejsca, u ytkownikom nie b dzie si chcia o go szuka. Rozwa enie g ównych przyczyn wyst pienia takich, a nie innych rezultatów pozwala lepiej zrozumie nie tylko charakter zaproponowanych zmian, ale równie charakter samego procesu testowania. Zespó mo e od tego momentu uwzgl dnia to, e do wiadczenia

9 Ucz się na porażkach 75 nowych i powracaj cych u ytkowników bardzo si od siebie ró ni. Ta wiadomo zaowocuje w kolejnych testach. (Wnioskom wyci ganym przy segmentacji ruchu przyjrzymy si bli ej w rozdziale 13.). Różne rozwiązania sprawdzają się na różnych poziomach: sklepy internetowe Testowanie A/B jest bardzo popularne w bran y sklepów internetowych. Wiele z tych, z którymi wspó pracowali my, stale testuje jakie rozwi zania. Jak mówi, zawsze da si co ulepszy lub zoptymalizowa. Wielu detalistów wy wietla na swoich stronach recenzje i oceny klientów. Pewien wielki sklep internetowy odkry w ramach testowania, e wy wietlanie ocen w widocznym miejscu na stronach produktów wspomaga o konwersj. Zespó postanowi przeprowadzi eksperyment z zamieszczeniem ocen na stronie kategorii stronie znajduj cej si o poziom wy ej w hierarchii wzgl dem strony produktu, ukazuj cej wszystkie artyku y z danej kategorii. Wydawa o si to do rozs dne: pokazanie ocen na stronie ogólnej powinno zach ci ludzi do klikania dalej i obejrzenia wi kszej liczby produktów, a tym samym podwy szy wska nik konwersji (rysunek 6.2). RYSUNEK 6.2. Pierwotna forma opisu produktu na stronie kategorii oraz wersja z gwiazdkami

10 76 Co wynieśliśmy z ponad 200 tysięcy testów A/B Na szcz cie zespó postanowi przeprowadzi najpierw testy, poniewa nowy wariant przyniós by wi cej szkody ni po ytku. Okaza o si, e widoczno ocen obni y a poziom konwersji o 10%. Z tego testu wynika, e rozwi zania sprawdzaj ce si na jednym poziomie niekoniecznie sprawdz si na innych; element dzia aj cy na korzy strony produktu okaza si nieodpowiedni dla strony kategorii. Warto pami ta, e je li rozwi zanie sprawdza si na danym obszarze strony nawet je li udowodniono jego warto nie trzeba od razu wprowadza go we wszystkich innych miejscach bez uprzedniego upewnienia si, e to dobry pomys. Interes nabywcy to niekoniecznie interes sprzedawcy: Etsy Etsy, targowisko z wyrobami r kodzielniczymi i artyku ami vintage, miesi cznie jest odwiedzane przez ponad 42 mln unikalnych u ytkowników, dzi ki czemu zajmuje miejsce w ród 200 najpopularniejszych witryn w rankingu Alexa. Testowanie A/B jest dla deweloperów istotnym narz dziem pozyskiwania danych o zachowaniu ponad 800 tys. sprzedawców i 20 mln u ytkowników serwisu. U ytkownik Etsy pos uguje si kana em informacyjnym, w którym mo e przegl da aktywno znajomych w serwisie: co kupuj i polecaj. Na Etsy cotygodniowo pojawiaj si tysi ce artyku ów, a kana informacyjny jest wygodnym narz dziem odnajdowania nowych przedmiotów (rysunek 6.3). Kana informacyjny przedstawia na jednej li cie czynno ci wykonywane przez sprzedawców i nabywców. Zespó Etsy uzna, e mo na by znacz co poprawi do wiadczenie u ytkownika poprzez zmian wygl du kana u oraz usuni cie pola Your Shop ( Twój sklep ) i pozostawienie jedynie pola People You Follow ( Ludzie, których obserwujesz ). Przeprowadzono nast pnie test A/B, by porówna efektywno pierwotnego uk adu z nowym.

11 Ucz się na porażkach 77 RYSUNEK 6.3. Pierwotny kanał informacyjny Etsy Ku zdziwieniu zespo u w nowym wariancie interakcja u ytkowników z kana em znacz co spad a. Po bli szym przyjrzeniu si danym zespó odkry sposób u ytkowania serwisu, którego wcze niej nie przewidzia. Okaza o si, e przy zarz dzaniu swoimi sklepami sprzedawcy korzystali z w asnych kana ów w charakterze osi czasu ukazuj cej, kiedy jakie produkty oferowali. Zespó postrzega kana jako narz dzie pozwalaj ce nabywcom przegl da, co ludzie robi w serwisie. Tymczasem to sprzedawcy korzystali z tej funkcji, która zosta a im odebrana przez nowy interfejs. Gdyby nie ten zaskakuj cy rezultat, zespó Etsy nigdy by si nie dowiedzia o takim charakterze u ytkowania serwisu. Teraz móg nie tylko uwzgl dni t informacj, ale te projektowa z my l o niej. Kolejna wersja interfejsu (rysunek 6.4) zawiera a dwa przyciski: Following ( Obserwowane ) i Your Shop ( Twój sklep ). Historia zako czy a si szcz liwie. Obecnie Etsy rozwija funkcjonalno strony

12 78 Co wynieśliśmy z ponad 200 tysięcy testów A/B RYSUNEK 6.4. Ostateczna postać kanału Etsy na podstawie sposobu u ytkowania, o którym zupe nie nie by o wiadomo, dopóki si nie okaza o, e przeprojektowany serwis jest niewypa em. Kiedy tak znaczy nie: Chrome Industries Zespó ds. handlu internetowego Chrome Industries przez lata eksperymentowa z wieloma oprawami graficznymi artyku ów dla rowerzystów, a ostatnio postanowi sprawdzi, czy film o produkcie zach ci by wi ksz liczb u ytkowników do zakupów ni statyczny obraz (rysunek 6.5). Celem testu by o okre lenie, czy przeznaczy dodatkowe zasoby na produkcj filmów. Do eksperymentu zespó wybra jeden produkt: buty Truk. Zespó sprawdzi, jaki odsetek u ytkowników przechodzi ze strony kategorii do strony produktu, jaki odsetek zaczyna zakupy oraz jaki odsetek ostatecznie sk ada zamówienie. Wyniki prowadzonych przez nieca e trzy miesi ce testów by y ma o porywaj ce: 0,5% wi cej u ytkowników

13 Ucz się na porażkach 79 RYSUNEK 6.5. Pierwotna reklama butów Truk z obrazem oraz wariant z filmem cz ciej odwiedza o stron produktu Truk przy wariancie z obrazem, 0,3% wi cej rozpoczyna o zakupy przy wariancie z filmem, a 0,2% wi cej sk ada o zamówienie w wariancie z filmem. Innymi s owy, wariant z filmem okaza si odrobin lepszy od wariantu z obrazem, ale poniewa wyprodukowanie filmu wymaga du o wi kszych nak adów ze strony Chrome, nale y jasno opowiedzie si przeciwko dodatkowym wydatkom na produkcj. Chrome mo e od o y ca spraw na pó niej albo przeprowadzi dodatkowe badania, by si dowiedzie, dlaczego film nie nap dza konwersji, zamiast dzia a w my l za o enia, e film nakr ci sprzeda,

14 80 Co wynieśliśmy z ponad 200 tysięcy testów A/B i zabiera si do produkcji materia ów filmowych, które niekoniecznie zapewni zwrot z inwestycji. Je li zespó rzeczywi cie postanowi dalej testowa film (na przyk ad sprawdzaj c, czy film koncentruj cy si na stylu ycia zamiast na produkcie poradzi sobie lepiej), przynajmniej b dzie mia pewno, e niczego nie ryzykuje, skoro udowodniono, e wykorzystanie materia ów wideo nie szkodzi konwersji. Zespó mo e te skoncentrowa si na innych obszarach i poeksperymentowa z optymalizacj pozosta ych elementów serwisu, które by mo e zapewni wi ksze korzy ci. W skrócie Rozwi zania odpowiednie dla powracaj cych u ytkowników mog si nie sprawdzi w przypadku nowych u ytkowników i na odwrót. Co, co sprawdza si na jednej stronie, mo e nie sprawdzi si na innej; rozwi zania odpowiednie dla jednego poziomu mog by nieefektywne na innym. Oczekiwania jednego typu u ytkownika mog ró ni si od oczekiwa innego rodzaju u ytkownika. Nieudane testy, niekiedy w wi kszym stopniu ni testy zako czone powodzeniem, mog zach ci do zbadania kluczowej ró nicy mi dzy segmentami u ytkowników. Wariant, który wygra z orygina em, mo e zapewnia za ma e korzy ci, by usprawiedliwi wydatki na implementacj oraz wszelkie inne wady nowej wersji. Ka dy test ujawniaj cy nieefektywno jakiego rozwi zania jest cenny, gdy pozwala wycofa wydatki na to, co nie dzia a, by skierowa je tam, gdzie przyj te rozwi zania si sprawdzaj.

15 Skorowidz A aktywno u ytkowników, 37, 50 automatyczne aktualizacje, 88 B banner z apelem o datki, 63 b d standardowy, 182 b dne wyniki, 133 b dy, 129 burza mózgów, 62, 69 cel witryny, 19 cele konwersji, 21, 32 ceny, 141, 172 chmura, 88 CTA, 50, 59, 67, 163 cykl testowy, 153 cz stotliwo logowania, 39 C D darmowy okres próbny, 66 definiowanie sukcesu, 19 definiowanie wska ników sukcesu, 120 dezorientuj ce elementy, 52 dostawca platform testowych, 91 dost p do testów, 88 dzielenie d ugiego formularza, 57 dziennik testów, 112 edycja WYSIWYG, 88, 122 efekt framingu, 68 efekty interakcyjne, 126 eksplorowanie przed doskonaleniem, 120 eksponowanie linków, 73 estymacja interwa owa, 176 przedzia owa, 176 punktowa, 176 filmy o produktach, 78 formularz, 168 dla darczy ców, 56 rejestracyjny, 132 formu owanie hipotezy, 24 framing, 66, 68 funkcje Excela, 180, 184 funkcjonalno strony, 77 E F G generatory formularzy, 64 geotargeting, 153, 157 Google Analytics, 23 H hierarchiczno tre ci, 37 hipoteza, 27, 32, 39, 49, 66, 132, 145 HiPPO, 97, 104 interesariusze, 99, 101 I K kana informacyjny, kluczowy wska nik efektywno ci, 133, 179 kontynuowanie testów, 117 konwersja, 56, 57 KPI, 179 krzywa elastyczno ci cenowej, 143 popytu, 143 kwantyfikowalny wska nik sukcesu, 37 L lejek, 132 pozyskiwania leadów, 167 rejestracji, 167 sprzeda y, 23 transakcji, 52, 167 liczba wicze, 40 klikni, 22 czna stopa konwersji, 182 Ł

16 190 Testy A/B. Od kliknięcia do klienta M makrokonwersje, 21 maksimum globalne, 33 lokalne, 35 maksymalizowanie przychodu, 172 materia y wizualne, 166 media spo eczno ciowe, 170 metoda konkurencyjna, 142 kosztowa, 142 rynkowa, 142 mikrokonwersje, 21 minimalizowanie dost pnych opcji, 55 model biznesowy, 39 N narz dzia do testów, 86, 151 narz dzie Google Analytics, 23 SeeClickFix, 50 nawigacja, 64, 167 niedostosowywanie do wiadczenia, 156 O obliczanie poziomów ufno ci, 180 oceny produktu, 75 oczekiwania u ytkowników, 80 odchylenie standardowe, 185 odnajdowanie przedmiotów, 76 opis produktu, 75 oprogramowanie jako us uga, 88 optymalizacja witryny, 52, 80, 90 P panel nawigacji, 74 personalizacja, 156, 171 p tla testowa, 164 platforma testowa, 88 poczta elektroniczna, 139, 140, 170 podej cie iteracyjne, 126 po czone odchylenie standardowe, 185 poparcie interesariuszy, 99 populacja, 186 porównywanie efektywno ci uk adów, 76 powracaj cy u ytkownicy, 80 poziom ufno ci, 179, 180 priorytetowe eksperymenty, 32 problemy testowania, 127 proces transakcyjny, 53 projekt interfejsu, 43 sekwencyjny, 56 promocja last minute, 143, 148 proporcja, 182 próg kwalifikacji, 69 przedzia ufno ci, 175 przeprojektowywanie, 38, 41 przeprojektowywanie ca kowite, 120 przeprowadzanie testu, 31 przychód z odwiedzin, 147 psucie testów, 129 R ramy interpretacyjne, 68 rankingi wyszukiwa, 86 reakcje emocjonalne, 68 redukcja opcji, 57 rejestracja owa, 23 reklama, 79, 169 ROI, zwrot z inwestycji, 30 rozk ad normalny, 186 studenta, 186 rozmieszczenie tre ci, 38 RPV, Revenue Per Visitor, 147 ruch na stronie, 131 SaaS, Software-as-a-Service, segmentacja, , 157 S sklepy internetowe, 75 spadek klikalno ci, 74 konwersji, 76 spersonalizowane CTA, 154 sposób prezentacji cen, 148 sprawdzone rozwi zania, 80 statystyka t, 185 Z, 182 statystyki testów, 173, stopa konwersji, 57 stopnie swobody, 185 stopniowe udoskonalenia, 45 strategia testowania dziennik testów, 112 koordynator, 110 upodmiotowieni testerzy, 112 zwolennicy, 111 strona dla darczy ców, 27 g ówna z map, 51 transakcyjna AVG, 54 z dodanym obrazem, 28 z dwukolumnowym layoutem, 29 studium przypadku, 100 syndrom HiPPO, 97, 104 system nawigacji, 64 szansa pokonania orygina u, 184 szum wizualny, 54 Ś ledzenie wska ników, 122 rednia, 185 rednia warto zamówienia, 147 targeting, 157 targetowanie, 151, 152 tekst, 165 test A/A, 87 A/B, 12, 19, 81, 98, 120, 135, 147, 161 T

17 Skorowidz 191 t, 185 Z, 182 testowanie cen, , 148 i, 139 formularzy, 168 hipotez, 35 pól promocyjnych, 38 ko cówek, 144 materia ów graficznych, 10 materia ów wizualnych, 166 menu nawigacyjnego, 167 nag ówków reklam, 169 nowych funkcji, 42 oznacze przycisku, 8 procesu przeprojektowywania, 41 rozlicze, 146 rozmieszczenia tre ci, 164 rzeczywistej ceny, 147 technik personalizacji, 171 tekstów nag ówków, 165 w celach poznawczych, 135 wezwa do dzia ania, 163 witryn, 163 wska ników, 180 testy, 31 dwustronne, 183 iteracyjne, 118 jednostronne, 184 seryjne, 147, 148 ujawniaj ce nieefektywno, 80 wielowymiarowe, 118, 126, 165 to samo marki, 134 trening, 39 tre, 164 U ufno, 176, 179 uniwersalne CTA, 157 upraszczanie formularza, 49 urz dzenia mobilne, 169 usprawnianie do wiadczenia u ytkownika, 49 ustalanie cen, 142 usuwanie linków, 54 nadmiarowych opcji, 52 rozpraszaj cych czynników, 55 W wariancja, 177, 178 warto p dwustronna, 184 p jednostronna, 184 testów A/B, 101 Z, 183 w skie gard a, 23, 32 wbudowane funkcje, 88 wdra anie testów, 81 w asny system, 85 zakup platformy testowej, 88 zatrudnienie agencji, 90 wezwanie do dzia ania, 163 do sk adania datków, 63 widoczno ocen, 76 w asny system testowania, 85 wnioski z testów, 101 wska nik aktywno ci, 124 efektywno ci, 133, 179 klikni, 66, 145, 148 konwersji, 75, 144 otwarcia, 140, 148 pró no ci, 21 RPV, 147 sukcesu, 20, 32, 139, 147 utrzymania, 44 zaanga owania, 44 wspó praca z agencj, 91 wykres wska nika otwarcia, 141 wymy lanie testów, 93 WYSIWYG, 88, 122 wy wietlanie ocen, 75 wyznaczanie priorytetów, 30 wzór na wariancj, 177 wzrost klikalno ci, 66, 145 konwersji, 56, 134 ruchu, 65 sprzeda y, 66 wysoko ci datków, 61 Z zach canie do aktywno ci, 52 do testowania, 101 zagro enia testowania, 134 zakotwiczenie ceny, 144, 148 zakres testowania, 86 zakup narz dzi, 88 platformy testowej, 88 zalety SaaS automatyczne aktualizacje, 88 edycja WYSIWYG, 88 integracja z innymi narz dziami, 89 profesjonalna obs uga, 89 spo eczno, 89 wbudowane funkcje, 88 wiarygodne raporty, 89 zasady testowania, 120, 159 testowania wska ników, 180 zespó testerów scentralizowany, 107 zdecentralizowany, 108 zlecenie testowania, 90 zmiana przycisku, 61 zwi kszanie liczby polubie, 170

18 192 Testy A/B. Od kliknięcia do klienta

19

20