Hipoteza
Korzystając z informacji zebranych w fazie badań, możesz teraz nakreślić swoją hipotezę. U podstaw hipotezy leży proponowane wyjaśnienie Twoich badań, które zazwyczaj składa się z 3 części.
Konkretna zmiana: w oparciu o spostrzeżenia pochodzące z danych ilościowych i jakościowych
Konkretny efekt: cel, wskaźnik konwersji lub podobny element, który wymaga poprawy.
Szczególny powód: dlaczego konkretna zmiana może przynieść pożądany efekt.
Najlepszym sposobem na sprawdzenie poprawy są zawsze testy.
Oto przykład dobrej hipotezy.
„Wierzę, że dodanie recenzji użytkowników na stronach produktów spowoduje 5% większą liczbą dodatków dodanych do koszyka, ponieważ zakup budzi większe zaufanie.
W oparciu o tę hipotezę wprowadzasz niezbędne zmiany na stronach produktów. Głównym celem testu będzie sprawdzenie, czy nowa wersja strony uzyska lepsze konwersje.
Dobrze skonstruowana hipoteza kształtuje również drogę do większej liczby działań optymalizacyjnych. Nawet jeśli twoja ścieżka konwersji nie będzie skuteczna, możesz wykorzystać to i tak do analizy wyników i podjąć działania naprawcze. Bez ustrukturyzowanego procesu Twoja prace optymalizacyjne mogą pójść na marne.
Oto jak wygląda nieustrukturyzowana hipoteza:
„Połączmy po prostu narzędzie do sortowania i filtrowania, ponieważ widzimy, że działa w firmach A, B i C”. To jest dokładnie ten rodzaj hipotezy, której powinieneś unikać.
Postaw hipotezę
Zasadniczo zawsze wspieraj swoje testy solidnym celem i autentycznym dowodem. Upewnij się, że masz wystarczającą ilość danych ilościowych i jakościowych, aby uzasadnić powód testowania. Przedstaw swoją hipotezę tak wyczerpująco, jak to możliwe, a nawet zanotuj wszystkie niezbędne informacje. Optymalizacja konwersji to proces ciągły. Im więcej posiadasz przydatnych danych, tym łatwiej postawić hipotezę i prowadzić kampanie optymalizacyjne w przyszłości.
Zdecyduj, jak zmienić swoje strony w witrynie
Zazwyczaj istnieją dwa główne sposoby przeprowadzenia testu optymalizacji konwersji – przetestowanie zupełnie innej strony lub zmiana jednego lub kilku elementów strony. Wybierz ten, który jest najbardziej odpowiedni na ten moment.
- Przetestuj zupełnie inną stronę: Jeśli zidentyfikowałeś kilka obszarów, które można poprawić, rozważ rozpoczęcie wszystkiego od zera. Zidentyfikuj strony, które Twoim zdaniem (na podstawie danych statystycznych) najlepiej konwertują i uzyskują pozytywne wyniki. Pamiętaj, że wynik może być zupełnie inny w przypadku takiego działania.
- Zmień jeden lub kilka elementów strony: W tym miejscu przydatne są testy A/B i testy podziału na wiele różnych opcji. Zidentyfikuj jeden lub kilka problemów na swojej stronie, które (na podstawie danych statystycznych) mogą być głównymi obszarami do poprawy. Znajdź ich najlepsze możliwe odmiany i przeprowadź test. Zwróć uwagę, że wielowymiarowy test podziału obejmuje testowanie więcej niż jednego elementu naraz. Oznacza to, że będzie działać przez dłuższy czas, a przedstawienie rzeczywistych wyników zajmie trochę czasu.
Po zweryfikowaniu możliwości optymalizacji zaplanuj i ustal priorytety elementów, które chcesz przetestować.
Określenie priorytetów
- Potencjał :Jak wiele ulepszeń można wprowadzić na tej stronie ? Powinieneś traktować priorytetowo nagorzej wykonane elementy. Powinno to uwzględniać dane analityki internetowej, dane klientów i ekspercką analizę logiczną scenariuszy użytkownika.
- Ważność: Jak cenny jest ruch na stronie? Twoje najważniejsze strony to te o największej objętości i najbardziej jakościowym ruchu. Być może zwróciłeś uwagę szczególnie na strony, które mają niskiej jakości ruch i mało odwiedzających – to nie jest Twój priorytet.
- Wygoda: Jak trudne będzie wdrożenie testu na tej stronie lub szablonie? Ostatnią kwestią jest stopień trudności faktycznego przeprowadzenia testu na tej stronie, który obejmuje wdrożenie techniczne oraz bariery organizacyjne
Każdy z w.w. elementów może skutecznie pomóc w ustaleniu priorytetów elementów testowych i skierować Cię we właściwym kierunku.
Faza testów A/B
Przed uruchomieniem testu zapoznaj się z podstawami:
- Co to jest istotność statystyczna i dlaczego jest krytyczna?
- Jak długo trzeba przeprowadzić test?
- Czego powinienem użyć — testu A/B, Splitu czy wielowymiarowości?
Co to jest istotność statystyczna i dlaczego jest krytyczna?
Jednym z głównych powodów przeprowadzenia testu jest sprawdzenie, czy dana zmiana w naszej witrynie może pomóc w uzyskaniu lepszych konwersji. Na przykład zdecydowałeś się przeprowadzić test na pierwszych 100 użytkownikach odwiedzających Twoją witrynę. Widzisz, że 40 użytkowników dokonało konwersji w wersji, którą uruchomiłeś, w porównaniu z 20 na oryginalnej stronie. To współczynnik konwersji 20% w porównaniu do 10% na oryginalnej stronie.
Ale czy to oznacza, że będziesz konsekwentnie uzyskiwać gwarantowany 20% współczynnik konwersji? Prawdopodobnie nie, ponieważ tych 100 użytkowników może nie przedstawiać wiarygodnych danych, jeżeli masz 10 000 odwiedzających dziennie. Tutaj w grę wchodzi istotność statystyczna!
Jak długo trzeba przeprowadzić test A/B, aby uzyskać miarodajne wyniki?
Przed rozpoczęciem testu określ, jak długo powinien trwać.
Kiedy przeprowadzasz test w swojej witrynie, odwiedzający są stale włączani do testu, a liczby ciągle się zmieniają. Oznacza to ponadto, że Twój współczynnik konwersji będzie stale rósł, spadał. Ponieważ istotność statystyczna jest wyświetlana przez cały test, może ona dodatkowo wykazywać wyższą istotność nawet przed zakończeniem zamierzonego czasu trwania testu. Tak więc, w zależności od tego, kiedy zdecydujesz się sprawdzić wyniki testu, jego istotność statystyczna może być wysoka lub niska. Testy możesz prowadzić w trakcie trwania kampanii.
Błąd podglądu
Jak sama nazwa wskazuje, błąd podglądu oznacza patrzenie na wyniki testu jeszcze przed jego zakończeniem zgodnie z planem działania. Jest szansa, że odkryjesz istotność statystyczną, która jest wyższa lub niższa niż oczekiwano, i możesz zdecydować się na przerwanie testu, na podstawie tego, że test wypadł dobrze lub nie. To z kolei może skutkować wdrożeniem wersji, która negatywnie wpłynie na Twoje konwersje.
Dlatego bardzo ważne jest, aby zdefiniować czas trwania testu i określić skuteczną stronę dopiero po jego zakończeniu.
Uwaga: czas trwania testu zależy w dużej mierze od liczby użytkowników odwiedzających Twoją witrynę oraz oczekiwanego współczynnika konwersji, do którego dążysz.
Twierdzenie Bayesa vs częstościowe testy A/B
Większość konwencjonalnych silników testujących A/B wykorzystuje metodę częstościowa do wykonywania obliczeń statystycznych i określania skutecznych wersji. W metodzie stwierdza się, że konieczne jest zdefiniowanie czasu trwania testu A/B w oparciu o wielkość testu, aby wyciągnąć właściwe wnioski z testu.
Faktem jest, że firmy, które chcą szybko się rozwijać, nie mają czasu, aby zająć się takimi szczegółami. Tak więc niezbędnym stał się silnik testów A/B, który omija problem oczekiwania na zakończenie testu, a jednocześnie umożliwia racjonalne decyzje biznesowe.
Takie rozwiązanie dało początek metodzie bayesowskiej. Metoda bayesowska nie tylko kładzie nacisk na statystycznie istotne elementy, ale zapewnia wyniki prawie o 50% szybciej w porównaniu ze starszą metodą wnioskowania częstościowego.
Czego powinieneś użyć — A/B, split czy wielowymiarowości?
Test można przeprowadzić na trzy podstawowe sposoby:
- Testy A/B
- Testy dzielone
- Testy wielowymiarowe
Firmy często nie wiedzą, z której metody skorzystać. Aby uniknąć takiego problemu, oto kilka punktów, na które należy zwrócić uwagę:
- A/B, split i wielowymiarowe testy to trzy różne metody testowania, z których każda ma swój własny zestaw zalet i wad.
- Decyzja o zastosowaniu jednej z tych trzech metod powinna zależeć wyłącznie od wykonywanego zadania.
- Ze względu na prostotę najlepiej pasują testy A/B. Głównie stosuje się go w przypadkach, gdy zmiany projektowe nie są złożone.
- Testowanie podzielone lub inaczej zwane testowaniem podzielonego adresu URL jest stosowane, gdy: Projekt wymaga poważnych modyfikacji w stosunku do oryginalnej wersji, dzięki czemu tworzenie nowej, oddzielnej strony z zupełnie innym adresem URL jest łatwiejsze. Potrzebne są zmiany zaplecza, takie jak testowanie strony z cenami, która jest połączona z wieloma tabelami. Aby przetestować strony, które już istnieją pod różnymi adresami URL.
- Testowanie wielowymiarowe jest używane, gdy na stronie sugerowanych jest wiele zmian i chcesz osobno przetestować każdą kombinację.