Testy A/B: wyniki i decyzje
Na tej stronie
W skrócie
- Snomi porównuje CTR oryginału i wariantu na danych z Google Ads i dla każdej pary pokazuje werdykt.
- Pary z wynikiem czekają w pasku Do decyzji. Przeglądasz je po kolei i decydujesz: Zastosuj wariant albo Zostaw oryginał.
- Każdą decyzję cofniesz przez 8 sekund, a zastosowaną treść przywrócisz przez 30 dni.
Ekran startowy
Zakładka Testy A/B pokazuje:
- pasek Do decyzji z liczbą par, które mają wynik, i przyciskiem Przejrzyj po kolei,
- karty eksperymentów z etapami: Utworzony, W kampanii, Zbiera dane z dniem testu i szacunkiem wyniku oraz Decyzja,
- kartę Co przetestować dalej z propozycjami na podstawie danych sklepu,
- kartę Ręczne duplikaty z wynikami ręcznych duplikatów, jeśli je masz,
- zakończone eksperymenty.
Bez połączenia z Google Ads nad eksperymentami jest karta z przyciskiem Połącz Google Ads. Etap W kampanii oznacza, że wariant miał co najmniej jedno wyświetlenie. Przy pozycji Testy A/B w menu pojawia się kropka, gdy pary czekają na decyzję.
- 1. Feed testów A/B i jego stan
- 2. Nowy eksperyment
- 3. Połączenie z Google Ads
- 4. Etapy eksperymentu
- 5. Co przetestować dalej
- 6. Usunięcie eksperymentu
Werdykty
Snomi liczy werdykt z CTR oryginału i wariantu, od dnia startu pary do ostatniej synchronizacji z Google Ads. Pierwszy werdykt pojawia się najwcześniej po 14 dniach i przy wystarczającym ruchu po obu stronach.
| Werdykt | Co oznacza |
|---|---|
| Lepszy | Wariant ma wyższy CTR i różnica jest pewna |
| Gorszy | Wariant ma niższy CTR i różnica jest pewna |
| Do sprawdzenia | Wariant ma lepszy CTR, ale wyraźnie gorszą konwersję. Sprawdź, czy nowa treść nie przyciąga niewłaściwych klientów |
| Bez różnicy | Po 4 tygodniach nadal nie widać pewnej różnicy |
| Zbiera dane | Za mało danych na werdykt. Panel pokazuje szacowaną liczbę dni do wyniku |
| Brak ruchu | Oryginał nie miał wyświetleń przez pierwszy tydzień |
Snomi nigdy nie podaje szacunku dłuższego niż 8 tygodni. Jeśli przy obecnym ruchu wynik przyszedłby później, para ma oznaczenie małego ruchu.
Gdy połączenie z Google Ads wymaga uwagi, nad treścią zakładki pojawia się pasek Wyniki są wstrzymane. Liczby pochodzą wtedy z ostatniego przeliczenia, a werdykty nie zmieniają się do czasu naprawy połączenia.
Ekran eksperymentu i panel pary
Ekran eksperymentu pokazuje wynik zbiorczy (CTR oryginałów i wariantów, konwersje, ile par ma wynik), zakładki z licznikami i tabelę par. Możesz zaznaczyć wszystkie pary w zakładce i podjąć decyzję hurtem. W menu z trzema kropkami zmienisz nazwę eksperymentu albo go zakończysz.
Kliknięcie pary otwiera panel z prawej strony. Na górze widać, którą parę przeglądasz, na przykład Para 3 z 10. W panelu są:
- werdykt z wyjaśnieniem,
- wersje A i B z zaznaczonymi różnicami słów i przyciskiem Edytuj wariant,
- wyniki, jakość treści i wykres dziennych kliknięć,
- listę kontrolną, gdy wariant nie ma wyświetleń.
- 1. Postęp przeglądu par
- 2. Wersje A i B z różnicami
- 3. Edytuj wariant
- 4. Decyzja
- 5. Skróty klawiszowe
W panelu działają skróty: Z zastosuj wariant, O zostaw oryginał, strzałka w prawo pomija parę i przechodzi do następnej, strzałka w lewo wraca do poprzedniej, Esc zamyka panel. Po przejrzeniu wszystkich par zobaczysz podsumowanie sesji.
Decyzje
| Akcja | Co robi |
|---|---|
| Zastosuj wariant | Przenosi treść wariantu do oryginału (z zachowaniem blokad pól), zapisuje poprzednią treść i usuwa wariant z Feedu testów A/B. Jeśli oryginał zmienił się w trakcie testu, panel pokaże porównanie przed zapisem |
| Zostaw oryginał | Kończy test pary bez zmian w produkcie |
| Cofnij | Przez 8 sekund po decyzji przywraca wszystko, łącznie z wariantem |
| Przywróć poprzednią treść | Przez 30 dni od zastosowania, w zakładce Zakończone |
| Zakończ eksperyment | Pyta, czy zastosować lepsze warianty. Pozostałe pary zostają przy oryginale |
| Usuń eksperyment | Ikona kosza na karcie eksperymentu. Usuwa eksperyment z wynikami i historią. Warianty znikają z feedu, oryginały zostają bez zmian, a treść zastosowana wcześniej zostaje w produktach |
Zakończone pary zostają jako historia, więc później sprawdzisz, co działało.
Ręczne duplikaty a testy
- Wariant testu ma w Produktach znacznik Test A/B z linkiem do eksperymentu. Nie da się go usunąć, zduplikować ani objąć akcją masową.
- Duplikowanie produktu, który jest w trwającym teście, pokaże ostrzeżenie, bo ręczny duplikat konkurowałby z wariantem o wyświetlenia.
- Karta Ręczne duplikaty na ekranie startowym pokazuje wyniki duplikatów i oryginałów. Zastosuj wariant przenosi wartość duplikatu do oryginału, a sam duplikat zostaje.
Gdy coś nie działa
Para od tygodni ma status Zbiera dane
Produkt ma mały ruch. Sprawdź szacunek w panelu pary. Jeśli przekracza 8 tygodni, rozważ zakończenie pary i test na produktach z większym ruchem.
Werdykt Brak ruchu
Oryginał nie miał wyświetleń przez pierwszy tydzień, więc kampania prawdopodobnie go nie obejmuje. Sprawdź kampanię albo zakończ parę.
Nie widzę werdyktów, tylko status Trwa
Sklep nie ma połączenia z Google Ads albo połączenie wymaga uwagi. Decyzje możesz podejmować ręcznie, porównując treść.
Częste pytania
Czy muszę czekać na werdykt, żeby zdecydować?
Nie. Możesz zastosować wariant albo zostawić oryginał w każdej chwili. Werdykt pomaga podjąć decyzję na podstawie danych.
Co się stanie z wariantem po decyzji?
Znika z Feedu testów A/B przy najbliższym pobraniu feedu przez Google. W Produktach zostaje tylko oryginał.