Przejdź do treści

Testy A/B w wiadomościach e-mail

Testy A/B to potężne narzędzie, które pozwoli Ci podejmować decyzje oparte na danych, a nie na domysłach. Zamiast zastanawiać się, która wersja e-maila spodoba się Twoim odbiorcom, możesz to sprawdzić empirycznie i wybrać tę, która przynosi lepsze rezultaty.

W tym artykule dowiesz się:

  • Czym dokładnie są testy A/B w kampaniach e-mailowych.
  • Jakie elementy wiadomości warto testować.
  • Jak interpretować wyniki i wprowadzać zmiany, które zwiększą skuteczność Twoich emaili.

Wymagania

Zanim przejdziesz do tworzenia testów A/B w wiadomościach e-mail:

  • Skonfiguruj kanał e-mail. Zrobisz to w Ustawienia > E-mail > Uwierzytelnianie domeny.
  • Stwórz segmenty odbiorców, do których chcesz wysłać testowaną wiadomość. Segmenty powinny zawierać wyłącznie adresy odbiorców, który wyrazili zgodę na otrzymywanie takiej korespondencji.
  • Upewnij się, że grupa odbiorców jest odpowiednio duża, aby wynik testu był wiarygodny. 500 osób na każdą testowaną wersję to dobre minimum dla jednej zmiennej (np. tytuł wiadomości).
  • Przygotuj co najmniej dwie wersje testowanej wiadomości.

Co chcesz testować?

Zanim rozpoczniesz test A/B, zbuduj hipotezę, którą test ma zweryfikować. Określ jasno co chcesz osiągnąć – czy testujesz nowe pomysły na kampanie, nowy branding, czy ulepszony sposób komunikacji z odbiorcami?

Im więcej zmiennych testujesz jednocześnie, np. tytuł i nadawcę, tym większa powinna być grupa odbiorców oraz dłuży czas trwania testu.

W ECDP przetestujesz do 5 wersji wiadomości e-mail pod kątem:

  • Tematu wiadomości.
  • Tekst podglądu (Preview text).
  • Nadawcy.
  • Treści wiadomości.

Stwórz test A/B wiadomości e-mail

Przejdź do kreatora e-maili. W sekcji Kampanie, w podsekcji E-mail kliknij przycisk Stwórz e-mail znajdujący się w prawym górnym rogu ekranu. Wybierz z listy pozycję Test A/B.

Dodawanie kolejnych wersji wiadomości i nawigacja między nimi

Po lewej stronie przestrzeni roboczej, pod nagłówkiem strony znajdziesz przycisk z rozwijalną listą. To tutaj będziesz dodawać kolejne wersje wiadomości do testowania, usuwać je i przełączać między nimi.

Etap 1: Podstawowe ustawienia testu

W zakładce Podstawowe ustawienia dodaj:

  1. Nazwę testu – wspólną dla wszystkich wersji wiadomości, ułatwiającą odnalezienie testu w statystykach.
  2. Temat wiadomości – możesz go testować między wszystkimi wersjami.
  3. Nadawcę – ustawisz go w sekcji Od.
  4. Śledzenie – określ, co chcesz śledzić: otwarcia, kliknięcia linków, a może określone UTMy?

Kopiowanie testu i wybranych ustawień testu

Możesz skopiować cały test lub tylko wybrane jego elementy.

  • Cały test A/B – użyj akcji Duplikuj z poziomu tabeli w Kampanie > E-mail.
  • Poszczególne elementy (Temat, Od, Śledzenie):
    • Z innej wersji do bieżącej
    • Z obecnej wersji do pozostałych
  • Treść wiadomości – akcja Użyj ponownie w zakładce Treść.

Etap 2: Treść

Do projektowania treści i wyglądu e-maili służy intuicyjny edytor graficzny, działający na zasadzie ‘przeciągnij i upuść’. Dokładny opis wszystkich funkcji edytora znajdziesz tutaj: Jak działa edytor treści.

Etap 3: Odbiorcy

W tym miejscu doprecyzujesz informacje na temat odbiorców twoich wiadomości e-mail.

  1. Pole Wyślij do: zaznacz Wszystkich klientów, jeśli wysyłasz e-maila do całej bazy klientów. Gdy interesuje cię tylko określona grupa odbiorców, kliknij pole Wybierz segment i wybierz interesujący Cię segment lub stwórz go za pomocą opcji Utwórz nowy. Więcej o tej funkcji znajdziesz w sekcji Segmentacja klientów.
  2. Pole Wymagane zgody: wybierz z rozwijanej listy zgodę lub zgody na kontakt.
    • Jeśli wybierzesz ich wiele, wyślemy e-mail wyłącznie do tych klientów, którzy udzielili wszystkich wskazanych przez Ciebie zgód. W polu poniżej pojawi się liczba odbiorców spełniających ten warunek.
    • Z tego poziomu możesz również dodać nową zgodę. Sposób opisaliśmy w sekcji Jak dodać zgodę? 
  3. W sekcji Limit odbiorców ograniczysz ogólną liczbę odbiorców lub rodzinę domen używanych do dostarczania wiadomości e-mail. Ta opcja jest przydatna w procesie rozgrzewania adresów IP, które są standardową procedurą dla początkujących w e-mail marketingu.
  4. W następnej sekcji pojawi się liczba odbiorców spełniających wszystkie wybrane wcześniej warunki:
    • Należą do wybranego segmentu.
    • Wyrazili wszystkie wskazane przez Ciebie zgody na kontakt. Możesz wybrać jedną konkretną zgodę lub kilka na raz.
    • Oznacza to, że wiadomość zostanie wysłana klienci z wybranego wyżej segmentu.
  5. W polu Po wypisaniu – określ, co stanie się ze zgodami klienta po rezygnacji. Ustawienia tej sekcji zostaną zapisane tylko wtedy, gdy w treści wiadomości umieścisz wcześniej link wypisu. Jeśli dodasz go po wybraniu tej opcji, wróć do niej i zaznacz wybraną pozycję jeszcze raz.
  6. W polu Strona docelowa po wypisaniu umieść link do strony, na którą przekierujemy klienta po rezygnacji z e-maila. Nie jest to krok obowiązkowy. Więcej o stronach docelowych znajdziesz w artykule Jak dodać link wypisania w wiadomości e-mail?

Etap 4: Ustawienia testu A/B

Tu konfigurujesz wielkość grup testowych i warunki wyboru zwycięskiej wiadomości.

Rozmiar grupy testowej

W teście bierze udział wybrany procent odbiorców z wcześniej określonej puli.

Rozmiar grupy testowej może mieć:

  • Minimum 10% odbiorców.
  • Maksimum 100 % odbiorców.

Odbiorcy, do których trafią testowane wersje wiadomości (A – E) są rozdzielani równomiernie między każdą wersję.

Jak duża powinna być grupa testowa?

Aby uzyskać wiarygodne wyniki:

  1. Przyjmij minimum 500 odbiorców na każdą testowaną wersję wiadomości.
  2. Im mniejszą różnicę w wynikach chcesz wykryć, tym większa grupa testowa jest potrzebna.
  3. Wskaźnik konwersji również wpływa na minimalną wielkość próby:
  4. Przy niskich wskaźnikach konwersji (np. 1-2%) potrzebujesz większej grupy.
  5. Przy wyższych wskaźnikach (np. 10% i więcej) możesz potrzebować mniejszej grupy.
  6. Test powinien trwać wystarczająco długo, aby zebrać przynajmniej 100 konwersji dla każdej wersji. W większości przypadków 1 tydzień wystarczy, żeby zebrać reakcje różnych lki

Jeśli masz mniejszą bazę odbiorców, nadal możesz przeprowadzać testy A/B. W takiej sytuacji najlepiej jest:

  • Testować tylko jedną zmienną naraz.
  • Szukać większych różnic w wynikach (np. 20% zamiast 5%).
  • Przeprowadzać testy przez dłuższy czas lub na większej części bazy.

Weź pod uwagę, że powyższe rekomendacje oparte są o dobre praktyki testowania wiadomości e-mail. Są dobra bazą, jeśli dopiero zaczynasz testowanie e-mail.

Czas trwania testu

Test A/B wiadomości może trwać maksymalnie 7 dni (168 godzin). Aktualny etap testu możesz śledzić w tabeli w sekcji Kampanie > Email.

Wybór zwycięskiej wiadomości

Zwycięska wiadomość jest wybierana po upływie wskazanego czasu, na podstawie jednej z metryk:

  • Otwarcia
  • Unikalne otwarcia
  • Kliknięcia
  • CTOR (Click-to-Open rate)
  • Unikalne kliknięcia
  • Przychód
  • Zamówienia
  • Średnia wartość zamówienia

Wygrywa wersja z najlepszym wynikiem dla wybranej metryki.

Etap 5: Wysyłka testu A/B

Planowanie wysyłki testu A/B przebiega tak samo, jak dla standardowego newslettera. Możesz wybrać:

  • Wysyłkę natychmiastową
  • Wysyłkę według wybranego przez ciebie harmonogramu.

Żeby łatwiej było Ci śledzić przebieg testu, w podglądzie wiadomości dostępnym w tabeli znajdziesz statusy opisujące, na jakim etapie znajduje się wysyłka:

  • Zaplanowany,
  • Wysyłka do grupy testowej,
  • Wynik testu za X godzin / dni,
  • Wybór zwycięzcy wstrzymany,
  • Wysyłka zwycięskiej wiadomości,
  • Zakończony.

Wyniki testu A/B

Wyniki testu A/B znajdziesz w tabeli znajdującej się w Kampanie > E-mail, oraz w raporcie wiadomości dostępnym w tabeli Kampanie > E-mail > Raporty (dostępne w ostatniej kolumnie tabeli).

Jak interpretować spadki wyników w kluczowych wskaźnikach?

Spadki wyników są często równie wartościowe jak wzrosty. Warto połączyć ich analizę z danymi behawioralnymi, by lepiej zrozumieć zachowania odbiorców.

Przypadek 1: Spadek współczynnika otwarć, ale wzrost kliknięć

Taka sytuacja może oznaczać, że temat wiadomości był mniej atrakcyjny, ale trafił do bardziej zaangażowanej grupy odbiorców. Co możesz zrobić?

Sprawdź segmenty odbiorców, które otworzyły wiadomość. Możliwe, że jej temat przyciągnął bardziej wartościową grupę. Dodatkowo, przeanalizuj długoterminową wartość konwersji z tej wiadomości. Zdarza się, że mniejsza, ale bardziej zaangażowana grupa odbiorców generuje wyższe przychody

Przypadek 2: Wzrost wskaźnika kliknięć, ale spadek konwersji

Sugeruje niedopasowanie między obietnicą zawartą w wiadomości a informacjami dostępnymi na stronie docelowej (landing page). Żeby dotrzeć do rzeczywistej przyczyny:

  • Sprawdź, gdzie następuje porzucenie – na stronie produktowej czy podczas wypełniania formularza?
  • Przeanalizuj dodatkowe metryki jsk czas spędzony na stronie i głębokość przewijania strony, by zrozumieć, co zniechęca użytkowników.
  • Zbadaj, czy spadek konwersji dotyczy wszystkich segmentów, czy tylko niektórych grup odbiorców.

Przypadek 3: Spadek wszystkich wskaźników

Spadek wszystkich wskaźników nie zawsze oznacza porażkę. Ich analiza pomaga wyeliminować nieskuteczne strategie komunikacji. Co możesz zrobić?

Zbadaj wpływ czynników zewnętrznych, takich jak sezon, dzień tygodnia, wydarzenia rynkowe. Sprawdź również, czy spadek jest równomierny na wszystkich urządzeniach. Być może na jednej z platform występuje problem techniczny, który wpłynął na pogorszenie wyników?

Wykorzystanie danych behawioralnych pozwala przejść od prostego pytania „która wersja wygrała?” do głębszego zrozumienia „dlaczego wygrała i co to mówi o naszych odbiorcach?”.

Najlepsze praktyki dla testów A/B wiadomości e-mail

Sukces kampanii e-mailowych często zależy od drobnych szczegółów, które mogą wpłynąć na zaangażowanie odbiorców:

Zadbaj o dostarczalność

Przed rozpoczęciem testów upewnij się, że Twoje wiadomości docierają do skrzynek odbiorczych. Regularnie monitoruj wskaźniki dostarczalności i utrzymuj dobrą reputację nadawcy.

Testuj jeden element naraz

Podczas planowania testów, skoncentruj się na testowani jednego elementu. Dzięki temu będziesz wiedzieć dokładnie, co wpłynęło na wyniki. Wyobraź sobie, że wysyłasz dwie wersje wiadomości – jedną z emotką w temacie, drugą bez. Jeśli wersja z emotką osiągnie lepsze wyniki, będziesz mieć pewność, że to właśnie ten element zrobił różnicę.

Dobierz odpowiedni czas trwania testu

Krótkie testy mogą dawać przypadkowe wyniki, szczególnie gdy część odbiorców otwiera wiadomości z opóźnieniem. Dla większości kampanii rozważ minimum 5-7 dni testowania, by uchwycić różne wzorce zachowań odbiorców.

Jeśli testujesz więcej niż jeden element wiadomości, dłuższy czas trwania testu pozwoli Ci uzyskać bardziej wiarygodny wynik.

FAQ

Czy mogę testować różne części mojej wiadomości w ramach jednego testu A/B?

Tak, możesz jednocześnie testować temat wiadomości, tekst podglądu, nadawcę i treść wiadomości.

Czy mogę zaplanować testy A/B?

Tak, możesz zaplanować datę i godzinę wysyłki testu. Zrobisz to w sekcji Wysyłka w edytorze treści.

Co zrobić, jeśli różnice w wynikach między wersjami są minimalne?

Przyczyną minimalnych różnic może być:

  • Zbyt mała grupa testowa.
  • Test trwał zbyt krótko.
  • Testowane elementy nie miały dużego wpływu na odbiorców.
  • Testowane wersje były mało zróżnicowane.

Jak uniknąć błędów w interpretacji wyników testów?

Ustal cele i decydujące metryki przed rozpoczęciem testu. Unikaj zmiany kryteriów oceny po zobaczeniu wyników. Pamiętaj też, że korelacja nie zawsze oznacza przyczynowość – zawsze szukaj wyjaśnień dla zaobserwowanych różnic między wersjami. Dobrą praktyką jest łączenie analizy wyników z analizą zachowania odbiorców np. na Twojej stronie internetowej. Zyskasz szerszą perspektywę i wyciągniesz wnioski w oparciu o dane.

Jak testować różne wersje treści bez wpływu na reputację nadawcy?

Wysyłanie znacznie różnych wersji treści może wpłynąć na wzrost skarg odnośnie do Twojej kampanii i tym samym obniżyć reputację domeny.

Jeśli testujesz dwie wersje wiadomości, np. krótki, bezpośredni mail promocyjny (kilka linijek, duży CTA) oraz dłuższą wiadomość z opisem produktu:

  • Monitoruj ilość skarg – jeśli rośnie dla jednej wersji, zatrzymaj test.
  • Testuj wiadomość na lojalnych odbiorcach, by uniknąć ryzyka blokad i skarg.

Jak testować optymalną długość wiadomości email?

Nie zawsze krótsza treść wiadomości jest skuteczniejsza. Jej długość powinna pasować do celu Twojej kampanii:

  • Krótki email,do 100 słów, działa lepiej dla szybkich, krótkich promocji.
  • Średni email, między 100 a 300 słów, sprawdzi się w newsletterach.
  • Długi email, powyżej 300 słów, będzie odpowiedni dla case studies i edukacyjnych treści B2B.

Możesz też przetestować długość treści na dwóch segmentach:

  • Nowi klienci – krótsze, dynamiczne treści.
  • Lojalni klienci – dłuższe, bardziej edukacyjne maile.

Jak testować różne układy treści w wiadomości?

To, w jakiej kolejności ułożysz treść w e-mailu, ma znaczenie, szczególnie gdy Twoi odbiorcy korzystają różnych urządzeń. Przypuśćmy, że testujesz dwa układy wiadomości:

  • A – klasyczny: nagłówek > obrazek > tekst > CTA
  • B – storytelling: historia > korzyści > CTA

Monitoruj głębokość przewijania (scroll depth) by sprawdzić, jak daleko czytelnicy docierają w każdej wersji. Jeśli testujesz na ruchu mobilnym, wersja B może wypaść gorzej, bo wymaga przewijania.

Jeśli wskaźnik otwarć jest wysoki, ale kliknięć niski, problemem może być układ treści.

Polityka prywatności