Kalkulator testów A/B
Zaplanuj test A/B, oblicz wymaganą wielkość próby, sprawdź istotność statystyczną wyników i podejmuj pewne decyzje optymalizacyjne.
Dlaczego testy A/B wymagają statystyki?
Losowość
Różnice w wynikach mogą być przypadkowe. 100 konwersji z 1000 vs 110 z 1000 - to szum czy prawdziwa różnica?
Pewność decyzji
Istotność statystyczna (np. 95%) oznacza, że jest tylko 5% szans, że różnica jest przypadkowa.
Unikanie błędów
Bez odpowiedniej próby możesz wdrożyć gorszy wariant lub odrzucić lepszy.
Kluczowe pojęcia:
- Poziom ufności (confidence) - prawdopodobieństwo, że wynik jest prawdziwy (zwykle 95%)
- Moc statystyczna (power) - zdolność do wykrycia rzeczywistej różnicy (zwykle 80%)
- MDE - minimalny wykrywalny efekt, najmniejsza różnica którą chcesz wykryć
- p-value - prawdopodobieństwo, że wynik jest przypadkowy (chcemy p < 0.05)
Ile osób potrzebuję do testu?
Parametry testu
Wymagana próba
Interpretacja
Aby wykryć zmianę konwersji o 10% (względnie) z 95% pewnością, potrzebujesz co najmniej X użytkowników na każdy wariant.
Szybkie porównanie MDE
| MDE | Nowy CR | Próba/wariant | Łącznie |
|---|
Wpisz wyniki testu, aby sprawdzić czy różnica jest statystycznie istotna.
Wariant A (Kontrolny)
Wariant B (Testowy)
Obliczanie...
Wprowadź dane, aby sprawdzić istotność.
Istotność na różnych poziomach ufności:
Przewidywany wpływ (przy wdrożeniu B)
Oblicz jak długo powinien trwać test A/B przy Twoim ruchu.
Planowanie testu
Czas trwania testu
Rekomendacje
Jak MDE wpływa na czas?
| MDE | Wymagana próba | Czas trwania |
|---|
Porównaj wyniki wielu wariantów jednocześnie. Dodaj do 4 wariantów.
Wyniki porównania
Zwycięzca: Wariant B
+16.7% wyższy CR vs kontrolny, statystycznie istotny (p < 0.05)
| Wariant | Użytkownicy | Konwersje | CR | vs Kontrolny | p-value | Status |
|---|
Wizualizacja CR
Słownik pojęć
| Pojęcie | Definicja | Typowa wartość |
|---|---|---|
| Poziom ufności (Confidence Level) | Prawdopodobieństwo, że obserwowana różnica jest rzeczywista, nie przypadkowa | 95% |
| Moc statystyczna (Statistical Power) | Prawdopodobieństwo wykrycia rzeczywistej różnicy, jeśli ona istnieje | 80% |
| MDE (Minimum Detectable Effect) | Najmniejsza względna zmiana, którą test może wykryć | 10-20% |
| p-value | Prawdopodobieństwo, że różnica jest przypadkowa. Im niższe, tym lepiej | < 0.05 |
| Błąd typu I (False Positive) | Uznanie różnicy za istotną, gdy jej nie ma | 5% przy conf. 95% |
| Błąd typu II (False Negative) | Nieuznanie różnicy za istotną, gdy ona jest | 20% przy power 80% |
Najczęstsze błędy w testach A/B
Zatrzymanie testu zbyt wcześnie
Wyniki zmieniają się w czasie. Zawsze czekaj na osiągnięcie wymaganej próby.
Podglądanie wyników (peeking)
Wielokrotne sprawdzanie zwiększa szansę fałszywych pozytywów. Ustal z góry czas trwania.
Testowanie zbyt wielu wariantów
Każdy dodatkowy wariant wymaga więcej próby i czasu. Skup się na 2-3 wariantach.
Ignorowanie sezonowości
Test powinien trwać pełne tygodnie, aby uwzględnić różnice między dniami.
Najlepsze praktyki
Ustal hipotezę przed testem
Co testujesz i dlaczego? Jaki wynik oczekujesz?
Oblicz wymaganą próbę z góry
Nie zaczynaj testu bez planu. Ustal MDE, próbę i czas trwania.
Testuj jedną zmianę na raz
Jeśli zmienisz 5 rzeczy, nie będziesz wiedzieć, co zadziałało.
Dokumentuj wszystkie testy
Zapisuj hipotezy, wyniki i wnioski. Buduj bazę wiedzy.
Wzory statystyczne
Wielkość próby (na wariant)
n = 2 × [(Zα + Zβ)² × p(1-p)] / δ²
gdzie p = baseline CR, δ = MDE
Z-score dla dwóch proporcji
Z = (p₁ - p₂) / √[p(1-p)(1/n₁ + 1/n₂)]
gdzie p = pooled proportion
Pooled proportion
p = (x₁ + x₂) / (n₁ + n₂)
gdzie x = konwersje, n = próba