Planowanie eksperymentu
Kalkulator testów A/B
Zaplanuj test A/B, oblicz wymaganą próbę, sprawdź istotność statystyczną i oszacuj czas trwania przed startem.
- Wielkość próby
- Test istotności
- Szacunek czasu
Zweryfikowano 23 czerwca 2026 · metoda i ograniczenia
To uproszczony kalkulator dwóch proporcji z pooled z-test - nie zastępuje platform sequential testing ani narzędzi bayesowskich. Peeking i wielokrotne porównania nie są korygowane.
Dlaczego testy A/B wymagają statystyki?
Losowość
Różnice w wynikach mogą być przypadkowe. 100 konwersji z 1000 vs 110 z 1000 - to szum czy prawdziwa różnica?
Pewność decyzji
Istotność statystyczna (np. 95%) oznacza, że jest tylko 5% szans, że różnica jest przypadkowa.
Unikanie błędów
Bez odpowiedniej próby możesz wdrożyć gorszy wariant lub odrzucić lepszy.
Kluczowe pojęcia:
- Poziom ufności (confidence) - prawdopodobieństwo, że wynik jest prawdziwy (zwykle 95%)
- Moc statystyczna (power) - zdolność do wykrycia rzeczywistej różnicy (zwykle 80%)
- MDE - minimalny wykrywalny efekt, najmniejsza różnica którą chcesz wykryć
- p-value - prawdopodobieństwo, że wynik jest przypadkowy (chcemy p < 0.05)
Ile osób potrzebuję do testu?
Parametry testu
Wymagana próba
Interpretacja
-
Szybkie porównanie MDE
| MDE | Nowy CR | Próba/wariant | Łącznie |
|---|
Wpisz wyniki testu, aby sprawdzić czy różnica jest statystycznie istotna.
Wariant A (Kontrolny)
Wariant B (Testowy)
Obliczanie...
Wprowadź dane, aby sprawdzić istotność.
Istotność na różnych poziomach ufności:
Przewidywany wpływ (przy wdrożeniu B)
Oblicz jak długo powinien trwać test A/B przy Twoim ruchu. Parametry CR, MDE i liczba wariantów są synchronizowane z zakładką Wielkość próby.
Planowanie testu
Czas trwania testu
Rekomendacje
Jak MDE wpływa na czas?
| MDE | Wymagana próba | Czas trwania |
|---|
Porównaj wyniki wielu wariantów jednocześnie. Dodaj do 4 wariantów.
Wyniki porównania
Zwycięzca: Wariant B
-
| Wariant | Użytkownicy | Konwersje | CR | vs Kontrolny | p-value | Status |
|---|
Wizualizacja CR
Słownik pojęć
| Pojęcie | Definicja | Typowa wartość |
|---|---|---|
| Poziom ufności (Confidence Level) | Prawdopodobieństwo, że obserwowana różnica jest rzeczywista, nie przypadkowa | 95% |
| Moc statystyczna (Statistical Power) | Prawdopodobieństwo wykrycia rzeczywistej różnicy, jeśli ona istnieje | 80% |
| MDE (Minimum Detectable Effect) | Najmniejsza względna zmiana, którą test może wykryć | 10-20% |
| p-value | Prawdopodobieństwo, że różnica jest przypadkowa. Im niższe, tym lepiej | < 0.05 |
| Błąd typu I (False Positive) | Uznanie różnicy za istotną, gdy jej nie ma | 5% przy conf. 95% |
| Błąd typu II (False Negative) | Nieuznanie różnicy za istotną, gdy ona jest | 20% przy power 80% |
Najczęstsze błędy w testach A/B
Zatrzymanie testu zbyt wcześnie
Wyniki zmieniają się w czasie. Zawsze czekaj na osiągnięcie wymaganej próby.
Podglądanie wyników (peeking)
Wielokrotne sprawdzanie zwiększa szansę fałszywych pozytywów. Ustal z góry czas trwania.
Testowanie zbyt wielu wariantów
Każdy dodatkowy wariant wymaga więcej próby i czasu. Skup się na 2-3 wariantach.
Ignorowanie sezonowości
Test powinien trwać pełne tygodnie, aby uwzględnić różnice między dniami.
Najlepsze praktyki
Ustal hipotezę przed testem
Co testujesz i dlaczego? Jaki wynik oczekujesz?
Oblicz wymaganą próbę z góry
Nie zaczynaj testu bez planu. Ustal MDE, próbę i czas trwania.
Testuj jedną zmianę na raz
Jeśli zmienisz 5 rzeczy, nie będziesz wiedzieć, co zadziałało.
Dokumentuj wszystkie testy
Zapisuj hipotezy, wyniki i wnioski. Buduj bazę wiedzy.
Wzory i metodologia
sampleSize | 2 × (Zα + Zβ)² × p(1-p) / effect² |
zScore | (p1 - p2) / √(pooled × (1/n1 + 1/n2)) |
pValue | 2 × (1 - normalCDF(|z|)) |
Autorskie opracowanie redakcyjne. Wyniki liczone lokalnie. Ostatnia weryfikacja: 23 czerwca 2026 r.