A/B Testing

A/B testing je základný nástroj growth hackingu. Umožňuje ti robiť rozhodnutia na základe dát, nie názoru. Ale treba ho robiť správne.

Čo je A/B Test?

Kontrolovaný experiment:

Používatelia
     │
     ▼
[Náhodné rozdelenie]
     │         │
     ▼         ▼
 Varianta A  Varianta B
 (Control)   (Treatment)
     │         │
     ▼         ▼
  Metrika    Metrika
     │         │
     └────┬────┘
          ▼
    Porovnanie

Kľúčové princípy

Proces A/B Testu

1. Hypotéza

Formuluj jasnú hypotézu:

Šablóna:

Ak [zmena], potom [metrika] sa [zlepší/zhorší] o [očakávaný efekt], pretože [dôvod].

Príklad:

Ak zmeníme CTA button z modrého na oranžový, potom sa click-through rate zvýši o 10%, pretože oranžová je kontrastnejšia a pritahuje viac pozornosti.

2. Sample Size Calculation

Koľko dát potrebuješ?

Faktory:

• Baseline conversion: Aktuálna konverzia (napr. 3%)
• Minimum Detectable Effect (MDE): Najmenší rozdiel, ktorý chceš detekovať (napr. 20% relatívne)
• Significance level: Typicky 95% (p < 0.05)
• Power: Typicky 80%

Príklad:

• Baseline: 3%
• MDE: 20% (z 3% na 3.6%)
• → Potrebuješ ~15 000 visitors na variantu

3. Implementácia

4. Beh testu

• Neskončil predčasne - počkaj na sample size
• Nemodifikuj počas behu - ruší validitu
• Sleduj guardrail metrics - nezhoršuje sa niečo iné?

5. Analýza

Čo Testovať

High-Impact Areas

Prioritizácia (ICE Score)

→ Začni s Headline testom

Bežné Chyby

1. Peeking

Pozeranie na výsledky počas testu a predčasné ukončenie.

Riešenie: Nastav sample size vopred, nepozeraj do konca.

2. Príliš veľa variantov

A/B/C/D/E test vyžaduje 5x viac sample size.

Riešenie: Testuj jednu zmenu naraz.

3. Ignorovanie segmentov

Celkový výsledok môže maskovať segmentové rozdiely.

Riešenie: Analyzuj výsledky aj po segmentoch (mobile/desktop, new/returning).

4. Testovanie bez hypotézy

Náhodné zmeny bez dôvodu.

Riešenie: Vždy začni hypotézou založenou na dátach alebo user research.

Statistical Significance

Čo znamená p < 0.05?

• 95% istota, že rozdiel nie je náhodný
• 5% šanca na false positive (Type I error)

Kedy test vyhrá?

Praktická Checklist

• Jasná hypotéza s očakávaným efektom
• Sample size vypočítaný vopred
• Jedna zmena medzi variantmi
• Guardrail metrics definované
• Test beží do dosiahnutia sample size
• Segmentová analýza
• Dokumentácia výsledkov

📚 Dodatočné materiály

Základné čítanie

• CXL: A/B Testing Guide (Comprehensive)
• VWO: A/B Testing Resources (Practical tips)

SK/CZ Zdroje

Podcasty:

• Ecommerce Bridge - A/B testing - Spotify
• Podnicast - Experimentovanie - podnicast.sk

A/B Test Proces:

1. Hypotéza - Jasná predpoveď
2. Sample Size - Koľko dát potrebuješ
3. Implementácia - Spusti test
4. Beh - Počkaj na sample size
5. Analýza - p < 0.05?

Statistical Significance (p < 0.05):

• 95% istota, že rozdiel nie je náhodný
• Bez signifikancie neimplementuj

Čo testovať:

• Landing page (headline, CTA)
• Pricing page
• Sign-up flow
• Onboarding
• Email subject lines

Bežné chyby:

• Peeking (predčasné ukončenie)
• Príliš veľa variantov
• Ignorovanie segmentov
• Testovanie bez hypotézy

A/B Testing nástroje:

• Google Optimize - Free (ukončené)
• VWO - vwo.com
• Optimizely - optimizely.com
• AB Tasty - abtasty.com

Sample Size Calculator:

• Evan Miller Calculator
• Optimizely Calculator

Knihy:

• Trustworthy Online Controlled Experiments - Kohavi, Tang, Xu
• A/B Testing - Dan Siroker

Video:

• CXL - A/B testing course
• Google - Experimentation best practices