A/B testování je metoda porovnávání dvou verzí téhož prvku s cílem zjistit, která funguje lépe. Polovině uživatelů se zobrazí varianta A (původní), druhé polovině varianta B (upravená). Na základě měřitelných výsledků – typicky míry prokliků, konverzí nebo jiných metrik – se rozhodne, která varianta zvítězí. Jde o jeden z nejspolehlivějších způsobů, jak nahradit dohady o tom, co zákazníci chtějí, tvrdými daty.
Podnikatelé často stojí před rozhodnutími typu: má být tlačítko „Koupit” zelené, nebo oranžové? Má nadpis slibovat slevu, nebo kvalitu? Má být formulář na úvodní stránce, nebo až po rozkliknutí? Tradiční přístup znamená rozhodnout se podle intuice, zkušenosti nebo názoru nejhlasitějšího člověka v místnosti. Problém je, že lidská intuice v digitálním prostředí často selhává – co se líbí nám, nemusí rezonovat s naší cílovou skupinou.
A/B testování tento problém řeší tím, že nechá rozhodnout samotné zákazníky svým chováním. Místo debaty o barvě tlačítka změříme, na kterou barvu lidé skutečně klikají. Místo odhadování, jaký nadpis zabere, ověříme to na reálném provozu. Výsledkem jsou rozhodnutí podložená daty, nikoli domněnkami.
Pro e-shopy a online služby je tato metoda obzvlášť cenná, protože malá zlepšení konverzního poměru mají při vysokém objemu návštěvnosti zásadní dopad na tržby. Zvýšení konverze z 2 % na 2,5 % znamená o čtvrtinu více objednávek při stejných nákladech na akvizici zákazníků.
Kvalitní test začíná jasnou hypotézou. Nestačí říct „zkusíme jiný nadpis” – je potřeba formulovat předpoklad typu „kratší nadpis zaměřený na úsporu času zvýší míru prokliků, protože naše cílová skupina jsou časově vytížení profesionálové”. Hypotéza určuje, co měníme, proč to měníme a jak poznáme úspěch.
Testovat by se měl vždy jen jeden prvek najednou. Pokud současně změníte nadpis, obrázek a barvu tlačítka, nebudete vědět, která změna způsobila rozdíl ve výsledcích. Izolace proměnných je základním principem – jedna změna, jedno měření. Komplexnější testy s více proměnnými (multivariantní testování) vyžadují výrazně větší objem dat a sofistikovanější analytické nástroje.
Velikost vzorku je kritická. Test na stovce návštěvníků nemá statistickou vypovídací hodnotu – rozdíl může být dílem náhody. Většina nástrojů pro A/B testování obsahuje kalkulačky, které na základě aktuální konverze a očekávané změny spočítají, kolik návštěvníků potřebujete. U běžných e-shopů to typicky znamená tisíce až desetitisíce návštěvníků na každou variantu.
Délka testu souvisí s velikostí vzorku, ale je důležité testovat minimálně jeden celý týden, aby se zachytily rozdíly v chování během pracovních dnů a víkendu. Předčasné ukončení testu, protože „to už vypadá jasně”, je častá chyba – statistická významnost vyžaduje trpělivost.
Nástroje pro A/B testování jsou dnes dostupné na různých úrovních složitosti. Google Optimize byl donedávna populární bezplatnou volbou, dnes existují alternativy jako VWO, Optimizely nebo AB Tasty. Pro jednoduché testy stačí i funkce vestavěné v e-mailových platformách nebo reklamních systémech.
Po ukončení testu přichází interpretace výsledků. Klíčová je statistická významnost – většina nástrojů ji vyjadřuje jako pravděpodobnost, že pozorovaný rozdíl není náhodný. Standardem je 95% významnost, což znamená pouze 5% pravděpodobnost, že jde o náhodu. Pokud test nedosáhne statistické významnosti, výsledek je neprůkazný a změnu nelze doporučit ani vyloučit.
Největší chybou je testování marginálií bez strategického významu. Debaty o odstínu modré spotřebují čas, který by bylo lepší věnovat zásadnějším změnám. Obecně platí: čím větší očekávaný dopad změny, tím více se vyplatí testovat. Mikrooptimalizace má smysl až po vyřešení velkých problémů.
Testování nedává smysl při nízkém provozu. Web s tisícem návštěv měsíčně potřebuje na statisticky významný test několik měsíců. V takové situaci je efektivnější udělat kvalitativní výzkum – rozhovory se zákazníky, uživatelské testování – a na základě toho provést větší změny.
Dalším problémem je ignorování kontextu. Test provedený v prosinci při vánočních nákupech může mít jiné výsledky než v únoru. Sezonalita, marketingové kampaně nebo změny v nabídce mohou ovlivnit výsledky způsobem, který nesouvisí s testovanou změnou.
Nebezpečné je také přeceňování malých vítězství. Zvýšení konverze o 0,1 % může být v rámci statistické chyby, i když nástroj hlásí vítěznou variantu. Reálný dopad je třeba vždy konfrontovat s praktickým významem.
Jednorázové testy přinášejí jednorázové výsledky. Skutečná hodnota A/B testování se projeví, když se stane součástí rozhodovacího procesu. Místo debat o názorech se debatuje o datech, místo velkých redesignů se postupuje iterativně s měřením každého kroku. Firmy, které tuto kulturu zvládnou vybudovat, mají v digitálním prostředí významnou konkurenční výhodu.
« Zpátky na Slovník pojmůObjevili jste v článku nepřesnosti, nebo byste ho naopak chtěli doplnit? Napište mi!