A/B-test
zelfstandig naamwoord
Een A/B-test is een experiment waarbij twee groepen elk een andere variant te zien krijgen. Door hun gedrag te vergelijken, meet je welke variant beter presteert op een vooraf gekozen doel.
Met een A/B-test onderzochten we bij welke tekst meer bezoekers het formulier verstuurden.
Met een A/B-test vergelijk je twee versies van bijvoorbeeld een webpagina, knop of functie. De ene groep gebruikers ziet variant A en de andere groep variant B. Vervolgens meet je welk effect beide varianten hebben op een gekozen doel, zoals het aantal aanmeldingen, aankopen of afgeronde taken.
Hoe voer je een A/B-test uit?
Vooraf bepaal je wat je wilt onderzoeken en met welke meetwaarde je de uitkomst beoordeelt. Verander bij voorkeur één duidelijk onderdeel. Als tegelijk de tekst, kleur en plek van een knop veranderen, weet je achteraf niet welke aanpassing het verschil veroorzaakte.
Gebruikers worden willekeurig over de varianten verdeeld. Zo verklein je de kans dat verschillen tussen de groepen de uitkomst beïnvloeden. Beide varianten draaien in dezelfde periode, zodat bijvoorbeeld een feestdag of tijdelijke campagne niet maar één variant raakt. Met een Woordenboek · In het kortfeature flagEen feature flag is een instelling waarmee software een functie aan- of uitzet zonder dat daarvoor opnieuw code hoeft te worden uitgerold. De instelling kan gelden voor alle gebruikers of voor een bepaalde groep.Lees meer kun je bepalen welke gebruiker een bepaalde variant krijgt.
Wanneer is de uitkomst bruikbaar?
Een verschil in de meetwaarden betekent niet meteen dat variant A of B werkelijk beter is. Een kleine groep kan door toeval een afwijkend resultaat geven. Hoeveel deelnemers en tijd je nodig hebt, hangt onder meer af van het verwachte verschil, de huidige conversie en de gewenste statistische zekerheid.
Leg daarom vooraf de looptijd, doelgroep en het criterium voor succes vast. Stop je zodra een variant even voorstaat, dan trek je mogelijk een verkeerde conclusie. Een goede A/B-test helpt een concrete keuze te onderbouwen, maar verklaart niet vanzelf waarom gebruikers zich anders gedragen. Daarvoor kan aanvullend gebruikersonderzoek nodig zijn.