Data insights
3. november 2023
A/B testing (Splittesting): Har du trafik nok til at få et svar, du kan handle på? Regn det ud, før du starter testen
A/B testing betyder, at du deler besøgende tilfældigt mellem to versioner af en side og måler, hvilken der giver flest af én bestemt handling. Testen giver kun et brugbart svar, hvis siden har konverteringer nok. Her kan du regne ud, hvor mange besøgende og hvor lang tid din egen test kræver.
Indhold
Hvornår giver en A/B test mening, og hvad forveksles den med? Hvad afgør, om en A/B test viser en reel forskel? Hvor mange besøgende skal din side have, før du kan teste? Hvad spørger folk ofte om A/B testing?A/B testing
A/B testing er en metode, hvor besøgende på en webside fordeles tilfældigt mellem to versioner, A og B, så det kan måles, hvilken version der får flest besøgende til at udføre én bestemt handling, for eksempel et køb eller en henvendelse.
Kaldes også: Splittesting, A/B test. På engelsk: A/B testing (split testing)
Version A er typisk den side, du har i dag. Version B er en variant, hvor du har ændret én ting, for eksempel en overskrift eller teksten på en knap.
Hvornår giver en A/B test mening, og hvad forveksles den med?
En A/B test giver mening, når du skal vælge mellem to løsninger og vil have et målt svar i stedet for et gæt, og når siden har nok besøgende og konverteringer til at vise forskellen. Den forveksles ofte med en før-og-efter-sammenligning, en multivariat test og en SEO-test, men de måler forskellige ting.
Styrken ved en A/B test er, at A og B kører samtidig og får samme slags besøgende. Sæson, kampagner og vejret rammer begge versioner ens. Derfor kan en forskel i resultatet tilskrives ændringen og ikke tilfældige udsving i trafikken.
Ændrer du i stedet siden og sammenligner med måneden før, ved du ikke, om forskellen skyldes ændringen eller noget helt andet. Det er den mest almindelige forveksling.
| Metode | Hvad sammenlignes | Hvornår den passer | Faldgrube |
|---|---|---|---|
| A/B test | To versioner af samme side, vist til tilfældigt fordelte besøgende på samme tid | Du vil vælge mellem to løsninger på en side med nok konverteringer | Kræver flere besøgende, end de fleste regner med |
| Før-og-efter | Samme side i to perioder | Trafikken er for lav til en A/B test, og du accepterer et mindre sikkert svar | Sæson og kampagner kan forklare hele forskellen |
| Multivariat test | Flere elementer og deres kombinationer på én gang | Sider med meget høj trafik | Hver kombination skal have nok besøgende, så trafikbehovet ganges op |
| SEO-splittest | Grupper af ens sider, hvor kun den ene gruppe ændres, målt på trafik fra søgning | Sites med mange sider af samme type, fx produktsider | Måler synlighed i søgning, ikke om besøgende køber |
En A/B test forbedrer ikke din placering i søgemaskinerne af sig selv. Den fortæller dig, hvilken version der får de besøgende, du allerede har, til at handle. Hvis vinderen også giver bedre indhold, kan det hjælpe SEO indirekte, men det er ikke noget, testen måler.
Hvad afgør, om en A/B test viser en reel forskel?
Det er antallet af konverteringer i hver variant, ikke antallet af dage, der afgør, om forskellen mellem A og B kan skelnes fra tilfældigheder. Jo lavere konverteringsrate og jo mindre forskel du leder efter, jo flere besøgende kræver testen.
Forløbet er det samme i alle A/B tests. Du starter med en hypotese, deler trafikken, måler én handling og stopper først, når du har samlet det antal besøgende, du regnede dig frem til på forhånd.
Statistisk sikkerhed betyder her, hvor sikker du er på, at forskellen ikke bare er tilfældig. Den gængse grænse er 95 procent. Det betyder, at du accepterer 5 procents risiko for at udråbe en vinder, der i virkeligheden ikke er bedre.
Tre tal bestemmer, hvor mange besøgende du skal bruge:
- Trafik: hvor mange besøgende siden får om måneden. Flere besøgende betyder kortere test.
- Konverteringsrate: hvor stor en andel der udfører handlingen. Ved 3 procent sker der kun 3 køb pr. 100 besøg, så det tager lang tid at samle nok.
- Mindste forskel du vil kunne se: hvor stor en forbedring testen skal kunne fange. Halverer du den forskel, skal du bruge cirka fire gange så mange besøgende.
Derfor er en test, der har kørt i fire uger, ikke nødvendigvis færdig. Har siden kun fået 60 køb i hver variant, kan en forskel på 10 procent sagtens være tilfældig.
Hvor mange besøgende skal din side have, før du kan teste?
Antallet afhænger af din konverteringsrate og den mindste forskel, du vil kunne se. En produktside med 4.000 besøgende og 120 køb om måneden skal bruge omkring 52.000 besøgende pr. variant for at fange en forbedring på 10 procent, og det svarer til godt to års trafik.
Tag webshop-eksemplet. Produktsiden har 4.000 besøgende om måneden og en konverteringsrate på 3 procent. Du vil teste, om knapteksten “Læg i kurv” klarer sig bedre end “Køb nu”, og du vil kunne se en forbedring på 10 procent, altså fra 3,0 til 3,3 procent.
Hvad spørger folk ofte om A/B testing?
De typiske spørgsmål handler om lav trafik, hvornår en test må stoppes, om testen skader SEO, og hvad der er værd at teste først.
Hvad gør jeg, hvis min side har for lidt trafik til en A/B test?
Må jeg stoppe testen, når en variant ser ud til at vinde?
Skader A/B testing min SEO?
Hvad er værd at teste først?
Kan jeg teste mere end to varianter på én gang?
Det skal du huske om A/B testing
Regn på trafikken, før du starter en A/B test: antallet af konverteringer pr. variant afgør, om forskellen kan skelnes fra tilfældigheder.
En side med 4.000 besøgende og 3 procent konvertering skal bruge godt to års trafik for at fange en forbedring på 10 procent.
Test én ændring ad gangen, så du ved, hvad der gjorde forskellen.
Stop ikke testen ved første tegn på en vinder. Beslut antallet af besøgende på forhånd.
En A/B test forbedrer ikke SEO af sig selv. Den viser, hvilken version der får dine nuværende besøgende til at handle.
Vurdering af din A/B test
Få at vide, om din side kan bære en A/B test
Skriv dit domæne og din mail. Så kigger vi på dit website og sender dig en vurdering af, hvor en A/B test kan give et svar, og hvor den ikke kan.
- Hvilke sider der har trafik nok til at give et sikkert svar
- Hvilken ændring der er mest oplagt at teste først
- Hvad du kan gøre i stedet på sider med for lidt trafik
Du hører fra os inden for fem hverdage. Ingen binding. Du bestemmer selv, hvad du gør med den.
Vil du hellere tage den over en kop kaffe?
