A/B test kalkulator

Optimizelys A/B test kalkulator for målgruppestørrelse skiller seg fra andre statiske kalkulatorer. Vår er basert på formelen som brukes i vår egen stats engine. Statistikkmotoren beregner statistisk signifikans ved hjelp av sekvensiell testing og kontroll av falsk oppdagelsesrate. Når disse to teknikkene kombineres, betyr det at du ikke lenger trenger å vente på en forhåndsinnstilt utvalgsstørrelse for å sikre gyldigheten av resultatene dine. Om Web Experimentation forteller deg at et resultat er 95 % signifikant, kan du ta en beslutning med 95 % sikkerhet. Les mer

Med denne statistiske A/B test kalkulatoren kan du beregne hvor mange besøkende du trenger til hver variant for å måle den ønskede endringen i konverteringsgraden. Hvis Web Experimentation oppdager en effekt som er større enn den du er ute etter, kan du i mange tilfeller avslutte testen tidligere.

Kalkulatoren er basert på formelen bak vår egen Stats Engine, som bruker en tosidig sekvensiell sannsynlighets ratio-test med kontroll av falsk oppdagelsesrate for å beregne statistisk signifikans.

Med denne metoden trenger du ikke lenger å forholde deg til en forhåndsdefinert målgruppestørrelse for å sikre at resultatene dine er gyldige. I stedet kan du bruke vår A/B-testkalkulatoren som verktøy for å planlegge testprogrammet ditt og finne ut hvor lenge du må vente før Optimizely kan avgjøre om resultatene dine er signifikante, avhengig av hvilken effekt du ønsker å observere.

Du kan se på historiske data om hvordan denne siden har prestert tidligere gjennom verktøy som Google Analytics eller andre analyseverktøy du bruker. 

Lær mer om hvordan du jobber med baseline og konverteringsgrad

I tradisjonell hypotesetesting er MDE i hovedsak testens sensitivitet. Det er med andre ord den minste relative endringen i konverteringsgraden du er interessert i å oppdage.

Eksempel: Om konverteringsgraden i utgangspunktet er 20 %, og du setter en MDE på 10 %, vil testen oppdage alle endringer som flytter konverteringsgraden utenfor det absolutte området på 18 % til 22 % (en relativ effekt på 10 % tilsvarer en absolutt endring i konverteringsgraden på 2 % i dette eksemplet).

Les mer om hva minste påvisbare effekt er (minimum detectable effect (MDE) på engelsk).

Bestem deg for hvor villig du er til å avveie testens sensitivitet mot hvor lenge du trenger å kjøre testen. Jo mindre MDE, desto mer sensitiv må testen være, og desto større utvalg trenger du.

Husk at statistisk signifikans i Web Experimentation Stats Engine viser deg sjansen for at resultatene dine noen gang vil være signifikante, mens eksperimentet pågår. Hvis effekten som statistikkmotoren vår observerer, er større enn den minste påvisbare effekten du er ute etter, kan testen din erklære en vinner eller taper 2 ganger raksere enn om du måtte vente på en forhåndsdefinert målgruppestørrelse.

Med mer tid kan statistikkmotoren også finne en mindre MDE enn den du forventer.

Les mer om MDE og hvordan vår stats engine håndterer dette. 

Statistisk styrke er i bunn og grunn et mål på om testen din har tilstrekkelig med data til å gi et konklusivt resultat. Web Experimentation Stats Engine kjører tester som alltid oppnår en styrke på én, noe som betyr at testen alltid har tilstrekkelig med data til å vise deg resultater som er gyldige på det tidspunktet, og til slutt vil oppdage en eventuell forskjell. Dette betyr at du kan ta en beslutning så snart resultatene dine er signifikante, uten å bekymre deg for styrken.