Ein Rauchmelder für Ihre Experimente: Einführung in Optimizelys automatische Erkennung von Fehlanpassungen des Probenverhältnisses

Die automatische Erkennung von Sample Ratio Mismatch (SRM) in Optimizely Experiment gibt den Experimentatoren Sicherheit. Sie reduziert die Zeit, in der ein Benutzer schlechte Erfahrungen macht, indem sie jede Verschlechterung eines Experiments schnell erkennt.

Diese Verschlechterung wird durch unerwartete Ungleichgewichte zwischen den Besuchern und einer Variation in einem Experiment verursacht. Am wichtigsten ist jedoch, dass diese automatische SRM-Erkennung Produktmanagern, Marketingfachleuten, Ingenieuren und Experimentierteams die Möglichkeit gibt, mehr Experimente zu starten.

Wie die Statistik-Engine von Optimizely Experiment und die automatische Sample-Rate-Mismatch-Erkennung zusammenarbeiten

Der Sample Ratio Mismatch agiert wie der Türsteher an der Tür, der einen mechanischen Zähler hat, der die Tickets der Gäste (Nutzer) überprüft und ihnen sagt, in welchem Raum sie feiern dürfen.

DieStatistik-Engine ist wie der Party-Gastgeber, der immer die Stimmung (das Verhalten) der Gäste überprüft, wenn diese den Raum betreten.

Wenn SRM seine Arbeit richtig macht, dann kann die Statistik-Engine mit Sicherheit sagen, welcher Partyraum besser ist, und mehr Besucher früher zur siegreichen Variante (der besseren Party) leiten.

Warum sollte ich die SRM-Erkennung von Optimizely Experiment nutzen?

Es ist ebenso wichtig, dass die Nutzer von Optimizely Experiment wissen, dass ihre Experimentergebnisse vertrauenswürdig sind, und dass sie die Werkzeuge haben, um zu verstehen , was ein Ungleichgewicht für ihre Ergebnisse bedeuten kann und wie sie es verhindern können.

Optimizely Experiment geht noch einen Schritt weiter, indem es die Leistung der automatischen Erkennung von Besucherungleichgewichten mit einem aufschlussreichen Gesundheitsindikator für Experimente kombiniert. Dieser Indikator für den Zustand des Experiments erfüllt eine doppelte Aufgabe: Er zeigt unseren Kunden an, wenn alles in Ordnung ist und kein Ungleichgewicht vorliegt.

Wenn dann ein zeitnaher Einblick erforderlich ist, um Ihre Geschäftsentscheidungen zu schützen, liefert Optimizely auch zeitnahe Warnungen, die unseren Kunden helfen, die Schwere von Fehlern zu erkennen, zu diagnostizieren und zu beheben.

Warum sollte ich mir Gedanken über Sample Ratio Mismatch (SRM) machen?

So wie Fieber ein Symptom für viele Krankheiten ist, ist ein SRM ein Symptom für eine Vielzahl von Datenqualitätsproblemen. Wird ein SRM ignoriert, ohne die Ursache zu kennen, kann dies dazu führen, dass ein schlechtes Merkmal als gut erscheint und an die Benutzer ausgeliefert wird, oder andersherum. Wenn Sie ein Experiment mit einer unbekannten Quelle für unausgewogenen Datenverkehr finden, können Sie es schnell abschalten und den Radius der Explosion verringern.

Welcher Zusammenhang besteht dann zwischen einer "Fehlanpassung" und einem "Stichprobenverhältnis"?

Wenn wir uns darauf vorbereiten, ein Experiment zu starten, weisen wir Optimizely Experiment einen Traffic-Split von Nutzern zu, der auf jede Variante verteilt wird. Wir erwarten, dass der zugewiesene Traffic-Split einigermaßen mit dem tatsächlichen Traffic-Split in einem Live-Experiment übereinstimmt. Ein Experiment ist einem SRM-Ungleichgewicht ausgesetzt, wenn ein statistisch signifikanter Unterschied zwischen dem erwarteten und dem tatsächlich zugewiesenen Traffic-Split der Besucher auf die Variationen eines Experiments besteht.

1. Eine Nichtübereinstimmung bedeutet nicht, dass die Übereinstimmung nicht perfekt ist.

Zur Erinnerung: Ein bonifiziertes Ungleichgewicht erfordert ein statistisch signifikantes Ergebnis des Unterschieds bei den Besuchern. Erwarten Sie keine perfekte, identische, exakte Übereinstimmung zwischen dem Traffic-Split am Starttag und Ihrem Traffic-Split in der Produktion. Es wird immer eine gewisse, wenn auch nur geringe Abweichung geben.

Nicht jede Abweichung beim Traffic bedeutet automatisch, dass ein Experiment nutzlos ist. Da Optimizely die Zeit und Energie seiner Kunden sehr schätzt, haben wir einen neuen statistischen Test entwickelt, der die Ergebnisse der Experimente kontinuierlich überwacht und schädliche SRMs so früh wie möglich erkennt. Und das alles bei gleichzeitiger Kontrolle von Falsch-Positiven (AKA, wenn wir zu dem Schluss kommen, dass ein überraschender Unterschied zwischen einer Testvariante und der Basislinie besteht, obwohl es keinen echten Unterschied gibt).

2. Ein Blick unter die Haube des SRM-Erkennungsalgorithmus von Optimizely Experiment

Die automatische SRM-Erkennungsfunktion von Optimizely Experiment verwendet einen sequentiellen Bayes'schen Multinomialtest(sagen Sie das fünfmal schnell!), genannt sequentielle Sample Ratio Mismatch. Die Optimizely-Statistiker Michael Lindon und Alen Malek haben mit dieser Methode Pionierarbeit geleistet, und sie ist ein neuer Beitrag zum Gebiet der sequenziellen Statistik. Optimizely Experiment's sample ratio mismatch detection harmonisiert sequentielle und Bayes'sche Methoden, indem es kontinuierlich die Besucherzahlen überprüft und auf ein signifikantes Ungleichgewicht in den Besucherzahlen einer Variation testet. Die Konstruktion des Algorithmus ist Bayesianisch inspiriert, um das optionale Anhalten und Fortsetzen eines Experiments zu berücksichtigen und gleichzeitig sequentielle Garantien für Typ-I-Fehlerwahrscheinlichkeiten zu liefern.

3. Vorsicht vor Chi-eap-Alternativen!

Die beliebtesten frei verfügbaren SRM-Rechner verwenden den Chi-Quadrat-Test. Wir empfehlen dringend eine sorgfältige Überprüfung der Mechanismen des Chi-Quadrat-Tests. Das Hauptproblem der Chi-Quadrat-Methode besteht darin, dass Probleme erst entdeckt werden, nachdem alle Daten gesammelt wurden. Das ist wohl viel zu spät und steht im Widerspruch zu den Gründen, warum die meisten Kunden überhaupt eine SRM-Inhaftierung wünschen. In unserem Blog-Beitrag "Ein besserer Weg, um auf ein falsches Stichprobenverhältnis zu testen (oder warum ich keinen Chi-Quadrat-Test verwende)" gehen wir näher auf die Chi-Quadrat-Methode ein und erläutern, wie das, was wir entwickelt haben, die Lücken schließt, die die Alternativen hinterlassen.

Häufige Ursachen für einen SRM

1. Umleitungen und Verzögerungen

Ein SRM entsteht in der Regel dadurch, dass einige Besucher die Seite verlassen, bevor die Weiterleitung abgeschlossen ist. Da wir die Entscheidungsereignisse erst senden, wenn sie auf der Seite ankommen und Optimizely Experiment geladen ist, können wir diese Besucher nicht in unserer Ergebnisseite zählen, es sei denn, sie kehren irgendwann zurück und senden ein Ereignis an Optimizely Experiment.

Ein SRM kann bei allem auftreten, was dazu führt, dass die Ereignisaufrufe von Optimizely Experiment verzögert oder nicht ausgelöst werden, wie z.B. bei Änderungen des Variationscodes. Es tritt auch auf, wenn Redirect-Experimente Besucher auf eine andere Domain umleiten. Diese Erscheinung wird durch langsame Verbindungszeiten verschlimmert.

2. Force-Bucketing

Wenn ein Nutzer zuerst in einem Experiment in einen Bucket gesetzt wird und diese Entscheidung dann dazu verwendet wird, ihn in einem nachfolgenden Experiment in einen Force-Bucket zu setzen, dann werden die Ergebnisse dieses nachfolgenden Experiments unausgewogen.

Hier ist ein Beispiel:

Variante A bietet ein völlig anderes Nutzererlebnis als Variante B.

Die Besucher, die in Variante A gelandet sind, haben ein großartiges Erlebnis, und viele von ihnen loggen sich weiterhin ein und landen in dem nachfolgenden Experiment, in dem sie in Variante A zwangsgelandet sind.

Aber die Besucher, die in die Variante B verschoben wurden, haben kein gutes Erlebnis. Nur wenige Nutzer melden sich an und landen in einem nachfolgenden Experiment, bei dem sie in Variante B zwangsumgetopft werden.

Nun haben Sie also viel mehr Besucher in Variante A als in Variante B.

3. Die Website hat ihre eigenen Weiterleitungen

Einige Websites haben ihre eigenen Weiterleitungen (z. B. 301), die in Kombination mit unseren Weiterleitungen dazu führen können, dass ein Besucher auf einer Seite ohne das Snippet landet. Dies führt dazu, dass ausstehende Entscheidungsereignisse in localStorage gesperrt werden und Optimizely Experiment sie nie erhält oder zählt.

4. Halten/Senden von Ereignissen API-Aufrufe sind außerhalb des Snippets untergebracht

Einige Benutzer fügen Hold/Send-Ereignisse in das Projekt JS ein. Andere fügen sie jedoch in andere Skripte auf der Seite ein, wie z. B. in Anbieter-Bundles oder Analytics-Tracking-Skripte. Dies stellt ein weiteres Skript dar, das ordnungsgemäß geladen werden muss, damit die Entscheidungen ordnungsgemäß ausgelöst werden. Die Implementierung oder die Ladegeschwindigkeit kann je nach Variante unterschiedlich sein, insbesondere bei Weiterleitungen.

Interessiert ?

Wenn Sie bereits Kunde von Optimizely Experiment sind und mehr darüber erfahren möchten, wie die automatische SRM-Erkennung Ihren A/B-Tests zugute kommt, schauen Sie sich unsere Knowledge Base-Dokumentation an:

• Optimizely Experiment's automatische Sample Ratio Mismatch (SRM) Erkennung entdeckt jede Verschlechterung des Experiments frühzeitig
• Ungleichgewicht erkannt:Was ist zu tun, wenn die automatische SRM-Erkennung von Optimizely Experiment Sie auf ein Ungleichgewicht aufmerksam macht.

Für weitere Details können Sie sich jederzeit an Ihren Kundenbetreuer wenden, aber nehmen Sie sich einen Moment Zeit, um unsere Dokumentation zu lesen!

Wenn Sie noch kein Kunde sind, können Sie hier mit uns beginnen!

Und wenn Sie mehr über den Optimizely-Experimentiermotor erfahren möchten, besuchen Sie unsere Seite Schnellere Entscheidungen, denen Sie bei digitalen Experimenten vertrauen können.