Metriken: Wie du dein Experimentierprogramm aufladen und die Konversionen steigern kannst

Experimente können manchmal ziemlich... nun ja, anstrengend sein. Verkleinerte Teams, begrenzte Budgets, mangelnde Akzeptanz oder ein fehlgeleiteter Fokus auf die Erfolgsquote (die übrigens immer niedrig ist - lies weiter, um zu erfahren, warum dich das nicht beunruhigen sollte).

Wie gehst du also vor, um ein Experimentierprogramm zu skalieren? Der Prozess beginnt mit der Auswahl der richtigen Experimentierkennzahlen .

Metriken gibt es überall, aber haben sie wirklich Einfluss auf die Geschäftsergebnisse ?

Ja - denn bei Metriken geht es darum, den Erfolg zu messen. Als Praktiker/in musst du entscheiden, was wirklich wichtig ist, was du erreichen willst und wie gut du das tust.

Wenn du deine Schlüsselkennzahlen festlegst, hast du auch eine Basis für Vergleiche, anhand derer du den Fortschritt im Laufe der Zeit verfolgen kannst. Außerdem lassen sich die Ergebnisse leichter in der gesamten Organisation verbreiten, da ein Maßstab dafür gesetzt wird, wie "gut" es aussieht. Kennzahlen spielen also eine wichtige Rolle, wenn es darum geht, den Wert von Experimenten zu kommunizieren, die Akzeptanz zu erhöhen und schließlich die Ressourcen zu gewinnen, die du für eine Ausweitung benötigst .

Bild: Metriken nach Wirkungsanteil

Die Wirkung von Programmen zu messen, ist eine häufige Herausforderung - und Kennzahlen sind ein guter Weg, um darauf zu antworten. Eric wies darauf hin, dass die Festlegung der richtigen Kennzahlen vielleicht das Wichtigste ist, nicht nur beim Start eines Experimentierprogramms, sondern auch, wenn es darum geht, es auf die nächste Stufe zu bringen .

Aber... Nur 12% der Experimente sind tatsächlich erfolgreich???

Eines der auffälligsten Ergebnisse war die Tatsache, dass nur 12 % der Experimente erfolgreich waren. Man sollte meinen, dass die Erfolgsquote der wichtigste Faktor bei Experimenten sein muss, oder ?

Falsch gedacht.

Unser Team hat herausgefunden, dass die Gewinnrate eher eine Eitelkeitskennzahl als ein wichtiger Indikator für die Leistung ist. Eric betonte, dass die Wirkung ein viel zuverlässigerer Indikator für den Erfolg ist. Sie umfasst nicht nur die Gewinnrate, sondern auch den erzielten Uplift - denn am Ende des Tages ist die monetäre Wirkung das, was Unternehmen wirklich interessiert .

Würdest du zum Beispiel lieber Tests haben, die in 10 % der Fälle erfolgreich sind, aber einen Uplift von einer Million Dollar bringen? Oder Tests, die in 50 % der Fälle erfolgreich sind, aber nur 100 Dollar an zusätzlichen Einnahmen bringen? (Diese Frage musst du nicht wirklich beantworten. )

Wenn du dir nur die Gewinnrate ansiehst, kann es eine psychologische Herausforderung sein, nur 12 % zu sehen. Es ist nicht schwer, sich vorzustellen, dass eine enttäuschte Geschäftsleitung fragt: Warum sich überhaupt die Mühe machen? Nun, zunächst einmal kommen hier deine Kennzahlen ins Spiel, damit du beurteilen kannst, wie Erfolg wirklich aussieht .

Gleichzeitig musst du die Dinge umdrehen und sehen, dass du 100% der Zeit lernst. Ein Beispiel: Die Zahlen zeigen, dass nur 12% der Experimente auch verlieren, was bedeutet, dass du Merkmale, die sich negativ auswirken können, eliminieren kannst. Die76 %, die sich als nicht schlüssig erweisen, bedeuten, dass du aufhören kannst, Zeit und Ressourcen in irrelevante Bereiche zu investieren .

Natürlich ist die Erfolgsquote wichtig - vor allem, wenn du versuchst, zu Beginn deines Programms die Akzeptanz zu gewinnen. Aber wir haben gesehen, dass du das hinter dir lassen und den Wert von Experimenten in Form von Uplift definieren musst, indem du die Erfolgsquote in die erwartete Wirkung pro Test umrechnest .

Welche anderen Metriken solltest du dir ansehen, um auf den neuesten Stand zu kommen?

In dem Bericht wurden auch die gängigsten Metriken zur Bewertung des Gesamterfolgs von Experimentierprogrammen ermittelt. Das Team stellte fest, dass dieGeschwindigkeit die mit Abstand am häufigsten verwendete Metrik für Experimentierprogramme ist. Die Anzahl der durchgeführten Tests ist wichtiger als alles andere - unter der Voraussetzung, dass sie durch Qualität untermauert werden. Damit meinen wir Experimente, hinter denen ein gewisses Maß an Überlegung steckt .

Bild: Ein durchschnittliches Unternehmen führt 34 Tests pro Jahr durch.

Die Wirkung ist ein weiterer wichtiger KPI. Sie mag zwar eine nachlaufende Kennzahl sein, aber wie wir bereits gesehen haben, ist der Uplift das, worauf der Chef, der Big Cheese, der Head Honcho, wirklich Wert legt .

Eine dritte wichtige Kennzahl ist der Prozentsatz der Organisation, der zum Programm beiträgt. Das ist entscheidend, wenn du auf dem Weg zur Reife bist, eine Dynamik erzeugst und messen willst, wie gut du vorankommst. DieAkzeptanz im gesamten Unternehmen spielt auch eine große Rolle, wenn es darum geht, die Pipeline an Testideen zu erweitern, die es dir ermöglichen, weiter zu wachsen und dich zu verbessern .

Mehr Tests = mehr Wert. Sogar die Daten sagen, dass das nicht stimmt.

Sowohl Eric als auch ich haben auch über die Bedeutung der Testgeschwindigkeit gesprochen: Ist es wirklich so einfach wie mehr Tests = mehr Wert? In der Regel ja: Die Daten zeigen, dass mehr Tests = mehr Erfolge = mehr Wert sind. Denn egal, wie viel du recherchierst und welche Vorbereitungen du triffst, du weißt nie mit Sicherheit, was funktionieren wird. Deshalb gilt:Je mehr Experimente du durchführst, desto größer ist deine Chance, einen Treffer zu landen .

Wenn du dein Programm zum Laufen bringst, zum Beispiel in den ersten 12-18 Monaten, solltest du so viele Tests wie möglich durchführen. Das wird dir helfen, eine Datenbank mit erfolgreichen Geschichten aufzubauen, um mehr Ressourcen zu gewinnen und eine Kultur des Experimentierens zu etablieren.

Wir haben aber auch gesehen, dass es beim Wechsel auf die nächste Stufe nicht unbedingt darum geht, die Geschwindigkeit zu erhöhen. Es geht darum, sich auf die Komplexität zu konzentrieren und über kosmetische Änderungen hinauszugehen. Kleinste Änderungen führen in der Regel zu kleinen Steigerungen. Unsere Untersuchungen haben gezeigt, dass die Experimente mit dem höchsten Uplift zwei Dinge gemeinsam haben:

1. Sie nehmen größere Änderungen am Code vor, die sich stärker auf das Nutzererlebnis auswirken .
2. Sie testen eine größere Anzahl von Varianten gleichzeitig .

Komplexere Experimente, die größere Änderungen am Nutzererlebnis vornehmen, z. B. Preisgestaltung, Rabatte, Checkout-Flow, Datenerfassung usw., führen mit höherer Wahrscheinlichkeit zu höheren Uplifts.

Die alleinige Konzentration auf den Umsatz kann ein Hindernis sein

Der Umsatz ist eine weitere wichtige Kennzahl, die Teams angeben, wenn sie den Wert ihres Experimentierprogramms hervorheben. Das ist nicht verwunderlich, denn schließlich halten die Einnahmen ein Unternehmen... im Geschäft. Die meisten Unternehmen konzentrieren sich darauf, Geld zu verdienen, also musst du dich darauf konzentrieren, um die Unterstützung der Führungskräfte zu gewinnen. Mark und Eric haben aber auch die Kehrseite der Medaille besprochen .

Umsatzsteigerungen können schwer zu verfolgen sein - zum Beispiel, wenn du keine E-Commerce-Website hast oder wenn dein Geschäft sehr komplexe Kaufzyklen erfordert, die zwei oder drei Jahre dauern. Wenn du den Umsatz nicht direkt verfolgen kannst, solltest du deine Bemühungen so weit unten im Trichter konzentrieren, wie du kannst .

Oder angenommen, deine Website oder App zielt nicht darauf ab, Einnahmen zu generieren. Sie nannten das Beispiel eines Unternehmens, das große Umsätze direkt mit einer kleinen Gruppe von Kunden macht und seine Website nutzt, um die Öffentlichkeit aufzuklären .

Der Schlüssel dazu ist, den eigentlichen Zweck des Kanals zu verstehen und deine Strategie darauf aufzubauen. Anstatt die Konversionsrate zu erhöhen, solltest du dich eher dafür interessieren, dass bestimmte Seiten angeklickt werden, die Verweildauer auf der Website maximiert wird, du dich für eine Veranstaltung anmeldest oder ein Dokument herunterlädst.

Es lohnt sich auch, ein paar andere Kennzahlen zu berücksichtigen, die unserer Meinung nach unterbewertet werden. Nimm zum Beispiel die Suchrate. Sie ist das am meisten unterschätzte Experimentierziel und wird nur in 1 % der Fälle getestet, hat aber mit 2,3 % die höchste erwartete Wirkung. Kunden, die aktiv nach einem Produkt oder einer Dienstleistung suchen, konvertieren wahrscheinlich zwei- bis dreimal so häufig wie alle anderen Nutzer .

Denk daran: Keine Reise bedeutet keine Konversionen.

Drei wichtige Erkenntnisse auf einen Blick

Abschließend möchte ich dir drei Tipps geben, die dir helfen, ein erfolgreiches Experimentierprogramm aufzubauen und zu erweitern.

1. Denke ABCD und nicht nur AB. Experimente, bei denen mehrere Behandlungen getestet werden, sind dreimal so erfolgreich wie normale A/B-Tests.
2. Führe komplexe Experimente durch. Tests, die größere Änderungen am Nutzererlebnis vornehmen (Preisgestaltung, Rabatte, Checkout-Flow, Datenerfassung usw.), haben eine höhere Erfolgswahrscheinlichkeit und höhere Uplifts.
3. Wähle die richtigen Kennzahlen, die zu den allgemeinen Zielen deiner Website oder App passen - und konzentriere dich nicht zu sehr auf die Gewinnraten !

All dies ist nur ein kleiner Vorgeschmack.

Warum nicht den ganzen Bericht lesen?

Unser Bericht "Evolution of Experimentation" enthält Daten aus 127.000 Experimenten, die Einblicke, Techniken und Beispiele für die Skalierung eines erfolgreichen Experimentierprogramms liefern. Lies den Bericht.