Signifikanz von A/B-Tests – Dem Zufall auf der Spur

Wie schnell kann ich Ergebnisse im A/B- oder multivariaten Test erhalten und kann ich mich auf diese Ergebnisse verlassen? Diese grundlegenden Fragen stellen sich die meisten Seitenbetreiber, wenn sie mit der kontinuierlichen Optimierung ihrer Website beginnen.
Früher war die Verbesserung einer Website in weiten Teilen eine Frage des Geschmacks. Heute bestimmen Statistik und Mathematik, an welchen Stellschrauben einer Website gedreht wird.
A/B-Testing ist bereits etablierter Standard zur kontinuierlichen Optimierung von Websites. Dabei werden der ursprünglichen Version des zu testenden Elements eine oder mehrere Varianten gegenüber gestellt. Besucher sehen während des Testzeitraums entweder die Ursprungsversion oder eine Variante. Anhand ihres Verhaltens wird dann die bessere Version ausgewählt. Der multivariate Test betrachtet die gleichzeitige Veränderung mehrerer Elemente auf einer Seite.
Ursprungsversion und vier Varianten eines A/B-Tests für TUIfly.com
Diese Methode wird auf dem gesamten Weg des Konsumenten (Customer Journey) auf einer Website verwendet: von der Akquisition der Besucher über Landingpages bis hin zur detaillierten Optimierung. Insbesondere in der Akquisitionsstrecke sind dabei schnelle Ergebnisse gefragt, um mit hoher Sicherheit die beste Version auszuwählen.
Um das zu schaffen, wird vorab häufig kein fixer Test-Zeitraum bestimmt. Vielmehr wird durch kontinuierliches Monitoring der aktuellen Testergebnisse der Zeitpunkt abgewartet, an dem eine Variante vermeintlich besser funktioniert als die andere.
Zu Beginn des Tests ist ein Ziel festgelegt worden, z.B. der Kauf eines Produkts, die Anmeldung zum Newsletter oder einfach das Erreichen einer bestimmten Seite. Sind die Daten erst einmal gesammelt, ist die beste Version schnell bestimmt.
Viel wichtiger, als die bessere Version zu finden, ist allerdings, sicherzustellen, dass das Ergebnis statistisch signifikant ist, also nicht durch einen Zufall entstanden ist. Schlimmstenfalls könnte sonst ein Sieger gekürt werden, wo es keinen gibt, oder gar die falsche Seiten-Variante zum Sieger erklärt worden.
Statistische Signifikanz ist keine neue Methode, die spezifisch für den Bereich des A/B-Testings entwickelt wurde, sondern ist ein erprobtes Mittel, um den Zufall auszuschließen.
Für die Berechnung der Signifikanz gibt es verschiedene, etablierte Methoden, wie z.B. den T-Test Chi^2-Test. Diese Methoden prüfen anhand der Zahl der Testteilnehmer, der bisherigen und der im Test erzielten Zielerreichung (Conversion Rate) und der getesteten Varianten, ob die Verteilung der Ergebnisse zufällig ist oder nicht. Im Netz gibt es verschiedene Signifikanz- und Confidenz-Rechner, mit deren Hilfe man eigene Tests bewerten kann.
Noch einfacher werden Tests und die Berechnung der Signifikanz heute mit dem Einsatz entsprechender Tools, wie z.B. Google Website Optimizer oder Adobe Test & Target. Diese Tools helfen bei der Durchführung von A/B- und multivariaten Tests und werten diese statistisch aus.
In der kontinuierlichen Optimierung sollten sich Seitenbetreiber nicht zu schnellen Entscheidungen aufgrund vermeintlich klarer Testergebnisse verführen lassen. Vielmehr muss jedes Testergebnis auf statistisch signifikanten Daten aufbauen. Nur so kann sichergestellt werden, dass Entscheidungen auf relevanten Ergebnissen basieren und die Website mit jeder Optimierung besser wird.

Komfort vs. Anonymität im Buchungsprozess

Stellen zusätzliche Features für den Nutzer einen Mehrwert dar, für den er bereit ist, persönliche Daten preiszugeben? Vor dieser Frage stehen viele Seitenbetreiber, wenn sie ihre Sites optimieren möchten.
Die Antwort liegt – wie so oft – in den Daten. Das Analytics-Team von SinnerSchrader hat für seinen Kunden TUIfly.com untersucht, wie sich eine entsprechende Umgestaltung des Buchungsprozesses auswirkt.
Der Buchungsablauf bei TUIfly.com ist bereits stark optimiert, könnte jedoch um Funktionen erweitert werden, die die Auswahl eines Fluges noch komfortabler machen.
Variante A (inkl. Passagiernamen):
variantea.png
Die Überlegung: Wenn der Reisende seinen Namen frühzeitig im Bestellprozess angibt, würde es die Zuordnung von Extras vereinfachen, z.B. bei speziellen Sitzplätzen, Menüwünschen und weiterer Besonderheiten.
Die Frage für das Analytics-Team: Würde der Komfortgewinn überzeugen, oder hält die notwendige Preisgabe persönlicher Daten sogar Konsumenten von der Buchung ab?
Variante B (anonym):
tuifly_registrierung_B.png
Das wollten wir genau wissen und haben in Form eines A/B-Tests geprüft. Das Ergebnis war eindeutig: Konsumenten wollen persönliche Daten nur beim Buchungsabschuss preisgeben. Der Komfort während der Buchung ist dabei zweitrangig.
Die gesamte Case-Study ist im Conversion Room Blog von Google veröffentlicht.
Update:
Die Case-Study ist nun auch im internationalen Conversion Room Blog von Google auf Englisch veröffentlicht worden.

Konsumenten sind Kundenkonto-Muffel

tuiflyfallstudie3.jpg
„Bitte ein Kundenkonto eröffnen“ – mit dieser Aufforderung werden Nutzer von Onlineshops häufig konfrontiert. Je nach Website ist die Einrichtung eines solchen Kontos optional oder sogar Bedingung für die Bestellung. Doch will der Kunde das überhaupt? Oder hält es ihn eher von einer Bestellung ab?
SinnerSchrader hat diese Frage in einem Test für TUIfly.com untersucht und in Form einer Fallstudie veröffentlicht. Das Ergebnis ist eindeutig: Konsumenten wollen ohne Kundenkonto buchen können. Die Conversion Rate lässt sich sogar steigern, indem die Option zur Buchung ohne Kundenkonto explizit angeboten wird.
Die komplette Studie ist im Conversion Room veröffentlicht, dem Blog der Google Conversion Professionals.

Von durchschnittlicher Analyse zu präzisen Segmenten

Webanalytics wird heute standardisiert auf Websites eingesetzt. Mithilfe von Webanalytics kann das Verhalten der Konsumenten analysiert und die Website auf seine Bedürfnisse angepasst werden. Die Analyse zeigt sehr schnell, wo auf einer Website unnötige Hürden aufgebaut wurden, wo Konsumenten abbrechen und die Seite verlassen.
Allerdings werden bei der Analyse auch heute noch primär die aggregierten Durchschnittsdaten aller Besucher der Website betrachtet. Individuelle Unterschiede in den Bedürfnissen und dem Nutzungskontext werden nicht betrachtet.
Ein Beispiel. Die Analyse einer Website ergibt, dass es im Schnitt mehr Ab- als Anmeldungen zum Newsletter gibt. Das kann schnell zu dem Schluss führen, dass der Newsletter insgesamt für die Mehrheit der Konsumenten irrelevant sei. Viel wichtiger als diese allgemeine Betrachtung ist hier die Frage, für welchen Teil der Besucher der Website der Newsletter relevant ist und für welchen Teil nicht. Allein diese Information gibt den relevanten Einblick, der die Optimierung des Angebots treibt.
Diese Frage wird mithilfe von Segmenten beantwortet. Das genaue Vorgehen zum Aufbau und der Nutzen aus der konsequenten Anwendung von Segmenten im Webanalyics beantwortet das Whitepaper Segmentierung.

Kristina Böcker verstärkt SinnerSchrader Web Analytics

Das Konsumentenverhalten in Onlineshops zu analysieren und Websites zu optimieren sind ihre Stärken. Kristina Böcker stieg letzten Monat als Beraterin im Bereich Web Analytics bei SinnerSchrader ein. Sie verstärkt das bis jetzt vierköpfige Team im innovativen Kernbereich der Agentur.
CBoecker_kl.jpg
Die studierte Betriebswirtin bringt langjährige Erfahrung als Unternehmensberaterin bei der Otto Group Consulting mit. Bei uns wird sie deshalb vor allem für Kunden aus den Bereichen Versandhandel und Fashion arbeiten.
Mehr dazu in der aktuellen Pressemitteilung.