Die sieben Stolperfallen beim A/B-Testing

Zahlreiche A/B-Tests gehen daneben, obwohl sie so nützlich sein können: Sie zeigen genau, was auf einer Webseite bei der Customer Journey funktioniert und was nicht, wenn sie richtig ausgeführt werden. Dieser Ratgeberartikel verrät, was dabei zu beachten ist und wo die größten Fehlerquellen liegen. Ein Gastbeitrag von Michael Witzenleiter, Managing Director DACH bei Kameleoon.

Falle 1: Kaltstart mit zu großen Erwartungen

Wer am Anfang zu viel auf einmal will, erreicht genau das Gegenteil davon: nichts bis sehr wenig. Bleiben Sie beim A/B-Testing locker und setzen Sie sich anfangs nicht zu hohe Ziele. Also immer schön der Reihe nach und keine zu großen Schritte machen. Fangen Sie klein an, schauen Sie genau hin und achten Sie auf Details. Einfache Tests haben am Anfang noch einen weiteren Vorteil: Es stellen sich schnell Erfolgserlebnisse ein. Wer sich hingegen mit zu komplexen Tests selbst überfordert, demotiviert sich und erntet nur Frust. Leicht überspringbare Hürden machen dagegen Lust auf mehr. Das Testen von Produkttexten oder Landing Pages eignet sich zum Beispiel sehr gut als erste Aufgabe.

Falle 2: Kleine Erfolge ignorieren

Wer nur auf große Fortschritte schielt, vergisst dabei schnell die kleinen Erfolge. Denken Sie daran: Kleinvieh macht auch Mist. Kleinigkeiten, die permanent unter den Tisch fallen, türmen sich im Laufe der Zeit zu einem großen Berg auf. Ein Praxisbeispiel: Im Rahmen eines Tests vergrößerte die bessere Variante die Conversions um fünf Prozent – da kommt einiges zusammen, bis zu 80 Prozent pro Jahr. Und: Die Webseite wirft mit jedem Test mehr Gewinn ab, wodurch die Ergebnisse bei weiteren Tests nicht mehr so spektakulär wirken. Wer nur noch kleine Erfolge einfährt, muss nicht gleich irgendwo falsch abgebogen sein. In den meisten Fällen bedeutet es nur, dass die Seite bereits eine gute Performance aufweist und nur es noch wenig Raum für Optimierungen gibt.

Falle 3: Konzept– und Hypothesenlosigkeit

Einfach mal drauflostesten führt ins Niemandsland. A/B-Tests nach Baugefühl oder Lust und Laune bringen nichts. Sie brauchen eine solide Datengrundlage – jedem seriösen Test sollte eine Analyse der Webseitendaten vorausgehen. Nur so lassen sich Schwächen finden und Hypothesen aufstellen. Letztere können Sie aus Datenquellen wie Analytics, Heatmaps, Umfragen, Interviews, Usability-Tests oder heuristischen Analysen ziehen. Außerdem hilft es, sich in die Kunden zu versetzen: Wieso verhalten sie sich immer mal wieder anders, als Sie es erwarten? Stellen Sie sich selbst Fragen, wenn Sie mit etwas Abstand über die Seite surfen: Was gefällt Ihnen, wo herrscht Verbesserungsbedarf? Betrachten Sie die Seite mit den Augen von Kunden, dann lassen sich leichter Hypothesen aufstellen. Etwas so: „Wenn ich Änderung x vornehme, wird Messgröße y oder z kaum, etwas oder deutlich besser, weil …“ Diese Vorgehensweise optimiert nicht nur die Tests, sondern auch die Conversions.

Falle 4: Entwicklungsplan vergessen

Effektive A/B-Tests benötigen eine Roadmap und Prozesse. Der Entwicklungsplan unterstützt dabei, wichtige Elemente zu testen und das Ziel nicht aus den Augen zu verlieren. Die Roadmap kümmert sich um die wichtigen Fragen: Welchen Geschäftszielen dient die Website? Wie hilft sie beim Erfüllen dieser Ziele? Welche Seiten sind besonders beliebt, welche überhaupt nicht? Wo läuft es zäh im Conversion-Prozess? Nach welcher Messgröße wollen Sie den Erfolg beurteilen? Schreiben Sie alle Punkte auf und werfen Sie immer wieder einen Blick auf sie. Zu den Prozessen lässt sich sagen: A/B-Tests ähneln wissenschaftlichen Experimenten – man muss methodisch vorgehen und präzise arbeiten. Damit alles im Rahmen bleibt, ist ein Korsett aus immer wiederkehrenden Prozessen und Sicherheitsmaßnahmen nötig – individuell abhängig von der jeweiligen Firma. Meist sehen die Schritte folgendermaßen aus: Messen, Priorisieren, Testen, Lernen, Kommunizieren.

Falle 5: Falsche Reihenfolge

Testideen haben wir jetzt – aber in welcher Reihenfolge arbeiten wir sie jetzt am besten ab? Wer den Überblick bewahren und keine Zeit verschwenden möchte, muss die Tests priorisieren. Grundsätzlich gilt: Verrennen Sie sich nicht in kleinen Details, wenn es zum Beispiel um die Farbe eines Anklick-Buttons geht. Wichtig ist in erster Linie, dass sich dieser deutlich vom Rest der Seite absetzt. Wer sich unsicher mit einer Testidee ist, sollte keine Zeit und keinen Traffic in sie investieren. Selbstverständlich können Sie später auch Details beobachten, anfangs sollten Sie sich aber auf elementare Fragen und Tests mit großen Auswirkungen beschränken. Wenn Sie sich beispielsweise die Hand gebrochen haben, gehen sie ja schließlich zuerst zum Orthopäden – und nicht zur Maniküre, oder? Jeder Testlauf wird nach drei Kriterien mit je maximal zehn möglichen Punkten bewertet: potenzieller Gewinn (Verbesserungsspielraum auf dieser Seite?), Wichtigkeit (Wie wertvoll ist der Traffic auf dieser Seite?) sowie Machbarkeit (Wie leicht kann der Test auf der entsprechenden Seite umgesetzt werden?). Eine Liste zum Abarbeiten entsteht, wenn Sie die Punkte zusammenzählen und priorisieren.

Falle 6: Optimierung der falschen KPIs

Wir kennen Mikro- und Makro-Conversions. Die Mikro-Conversion ist ein Schritt (zum Beispiel „Teilen“ in sozialen Netzwerken, Newsletter-Anmeldung, „In den Warenkorb“) in Richtung Makro-Conversion. Letztere gilt als das eigentliche Ergebnis mit konkreten Auswirkungen (wie den Check-Out-Prozess). Beide müssen gemessen werden; die Tests dürfen sich also nicht allein auf Mikro-Conversions konzentrieren. Richten Sie Ihr Hauptaugenmerk auf Optimierungen, die geradlinig auf eine Makro-Conversion zulaufen. Mithilfe dieser Prozessecksteine lässt sich erkennen, wo das größte Potenzial von UX-Verbesserungen liegt. Zweitrangige Aktionen sollten Sie ebenfalls messen, da diese Stolpersteine aufdecken und den Überblick über den gesamten Prozess vervollständigen. Das soll jedoch nicht heißen, für zweitrangige Conversions zu optimieren – siedeln Sie Ihre Ziele so nah wie möglich am Umsatz an.

Falle 7: Faulheit

Wer rastet, der rostet – dieses Sprichwort gilt auch fürs A/B-Testing. Bleiben Sie fleißig und testen Sie immer wieder und wieder. Denn jeder Tag ohne Experimente ist ein verlorener Tag mit verpassten Chancen. A/B-Tests verraten viel über die Besucher Ihrer Website. Mit diesen Informationen können Sie noch bessere Entscheidungen treffen und unter dem Strich auch mehr Umsatz generieren. Und last, but not least: Informieren Sie sich, wann Sie einen Test beenden. Hier geht es um Signifikanzniveau, Stichprobengröße, Dauer und Datenvariabilität. Hören Sie zu früh auf, sind die Ergebnisse verfälscht.

Über den Autor

Michael Witzenleiter, Managing Director DACH bei Kameleoon

Michael Witzenleiter ist seit 2016 Managing Director DACH bei Kameleoon. 2015 führte er das französische Unternehmen in den deutschsprachigen Raum ein. Seither unterstützt er mit seinem Team Unternehmen dabei, ihre Umsätze durch Conversion-Rate-Optimierung auf ihren digitalen Kanälen zu steigern. Witzenleiter verfügt über zehn Jahre Sales- und Consulting-Erfahrung aus seiner Position als stellvertretender Geschäftsführer der Kesselhaus GmbH und der Teamleitung bei Burda Direct Interactive. Er absolvierte einen Bachelor in Medienwirtschaft an der DHBW Heidenheim und einen International Executive MBA an der Universität St. Gallen. Als Gastdozent an verschiedenen Universitäten gibt er sein Wissen über Business- und Marketing-Strategien an seine Studenten weiter.