A/B-Tests: Wie Sie die Performance im E-Mail-Marketing steigern

Multivariate Testverfahren – A/B-Tests – optimieren das Omnichannel-Marketing. Statistisch signifikante Testergebnisse führen dabei in letzter Konsequenz zu steigenden Umsätzen. Auch testunerfahrene Marketer profitieren binnen kurzer Zeit von aussagekräftiger Experimentation im E-Mail-Marketing.

Längst unbestritten unter Marketern ist: Experimentation wirkt. Das belegt Barack Obamas Pre-Election-Kampagne um die US-Präsidentschaft. Dort prüfte das Kampagnen-Team mittels Experimentation Alternativen in der Wähleransprache. Dabei wurden unter anderem auch verschiedene Banner-Varianten getestet. Der Gewinner-Banner erzielte eine um etwas mehr als 40 Prozent höhere Conversion-Rate und knapp drei Millionen zusätzliche Newsletter-Abonnenten. Dadurch akquirierte das Kampagnen-Team gut 60 Mio. US-Dollar an zusätzlichen Spenden. Das Endergebnis: Barack Obama gewann 2009 die Wahl und wurde zum 44. US-Präsidenten gewählt.

Tests zahlen sich aus

Das zeigt: Auch im Marketing lohnen sich Tests. Und das in doppelter Hinsicht. Denn: Tests sind einerseits sehr kostengünstig und schonen andererseits das Werbebudget. Davon profitiert das gesamte Marketing-Automation-Setup. Im Endergebnis erhöhen Tests die Kundenbindung und verbessern die Kampagnen-Performance. Das wirkt sich auch auf Umsatz und Leads aus, sofern ordnungsgemäß getestet wird. Positiver Nebeneffekt: Je größer die Anzahl an Tests, desto steiler geht die Lernkurve nach oben.

Betreffzeilen-Test für den Experimentation-Start

Wie aber lässt sich in der Marketing Automation ein passendes Testobjekt identifizieren? Was genau ist überhaupt ein Testobjekt und welche Marketing-Bausteine lassen sich grundsätzlich testen? Die Liste ist endlos. Üblich sind Tests der E-Mail-Absender (Welche Absender-Ausprägung performt besser: Person (m.mustermann@xyz.de) oder allgemein (kundenservices@xyz.de)?), der Betreffzeile, Wochentag, Uhrzeit (Versandzeit), Häufigkeit des Versandes, CTA, Bilder (RGB, s/w, welches Format), Targetgroups, Personalisierung usw. usf. Aber wo beginnen? Testunerfahrenen Personen hilft hier eine logische Struktur, die sich am Aufbau einer E-Mail orientieren kann. Sie sollten deshalb am ersten Touchpoint beginnen, an dem Empfänger in ihrer Inbox mit E-Mails in Berührung kommen: mit der Betreffzeile.

Tipp für Testunerfahrene: Zuerst die Betreffzeile testen!

Das E-Mail-Subject ist das mit Abstand am häufigsten überprüfte Testobjekt. Das bestätigt auch die Marketing Automation. Danach experimentieren Kunden mit Abstand am meisten mit der Betreffzeile. Mehr als 70 Prozent unterzogen diesen E-Mail-Baustein einem A/B-Test. Und das aus gutem Grund, denn Betreffzeilen, die eine persönliche Ansprache beinhalten, weisen eine um 22 Prozent höhere Open Rate vor. Spitzenreiter in dieser Kategorie ist die Touristik. Personalisierte Betreffzeilen erzielen hier Öffnungsraten von weit über 45 Prozent.

Wie wirkmächtig Tests und daraus hervorgehende, gute Öffnungsraten tatsächlich sind, verdeutlicht dieses Rechenbeispiel: Mit einer Conversion Rate von 5 Prozent und einem durchschnittlichen Warenkorbwert von 80 Euro erzielt die E-Mail-Kampagne eines Online-Shops bei einer durchschnittlichen Öffnungsrate von 30 Prozent je 1.000 Empfänger etwa 260 Euro zusätzlichen Umsatz. Das zeigt: Experimentieren rechnet sich!

Den ersten Test meistern

Gerade für den Experimentation-Auftakt empfehlen sich A/B-Tests. Weil sich die Betreffzeile unmittelbar auf die so wichtige Öffnungsrate auswirkt, hat zunächst ein Test unterschiedlicher Betreffzeilen Sinn. Dabei kommt es auf die Definition der zu testenden Variablen an. Das kann zum Beispiel die Ansprache in der Betreffzeile sein. Deren Wirkung wird bei zwei repräsentativen Empfängergruppen – üblicherweise jeweils zehn Prozent des gesamten E-Mail-Verteilers – sowohl mit der Original-Ansprache (A) als auch der Ansprachen-Variante (B) getestet. Die Ausprägung der Ansprache kann persönlich sein, Anrede, Geschlecht und Familienname (im Testbeispiel die Variante B), oder neutralisiert (im Original A etwa mit „Hallo“) erfolgen. Es empfiehlt sich, die Variablen-Ausprägungen rechtzeitig, zum Beispiel in einem Glossar, nachvollziehbar festzuschreiben.

A/B-Tests sollten dabei einer festen Systematik folgen, die Punkt für Punkt abgearbeitet wird:

Varianten-Betreffzeile persönliche Note hinzufügen
Zahlen anstelle von Text in der Ansprache der Varianten-Betreffzeile verwenden
Ansprache der Varianten-Betreffzeile Dringlichkeit verleihen ( z. B. „Nur noch heute 10 %“)
Direkte Ansprache im Vergleich zu „Teaser“-Texten in Betreffzeile testen
Aktivierende Texte („Greifen Sie jetzt zu“) im Vergleich zu Negation („Das dürfen Sie nicht vergessen“) in Betreffzeile testen
Verschiedene Produkte in Ihrer Ansprache der Varianten-Betreffzeile vorstellenGanz wichtig!
Pre-Header-Text ändern

Tipp: Beim A-/B-Test stets der gleichen Anleitung folgen!

Test-Setup

Hypothese erstellen

A/B-Tests erfordern die vorherige Definition eines zu erreichenden messbaren Testziels. Dafür eignen sich Hypothesen. Eine Hypothese könnte in etwa so lauten:

„Eine personalisierte Ansprache z.B. mit Vor- und Nachnamen in der Betreffzeile erreicht eine um 20 Prozent bessere Öffnungsrate als eine nicht personalisierte Betreffzeile.“ Als Haupt-Metrik fungiert hier die Öffnungsrate.

Hinweis: Zu komplexe Hypothesen erschweren die Nachprüfbarkeit!

Variable: Betreffzeile

Ein A/B-Test unterteilt die Empfänger-Zielgruppe zunächst in die Gruppen A (die Testgruppe) und B (die Kontrollgruppe). Die Aufteilung erfolgt nach dem Zufallsprinzip. Jetzt kann das Testobjekt, hier: die Betreffzeile, in zweifacher Ausführung formuliert werden: als Original A – mit Original-Betreffzeile (ohne persönliche Ansprache) – und als Variante B – mit personalisierter Betreffzeile. Anschließend werden die beiden Proben an die jeweiligen Test-Gruppen versendet.

Wichtig: Beide Betreffzeilen sollten sich lediglich in einer Ausprägung voneinander unterscheiden. Dadurch lassen sich Akzeptanz-Unterschiede eindeutig mit der veränderten Variante B in Verbindung bringen.

Statistische Signifikanz bei A/B-Tests

Damit A/B-Tests auch Aussagekraft erlangen, müssen sie zwei Bedingungen erfüllen:

Relevante KPIs: Ausschlaggebend ist, ob der A/B-Test auf die entsprechend relevanten KPIs abzielt. Ein Glossar definiert KPIs und macht deren Geltungsbereich für alle Beteiligten transparent, sodass klar ist, was in den KPIs gemessen wird. Der KPI aus obigem Beispiel – die „Unique Open Rate“ (UOR, Öffnungsrate) – misst, wie groß der Anteil jener Personen ist, die den Newsletter nach dem Lesen der Betreffzeilen im Original A sowie der Variante B geöffnet haben. Aber: Um festzustellen, ob der Test tatsächlich ein Erfolg ist, dürfen KPIs wie Click-to-open-Rate (CTOR) und Conversion Rate (CR) nicht aus den Augen gelassen werden.
Statistisch Signifikanz: Um mit den Tests statistische Signifikanz zu erzielen, sollten sich Kontroll- und Testgruppe durch eine Abweichung von mindesten 20 Prozent (gemessen an der UOR der Kontrollgruppe) auszeichnen. Erzielt die UOR der Kontrollgruppe etwa 10 Prozent und die UOR des gesamten Tests bei 13 Prozent erfüllt der A/B-Test die Anforderungen der statistischen Signifikanz, da in diesem Fall eine Veränderung von mindestens 20 Prozent vorliegt.

In vier Schritten, das Beste aus einem A-/B-Test herausholen

Variable / Testobjekt definieren
Hypothese erstellen
Systematischen Testprozess befolgen
Testergebnisse einordnen und bewerten

Fazit

Für Marketer stellen A/B-Tests eine lukrative Möglichkeit dar, aussagekräftige Insights darüber zu erhalten, dass sich auch Kampagnen-Details positiv auf die Öffnungsrate auswirken können. Eine immer größere Anzahl an Unternehmen nutzen A/B-Test, um deren Omnichannel-Marketing zu optimieren – wie z. B. auch Push-Benachrichtigungen oder transaktionale E-Mails. Bereits die richtige Auswahl einer Schriftart oder die Einfärbung eines Call-to-Action können nachweislich einen große Effekt in den Klickzahlen bewirken. Die letzte Gewissheit darüber liefern erst A/B-Tests.