Was ist A/B-Testing? Wie man es umsetzt und praktische Beispiele

Erfahre von Expertinnen und Experten von Google, HubSpot und Shopify mehr über A/B-Tests, Conversion Research und Ideenpriorisierung bis hin zu Testanalysen und Archivmanagement.

Egal, ob du als Unternehmer:in schon länger arbeitest oder gerade erst anfängst, die Wahrscheinlichkeit ist groß, dass du schon unzählige Artikel und Ressourcen über A/B-Tests gelesen hast. Vielleicht machst du bereits A/B-Tests für deine E-Mail-Betreffzeilen oder deine Posts in den sozialen Medien.

Obwohl schon viel über A/B-Tests im Marketingbereich gesprochen wurde, stolpern viele Unternehmer:innen in der Praxis. Das Ergebnis? Wichtige Geschäftsentscheidungen, die auf ungenauen Ergebnissen aus einem unsachgemäßen Test basieren.

A/B-Tests werden oft zu sehr vereinfacht, vor allem in Inhalten, die für Händler:innen geschrieben wurden. Im Folgenden findest du alles, was du brauchst, um mit den verschiedenen Arten von A/B-Tests für den E-Commerce zu beginnen, und zwar so einfach - aber nützlich - wie möglich erklärt. A/B-Tests können bei der Wahl der richtigen Produktpositionierung, bei der Steigerung der Conversion Rate auf einer Landingpage und bei vielem mehr von entscheidender Bedeutung sein.

Was ist A/B-Testing?

Beim A/B-Testing, das auch als Split-Testing bezeichnet wird, werden zwei Versionen derselben Webseite, E-Mail oder eines anderen digitalen Assets miteinander verglichen, um festzustellen, welche Version aufgrund des Nutzerverhaltens besser abschneidet.

Es ist ein nützliches Instrument, um die Leistung einer Marketingkampagne zu verbessern und besser zu verstehen, was deine Zielgruppe anspricht. A/B-Tests ermöglichen es dir, wichtige geschäftliche Fragen zu beantworten, helfen dir dabei, mehr Umsatz aus dem bereits vorhandenen Traffic zu generieren und bilden die Grundlage für eine datengestützte Marketingstrategie.

Wie A/B-Tests funktionieren

• Definiere dein Ziel. Lege deine Ziele für den A/B-Test fest, z. B. die Erhöhung der Conversion Rate, der Klickrate oder des Gesamtumsatzes.
• Wähle das zu testende Element. Du kannst Überschriften, Bilder, E-Mail-Betreffzeilen, Call-to-Actions (CTAs), Preise, Layouts usw. testen.
• Erstelle Variationen. Entwickle zwei Versionen des Elements: Version A, das ist die ursprüngliche Version deines Assets, oder die "Kontrolle". Version B, die neue Version mit den Änderungen, die du testen willst, wird als "Variante" bezeichnet. Im Rahmen des Marketings zeigst du 50% der Besucher:innen Version A und 50% der Besucher:innen Version B.
• Führe den Test durch. Setze beide Gruppen über einen bestimmten Zeitraum mit der gleichen Version ein. Wenn du z. B. den CTA-Button einer E-Commerce-Website testest, kannst du die Tests zwei Wochen lang durchführen, um statistisch signifikante Ergebnisse zu erzielen.
• Erfasse Daten. Überwache und messe Conversions, Klickraten, Engagement und Verkäufe in beiden Versionen.
• Analysiere die Ergebnisse. Vergleiche die Leistung von Version A mit der von Version B, um festzustellen, welche Version dein Ziel besser erreicht. Die Version mit der höchsten Conversion Rate gewinnt.
• Lege die Erstplatzierung fest. Wenn Version B die höchste Conversion Rate hat, erkläre sie zur Siegerin und schicke 100% der Besucher:innen dorthin. Dies wird deine neue Kontrollvariante für zukünftige Tests.

💡Hinweis: Die Conversion Rate eines A/B-Tests ist oft ein unvollkommenes Maß für den Erfolg.

Wenn du z.B. auf einer Seite einen Artikel für 50 Euro anbietest, während er auf der anderen Seite völlig kostenlos ist, wird das keinen wirklich wertvollen Einblick geben. Wie bei jedem Instrument oder jeder Strategie, die du für dein Unternehmen einsetzt, muss es strategisch sein.

Deshalb solltest du den Wert einer Conversion bis hin zum endgültigen Verkauf verfolgen.

Wann du A/B-Tests durchführen solltest

Wenn du eine Website mit geringem Traffic oder eine Web- oder Mobil-App betreibst, sind A/B-Tests wahrscheinlich nicht die beste Optimierungsmaßnahme für dich. Einen höheren Return on Investment (ROI) erzielst du wahrscheinlich, wenn du Nutzertests durchführst oder mit deinen Kund:innen sprichst. Entgegen der landläufigen Meinung beginnt und endet die Optimierung der Conversion Rate nicht mit dem Testen.

Warum zwei bis vier Wochen? Denke daran, dass du mindestens zwei volle Geschäftszyklen lang Tests durchführen willst. Normalerweise sind das zwei bis vier Wochen. Vielleicht denkst du jetzt: "Kein Problem, ich führe den Test auch länger als zwei bis vier Wochen durch, um die erforderliche Stichprobengröße zu erreichen." Auch das wird nicht funktionieren.

Je länger ein Test läuft, desto anfälliger ist er für externe Validitätsbedrohungen und Stichprobenverschmutzung. Zum Beispiel könnten Besucher:innen ihre Cookies löschen und als neue Besucher:innen wieder in den A/B-Test einsteigen. Oder jemand wechselt von seinem Mobiltelefon zu einem Desktop und sieht eine andere Variante.

Wenn du deinen Test zu lange laufen lässt, können die Ergebnisse genauso verfälscht werden, wie wenn du ihn nicht lange genug laufen lässt.

Tests lohnen sich für Shops, die die erforderliche Stichprobengröße in zwei bis vier Wochen erreichen können. Shops, die das nicht können, sollten andere Formen der Optimierung in Betracht ziehen, bis ihre Besucherzahlen steigen.

Richte deinen A/B-Testprozess ein

Priorisiere A/B-Testideen

Eine riesige Liste mit Beispielen für A/B-Tests ist spannend, aber wenig hilfreich, um zu entscheiden, was man testen soll. Wo soll man anfangen? Hier kommt die Prioritätensetzung ins Spiel.

Es gibt einige gängige A/B-Tests, mit denen du Prioritäten setzen kannst:

• ICE. ICE steht für Impact, Confidence und Ease, auf Deutsch so viel wie Wirkung, Zuversicht und Einfachheit. Jeder dieser Faktoren erhält eine Bewertung von 1 bis 10. Wenn du den Test z. B. ohne Hilfe von Entwickler:innen oder Designeri:nnen leicht selbst durchführen könntest, würdest du der Einfachheit eine 8 geben. Hier ist dein Urteilsvermögen gefragt, und wenn mehr als eine Person die Tests durchführt, können die Bewertungen zu subjektiv werden. Es ist hilfreich, eine Reihe von Richtlinien zu haben, damit alle objektiv bleiben.
• PIE. PIE steht für Potential, Importance und Ease, auf Deutsch so viel wie Potenzial, Bedeutung und Einfachheit. Auch hier erhält jeder Faktor eine Bewertung von 1 bis 10. Wenn der Test z. B. 90% deines Traffics erreicht, könntest du der Wichtigkeit eine 8 geben. PIE ist genauso subjektiv wie ICE, daher können auch hier Richtlinien hilfreich sein.
• PXL. PXL ist das Framework für die Priorisierung des amerikanischen Marketing-Dienstleisters CXL. Es ist ein bisschen anders und anpassbarer, was zu objektiveren Entscheidungen beiträgt. Anstelle von drei Faktoren finden sich hier Ja/Nein-Fragen und eine Frage zur Einfachheit der Umsetzung. Zum Beispiel könnte das Framework fragen: “Soll der Test die Motivation steigern?” Falls ja, bekommt er eine 1. Falls nein, bekommt er eine 0.

Jetzt hast du eine Vorstellung, wie du anfangen kannst. Zudem kann dir das Ganze bei der Kategorisierung deiner Ideen helfen. Wir haben bei einer durchgeführten Konvertierungsrecherche drei Kategorien verwendet: Implementieren, Untersuchen und Testen.

• Umsetzen. Mach es einfach. Etwas funktioniert nicht oder ist offensichtlich.
• Untersuchen. Erfordert zusätzliche Überlegungen, um das Problem zu definieren oder eine Lösung einzugrenzen.
• Testen. Die Idee ist solide und datengestützt. Teste sie!

Mit dieser Kategorisierung und Priorisierung bist du bereit, mit A/B-Tests zu beginnen.

Wenn du noch auf der Suche nach Inspiration für deinen Shop bist, beschäftigen wir uns in diesem Blogbeitrag mit der Frage: "Was lässt sich gut verkaufen?"

Entwickle eine Hypothese

Bevor du etwas testest, musst du eine Hypothese aufstellen. Zum Beispiel: "Wenn ich den Versandpreis senke, wird die Conversion Rate steigen.“

Keine Sorge - eine Hypothese zu bilden ist in dieser Situation nicht so kompliziert, wie es vielleicht klingt. Im Grunde musst du eine Hypothese testen, keine Idee. Eine Hypothese ist messbar, zielt auf die Lösung eines bestimmten Conversion-Problems ab und konzentriert sich auf Erkenntnisse und nicht auf Gewinne.

Wenn du eine Hypothese schreibst, ist es hilfreich, eine Formel aus Craig Sullivans Hypothesis Kit zu verwenden:

• Weil ich [Daten einfügen / Forschungsergebnisse] beobachtet habe
• erwarte ich, dass [getestete Veränderung] sich folgendermaßen auswirken wird: [Auswirkung, die du erwartest]
• Ich werde diesen anhand von [Datenkennzahl] messen

Ganz einfach, oder? Du musst nur noch die Lücken ausfüllen und schon hat sich deine A/B-Test-Idee in eine Hypothese verwandelt.

Wähle ein A/B-Testing-Tool

etzt kannst du dich mit der Auswahl eines Tools für deine A/B-Testing befassen. Meistens denkt man hier zuerst an Google Optimize, Optimizely oder VWO.

Dies sind alles sehr gute und sichere Optionen:

• Google Optimize: Kostenlos, jedoch mit einigen Einschränkungen in puncto multivariater Tests. Wenn du jedoch gerade erst anfängst, sollte dies keine Rolle spielen. Enge Verknüpfung mit Google Analytics, was ein Plus ist.
• Optimizely: Einfach, kleinere Tests einzurichten und durchzuführen, auch ohne technische Kenntnisse. Die Stats Engine macht das Analysieren von Testergebnissen einfacher. In der Regel ist Optimizely die teuerste Variante dieser drei Optionen.
• VWO: VWO verfügt über sogenannte SmartStats, welche die Analyse einfacher machen. Dazu erhältst du hier einen ausgezeichneten WYSIWYG-Editor für Anfänger:innen. Jeder VWO-Tarif beinhaltet zudem Heatmaps, Onsite-Befragungen, Formular-Analytik und vieles mehr.

Wir haben auch einige Test-Tools im App Store von Shopify, die evtl. hilfreich für sein könnten.

Sobald du ein passendes Tool ausgewählt hast, meldest du dich einfach an und folgst den Anweisungen. Die genaue Ausgestaltung dieses Verfahrens variiert von Tool zu Tool. In der Regel wirst du jedoch aufgefordert, ein Code-Snippet auf deiner Seite zu installieren und entsprechende Ziele festzulegen.

Entscheide, wie du die Ergebnisse analysierst

Wenn du deine Hypothese richtig gestaltest, kann sogar ein Verlierer zum Gewinner werden. Denn so erhältst du Erkenntnisse, die du für zukünftige Tests und andere Geschäftsbereiche nutzen kannst. Wenn du also deine Testergebnisse analysierst, musst du dich auf die Erkenntnisse konzentrieren, und nicht darauf, ob der Test einen Gewinner oder Verlierer hervorgebracht hat. Es gibt immer etwas zu lernen und immer etwas zu analysieren. Ignoriere nicht die Verlierer!

Der wichtigste hierbei zu erwähnende Faktor ist die Notwendigkeit der Segmentierung. Ein Test mag insgesamt einen Verlierer hervorgebracht haben. Jedoch stehen die Chancen gut, dass der Test zumindest in einem Segment gute Ergebnisse generiert hat. Was genau ist mit Segmenten gemeint?

Hier sind einige Beispiele für Publikumssegmente:

• Neue Besucher:innen
• Wiederkehrende Besucher:innen
• iOS- Besucher:innen
• Android- Besucher:innen
• Chrome Besucher:innen
• Safari- Besucher:innen
• Desktop- Besucher:innen
• Tablet- Besucher:innen
• Besucher:innen der organischen Suche
• Bezahlte Besucher:innen
• Besucher:innen der sozialen Medien
• Eingeloggte Käufer:innen

Du verstehst, was ich meine, oder?

Die Chancen stehen gut, dass sich die Hypothese in bestimmten Segmenten als richtig erwiesen hat. Auch das sagt dir etwas.

Kurz und knapp: Bei der Analyse geht es um so viel mehr, als die Frage, ob der Test einen Gewinner oder Verlierer hervorgebracht hat. Konzentrier dich auf die Erkenntnisse und segmentiere deine Daten, um unter der Oberfläche verborgene Erkenntnisse zu gewinnen.

Tools für dein A/B-Testing werden die Analyse nicht für dich übernehmen. Von daher ist dies eine wichtige Fähigkeit, die im Laufe der Zeit entwickelt werden sollte.

Archiviere deine Testergebnisse

Angenommen, du machst morgen deinen ersten Test. Wirst du dich in zwei Jahren noch an die Details dieser Prüfung erinnern? Wahrscheinlich nicht.

Deshalb ist es wichtig, die Ergebnisse deiner A/B-Tests zu archivieren. Ohne ein gut gepflegtes Archiv gehen alle Erkenntnisse, die du gewinnst, verloren. Außerdem ist es sehr einfach, das Gleiche zweimal zu testen, wenn du nicht archivierst.

Es gibt hierbei jedoch nicht den “einen” richtigen Weg. Du kannst z. B. ein Tool wie Projects oder Effective Experiments nutzen oder auch mit Excel arbeiten. Es liegt ganz bei dir, vor allem dann, wenn du gerade erst loslegst. Du solltest nur sicherstellen, dass du die folgenden Dinge nachverfolgst:

• Die Hypothese
• Screenshots der Kontroll- und Testversion
• Ob Letztere gewonnen oder verloren hat
• Durch die Analyse gewonnene Erkenntnisse

Im Verlauf deines Wachstums wirst du dich später für den Aufbau dieses Archivs bedanken. Es wird dabei nicht nur dir selbst eine Hilfe sein, sondern auch für neue Kolleg:innen, Berater:innen und andere Beteiligte.

Beispiele für A/B-Tests

Technische Analyse

Lädt dein Shop auf jedem Browser richtig und schnell? Auf jedem Gerät? Du hast vielleicht ein glänzendes neues Smartphone, aber irgendwo ist immer noch ein Klapphandy aus dem Jahr 2005 im Einsatz. Wenn deine Website nicht richtig und schnell funktioniert, wird sie definitiv nicht so gut konvertieren, wie sie könnte.

On-site Befragungen

Diese Befragungen erscheinen, während deine Besucher:innen sich in deinem Shop umschauen. Eine solche On-site-Befragung könnte Besucher:innen fragen, ob sie etwas Bestimmtes davon abgehalten hat, ein Produkt in den Warenkorb zu legen. Wenn ja, was ist das genau? Du kannst solche qualitativen Daten nutzen, um deinen Text und deine Konvertierungsrate zu optimieren.

Kundengespräche

Nichts kann ein Ersatz dafür sein, ganz klassisch zum Telefonhörer zu greifen und mit deinen Kund:innen zu sprechen. Warum haben sie deinem Shop den Vorzug gegenüber der Konkurrenz gegeben? Welches Problem wollten sie lösen, als sie auf deiner Seite gelandet sind? Du kannst eine Million Fragen stellen, um zu ergründen, wer deine Kund:innen wirklich sind und warum sie tatsächlich von dir kaufen.

Kundenumfragen

Kundenumfragen sind umfangreiche Umfragen, die sich an Leute richten, die bereits bei dir eingekauft haben (statt lediglich Besucher:innen). Wenn du eine solche Umfrage konzipierst, solltest du dich auf Folgendes konzentrieren: Definition deiner Kund:innen; Definition ihres Problems; Definition von Bedenken, die sie vor dem Kauf hatten; Identifikation von Wörtern und Aussagen, mit denen sie deinen Shop beschreiben.

Auswertung deiner Analytik

Tracken und berichten deine Analytik-Tools deine Daten korrekt? Das mag sich vielleicht albern anhören, aber du wärst wahrscheinlich überrascht, wenn du wüsstest, wie viele Analytik-Tools tatsächlich falsch konfiguriert sind. Bei der Auswertung deiner Analytik geht es darum, tief in deine Zahlen einzusteigen und zu analysieren, wie sich deine Besucher:innen verhalten. Du kannst dich beispielsweise auf deinen Funnel konzentrieren. Wo ist er undicht? In anderen Worten: An welcher Stelle deines Funnels springen die meisten Leute ab? Dies ist ein guter Ort, um mit dem Testen zu beginnen.

User-Tests

Hierbei beobachtest du echte Menschen dabei, wie sie bestimmte Aufgaben auf deiner Seite ausführen. Du könntest beispielsweise darum bitten, ein Videospiel in der Preiskategorie 40–60 EUR zu finden und dieses ihrem Warenkorb hinzuzufügen. Während die ausgewählten Personen die Aufgabe ausführen, werden sie im Verlauf ihre Gedanken und Handlungen laut kommentieren.

Session Replays

Session Replays sind den User-Tests ähnlich. Jedoch geht es hierbei um echte Personen mit echtem Geld und einer echten Kaufabsicht. Du schaust dabei zu, wie deine tatsächlichen Besucher:innen sich durch deine Seite navigieren. Was fällt ihnen schwer zu finden? Wobei kommt Frustration auf? An welcher Stelle scheinen sie verwirrt zu sein. 

Es gibt noch weitere Untersuchungsmethoden, diese sieben Ansätze sind jedoch bereits ein guter Ausgangspunkt. Wenn du einige davon nutzt und durchläufst, wirst du eine riesige Liste mit datenbasierten Ideen erhalten, die du im Anschluss testen kannst. Ich garantiere dir: Diese Liste bringt dir mehr als jeder Artikel á la “99 Dinge, die du jetzt testen solltest”.

A/B-Testverfahren der Profis

Nachdem du nun ein Standard-A/B-Testing-Tutorial durchlaufen hast, lass uns einen Blick auf die genauen Prozesse der Profis werfen.

Krista Seiden, KS Digital

Mein Schritt-für-Schritt-Prozess für A/B-Tests beginnt mit der Analyse. Meiner Meinung nach ist dies der Kern eines jeden guten Test-Programms. In der Analysephase ist es das Ziel, deine Analytics-Daten, Umfrage- oder UX-Daten oder anderweitige Quellen mit Kundenerkenntnissen auszuwerten. So soll herausgefunden werden, wo genau Optimierungsmöglichkeiten liegen.

Hast du aus der Analysephase ein angemessenes Portfolio mit Ideen gewonnen, kannst du Hypothesen dazu aufstellen, was schief laufen könnte und wie du diese Optimierungsbereiche potenziell beheben oder verbessern kannst.

Als nächstes ist es an der Zeit, deine Tests zu erstellen und entsprechend durchzuführen. Achte darauf, sie für eine angemessene Zeit laufen zu lassen (bei mir standardmäßig zwei Wochen, um zu gewährleisten, dass auch wöchentlichen Veränderungen oder Anomalien Rechnung getragen wird). Und wenn du dann genug Daten gewonnen hast, analysierst du deine Ergebnisse, um den Gewinner zu bestimmen.

Es ist ebenso wichtig, sich in dieser Phase etwas Zeit für die Analyse der Verlierer zu nehmen. Was kannst du aus diesen Varianten lernen?

Abschließend, und evtl. erreichst du diese Phase erst, nachdem du das Fundament für ein fundiertes Optimierungsprogramm gelegt hast, ist es an der Zeit, sich mit dem Thema Personalisierung zu befassen. Dies erfordert nicht unbedingt ausgefallene Tools, sondern kann vielmehr aus den Daten abgeleitet werden, die dir bereits zu deinen Benutzer:innen vorliegen.

Personalisierung kann so einfach sein, wie gezielt die richtigen Inhalte an den richtigen Stellen auszuspielen, oder so komplex, wie ein auf den Aktionen individueller Benutzer:innen basiertes Targeting. Lenke deine Aufmerksamkeit nicht sofort zu 100 % auf das Thema Personalisierung. Stell stattdessen sicher, dass du genügen Zeit für die Grundlagen einplanst.

Alex Birkett, HubSpot

Auf einem hohen Niveau versuche ich dem folgenden Prozess zu folgen:

• Daten sammeln und sicherstellen, dass die Analytics-Implementierungen korrekt sind.
• Daten analysieren und Erkenntnisse gewinnen.
• Erkenntnisse in Hypothesen verwandeln.
• Priorisierung basierend auf Auswirkung und Einfachheit und die Verteilung meiner Ressourcen maximieren (vor allem technische Ressourcen).
• Test durchführen (unter Befolgung bewährter statistischer Verfahren nach bestem Wissen)
• Ergebnisse analysieren und auf deren Basis implementieren (oder nicht).
• Anpassen auf Basis der Ergebnisse und wiederholen.

Einfacher ausgedrückt: Recherchieren, Testen, Analysieren, Wiederholen.

Während dieser Prozess in Abhängigkeit des Kontexts abweichen oder sich ändern kann (Teste ich ein geschäftskritisches Produktmerkmal? Einen CTA eines Blog-Beitrags? Wie stellt sich das Risikoprofil und die Balance zwischen Innovation und Risikominimierung dar?), ist er für Unternehmen fast jeder Art und Größe geeignet.

Der Punkt ist, dass dieser Prozess sehr agil ist und gleichzeitig genügend Daten sammelt, sowohl qualitatives Kundenfeedback als auch quantitative Daten. Anschließend können auf dieser Basis bessere Testkonzepte entwickelt und entsprechend priorisiert werden, um keinen Traffic zu verschwenden.

Ton Wesseling, Online-Dialog

Die erste Frage, die wir mit Blick auf die Optimierung einer Customer Journey beantworten, lautet: Wohin passt diese Produkt oder diese Dienstleistung im ROAR-Modell, das wir hier bei Online Dialogue entwickelt haben? Befindest du dich noch immer in der Risikophase, in der wir zwar viel Forschung betreiben könnten, unsere Ergebnisse jedoch nicht durch Online-Experimente validieren können (unter 1.000 Konvertierungen pro Monat)? Oder steckst du bereits mitten in der Optimierungsphase? Oder bist sogar schon einen Schritt weiter?

• Risikophase: Eine Menge Forschung, auf deren Basis sich dann Dinge wie ein neuer Angelpunkt des bestehenden Geschäftsmodells bis hin zu einem komplett neuen Design und Leistungsversprechen entwickeln lassen.
• Optimierungsphase: Groß angelegte Experimente, die das Leistungsversprechen und das Geschäftsmodell optimieren werden.
• Optimierungsphase: Kleinere Experimente, um Hypothesen zum Benutzerverhalten zu validieren, aus denen sich letztendlich Erkenntnisse für umfangreichere Designanpassungen ergeben können.
• Automatisierung: Du hast immer noch genügend Ressourcen (Besucher:innen) übrig, was bedeutet, dass für die Validierung deiner User Journey nicht dein gesamtes Test-Potenzial benötigt wird. Was davon übrig bleibt, sollte für ein schnelleres Wachstum eingesetzt werden (mit Fokus auf langfristigen Erkenntnissen). Dies kann durch Ausführen von entsprechenden Algorithmen automatisiert werden.
• Re-think (Überdenken): Du beendest das Hinzufügen weiterer Forschungsbemühungen, es sei denn, es weist den Weg zu etwas Neuem.

Vor diesem Hintergrund sind A/B-Tests nur in der Optimierungsphase des ROAR-Modells und darüber hinaus (bis zum Überdenken) eine große Sache.

Unser Ansatz für die Durchführung von Experimenten ist das FACT & ACT-Modell:

•  Find (ein Problem finden): Vor einem Experiment muss immer das zu klärende Problem festgestellt werden. 
• Analyze (das Problem analysieren): Wie das bestehende Problem entstanden ist und warum es existiert, muss analysiert werden. 
• Create (eine Hypothese kreieren): Um das Problem zu Lösen, muss eine experimentelle Hypothese erstellt werden.
• Test (die Hypothese testen): Nun sollte die Hypothese zur Problemlösung getestet werden.
• Analyze (den Test auswerten): Hinsichtlich der Verbesserung des Problems, sollten die Testergebnisse analysiert werden.
• Combine (die Ergebnisse zu einem Lösungsansatz kombinieren): Aus der Analyse der Ergebnisse kann nun ein Lösungsansatz kombiniert werden.
• Tell (deine Ergebnisse teilen): Deinen Lösungsansatz kannst du nun in deinem Unternehmen teilen, um das Problem lösen zu können. 

 Die von uns vorgenommene Forschungsleistung basiert auf unserem 5V-Modell.

•  View (Überblick gewinnen): Um erste Erkenntnisse zu sammeln ist es wichtig, sich einen Eindruck der Situation zu verschaffen. Dies gelingt z.B. durch Marktdaten oder einer Online-Analyse. 
• Voice (Kundenstimmen wahrnehmen): Für eine gelungene Forschung sind die Meinungen der Kund:innen stets ein wichtiges Kriterium. Deine Kundenstimmen kannst du beispielsweise durch Umfragen, einen Online-Chat oder Feedback-Tools auswerten.
• Validated (vorhandene Informationen verwenden): Um weitere Erkenntnisse zu gewinnen, bietet es sich immer an, die eigenen Ergebnisse mit bereits vorhandenen Studien und Informationen zu vergleichen. 
• Verified (belegte Informationen nutzen): Für jede Studie und jedes Experiment sollten wissenschaftlich bestätigte Informationen die Grundlage sein. 
• Value (einen Nutzen gewinnen): Aus den Ergebnissen deiner Forschung sollte sich am Ende immer ein Nutzen ergeben. Daraus können sich Visionen und Ziele für dein Unternehmen ergeben. 

Wir sammeln all diese Erkenntnisse, um eine forschungsgestützte Haupthypothese aufzustellen, die zu Unterhypothesen führt, die auf der Grundlage der durch A/B-Tests für Desktop- oder Mobilgeräte gesammelten Daten priorisiert werden. Je höher die Wahrscheinlichkeit ist, dass die Hypothese zutrifft, desto höher wird sie eingestuft.

Sobald wir wissen, ob unsere Hypothese richtig oder falsch ist, können wir damit beginnen, die Erkenntnisse zu kombinieren und größere Schritte zu unternehmen, indem wir größere Teile der Customer Journey umgestalten/neu ausrichten. Irgendwann führen jedoch alle erfolgreichen Umsetzungen zu einem lokalen Maximum. Dann musst du einen größeren Schritt machen, um ein potenzielles globales Maximum zu erreichen.

Und natürlich werden die wichtigsten Erkenntnisse im gesamten Unternehmen verbreitet, was zu allen möglichen weitergehenden Optimierungen und Innovationen auf der Grundlage deiner validierten Erkenntnisse aus erster Hand führt.

Julia Starostenko, Pinterest

Der Zweck eines Experiments ist es, zu überprüfen, ob sich die Änderungen an einer bestehenden Webseite positiv auf das Unternehmen auswirken.

Bevor du anfängst, solltest du herausfinden, ob ein Experiment wirklich notwendig ist. Stell dir das folgende Szenario vor: Es gibt eine Schaltfläche mit einer extrem niedrigen Klickrate. Es wäre fast unmöglich, die Leistung dieses Buttons zu verringern. Es ist daher nicht nötig, die Wirksamkeit einer vorgeschlagenen Änderung des Buttons zu überprüfen (d. h. ein Experiment durchzuführen).

Wenn die vorgeschlagene Änderung an der Schaltfläche nur geringfügig ist, lohnt es sich wahrscheinlich nicht, die Zeit für das Einrichten, Ausführen und Analysieren eines Experiments aufzuwenden. In diesem Fall sollten die Änderungen einfach an alle verteilt werden und die Leistung des Buttons kann überwacht werden.

Wenn wir feststellen, dass ein Experiment tatsächlich von Vorteil wäre, legen wir im nächsten Schritt die Geschäftskennzahlen fest, die verbessert werden sollen (z. B. die Conversion Rate eines Buttons erhöhen). Dann stellen wir sicher, dass die Datenerfassung richtig funktioniert.

Sobald dies abgeschlossen ist, wird die Zielgruppe nach dem Zufallsprinzip in zwei Gruppen aufgeteilt: Einer Gruppe wird die bestehende Version des Buttons gezeigt, während die andere Gruppe die neue Version erhält. Die Conversion Rate der beiden Gruppen wird überwacht, und sobald die statistische Signifikanz erreicht ist, werden die Ergebnisse des Experiments ermittelt.

Peep Laja, CXL Institute

A/B-Tests sind ein Teil eines größeren Konversionsoptimierungskonzepts. Meiner Meinung nach geht es zu 80% um die Forschung und nur zu 20% um das Testen. Die Conversion-Forschung hilft dir dabei, herauszufinden, womit du anfangen sollst zu testen.

Mein Prozess sieht in der Regel wie folgt aus (eine vereinfachte Zusammenfassung):

• Nimm die Konvertierungsforschung mit einem Framework wie ResearchXL vor, um Probleme auf deiner Website zu identifizieren.
• Wähle ein Problem mit hoher Priorität (betrifft eine große Anzahl an Benutzer:innen und ist relativ gravierend) aus und trage so viele Lösungsansätze wie nur möglich zusammen. Basiere deinen Ideenfindungsprozess dabei auf den Erkenntnissen deiner Konvertierungsforschung. Bestimme, auf welchem Gerät du den Test laufen lassen willst (separate Tests für Desktop und Mobile).
• Bestimme, wie viele Varianten du testen kannst (basierend auf deinem Traffic / Transaktionslevel). Wähle dann deine besten ein bis zwei Ideen für eine Lösung aus, um diese gegen die Kontrollversion zu testen.
• Erstelle eine Testmatrix mit den exakten Bestandteilen des Tests (schreibe  den Text, nimm Design-Anpassungen vor etc.). Je nach Umfang der Anpassungen musst du eventuell auch einen Designer bzw. eine Designerin mit ins Boot holen, um neue Elemente entsprechend gestalten zu lassen.
• Lass deinen Front-End-Entwickler die Änderungen in deinem Test-Tool implementieren. Richte notwendige Integrationen ein (Google Analytics) und lege geeignete Ziele fest.
• Nimm eine Qualitätskontrolle des Tests vor (fehlerhafte Tests sind bei weitem der größte Killer von A/B-Tests), um zu gewährleisten, dass er auch in allen möglichen Kombinationen aus Browser und Endgerät funktioniert.
• Starte den Test!
• Nachdem der Test abgeschlossen ist, gehe auf die nachfolgende Analyse an.
• Je nach Ergebnis implementierst du dann entweder den Gewinner, passt die Änderungen weiter an oder testest etwas komplett anderes.

Häufige Fehler bei A/B-Tests

Zu viele Variablen gleichzeitig testen

Wenn du zwei Variablen auf einmal vergleichst, kannst du möglicherweise nicht feststellen, welche Veränderung den Effekt verursacht hat.

Angenommen, du willst eine Landingpage optimieren. Anstatt nur eine Überschrift zu testen, testest du:

• Call-to-Action-Text
• Farbe der CTA-Schaltfläche
• Header-Bilder
• Überschriften

Die Conversion Rates steigen, aber du kannst nicht genau sagen, welche Änderung dafür verantwortlich ist. Wenn du eine Variable nach der anderen testest, kannst du die Auswirkungen der einzelnen Änderungen isolieren und genauere Ergebnisse erhalten.

💡Hinweis: Multivariate Tests sind eine Option, wenn du verstehen willst, wie mehrere Variablen miteinander interagieren. Aber um einen multivariaten Test durchzuführen, brauchst du mehr Besucher:innen und eine bereits gut optimierte Seite, auf der du schrittweise Verbesserungen vornehmen kannst. Das Verfahren ist viel komplexer als ein A/B-Test.

Unzureichende Stichprobengröße

Die Zuverlässigkeit deiner A/B-Test-Ergebnisse hängt von der Größe der verwendeten Stichprobe ab. Kleine Stichproben können zu falsch positiven und negativen Ergebnissen führen, so dass es schwierig ist, festzustellen, ob die Unterschiede auf deine Änderungen oder den Zufall zurückzuführen sind.

Stell dir vor, du testest zwei Versionen einer Produktseite, um herauszufinden, welche Version zu höheren Kaufraten führt. Du teilst den Traffic auf, hast aber am Ende nur 100 Besucher:innen für Version A und 100 Besucher:innen für Version B.

Wenn Version A eine Conversion Rate von 6 % und Version B eine Conversion Rate von 5 % hat, denkst du vielleicht, dass Version A besser ist. Aber mit nur 100 Besucher:innen pro Version ist das statistisch nicht signifikant. Es ist möglich, dass die Ergebnisse anders ausgefallen wären, wenn du mit mehr Besuchenden getestet hättest.

Der beste Weg, um eine gesunde Stichprobengröße zu bestimmen, ist ein Stichprobenrechner.

Kurze Testdauer

Führe deinen A/B-Test mindestens einen, idealerweise zwei volle Geschäftszyklen lang durch. Breche deinen Test nicht ab, nur weil du die Signifikanz erreicht hast. Außerdem musst du die vorgegebene Stichprobengröße einhalten. Und vergiss nicht, alle Tests in Schritten von einer ganzen Woche durchzuführen.

Warum zwei vollständige Konjunkturzyklen? Zunächst einmal helfen dir zwei Zyklen dabei, alles zu berücksichtigen:

1. "Ich muss darüber nachdenken" Käufer:innen.
2. Verschiedene Traffic-Quellen (Facebook, E-Mail-Newsletter, organische Suche, etc.)
3. Anomalien. Zum Beispiel dein E-Mail-Newsletter vom Freitag.

Zwei Geschäftszyklen sind in der Regel genug Zeit, um wertvolle Erkenntnisse über das Nutzerverhalten deiner Zielgruppe zu gewinnen.

Wenn du schon einmal ein A/B-Test-Tool für Landingpages verwendet hast, kennst du wahrscheinlich das kleine grüne Symbol "Statistisch signifikant".

Für viele ist das leider das allgemeingültige Zeichen für "der Test ist gelaufen, beende ihn". Wie du weiter unten erfährst, bedeutet das nicht, dass du den Test abbrechen solltest, nur weil die statistische Signifikanz eines A/B-Tests erreicht wurde.

Nutzersegmentierung übersehen

Wenn du die verschiedenen Nutzersegmente nicht berücksichtigst, erhältst du verallgemeinerte Ergebnisse, die vielleicht nicht auf alle zutreffen.

Es ist hilfreich, die Nutzer:innen nach demografischen Merkmalen, Verhalten oder anderen relevanten Faktoren zu segmentieren. Was für neue Nutzer:innen funktioniert, muss nicht unbedingt auch für wiederkehrende Nutzer:innen gelten. Wenn du nicht segmentierst, wirst du wichtige Nutzergruppen verprellen und die Integrität deines Tests gefährden.

Optimiere A/B-Tests für dein Unternehmen

Du hast den Prozess und damit die Macht! Also leg los und teste deinen Shop. Ehe du dich versiehst, werden diese Erkenntnisse zu einem deutlichen Plus auf deinem Bankkonto führen.

Dieser Beitrag erschien ursprünglich im Shopify.com-Blog und wurde übersetzt.

Häufig gestellte Fragen zum A/B-Testing

Was ist A/B-Testing?

Im Grunde genommen bedeutet A/B-Testing, dass du zwei Versionen von etwas testest, um zu sehen, welche besser abschneidet. Du kannst A/B-Tests für eine Vielzahl von Dingen durchführen, die mit deinem Unternehmen zu tun haben, z. B. Posts in sozialen Medien, Inhalte, E-Mails und Produktseiten.

Was ist ein Beispiel für einen A/B-Test?

Ein Beispiel für A/B-Tests wäre, bezahlten Traffic auf zwei leicht unterschiedliche Produktseiten zu leiten, um zu sehen, welche Seite die höchste Conversion Rate hat. Um sicherzustellen, dass deine A/B-Tests wertvolle Erkenntnisse liefern, solltest du mehr als 5.000 Besucher:innen auf einer Seite haben.

Warum nutzen Menschen A/B-Tests?

Beim A/B-Testing werden zwei Versionen einer Webseite, einer App oder einer Marketingkampagne getestet, indem verschiedenen Nutzergruppen gleichzeitig unterschiedliche Versionen gezeigt werden. So lässt sich feststellen, welche Version mehr Konversionen, Engagement oder Verkäufe erzielt.

Was ist ein Beispiel für A/B-Tests in sozialen Medien?

Ein Beispiel für A/B in sozialen Medien wäre das Testen der Effektivität von Instagram-Anzeigen. Du würdest zum Beispiel zwei Versionen einer Anzeige mit unterschiedlichen Medien erstellen und dann analysieren, welche Version mehr Klicks und Verkäufe erzielt.