Ein A/B-Test vergleicht zwei Varianten unter kontrollierten Bedingungen. Besucher werden den Varianten zufällig zugeteilt; anschließend wird eine vorher definierte Messgröße ausgewertet. Ein Test kann bei Entscheidungen helfen, wenn genügend Beobachtungen vorliegen und die Messung zuverlässig funktioniert. Ein schneller Vorher-Nachher-Vergleich erfüllt diese Voraussetzungen nicht automatisch.
Vor dem Test eine überprüfbare Hypothese formulieren
Beschreiben Sie zuerst das vermutete Hindernis. Daraus entsteht eine Hypothese wie: „Wenn der nächste Schritt klarer erklärt wird, schließen mehr geeignete Interessenten das Formular ab.“ Legen Sie Hauptmessgröße, Qualitätsgrenzen, Stichprobenplanung und Auswertungszeitpunkt fest, bevor Sie Ergebnisse sehen.
Die folgenden drei Beispiele sind Testideen mit fiktiven Ausgangslagen. Sie sind keine behaupteten Kundenerfolge und enthalten keine erfundenen Steigerungsraten.
Testidee 1: das Ergebnis eines Erstgesprächs erklären
Ausgangslage: Eine Landingpage fordert zu einem Gespräch auf, erklärt aber nicht, was dort passiert. Interessenten können Aufwand und Nutzen nicht einschätzen.
Variante: Ergänzen Sie eine zutreffende Beschreibung von Dauer, Gesprächsinhalt und Ergebnis. Vergleichen Sie diese Fassung mit dem bestehenden Angebot, ohne parallel Zielgruppe oder Preis zu ändern.
Messung: Bestätigte Terminbuchungen je geeignetem Besuch sind eine mögliche Hauptmessgröße. Prüfen Sie zusätzlich wahrgenommene Termine und fachliche Eignung. Mehr Buchungen bei deutlich mehr Absagen wären kein eindeutiger Erfolg.
Testidee 2: ein unnötiges Formularfeld entfernen
Ausgangslage: Ein Formular verlangt eine Information, die erst später gebraucht wird. In Rückmeldungen wird dieses Feld als Hürde genannt.
Variante: Lassen Sie das Feld in einer Fassung weg und halten Sie den übrigen Ablauf gleich. Stellen Sie sicher, dass die Bearbeitung im Team weiterhin möglich ist.
Messung: Erfolgreich abgesendete, bestätigte Formulare je Formularbesuch. Ergänzen Sie den späteren Nachbearbeitungsaufwand und die Eignung der Kontakte. Ein technischer Klick auf „Absenden“ ist noch keine erfolgreich gespeicherte Anfrage.
Testidee 3: eine wichtige Produktinformation früher zeigen
Ausgangslage: Kunden fragen häufig nach der Kompatibilität eines Produkts. Diese Information steht weit unten oder nur in einem Dokument.
Variante: Zeigen Sie eine verständliche Kompatibilitätsangabe nahe der Variantenauswahl. Die Information muss in beiden Fassungen richtig sein; ein Test rechtfertigt keine irreführende Ausgangsseite.
Messung: Geeignete Käufe oder Warenkorb-Schritte, abhängig von der verfügbaren Datenmenge. Beobachten Sie zugleich Fehlkäufe und Rückfragen. Der tatsächliche Nutzen kann in weniger Fehlbestellungen liegen, auch wenn die Kaufquote kaum steigt.
Wann ist ein Ergebnis belastbar?
Die erforderliche Stichprobe hängt von Ausgangsrate, relevantem Unterschied und gewähltem statistischen Verfahren ab. Dafür gibt es keine allgemeingültige Mindestzahl von Besuchern. Planen Sie diese Größen gemeinsam und vermeiden Sie das vorzeitige Beenden, sobald eine Variante zufällig vorne liegt.
Prüfen Sie die zufällige Verteilung, doppelte Messungen und Unterschiede in Geräten oder Besucherquellen. Saison, Kampagnenwechsel und technische Fehler können Ergebnisse verzerren. Dokumentieren Sie den Testaufbau, damit eine andere Person die Schlussfolgerung nachvollziehen kann.
Was tun bei wenig Traffic?
Bei kleinen Fallzahlen sind Nutzertests, Interviews und die Beseitigung nachweisbarer Fehler oft geeigneter als ein lange laufender, unklarer Variantenvergleich. Ein nicht bedienbares Formular muss nicht erst gegen eine funktionierende Version „gewinnen“. Barrierefreiheit und korrekte Informationen sind Qualitätsanforderungen.
Für die Messung sollten Sie Ereignisse klar definieren und verstehen, was Ihr System erfasst. Die Google-Dokumentation zum Nutzer-Engagement erläutert beispielsweise, was aktive Interaktionsdauer bedeutet. Solche Zwischenwerte ersetzen keine passend definierte Zielhandlung.
Unterstützung bei der Umsetzung
Sie möchten das Thema auf Ihr Unternehmen übertragen? Analytics und Erfolgsmessung: Gemeinsam klären wir Ausgangslage, Prioritäten und die nächsten Schritte.
