Dieser kostenlose A/B-Test-Rechner nimmt die Rohdaten Ihres Split-Tests – Besucher und Conversions beider Varianten – und sagt Ihnen, ob der beobachtete Unterschied ein echtes, statistisch belastbares Ergebnis oder nur Rauschen ist. Geben Sie Traffic und Conversions von Variante A und von Variante B ein, wählen Sie das gewünschte Konfidenzniveau, und Sie erhalten sofort ein Urteil: einen Gewinner mit angegebener Konfidenz oder „noch nicht signifikant“. Jede Berechnung läuft in Ihrem Browser mit einem Standard-Zwei-Stichproben-z-Test für Anteile – derselben Mathematik, die hinter den Signifikanzprüfungen der meisten professionellen Testplattformen steckt.
Wir haben diesen A/B-Test-Rechner entwickelt, weil so viele Teams Tests abbrechen, sobald eine Variante vorne „aussieht“, ohne je zu prüfen, ob der Abstand plausibel auf Zufall beruhen könnte. Bei Arb Digital führen wir ständig Split-Tests auf Landingpages und Anzeigenmotiven durch, und die eine Gewohnheit, die Teams, die wirklich wachsen, von Teams unterscheidet, die nur jeden Monat den Traffic umschichten, ist diese: Sie prüfen die Signifikanz, bevor sie eine Entscheidung ausrollen, nicht danach.
Was dieser A/B-Test-Rechner leistet
Sie führen einen klassischen Split-Test durch: zwei Versionen einer Seite, einer E-Mail, einer Anzeige oder eines Checkout-Ablaufs, die jeweils einem getrennten Teil des Traffics ausgespielt werden. Variante A ist meist Ihre Kontrollversion – die bestehende Version. Variante B ist der Herausforderer – Ihre neue Überschrift, Ihr neues Layout, Ihr neuer Preis oder Ihre neue Button-Farbe. Jede Variante sammelt ihre eigene Besucherzahl und ihre eigene Conversion-Zahl, und diese vier Zahlen sind alles, was der Rechner braucht.
Daraus berechnet er die Conversion-Rate jeder Variante, den relativen Uplift von B gegenüber A, einen Standardfehler für die Differenz der beiden Raten, einen z-Wert und einen p-Wert – und vergleicht diesen p-Wert dann mit dem gewählten Konfidenzniveau. Erreicht das Ergebnis Ihre Schwelle, erklärt das Tool einen Gewinner und nennt die Konfidenz dieser Aussage. Falls nicht, sagt es klar, dass Sie noch kein Ergebnis haben – und das ist genauso wertvoll zu wissen wie ein Sieg.
So verwenden Sie ihn
- Geben Sie Besucher und Conversions von Variante A ein. Das ist fast immer Ihre bestehende Kontrollversion – die Seite oder Version, gegen die Sie testen.
- Geben Sie Besucher und Conversions von Variante B ein. Ihr Herausforderer – die neue Version, von der Sie hoffen, dass sie die Kontrolle schlägt.
- Wählen Sie Ihr Konfidenzniveau. 95% ist der Standardwert für die meisten Marketingentscheidungen; nutzen Sie 99% bei folgenreichen Änderungen wie Preisen oder Checkout, bei denen ein falsch positives Ergebnis teuer ist.
- Lesen Sie das Ergebnis. Die große Anzeige sagt Ihnen klar, ob Sie einen statistisch signifikanten Gewinner haben und welche Variante es ist.
- Prüfen Sie den Uplift, nicht nur die Sterne. Ein signifikantes Ergebnis mit winzigem relativem Uplift ist den Entwicklungsaufwand womöglich nicht wert. Signifikanz beantwortet „Ist das real?“ – nicht „Lohnt sich das?“
Die Formel / So wird berechnet
Dieser Rechner führt einen Standard-Zwei-Stichproben-z-Test für Anteile durch, den klassischen Ansatz zum Vergleich zweier Conversion-Raten. Zuerst berechnet er die Rate jeder Variante: Conversions geteilt durch Besucher. Dann fasst er beide Stichproben zu einer gemeinsamen Conversion-Rate zusammen und berechnet mit dieser gepoolten Rate den Standardfehler der Differenz zwischen A und B. Teilt man die beobachtete Differenz der Raten durch diesen Standardfehler, erhält man den z-Wert; wandelt man ihn über die kumulative Verteilungsfunktion der Normalverteilung um, erhält man den p-Wert – die Wahrscheinlichkeit, einen so großen (oder größeren) Abstand rein zufällig zu sehen, wenn es in Wirklichkeit keinen echten Unterschied zwischen den Varianten gäbe.
- Rate je Variante: pA = Conversions A / Besucher A, und pB entsprechend.
- Gepoolte Rate: p = (Conversions A + Conversions B) / (Besucher A + Besucher B).
- Standardfehler: SE = √( p × (1 − p) × (1/Besucher A + 1/Besucher B) ).
- z-Wert: z = (pB − pA) / SE.
- Zweiseitiger p-Wert: 2 × (1 − Φ(|z|)), wobei Φ die kumulative Standardnormalverteilung ist. Die angezeigte „Konfidenz“ ist (1 − p-Wert) × 100.
- Das Ergebnis ist „signifikant“, wenn der p-Wert unter 1 minus Ihrem gewählten Konfidenzniveau liegt (0,05 bei 95%). Der relative Uplift ist (pB − pA) / pA.
Rechenbeispiel (die Standardwerte)
Variante A: 150 Conversions bei 5.000 Besuchern = 3,00%. Variante B: 185 bei 5.000 = 3,70%. Der relative Uplift beträgt (3,70 − 3,00) / 3,00 = +23,3%. Die gepoolte Rate ist 335 / 10.000 = 0,0335, also SE = √(0,0335 × 0,9665 × (1/5.000 + 1/5.000)) = etwa 0,0036. Dann ist z = 0,007 / 0,0036 = etwa 1,94, was einen zweiseitigen p-Wert von etwa 0,052 ergibt (94,8% Konfidenz). Das verfehlt die 0,05-Schwelle bei der Einstellung 95%, daher meldet das Tool „Noch nicht signifikant“, obwohl B um 23% besser aussieht. Setzen Sie B auf 200 Conversions, sinkt der p-Wert auf etwa 0,007 – ein klarer Sieg.
Die Methode ist der Standard-z-Test für zwei Anteile mit gepoolter Varianz. Evan Millers Leitfaden zu A/B-Testing-Fehlern (englisch) erklärt, was ein Signifikanzniveau bedeutet und warum es nicht mehr gilt, wenn Sie einen Test vorzeitig beenden. Der Rechner ist zweiseitig: Er erkennt einen echten Unterschied in jede Richtung und korrigiert nicht für mehrere Varianten oder mehrere Metriken gleichzeitig.
Warum „Peeking“ Verlierer ausliefert
Dies ist der Fehler, der mehr A/B-Tests im Stillen ruiniert als jeder andere: täglich die Ergebnisse prüfen und stoppen, sobald die Zahlen gut aussehen. Das fühlt sich verantwortungsvoll an – schließlich überwachen Sie den Test –, ist aber statistisch gefährlich. Jedes Mal, wenn Sie in einen Test schauen und ihn beenden könnten, geben Sie dem Zufall eine weitere Chance, ein falsch positives Ergebnis zu erzeugen. Evan Millers Analyse nennt ein Worst-Case-Beispiel: Prüft man eine Conversion-Rate von 50% nach jeder einzelnen Beobachtung und stoppt beim ersten 5%-Ergebnis oder nach 150 Beobachtungen, wird eine Änderung, die nichts bewirkt, in etwa 26,1% der Fälle fälschlich zum Gewinner erklärt – mehr als fünfmal so oft wie die 5%, die Sie angenommen hatten. Tägliches Prüfen ist milder, aber die Quote falsch positiver Ergebnisse liegt trotzdem über Ihrem angegebenen Schwellenwert.
Die Disziplin, die das behebt, ist leicht formuliert und schwer einzuhalten: Legen Sie Ihren Stichprobenumfang fest, bevor Sie den Test starten, etwa mit unserem Stichprobenrechner, und küren Sie erst einen Gewinner, wenn Sie diese Zahl erreicht haben. Zwischendurch den Fortschritt zu prüfen ist in Ordnung – die Falle ist, früh abzubrechen, weil die Zwischenwerte vielversprechend aussehen. Behandeln Sie den vorab festgelegten Stichprobenumfang als Ziellinie, nicht als Empfehlung.
Statistische Signifikanz ist nicht geschäftliche Relevanz
Ein Ergebnis kann vollkommen und streng statistisch signifikant sein und geschäftlich trotzdem ein Nicht-Ereignis. Mit genug Traffic – Hunderttausenden Besuchern – lässt sich ein relativer Uplift von 0,2% mit voller statistischer Sicherheit nachweisen. Er ist real. Er ist wahrscheinlich aber auch keine einzige Entwicklerstunde wert, weil die Umsatzwirkung gegen null geht. Signifikanz sagt Ihnen, dass der Unterschied wahrscheinlich kein Zufall ist; sie sagt nichts darüber, ob er groß genug ist, um die Kosten der Umsetzung zu rechtfertigen. Lesen Sie den relativen Uplift in Prozent immer zusammen mit dem p-Wert und fragen Sie ehrlich, ob diese Änderung eine Kennzahl bewegt, die im Unternehmen tatsächlich zählt.
Lassen Sie Tests nie über Feiertage laufen
Traffic und Kaufabsicht am Black Friday, in der Weihnachtswoche oder an einem langen Feiertagswochenende verhalten sich völlig anders als an einem normalen Dienstag. Besucher sind preissensibler, impulsiver oder je nach Branche gar nicht da, und die Variante, die in diesem Zeitraum läuft, erhält ein verzerrtes Bild, das nichts damit zu tun hat, welches Seitendesign tatsächlich besser ist. Fällt ein Feiertag, ein großer Sale oder eine große Pressemeldung in Ihr Testfenster, pausieren Sie den Test und setzen ihn unter normalen Bedingungen fort, oder verlängern Sie die Laufzeit, damit die Anomalie über eine vollständige, repräsentative Stichprobe verdünnt wird. Ein „Gewinner“, der auf Feiertagsdaten ausgerufen wurde, hält selten stand, sobald sich der Traffic normalisiert.
Das Ergebnis richtig lesen
- „Signifikant — B gewinnt“ bedeutet, dass der beobachtete Uplift Ihre gewählte Konfidenzschwelle erreicht hat. Rollen Sie es aus, prüfen Sie aber vorher die Größe des Uplifts.
- „Noch nicht signifikant“ bedeutet, dass Sie in keine Richtung einen Beleg haben. Es heißt nicht, dass die Varianten gleich sind – es heißt, dass Sie noch nicht genug Daten für eine Aussage haben.
- Ein signifikanter negativer Uplift ist genauso wertvoll wie ein positiver – er sagt Ihnen, die Kontrolle zu behalten und keinen Traffic mehr an den Herausforderer zu verschwenden.
- Kleine Unterschiede bei kleinen Stichproben erreichen fast nie Signifikanz. Das ist kein Fehler der Mathematik – es ist die Mathematik, die korrekt anzeigt, dass die Stichprobe zu klein ist, um ihr zu vertrauen.
Was als Nächstes zu tun ist
- Gewinner mit lohnendem Uplift: Rollen Sie ihn aus und beobachten Sie danach einige Wochen die eigentliche Kennzahl (Umsatz, nicht nur Klicks), um zu bestätigen, dass der Gewinn Bestand hat.
- Nicht signifikant, Stichprobe erreicht: Werten Sie es als „kein nachweisbarer Unterschied“. Behalten Sie die günstigere oder einfachere Version und wenden Sie sich einer mutigeren Idee zu.
- Nicht signifikant, Stichprobe nicht erreicht: Lassen Sie den Test weiterlaufen, bis der vor dem Start festgelegte Stichprobenumfang erreicht ist, und brechen Sie nicht wegen eines gut aussehenden Zwischenwerts vorzeitig ab.
- Signifikant, aber winziger Uplift: Berechnen Sie zuerst den Geldwert des Uplifts. Deckt er die Kosten für Umsetzung und Pflege der Änderung nicht, lassen Sie es sein.
Arb Digital gestaltet conversionorientierte Landingpages und führt die Split-Tests dazu durch, damit Sie nicht raten müssen, was Sie als Nächstes testen – Sie testen eine Seite, die von Anfang an auf Daten basiert.
Unsere Webdesign-Leistungen ansehen Alle kostenlosen ToolsHäufige Fehler, die Sie vermeiden sollten
- Peeking und vorzeitiges Stoppen. Legen Sie den Stichprobenumfang vorab fest und halten Sie sich daran – siehe den Abschnitt oben.
- Zu viele Dinge gleichzeitig testen. Ändern Sie pro Test ein wesentliches Element, sonst wissen Sie nicht, welche Änderung die Zahl tatsächlich bewegt hat.
- Praktische Signifikanz ignorieren. Ein statistisch echter Uplift von 0,1% lohnt sich meist nicht. Wägen Sie die Größe des Uplifts gegen die Kosten der Änderung ab.
- Tests mit nicht repräsentativem Traffic laufen lassen. Feiertage, virale Spitzen und Ausfälle verzerren ein Testfenster – pausieren oder verlängern Sie entsprechend.
- Einen Gewinner aus einer winzigen Stichprobe küren. Nutzen Sie vor dem Start den Stichprobenrechner, damit Sie wissen, wie viele Daten Sie tatsächlich brauchen.
- „Nicht signifikant“ mit „kein Unterschied“ verwechseln. Meist heißt es nur, dass Sie mehr Daten brauchen – nicht, dass die Varianten identisch abschneiden.
Verwandte kostenlose Tools von Arb Digital
Bevor Sie Ihren nächsten Split-Test starten, planen Sie ihn sauber mit unserem Stichprobenrechner – er sagt Ihnen vorab, wie viele Besucher Sie brauchen, damit Sie nicht in einen Test mit zu geringer Teststärke schauen. Haben Sie einen Gewinner, modellieren Sie die Umsatzwirkung mit dem Landingpage-Conversion-Rechner, prüfen Sie Ihre Basisrate mit dem Conversion-Rate-Rechner und sehen Sie, wie eine besser konvertierende Seite Ihre Kundenakquisitionskosten und Ihre Klickrate beeinflusst. Alles finden Sie in unserer Übersicht kostenloser Online-Tools.
Verwandtes Tool: Internet-Geschwindigkeitstest.
Verwandtes Tool: ⌨️ Tipptest.
Verwandtes Tool: Regex-Tester.
Häufig gestellte Fragen
Dieser Rechner verwendet einen z-Test für zwei Anteile. Er berechnet die Conversion-Rate jeder Variante, poolt beide Stichproben zu einer gemeinsamen Rate, berechnet den Standardfehler der Differenz der Raten, leitet daraus einen z-Wert ab und wandelt diesen über die Normalverteilung in einen p-Wert um. Ist der p-Wert kleiner als Ihr gewählter Signifikanzschwellenwert (zum Beispiel 0,05 bei 95% Konfidenz), gilt das Ergebnis als statistisch signifikant.
Das hängt von Ihrer Basis-Conversion-Rate und dem kleinsten Uplift ab, den Sie zuverlässig nachweisen möchten – kleinere erwartete Uplifts erfordern deutlich größere Stichproben. Nutzen Sie vor dem Teststart unseren Stichprobenrechner, um anhand Ihrer eigenen Zahlen ein genaues Besucherziel pro Variante zu erhalten, statt zu raten oder zu laufen, bis es sich „fertig anfühlt“.
Eine höhere Rohrate bedeutet nicht automatisch einen echten Unterschied – es kann leicht zufällige Schwankung sein, besonders bei einer kleinen Stichprobe. „Nicht signifikant“ heißt, dass der Abstand im Verhältnis zu Ihrem Stichprobenumfang so klein ist, dass es weiterhin plausibel ist, dass beide Varianten gleich abschneiden. Es ist ein Zeichen, dass Sie mehr Daten brauchen, nicht dass B schlechter ist.
95% ist der Standardwert für die meisten Marketingtests und balanciert Tempo und Zuverlässigkeit. Nutzen Sie 99% bei folgenreichen, schwer umkehrbaren Änderungen wie Preisen oder Ihrem Checkout-Ablauf, bei denen ein falsch positives Ergebnis teuer ist. 90% kann bei schnellen, risikoarmen, leicht umkehrbaren Tests wie Button-Texten vertretbar sein, bei denen gelegentliches Irren wenig kostet.
Den Fortschritt zu beobachten ist in Ordnung. Gefährlich ist, den Test zu stoppen, sobald die Zahlen günstig aussehen; das nennt sich Peeking und treibt Ihre Quote falsch positiver Ergebnisse weit über das angegebene Konfidenzniveau. Legen Sie den benötigten Stichprobenumfang vor dem Teststart fest und lassen Sie den Test bis zu dieser Zahl laufen, bevor Sie eine endgültige Entscheidung treffen.
Ja. Signifikanz sagt nur, dass der Unterschied wahrscheinlich kein Zufall ist – sie sagt nichts darüber, ob er groß genug ist, um für das Unternehmen zu zählen. Ein signifikanter relativer Uplift von 0,2% bei riesiger Stichprobe ist real, aber oft die Entwicklungskosten nicht wert. Wägen Sie den relativen Uplift in Prozent immer zusammen mit dem p-Wert ab.
Nein. Bei 150 und 185 Conversions aus je 5.000 Besuchern liegt der p-Wert bei etwa 0,052 – knapp über den 0,05, die für 95% Konfidenz nötig sind. Ein Abstand dieser Größe kann etwa in 1 von 20 Fällen zufällig auftreten. Mehr Besucher oder ein größerer echter Unterschied würden ihn über die Schwelle bringen.
Die von diesem Rechner ermittelten Werte sind statistische Schätzungen zu Planungszwecken, basierend auf den von Ihnen eingegebenen Zahlen.