Ergebnisse analysieren: CheckoutOS-Doku

Die Ergebnisanalyse zeigt, ob dein Experiment aussagekräftige Erkenntnisse geliefert hat. CheckoutOS bietet umfassende Analysen, um das Geschehen zu verstehen und fundiert zu entscheiden.

Ergebnis-Dashboard

Das Ergebnis-Dashboard zeigt:

Leistungsübersicht – Kennzahlen jeder Variante
Statistische Signifikanz – Sicherheit der Ergebnisse
Verbesserung berechnen – Wie viel besser oder schlechter die Variante abschnitt
Stichprobengrößen – Traffic jeder Variante
Trendgrafiken – Leistung im Zeitverlauf

Wichtige Kennzahlen verstehen

Ergebnisübersicht

{
  "experiment_results": {
    "status": "significant",
    "winner": "Variant A",
    "runtime_days": 14,
    "total_visitors": 12500,
    "variants": [
      {
        "name": "Control",
        "visitors": 6250,
        "conversions": 312,
        "conversion_rate": "4.99%",
        "revenue": 28750,
        "aov": 92.15
      },
      {
        "name": "Variant A",
        "visitors": 6250,
        "conversions": 387,
        "conversion_rate": "6.19%",
        "revenue": 35418,
        "aov": 91.52,
        "lift": "+24.0%",
        "p_value": 0.003,
        "confidence": "99.7%"
      }
    ]
  }
}

Statistische Signifikanz

Statistische Signifikanz zeigt, ob der beobachtete Unterschied wahrscheinlich real oder möglicherweise zufällig ist:

Signifikanzindikatoren

95 % Konfidenz – Übliche Schwelle für einen Gewinner
99 % Konfidenz – Hohe Sicherheit, Zufall sehr unwahrscheinlich
p-Wert < 0,05 – Auf dem 95-%-Niveau statistisch signifikant
Konfidenzintervall – Bereich, in dem der wahre Wert wahrscheinlich liegt

Nicht vorzeitig auf Ergebnisse reagieren

Wiederholtes Nachsehen und Stoppen bei Signifikanz erhöht die Falsch-Positiv-Rate. Lege eine Zielstichprobe fest und halte sie ein.

Ergebnisse auswerten

Klarer Gewinner

Bei statistischer Signifikanz und spürbarer Verbesserung:

Gewinner-Variante und zentrale Erkenntnisse dokumentieren
Gewinner für 100 % des Traffics ausrollen
Kennzahlen nach Einführung zur Bestätigung beobachten
Nächstes Experiment planen

Kein signifikanter Unterschied

Wenn Varianten ähnlich abschneiden:

Auch das ist wertvoll: Du weißt, dass die Änderung keinen Unterschied macht
Prüfen, ob der Test lange genug lief
Die einfachere oder günstigere Option kann vorzuziehen sein
Dokumentieren und größere Änderungen testen

Unerwartete Ergebnisse

Wenn die Variante schlechter als erwartet abschneidet:

Negative Ergebnisse nicht abtun: Sie sind wertvoll
Untersuchen, warum es nicht funktioniert hat
Implementierungsfehler prüfen
Prüfen, ob die richtige Zielgruppe getestet wurde

Segmentanalyse

Teile Ergebnisse nach Kundensegmenten auf, um verborgene Erkenntnisse zu finden:

Segmentaufteilung

{
  "segment_analysis": {
    "by_device": {
      "mobile": { "control": "4.2%", "variant": "6.8%", "lift": "+62%" },
      "desktop": { "control": "5.5%", "variant": "5.4%", "lift": "-2%" }
    },
    "by_customer_type": {
      "new": { "control": "3.1%", "variant": "5.2%", "lift": "+68%" },
      "returning": { "control": "7.8%", "variant": "7.4%", "lift": "-5%" }
    },
    "by_cart_value": {
      "under_50": { "control": "5.1%", "variant": "6.2%", "lift": "+22%" },
      "50_to_100": { "control": "4.9%", "variant": "6.1%", "lift": "+24%" },
      "over_100": { "control": "4.8%", "variant": "6.3%", "lift": "+31%" }
    }
  }
}

Erkenntnisse nach Segment

Manchmal verbirgt ein Gesamtergebnis ohne Gewinner einen großen Erfolg in einem Segment. Mobile Nutzer können eine Änderung lieben, die Desktop-Nutzer ablehnen. Segmentanalysen zeigen solche Chancen.

Ergebnisse exportieren

Exportiere Experimentdaten für weitere Analysen:

Exportoptionen

CSV-Export – Rohdaten für Tabellenkalkulationen
PDF-Bericht – Teilbare Zusammenfassung
API-Zugriff – Daten programmgesteuert abrufen
Analyse-Integration – An Google Analytics, Mixpanel und andere senden

Experimente abschließen

Signifikanz prüfen

Stelle sicher, dass statistische Signifikanz erreicht wurde.

Erkenntnisse dokumentieren

Halte Hypothese, Ergebnisse und Erkenntnisse fest.

Gewinner bestimmen

Wähle einen Gewinner oder erkläre das Ergebnis für nicht eindeutig.

Ausrollen

Wende die Gewinner-Variante auf 100 % des Traffics an.

Beobachten

Prüfe nach Einführung, ob die Verbesserung bestehen bleibt.

Bewährte Vorgehensweisen

Analysetipps

Signifikanz abwarten – Gewinner nicht zu früh bestimmen
Mehrere Kennzahlen ansehen – Conversion ist nicht alles
Segmente prüfen – Gesamtergebnisse können Unterschiede verdecken
Geschäftswirkung beachten – Kleine Verbesserung bei viel Traffic bedeutet großen Wert
Alles dokumentieren – Eine Wissensbasis für Experimente aufbauen

Ergebnisse analysieren