Holdout-Gruppe

Ein A/B-Test vergleicht Nachricht mit Nachricht. Ein Holdout vergleicht Nachricht mit keiner Nachricht. Manche, die nach einer E-Mail kaufen, hätten ohnehin gekauft; der Holdout zeigt, wie viele. So funktioniert es: Halte zufällig zum Beispiel 10 % der Zielgruppe eines Flows oder einer Kampagne zurück und vergleiche dann ihre Kaufrate mit der aller, die die Nachricht bekommen haben. Der Unterschied ist der zusätzliche Effekt (Incremental Lift). In SmartyTap vergleichen A/B-Tests Versionen und bilden nicht automatisch eine Gruppe ohne Nachricht. Du kannst dem nahekommen, indem du ein beiseitegelegtes Segment von einer Kampagne ausschließt und seine Bestellungen mit denen der Empfänger vergleichst.