Esperimento holdout
Tenere fuori dalla campagna una quota di pubblico, per misurare cosa sarebbe successo comunque.
L’holdout è il gruppo che non riceve il trattamento. Serve a rispondere alla sola domanda che conta — quanto di questo risultato non ci sarebbe stato senza la campagna — e la risponde per costruzione, perché la randomizzazione elimina qualunque Confondente, anche quelli che non ci vengono in mente.
Il costo è visibile e il beneficio no: si rinuncia a un po’ di fatturato oggi in cambio di un numero attendibile domani. Per questo l’holdout è la pratica di cui tutti riconoscono il valore e quasi nessuno adotta.
Due accortezze rendono la differenza. Fissare in anticipo la dimensione minima dell’effetto che interessa rilevare, e da lì la numerosità: un test sottodotato non è un test prudente, è un test che produrrà un risultato non conclusivo travestito da risultato. E randomizzare all’unità su cui si decide — utente, città, negozio — non a quella più comoda da estrarre.
Nessun post lo cita ancora. È una voce di riferimento, non un pezzo.