Ti sei appena comprato l’ultimo profumo, l’addome non è proprio scolpito, la barba è perfetta, ma l’unico match che sei riuscito ad ottenere su Tinder è con il profilo finto della Mucca Carolina iscritta dal tuo amico Marco anche noto come “Il Capraro”.
Inizi a riflettere che forse c’è un problema.
Questa strategia del rimorchio non sta funzionando, evidentemente.
Decidi di affidarti al tuo amico, il mago della conquista, il re del rimorchio dai tempi di MySpace e Netlog, per gli amici “Er Trivella”.
Dopo una veloce chiacchierata ed un paio di birre, Er Trivella, decide di aiutarti, ma solo se sei disposto a pagargli da bere in caso di successo.
Subito si accorge che la tua selezione di foto profilo a petto nudo con la mutanda “Uomo” comprata in pacchi da 10 al mercato non può andar bene, così come deve essere aggiornata l’altra tutta sfocata e con il volto devastato dagli shoot di Ibiza 2k12.
“Terapia d’urto” queste le parole di “Er Trivella” in un momento di grande sconforto e compassione nei tuoi confronti.
Shopping selvaggio tra Piazza Italia e OVS, foto con la reflex in modalità automatico fatte dall’amica fotografa e frasi random di Fabio Volo.
Subito dopo l’aggiornamento del profilo iniziano i match e stenti a crederci.
Tu però non vuoi offrire da bere, pensi sia tutto frutto del caso, che “Er Trivella “ sia stato fortunato.
Con le vecchie foto profilo -> 100 tentativi ->1 match
Con le nuove foto profilo ->100 tentativi -> 10 Match
Guardi Er Trivella e con un po’ di sfacciataggine dici
“Guarda secondo me è solo un caso, con le nuove foto di profilo è stata solo fortuna, l’ipotesi che sia cambiato qualcosa è falsa”
Er Trivella ti guarda negli occhi, non gli pare vero, lui vuole che gli paghi da bere e con calma risponde:
“Ok allora facciamo così se è vero che è stata solo fortuna non cambia nulla tra la situazione prima e la situazione successiva.
Noi abbiamo 200 tentativi in totale giusto?”
Tu:”Si”
Er Trivella:”Facciamo delle simulazioni.
Prendiamo 200 foglietti scriviamo sopra questi il nome della tipa e se hai avuto successo o meno.
1 se hai avuto successo e 0 se non è andata bene”.
Alla strana richiesta realizzi questi 200 foglietti.
Er Trivella:”Ora per un bel po’ di volte mischiamo i 200 foglietti, associamo i primi 100 alla vecchia condizione (Test A) e gli ultimi 100 a quella nuova (Test B).
Una volta fatto calcoliamo la differenza tra i casi di successo tra il nuovo caso B’ ed il nuovo caso A’, chiameremo questo valore “Delta Rimorchio”.
Ti ricordi nel caso originale questa differenza era di 0.09?” (10/100-1/100)
“Una volta calcolato il “Delta Rimorchio” la seconda volta, rimischiamo i foglietti e ripetiamo l’operazione un certo numero di volte (un numero di volte n, con n molto grande).
Ora se quello che hai detto ha senso le volte in cui rimischiando i foglietti il delta rimorchio è uguale o maggiore al delta rimorchio iniziale dovrà essere abbastanza frequente, essendo questa differenza un caso”
Tu:”Certo, ha senso”
Er Trivella: “Potremmo valutare la cosa dividendo il numero di volte in cui “Delta rimorchio è maggiore o al più uguale” per il numero di volte che abbiamo rimischiato i foglietti” (questo valore sarà il nostro p-value dei dati).
Er Trivella:”Più questo rapporto sarà grande e più le tue ipotesi saranno corrette, ma più questo valore è piccolo e più probabile che la tua ipotesi sia falsa.”
Tu:”Quanto piccolo?”
Er Trivella:”Se voglio rifiutare la tua ipotesi con il 95% di confidenza questo dovrà essere più piccolo di 0.05.”
Tu ed Er Trivella scoprite che:
- Il numero di volte che mischiando i foglietti hai ottenuto risultati migliori è stata solo 1 su 100 il p-value è 0.01
- l’ipotesi che fosse tutta fortuna è falsa
- tocca pagare da bere
Gli A/B test sono estremamente frequenti soprattutto nel Digital Marketing, ma non sempre la loro valutazione è facile, questo articolo con lo script allegato è solo una simpatica introduzione, molte ipotesi sono state semplificate, per una rigorosa trattazione consiglio sempre il Ross “Introduzione alla Probabilità ed alla Statistica per Ingegneri e Scienziati”.
Inoltre bisogna sempre valutare il costo della sperimentazione, il miglioramento che si ottiene dal test A o dal test B non solo deve essere statisticamente significativo, ma anche economicamente significativo.
Per Economicamente Significativo intendo che il costo della sperimentazione è giustificato dal guadagno che il miglioramento genera, un punto estremamente difficile e non sempre rispettato.
Grazie per aver letto l’articolo!
Se ti piace ri-condividilo 🙂
Un abbraccione
Andrea
ps Devo formattare meglio il codice è sempre un po’ un trauma per me districarmi tra il notebook jupyter e il codice html, inizierò anche a pubblicare questi script sul mio profilo GitHub 🙂
import numpy as np
import pandas as pd
#Rappresentiamo attraverso due array di 1 e 0 i nostri due scenari di analisi
old_pic=np.array([True] * 1 + [False] * 99)
new_pic=np.array([True] * 10 + [False] * 90)
#Definiamo la statistica oggetto di analisi come
#la differenza i successi con le nuove foto e i successi con le vecchie
#in rapporto al numero di tentativi effettuati
def frac_abs_success(a,b):
afrac = np.sum(a) /len(a)
bfrac= np.sum(b) /len(b)
ababs=abs(afrac-bfrac)
return ababs
def permutation_sample(data1, data2,func):
"""Generiamo una permutazione definiti due data set."""
# Concateniamo i datasets: data
data = np.concatenate((data1,data2))
# Definiamo l'array delle permutazioni permuted_data
permuted_data = np.random.permutation(data)
# Dividiamo in due insiemi A' B' l'array delle permtazioni: perm_sample_1, perm_sample_2
perm_sample_1 = permuted_data[:len(data1)]
perm_sample_2 = permuted_data[len(data1):]
delta_rim=func(perm_sample_1,perm_sample_2)
return delta_rim
#Realizziamo n permutazioni dei nostri due insiemi A* B*
n=1000
#per ogni permutazione calcoliamo il valore della statistica di analisi
#la differenza tra il secondo ed il primo insieme
def draw_rep_stat(data,data2, func, size):
"""Draw bootstrap replicates."""
# Initialize array of replicates: bs_replicates
stat_replicates = np.empty(size)
# Generate replicates
for i in range(size):
stat_replicates[i] = permutation_sample(data,data2,func)
return stat_replicates
test_set=draw_rep_stat(old_pic, new_pic,frac_abs_success,n)
print(len(test_set))
#Calcoliamo il p-value dei dati
#n è il numero di permutazioni che realizziamo
p = np.sum(test_set >= frac_abs_success(old_pic,new_pic)) / len(test_set)
print('p-value =', p)