Test di ipotesi e test A/B

Test di ipotesi e test A/B' - 'Hypothesis testing and A/B testing

 

In un’era in cui i dati regnano sovrani, le aziende e le organizzazioni sono costantemente alla ricerca di modi per sfruttare il loro potere.

Dai prodotti che ti vengono consigliati su Amazon ai contenuti che vedi sui social media, c’è un metodo meticoloso dietro la follia.

Al cuore di queste decisioni?

• Richiedi i tuoi documenti con Langchain e Deep Lake!
• Crea meme con il plugin ChatGPT Meme Creator (per far crescere la tua attività)
• Intelligenza Artificiale e l’Estetica della Generazione di Immagini

Il test A/B e il test delle ipotesi.

Ma cosa sono e perché sono così fondamentali nel nostro mondo incentrato sui dati?

Scopriamolo insieme!

 

La Magia Dietro il Tuo Schermo

 

Un obiettivo importante dell’analisi statistica è trovare modelli nei dati e applicare poi questi modelli nel mondo reale.

E qui è dove il Machine Learning gioca un ruolo chiave!

ML è di solito descritto come il processo di trovare modelli nei dati e applicarli a set di dati. Con questa nuova capacità, molti processi e decisioni nel mondo sono diventati estremamente orientati ai dati.

Ogni volta che sfogli Amazon e ricevi raccomandazioni di prodotti, o quando vedi contenuti personalizzati nel tuo feed sui social media, non c’è alcuna magia in gioco.

È il risultato di un’analisi dati intricata e del riconoscimento di modelli.

Molti fattori possono determinare se uno potrebbe essere interessato ad effettuare un acquisto. Questi possono includere ricerche precedenti, demografia dell’utente e persino l’ora del giorno o il colore del pulsante.

E questo è precisamente ciò che può essere trovato analizzando i modelli all’interno dei dati.

Aziende come Amazon o Netflix hanno costruito sistemi di raccomandazione sofisticati che analizzano modelli nel comportamento degli utenti, come prodotti visualizzati, articoli apprezzati e acquisti.

Ma con i dati che spesso sono rumorosi e pieni di fluttuazioni casuali, come fanno queste aziende a garantire che i modelli che stanno osservando siano genuini?

La risposta sta nel test delle ipotesi.

 

Test delle Ipotesi: Convalida dei Modelli nei Dati

 

Il test delle ipotesi è un metodo statistico utilizzato per determinare la probabilità che una determinata ipotesi sia vera.

Per metterla semplicemente, è un modo per convalidare se i modelli osservati nei dati sono reali o solo il risultato del caso.

Il processo coinvolge tipicamente:

 

#1. Sviluppo delle Ipotesi

 

Questo comporta l’affermazione di una ipotesi nulla, che si assume sia vera ed è comunemente il fatto che le osservazioni sono il risultato del caso, e di un’ipotesi alternativa, che è ciò che il ricercatore cerca di dimostrare.

 

 

#2. Scelta di una Statistica di Test

 

Questa è il metodo e il valore che verranno utilizzati per determinare il valore di verità dell’ipotesi nulla.

 

#3. Calcolo del valore p

 

È la probabilità che si otterrebbe una statistica di test almeno altrettanto significativa come quella osservata, assumendo che l’ipotesi nulla fosse vera. Per metterla semplicemente, è la probabilità a destra della rispettiva statistica di test. 

Il principale vantaggio del valore p è che può essere testato a qualsiasi livello di significatività desiderato, alpha, confrontando direttamente questa probabilità con alpha, e questo è il passaggio finale del test delle ipotesi.

Alpha si riferisce a quanto si ha fiducia nei risultati. Ciò significa che un alpha del 5% significa che c’è un livello di confidenza del 95%. L’ipotesi nulla viene mantenuta solo quando il valore p è inferiore o uguale ad alpha.

In generale, si preferiscono valori p più bassi.

 

 

#4. Trarre Conclusioni

 

In base al valore p e a un livello di significatività scelto con alpha, si prende una decisione di accettare o respingere l’ipotesi nulla.

Ad esempio, se un’azienda vuole determinare se cambiare il colore di un pulsante di acquisto influisce sulle vendite, i test di ipotesi possono fornire un approccio strutturato per prendere una decisione informata.

 

Test A/B: Applicazione nel mondo reale

 

Il test A/B è un’applicazione pratica dei test di ipotesi. È un metodo utilizzato per confrontare due versioni di un prodotto o di una funzione al fine di determinare quale performa meglio.

Ciò comporta la visualizzazione contemporanea di due varianti a segmenti di utenti diversi e l’utilizzo di metriche di successo e di tracciamento per determinare quale variante ha maggior successo.

Ogni elemento di contenuto che un utente vede deve essere ottimizzato per raggiungere il suo massimo potenziale. Il processo di test A/B su tali piattaforme richiama i test di ipotesi.

Immaginiamo quindi di essere un social media e di voler capire se i nostri utenti sono più propensi a interagire utilizzando pulsanti verdi o blu.

    Questo coinvolge:

1. Ricerca iniziale: Comprendere la situazione attuale e determinare quale caratteristica deve essere testata. Nel nostro caso, il colore del pulsante.
2. Formulazione delle ipotesi: Senza di esse, la campagna di test sarebbe senza direzione. Utilizzando il colore blu, gli utenti sono più propensi a interagire.
3. Assegnazione casuale: Le varianti della caratteristica testata vengono assegnate casualmente agli utenti. Dividiamo i nostri utenti in due gruppi casuali differenti.
4. Raccolta e analisi dei risultati: Dopo il test, vengono raccolti, analizzati e implementati i risultati della variante di successo.

 

ESEMPIO REALE DI TEST A/B IN AMBITO AZIENDALE

 

Mantenendo l’idea di essere un’azienda di social media, possiamo provare a descrivere un caso reale. 

Obiettivo: Aumentare l’interazione degli utenti sulla piattaforma.

Metrica da misurare: Tempo medio trascorso sulla piattaforma. Potrebbero essere altre metriche rilevanti come il numero di post condivisi o il numero di “Mi piace”. 

 

#Passo 1: Identificare un cambiamento

 

L’azienda di social media ipotizza che se ridisegnassero il pulsante di condivisione per renderlo più visibile e facile da trovare, più utenti condivideranno i post, portando a un aumento dell’interazione.

 

#Passo 2: Creare due versioni

 

• Versione A (Nulla): Il design attuale della piattaforma con il pulsante di condivisione com’è.
• Versione B (Alternativa): La stessa piattaforma, ma con un pulsante di condivisione ridisegnato più visibile.

 

#Passo 3: Dividere il pubblico

 

L’azienda divide casualmente la sua base utenti in due gruppi:

• 50% degli utenti vedranno la Versione A.
• 50% degli utenti vedranno la Versione B.

 

#Passo 4: Eseguire il test

 

L’azienda esegue il test per un periodo prestabilito, ad esempio 30 giorni. Durante questo periodo, raccolgono dati sulle metriche di interazione degli utenti per entrambi i gruppi.

 

#Passo 5: Analizzare i risultati

 

Dopo il periodo di test, l’azienda analizza i dati:

• Il tempo medio trascorso sulla piattaforma è aumentato per il gruppo della Versione B?

 

#Passo 6: Prendere una decisione

 

Ci sono due opzioni principali una volta che tutti i dati sono stati raccolti:

• Se la Versione B ha ottenuto risultati migliori rispetto alla Versione A in termini di interazione, l’azienda decide di implementare il nuovo design del pulsante di condivisione per tutti gli utenti.
• Se non vi è una differenza significativa o se la Versione A ha ottenuto risultati migliori, l’azienda decide di mantenere il design originale e ripensare al loro approccio.

 

#Passo 7: Iterare

 

Ricorda sempre che iterare è fondamentale! 

L’azienda non si ferma qui. Ora possono testare altri elementi per ottimizzare continuamente l’interazione.

 

È fondamentale assicurarsi che i gruppi siano selezionati in modo casuale e che l’unica differenza che sperimentano sia il cambiamento in prova. Questo assicura che qualsiasi differenza osservata nell’interazione possa essere attribuita al cambiamento e non ad altri fattori esterni.

 

Statistica inferenziale: oltre le semplici differenze

 

Anche se potrebbe sembrare semplice confrontare le prestazioni di due gruppi, le statistiche inferenziali, come i test di ipotesi, offrono un approccio più strutturato.

Ad esempio, quando si testa se un nuovo metodo di formazione migliora le prestazioni dei conducenti di consegna, confrontare semplicemente le prestazioni prima e dopo la formazione può essere fuorviante a causa di fattori esterni come le condizioni meteorologiche.

Utilizzando il test A/B, è possibile isolare questi fattori esterni, garantendo che le differenze osservate siano effettivamente dovute al trattamento.

 

Navigare il panorama basato sui dati

 

Nel mondo di oggi, in cui le decisioni sono sempre più basate sui dati, strumenti come il test A/B e il test di ipotesi sono indispensabili. Offrono un approccio scientifico alla presa di decisioni, garantendo che le aziende e le organizzazioni non si basino solo sull’intuizione ma su prove empiriche.

Man mano che continuiamo a generare più dati e con l’evoluzione della tecnologia, l’importanza di questi strumenti si amplificherà solo. 

Ricorda sempre, nell’immensa quantità di dati, non si tratta solo di raccogliere informazioni, ma anche di imparare come gestirle e trarne vantaggio. 

E con il test di ipotesi e il test A/B, abbiamo la bussola per navigare efficacemente in queste acque. 

Benvenuti nel fascinante mondo delle decisioni basate sui dati!     Josep Ferrer è un ingegnere di analisi di Barcellona. Si è laureato in ingegneria fisica e attualmente lavora nel campo della scienza dei dati applicata alla mobilità umana. È un creatore di contenuti a tempo parziale focalizzato sulla scienza dei dati e sulla tecnologia. Puoi contattarlo su LinkedIn, Twitter o VoAGI.