Se state costruendo split test per qualsiasi cosa, da ottimizzazione delle conversioni e test per i social media piattaforme (come Test A/B su Facebook) o l'ottimizzazione del tasso di click-through SEO, è importante capire non solo cosa testare (attraverso elementi come un elenco di esempi di test A/B), ma come misurare se la vostra ipotesi è stata confermata.
In parte si tratta di sapere se un campione statistico raccolto per un test A/B è statisticamente significativo. Esistono vari modi (tra cui Calcolatori di significatività statistica di terze parti) per arrivare a questa risposta, ma in questo post spiegheremo come determinarla in modo specifico con Excel.
Che cos'è la significatività statistica?
La significatività statistica è un concetto utilizzato per determinare la probabilità che una relazione osservata tra le variabili di una campagna di marketing sia autentica e non solo un evento casuale.
In termini più semplici, aiuta i marketer a capire se le loro strategie hanno un impatto reale sugli indicatori di performance chiave (KPI), come ad esempio:
- Conversioni
- Tassi di penetrazione dei clic
- O il coinvolgimento dei clienti
Quando analizzano i risultati di una campagna, gli esperti di marketing utilizzano spesso test statistici per confrontare le serie di dati e identificare i modelli.
Si ottiene un valore p, che rappresenta la probabilità di osservare i risultati se non ci fosse una relazione effettiva tra le variabili.
Un valore di p inferiore (in genere inferiore a 0,05) indica una maggiore evidenza di una relazione significativa.
In un contesto di marketing, il raggiungimento della significatività statistica garantisce che le decisioni prese sulla base dei dati della campagna abbiano maggiori probabilità di produrre risultati positivi e che i risultati possano essere attribuiti con sicurezza alle strategie implementate piuttosto che al caso.
Perché la significatività statistica è importante?
La significatività statistica può avere un impatto sulle attività di marketing e di test della vostra azienda in diversi modi, tra cui:
- Convalidare gli sforzi di marketing: Determinando se i risultati osservati sono dovuti all'implementazione della strategia o al caso, gli addetti al marketing possono valutare l'efficacia delle loro campagne.
- Guidare il processo decisionale: Il raggiungimento della significatività statistica aiuta gli addetti al marketing a prendere decisioni basate sui dati con sicurezza, consentendo loro di allocare le risorse in modo più efficiente e di ottimizzare le proprie strategie.
- Riduzione del rischio: La comprensione della significatività statistica riduce la probabilità di agire su falsi positivi, che possono portare a sprechi di tempo e risorse per campagne inefficaci.
- Aumentare la credibilità: La dimostrazione di risultati statisticamente significativi conferisce credibilità alle affermazioni di marketing, favorendo la fiducia di stakeholder e clienti.
- Supporto al miglioramento continuo: Identificando relazioni significative tra le variabili, gli esperti di marketing possono perfezionare le loro campagne e ottenere risultati migliori nel tempo.
Come costruire la propria calcolatrice in Excel
Qui di seguito vi forniremo il link ad alcune calcolatrici Excel precostituite, ma se volete costruirne una vostra, ecco alcune istruzioni passo-passo che potete seguire per costruire la vostra calcolatrice:
Fase 1: Impostazione del foglio di calcolo
Creare una nuova cartella di lavoro Excel ed etichettare due fogli come "Calcolatrice" e "Dati".
Nel foglio "Calcolatrice", creare intestazioni per "Variante A" e "Variante B", oltre a etichette per "Visitatori", "Conversioni" e "Tasso di conversione".
Fase 2: Inserire i dati
Nel foglio "Dati", registrate il numero di visitatori e di conversioni per ciascuna variante (A e B) del vostro test.
Creare una formula nel foglio "Calcolatrice" per calcolare il tasso di conversione di entrambe le varianti dividendo il numero di conversioni per il numero di visitatori.
Fase 3: Calcolo dell'errore standard
Nel foglio "Calcolatrice", creare una formula per calcolare l'errore standard per ogni variante utilizzando la formula: =SQRT((Tasso di conversione*(1-Tasso di conversione))/Visitatori).
Fase 4: Calcolo della statistica test (Z-score)
Determinare il punteggio Z sottraendo il tasso di conversione della variante A da quello della variante B e dividendo il risultato per la radice quadrata della somma degli errori standard al quadrato.
Fase 5: Calcolo del valore p
Utilizzare la funzione =NORMSDIST() di Excel per trovare il valore p associato al punteggio Z calcolato al punto 4. Se il valore p è inferiore a 0,05, la differenza tra le due varianti è considerata statisticamente significativa.
FAQ #1: Cos'è il valore P e perché è importante per la significatività statistica?
Il valore p è come il punteggio di un test che ci dice se sta accadendo qualcosa di speciale o se è semplicemente casuale. Se il valore p è piccolo (di solito inferiore a 0,05), significa che la particolarità che stiamo osservando probabilmente non è solo una coincidenza, quindi possiamo fidarci di più dei risultati.
FAQ #2: Cos'è il punteggio Z e perché è importante per la significatività statistica?
Il punteggio Z è come un bastone di misurazione che ci dice quanto qualcosa è lontano da ciò che è normale o atteso. Ci aiuta a capire se la differenza che notiamo tra due cose è davvero speciale o è solo frutto del caso. Questo ci aiuta a prendere decisioni migliori sulla base di ciò che impariamo.
Calcolatore gratuito di significatività statistica A/B in Excel e Google Sheets
VWO offre un calcolatore già pronto, accessibile qui:
https://docs.google.com/spreadsheets/d/1QaTLG9UNF7L25BXqCWBvXx3auTniDb9IvF6KmUOB2B8/edit#gid=0
A differenza dei passaggi fai-da-te descritti in precedenza, il risultato finale di questo calcolatore vi permetterà di inserire semplicemente il numero di visitatori e di conversioni sia per il gruppo di controllo che per quello di variazione.
Il calcolatore calcola quindi automaticamente la significatività, il valore p, il valore z e altre metriche rilevanti per i vostri test A/B, sia che si tratti di annunci, siti web o altri split test.
Questi calcolatori di significatività statistica A/B per Excel funzioneranno in Google Sheets?
Sia le istruzioni per la calcolatrice fai-da-te che questa calcolatrice VWO funzionano anche in Google Sheets. La calcolatrice VWO è disponibile in versione Google Sheets al link sopra indicato. Per la versione di Google Sheets, è necessario creare una copia del foglio nel proprio account Google prima di poterlo modificare.
Gli strumenti giusti per il lavoro giusto
Un elemento importante dei test A/B è assicurarsi di avere le capacità giuste (software di test, risorse di progettazione e sviluppo, ecc.) per i test che si vogliono creare.
Se l'obiettivo dei test A/B è l'aumento delle condivisioni sui social o del coinvolgimento nel sito, il nostro strumenti per siti web gratuiti potrebbe essere l'idea perfetta per i test A/B di tuo sito.
