Si vous réalisez des tests fractionnés pour n'importe quel type de produit, qu'il s'agisse de l'optimisation de la conversion aux tests de réseaux sociaux (comme les Tests A/B sur Facebook) ou l'optimisation du taux de clics pour le référencement, il est important de comprendre non seulement ce qu'il faut tester (par le biais d'éléments tels que le une liste d'exemples de tests A/B), mais comment mesurer si votre hypothèse a été confirmée.
Il s'agit notamment de savoir si un échantillon statistique que vous avez réuni pour un test A/B est statistiquement significatif. Il existe plusieurs moyens (y compris calculateurs de signification statistique de tiers) pour obtenir cette réponse, mais dans ce billet, nous verrons comment le déterminer spécifiquement avec Excel.
Qu'est-ce que la signification statistique ?
La signification statistique est un concept utilisé pour déterminer la probabilité qu'une relation observée entre les variables d'une campagne de marketing soit réelle et ne soit pas le fruit du hasard.
En termes plus simples, elle aide les spécialistes du marketing à comprendre si leurs stratégies ont un impact réel sur les indicateurs clés de performance (ICP), tels que
- Conversions
- Taux de clics
- Ou l'engagement des clients
Lors de l'analyse des résultats d'une campagne, les spécialistes du marketing utilisent souvent des tests statistiques pour comparer des ensembles de données et identifier des modèles.
Une valeur p est obtenue, qui représente la probabilité d'observer les résultats s'il n'y avait pas de relation réelle entre les variables.
Une valeur p plus faible (généralement inférieure à 0,05) indique une preuve plus forte d'une relation significative.
Dans un contexte marketing, l'obtention d'une signification statistique garantit que les décisions prises sur la base des données de la campagne sont plus susceptibles de produire des résultats positifs et que les résultats peuvent être attribués en toute confiance aux stratégies mises en œuvre plutôt qu'au hasard.
Pourquoi la signification statistique est-elle importante ?
La signification statistique peut avoir un impact sur les efforts de marketing et de test de votre entreprise de plusieurs façons, notamment :
- Valider les efforts de marketing : En déterminant si les résultats observés sont dus à la mise en œuvre de la stratégie ou au hasard, les spécialistes du marketing peuvent évaluer l'efficacité de leurs campagnes.
- Guider la prise de décision : L'obtention d'une signification statistique aide les spécialistes du marketing à prendre des décisions fondées sur des données en toute confiance, ce qui leur permet d'allouer des ressources plus efficacement et d'optimiser leurs stratégies.
- Minimiser les risques : La compréhension de la signification statistique réduit la probabilité d'agir sur des faux positifs, ce qui peut entraîner une perte de temps et de ressources pour des campagnes inefficaces.
- Renforcer la crédibilité : La démonstration de résultats statistiquement significatifs confère de la crédibilité aux affirmations marketing et favorise la confiance entre les parties prenantes et les clients.
- Soutenir l'amélioration continue : En identifiant les relations significatives entre les variables, les spécialistes du marketing peuvent affiner leurs campagnes et obtenir de meilleurs résultats au fil du temps.
Comment créer sa propre calculatrice dans Excel
Vous trouverez ci-dessous des liens vers des calculatrices Excel prédéfinies, mais si vous souhaitez créer votre propre calculatrice, voici quelques instructions étape par étape à suivre pour créer votre propre calculatrice :
Étape 1 : Mise en place de la feuille de calcul
Créez un nouveau classeur Excel et intitulez deux feuilles "Calculatrice" et "Données".
Dans la feuille "Calculatrice", créez des en-têtes pour "Variante A" et "Variante B", ainsi que des étiquettes pour "Visiteurs", "Conversions" et "Taux de conversion".
Étape 2 : Saisissez vos données
Dans la feuille "Données", enregistrez le nombre de visiteurs et de conversions pour chaque variante (A et B) de votre test.
Créez une formule dans la feuille "Calculatrice" pour calculer le taux de conversion des deux variantes en divisant le nombre de conversions par le nombre de visiteurs.
Étape 3 : Calculer l'erreur standard
Dans la feuille "Calculatrice", créez une formule pour calculer l'erreur standard pour chaque variante en utilisant la formule : =SQRT((Taux de conversion*(1-Taux de conversion))/Visiteurs).
Étape 4 : Calculer la statistique de test (Z-score)
Déterminez le score Z en soustrayant le taux de conversion de la variante A de celui de la variante B, puis en divisant le résultat par la racine carrée de la somme des erreurs standard au carré.
Étape 5 : Calculer la valeur p
Utilisez la fonction =NORMSDIST() dans Excel pour trouver la valeur p associée au score Z calculé à l'étape 4. Si la valeur p est inférieure à 0,05, la différence entre les deux variantes est considérée comme statistiquement significative.
FAQ #1 : Qu'est-ce que la valeur P et pourquoi est-elle importante pour la signification statistique ?
Une valeur p est comme une note de test qui nous indique s'il se passe quelque chose de spécial ou si c'est juste une coïncidence. Si la valeur p est faible (généralement inférieure à 0,05), cela signifie que la particularité observée n'est probablement pas une simple coïncidence, ce qui nous permet de faire davantage confiance aux résultats.
FAQ #2 : Qu'est-ce que le score Z et pourquoi est-il important pour la signification statistique ?
Un score Z est une sorte de bâton de mesure qui nous indique à quel point une chose est éloignée de ce qui est normal ou attendu. Il nous aide à déterminer si la différence que nous observons entre deux choses est vraiment spéciale ou si elle est le fruit du hasard. Cela nous aide à prendre de meilleures décisions sur la base de ce que nous apprenons.
Calculateur de signification statistique A/B gratuit pour Excel et Google Sheets
VWO propose un calculateur prêt à l'emploi que vous pouvez consulter ici :
https://docs.google.com/spreadsheets/d/1QaTLG9UNF7L25BXqCWBvXx3auTniDb9IvF6KmUOB2B8/edit#gid=0
Contrairement aux étapes de bricolage décrites ci-dessus, le résultat final de cette calculatrice vous permettra de saisir simplement le nombre de visiteurs et de conversions pour les groupes de contrôle et de variation.
La calculatrice calcule ensuite automatiquement la signification, la valeur p, la valeur z et d'autres paramètres pertinents pour vos tests A/B, qu'ils soient liés à des publicités, à des sites web ou à d'autres tests fractionnés.
Ces calculateurs de signification statistique A/B pour Excel fonctionneront-ils dans Google Sheets ?
Les instructions pour la calculatrice DIY et cette calculatrice VWO fonctionneront également dans Google Sheets. La calculatrice VWO est disponible en version Google Sheets sur le lien ci-dessus. Pour la version Google Sheets, vous devez faire une copie de la feuille dans votre propre compte Google avant de pouvoir la modifier.
Les bons outils pour les bons emplois
Un élément important des tests A/B est de s'assurer que l'on dispose des capacités adéquates (logiciel de test, ressources de conception et de développement, etc.
Si vous cherchez à optimiser vos tests A/B pour augmenter les partages sociaux ou l'engagement sur le site, nos outils gratuits pour les sites web peut être l'idée parfaite de test A/B pour votre site.
