Se está a construir testes divididos para qualquer coisa de optimização da conversão para testes de redes sociais plataformas (como Testes A/B no Facebook) ou optimização da taxa de cliques em SEO, é importante compreender não só o que testar (através de coisas como uma lista de exemplos de testes A/B), mas como medir se a sua hipótese foi confirmada.
Parte disso é saber se uma amostra estatística recolhida para um teste A/B é estatisticamente significativa. Há uma variedade de formas (incluindo calculadoras de significância estatística de terceiros) para chegarmos a esta resposta, mas neste post vamos caminhar através de como determinar isto especificamente com o Excel.
O que é significância estatística?
O significado estatístico é um conceito utilizado para determinar a probabilidade de que uma relação observada entre variáveis numa campanha de marketing seja genuína e não apenas uma ocorrência aleatória.
Em termos mais simples, ajuda os marqueteiros a compreender se as suas estratégias têm um impacto real nos indicadores-chave de desempenho (KPIs), como por exemplo:
- Conversões
- Taxas de click-through
- Ou envolvimento do cliente
Ao analisar os resultados das campanhas, os marqueteiros utilizam frequentemente testes estatísticos para comparar conjuntos de dados e identificar padrões.
Obtém-se um valor p, que representa a probabilidade de observar os resultados se não houvesse uma relação real entre as variáveis.
Um valor de p inferior (normalmente inferior a 0,05) indica uma evidência mais forte de uma relação significativa.
Num contexto de marketing, a obtenção de significado estatístico assegura que as decisões tomadas com base nos dados da campanha tenham mais probabilidades de produzir resultados positivos e que os resultados possam ser atribuídos com confiança às estratégias implementadas em vez de ao acaso.
Porque é que a significância estatística é importante?
O significado estatístico pode ter impacto nos esforços de marketing e testes da sua empresa de várias maneiras, incluindo
- Validar os esforços de marketing: Ao determinar se os resultados observados se devem à implementação da estratégia ou ao acaso, os marqueteiros podem avaliar a eficácia das suas campanhas.
- Orientação para a tomada de decisões: A obtenção de significância estatística ajuda os marqueteiros a tomar decisões orientadas por dados com confiança, permitindo-lhes alocar recursos de forma mais eficiente e optimizar as suas estratégias.
- Minimizar o risco: A compreensão do significado estatístico reduz a probabilidade de agir sobre falsos positivos, o que pode levar ao desperdício de tempo e recursos em campanhas ineficazes.
- Aumentar a credibilidade: A demonstração de resultados estatisticamente significativos dá credibilidade às reclamações de marketing, fomentando a confiança entre as partes interessadas e clientes.
- Apoio à melhoria contínua: Ao identificar relações significativas entre variáveis, os marqueteiros podem refinar as suas campanhas e conduzir a melhores resultados ao longo do tempo.
Como construir a sua própria calculadora em Excel
Iremos ligar a algumas calculadoras Excel pré-construídas abaixo, mas se pretende construir a sua própria, aqui estão algumas instruções passo-a-passo que pode seguir para construir a sua própria calculadora:
Passo 1: Prepare a sua folha de cálculo
Criar uma nova pasta de trabalho Excel e rotular duas folhas como "Calculadora" e "Dados".
Na folha "Calculadora", criar cabeçalhos para "Variante A" e "Variante B", juntamente com etiquetas para "Visitantes", "Conversões," e "Taxa de Conversão".
Passo 2: Introduza os seus dados
Na folha "Dados", registe o número de visitantes e conversões para cada variante (A e B) do seu teste.
Criar uma fórmula na folha "Calculadora" para calcular a taxa de conversão para ambas as variantes, dividindo o número de conversões pelo número de visitantes.
Passo 3: Calcular o erro padrão
Na folha "Calculadora", criar uma fórmula para calcular o erro padrão para cada variante usando a fórmula: =SQRT((Taxa de Conversão*(1-Conversion Rate))/Visitores).
Passo 4: Calcular a estatística do teste (Z-score)
Determinar a pontuação Z subtraindo a taxa de conversão da Variante A da Variante B, e depois dividindo o resultado pela raiz quadrada da soma dos erros padrão ao quadrado.
Passo 5: Calcular o valor p
Utilize a função =NORMSDIST() no Excel para encontrar o valor p associado à pontuação Z calculada no Passo 4. Se o valor de p for inferior a 0,05, a diferença entre as duas variantes é considerada estatisticamente significativa.
FAQ #1: O que é o Valor-P & Porque é importante para a significância estatística?
Um valor p é como um resultado de teste que nos diz se algo especial está a acontecer ou se é apenas aleatório. Se o valor p for pequeno (geralmente abaixo de 0,05), significa que a coisa especial que estamos a ver provavelmente não é apenas uma coincidência, pelo que podemos confiar mais nos resultados.
FAQ #2: O que é o Z-score & Porque é importante para a significância estatística?
Um Z-score é como uma vareta de medição que nos diz quão longe está algo do que é normal ou esperado. Ajuda-nos a perceber se a diferença que vemos entre duas coisas é realmente especial ou apenas aconteceu por acaso. Isto ajuda-nos a tomar melhores decisões com base no que aprendemos.
Calculadora de Significado Estatístico A/B gratuita para Excel e Google Sheets
A VWO oferece uma calculadora pronta a usar, à qual pode aceder aqui:
https://docs.google.com/spreadsheets/d/1QaTLG9UNF7L25BXqCWBvXx3auTniDb9IvF6KmUOB2B8/edit#gid=0
Ao contrário dos passos de bricolage acima descritos, o resultado final desta calculadora permitir-lhe-á simplesmente introduzir o número de visitantes e conversões tanto para os grupos de controlo como de variação.
A calculadora calcula então automaticamente o significado, valor p, valor z, e outras métricas relevantes para os seus testes A/B, quer estejam relacionados com anúncios, websites, ou quaisquer outros testes divididos.
Estas calculadoras A/B de significância estatística para Excel irão funcionar em folhas do Google?
Tanto as instruções para a calculadora DIY como esta calculadora VWO funcionarão também em Google Sheets. A calculadora VWO está disponível como uma versão Google Sheets no link acima. Para a versão Google Sheets, é necessário fazer uma cópia da folha para a sua própria conta Google antes de a poder editar.
As ferramentas certas para os empregos certos
Um elemento importante dos testes A/B é garantir que tem as capacidades certas (software de teste, recursos de concepção e desenvolvimento, etc.) para os testes que pretende criar.
Se o que procura optimizar nos seus testes A/B é o aumento das quotas sociais ou o envolvimento no site, o nosso ferramentas gratuitas do website pode ser a ideia perfeita de teste A/B para o seu site.
