などのスプリットテストを構築している場合。 コンバージョン最適化からソーシャルメディア向けテストまで プラットフォーム FacebookでのA/Bテスト) やSEOのクリック率の最適化など、何をテストするかだけでなく、どのようなテストが必要かを理解することが重要です（以下のようなことを通して）。 A/Bテストの事例一覧)ではなく、仮説が確認できたかどうかをどのように測定するかです。
その一環として、A/Bテストのために集めた統計サンプルが統計的に有意であるかどうかを知ることがあります。様々な方法（以下を含む）があります。 サードパーティ製統計的有意差計算機)を使ってこの答えを導き出すことができますが、この記事では、Excelを使って具体的に判断する方法を説明します。
統計的有意性とは何か？
統計的有意性とは、マーケティングキャンペーンで変数間に観察された関係が、単なる偶然の産物ではなく、本物である可能性を判断するために用いられる概念である。
もっと簡単に言うと、マーケターが自分たちの戦略が、以下のような重要業績評価指標（KPI）に実際に影響を与えているかどうかを把握することができます：
- コンバージョン
- クリックスルー率
- あるいはカスタマーエンゲージメント
マーケティング担当者は、キャンペーン結果を分析する際、データセットを比較し、パターンを特定するために統計テストをよく使用します。
変数間に実際の関係がなかった場合に、その結果が観察される確率を表すp値が得られます。
p値が低いほど（通常0.05以下）、有意な関係を示す証拠が強いことを示します。
マーケティングにおいては、統計的有意性を達成することで、キャンペーンデータに基づく意思決定がポジティブな結果をもたらす可能性が高くなり、その結果が偶然ではなく、実施した戦略に起因すると確信できるようになります。
なぜ統計的有意性が重要なのか？
統計的有意性は、企業のマーケティングやテストの取り組みに、以下のような様々な形で影響を与えます：
- マーケティング活動を検証する：観察された結果が、戦略の実施によるものか、偶然のものかを判断することで、マーケティング担当者はキャンペーンの有効性を評価することができます。
- 意思決定を導く：統計的有意性を達成することで、マーケターはデータに基づいた意思決定を確信を持って行うことができ、リソースの効率的な配分や戦略の最適化が可能になります。
- リスクを最小化します：統計的有意性を理解することで、誤検出による行動の可能性を減らし、効果のないキャンペーンで時間とリソースを浪費する可能性を低減します。
- 信頼性を高める：統計的に有意な結果を示すことで、マーケティング上の主張が信頼され、ステークホルダーやクライアントからの信頼が高まる。
- 継続的な改善をサポートします：変数間の有意な関係を特定することで、マーケティング担当者はキャンペーンを改良し、時間をかけてより良い結果を導くことができます。
Excelで独自の電卓を作る方法
以下に、あらかじめ作成されたExcel電卓をリンクしておきますが、自分で電卓を作りたい方は、以下のステップバイステップの手順で電卓を作成することができます：
ステップ1：スプレッドシートを設定する
新しいExcelワークブックを作成し、2つのシートに "Calculator "と "Data "というラベルを付けます。
計算機」シートに、「バリエーションA」と「バリエーションB」のヘッダーと、「訪問者」、「コンバージョン」、「コンバージョン率」のラベルを作成します。
ステップ2：データを入力する
データ」シートには、テストのバリアント（A、B）ごとに訪問者数とコンバージョン数を記録します。
電卓」シートに計算式を作成し、コンバージョン数を訪問者数で割って、両方のバリアントのコンバージョン率を算出します。
ステップ3：標準誤差を計算する
計算機」シートで、各バリアントの標準誤差を計算する式を作成します: =SQRT((Conversion Rate*(1-Conversion Rate))/Visitors).
ステップ4：検定統計量（Zスコア）の算出
標準誤差の二乗の和の平方根で割ることにより、Zスコアを決定します。
ステップ5：p値を計算する
Excelの=NORMSDIST()関数を使用して、ステップ4で計算したZスコアに関連するp値を求めます。p値が0.05より小さい場合、2つの変種間の差は統計的に有意であるとみなされます。
FAQ #1: P値とは何ですか、なぜ統計的有意性に重要なのですか？
p値とは、何か特別なことが起きているのか、それとも単なる偶然なのかを教えてくれるテストの点数のようなものです。p値が小さければ（通常は0.05以下）、私たちが見ている特別なことはおそらく単なる偶然ではないことを意味するので、結果をより信頼することができます。
FAQ #2: Zスコアとは何ですか、なぜ統計的有意性に重要なのですか？
Zスコアは、あるものが普通や期待値からどれだけ離れているかを示す物差しのようなものです。2つの物事の間に見られる違いが、本当に特別なものなのか、それとも偶然に起こったものなのかを見極めるのに役立ちます。これにより、学んだことに基づいてより良い意思決定を行うことができます。
無料 Excel & Google Sheets A/B統計有意性計算機
VWOは既成の電卓を提供しており、こちらからアクセスできます：
https://docs.google.com/spreadsheets/d/1QaTLG9UNF7L25BXqCWBvXx3auTniDb9IvF6KmUOB2B8/edit#gid=0
上記のDIYのステップとは異なり、この計算機の最終結果は、コントロールグループとバリエーショングループの両方の訪問者数とコンバージョン数を入力するだけでよい。
広告、ウェブサイト、その他のスプリットテストなど、A/Bテストの有意性、p値、z値、その他の関連指標を自動的に計算することができます。
これらのExcel用A/B統計有意性計算機は、Google Sheetsでも使えますか？
DIY電卓の説明書も、このVWO電卓も、Google Sheetsでも動作します。VWO電卓は、上記のリンクからGoogle Sheets版として入手できます。Google Sheets版では、編集する前に、自分のGoogleアカウントにシートのコピーを作成する必要があります。
適切な仕事のための適切なツール
A/Bテストの重要な要素の1つは、作成したいテストに適した能力（テストソフトウェア、設計・開発リソースなど）を持っているかどうかを確認することです。
A/Bテストで最適化したいのが、ソーシャルシェアやサイトのエンゲージメントを高めることであれば、当社の フリーウェブサイトツール は、あなたのサイトのA/Bテストに最適なアイデアかもしれません。
