A / Bテストは、これまでに発明された中で最も二極化したマーケティング戦術の1つです。それがうまくいくかどうかについては、誰もが意見を持っているようです。
それで、私はこの問題にどこに立つのですか？
さて、あなたがそれを間違えるならば、それはあなたの時間の巨大な無駄だと思います。ただし、正しく実行すると、A/Bテストがコンバージョンに大きな影響を与える可能性があります。
マーケターの28％だけがコンバージョン率に満足しています。それは悲しい統計です。
良いニュースは、A / Bテストは、効果的に行う方法を知っていれば、これらのコンバージョン率を改善する簡単な方法であるということです。
しかし、問題は、多くのマーケターがA / Bテストを実行する期間や、正確な結果を保証するための設定方法さえもわからないことです。
ありがたいことに、あなたは道を切り開くことはありません。多くの人がすでにA/Bテストの恩恵を受けており、その成功から学ぶことができます。さらに、あなたのために大変な仕事の多くを行うために利用可能なツールがあります。
A / Bテストを実行する期間を示し、毎回正確な結果を得るのに役立ついくつかの簡単なルールを示します。
ニール・パテルとの相談
私の代理店があなたのウェブサイトへの大量のトラフィックをどのように促進できるかをご覧ください
SEO-大量のSEOトラフィックのロックを解除します。実際の結果をご覧ください。
コンテンツマーケティング-私たちのチームは、共有され、リンクを取得し、トラフィックを引き付ける壮大なコンテンツを作成します。
有料メディア-明確なROIを備えた効果的な有料戦略。
電話を予約する
A / Bテストは本当にコンバージョン率を高めますか？
最初から始めましょう。とにかく、A / Bテストとは何ですか？
A / Bテストは、同じ概念の2つのバリエーションを比較して、どちらが優れているかを確認する方法にすぎません。
これは、Optimizelyの簡単なA/Bテストの例です。
abテストの例
A / Bテストでは、サイト、アプリ、またはその他の改善したいコンテンツソースへの特定の変更について適切な質問をすることができます。
さらに重要なことに、それはあなたの聴衆が答えを提供することを可能にします。
それも新しい概念ではありません。実際、A/Bテストは実際にはほぼ100年前から行われています。
それは農業で始まり、農民は自分たちの畑でどれだけの肥料を使うかをテストしようとしました。その後、臨床試験という形で医学に浸透しました。
それで、あなたにとっての利点は何ですか？
1つには、A / Bテストは仮説をサポートするためのデータを提供するため、大げさな推測に基づいて行動することはありません。
あなたの財務部門は、予算の設定と達成に関して、野蛮な推測を非常に好んでいるとは思えません。あなたもそうすべきではありません。
FAQ、いくつかの統計、およびいくつかの社会的証明を追加するだけで、Kiva.orgのコンバージョンが11.5％向上したこの例を見てください。
kivaabテスト
これは、わずかな労力の投資に対する健全な見返りです。
オバマ大統領のキャンペーンでさえ、A/Bテストを使用していました。彼のチームはキャンペーンのWebサイトを分割テストし、さらに280万の電子メールアドレスを収集することができました。
これは、多くの選挙資金に相当します（6000万ドルに相当します）。そして、選挙の日がようやく終わったとき、彼らのキャンペーンは大成功を収めました。
それで、それがうまくいくなら、なぜもっと多くのマーケターがそれをしないのですか？
多くの場合、マーケターはそれを優先しません。
ウェブサイトではA/B分割テストからの回答が平均13.2％増加しているにもかかわらず、マーケターの61％は件名をテストしていません。そうする人のうち、74％が件名のテストに1時間未満しか費やしていません。
マーケターの分割テストの数
彼らは、最初から正しいことを測定していないため、変更が取るに足らない結果をもたらすだけだと誤って想定しています。
実際の調査によると、A / BテストではB2Bサイトのリードが最大40％増加し、eコマースサイトのリードが25％増加します。
ただし、一部の企業がA / Bテストを行わないのには、十分な理由があります。彼らは、テストを行う準備ができていないことを知っています。
現実には、一部の企業は、A/Bテストが役立つ場所にまだいないだけです。では、準備ができているかどうかをどのように判断できますか？
コンバージョン数が1か月あたり1,000未満の場合は、準備ができていません。結果は統計的に有意ではありません。
コンバージョンが1,000を超えるまで待ちます。そうすれば、結果が何かを意味することを確信してA/Bテストを開始できます。
これについては、この記事の後半で詳しく説明します。
しばらくテストを行っていても、努力に対して十分な見返りが得られないと感じている場合は、A/Bテストが失敗する主な理由を確認してください。
あなたは間違った仮説から始めています。
統計的有意性を考慮していません。
実験では、有効にするのに十分なコンバージョンがありません。
テストを十分に長く実行していません。
A / Bテストが時間の無駄にならないように、これら4つの妨害行為を停止する方法は次のとおりです。
あなたの研究をしてください
他のことをする前に、何をテストするかを決める必要があります。
すべての優れた実験は、知識に基づいた仮説から始まります。 A/Bテストも例外ではありません。
残念ながら、多くのサイト所有者は、データや思慮深い仮説ではなく、「直感」でテストを実行しています。
2014年のこの円グラフは、eコマース企業が実装することを選択した方法を示しています
新しい変更。
eコマースマーケターがA/Bテストに取り組む方法
もはやこれに対する言い訳はありません。この投稿の残りの部分でわかるように、ケーススタディはA/Bテストの力を証明しています。
正確なテストを実行し、データに基づいて変更を実装するのはあなた次第です。
まず、会社にとって何がうまくいかないかを確認する必要があります。それはコンバージョンの欠如ですか？新しい電子メールのサインアップが不足していますか？
次に、その不足を達成可能な目標に変換します。具体的で測定可能なものにします。
次に、購入者のペルソナを見てみましょう。しばらく見ていない場合は、それらを取り出してほこりを払う時が来ました。
ハブスポットバイヤーペルソナ
購入者のペルソナをまだ作成していない場合でも、慌てる必要はありません。
HubSpotは、ペルソナライブラリの使用を開始するのに役立つシンプルなテンプレートを提供します。
オーディエンスについて知っている情報を使用して、カスタマーエクスペリエンスに関して、オーディエンスをどのように失望させているかをじっくりと見てください。
作成に一生懸命取り組んだコンテンツで障害発見の任務を遂行するのは簡単ではありませんが、このステップは非常に重要です。
問題のある領域に光を当てるために、聴衆の一部で5秒間のテストを実行してみてください。
どうすれば改善できるかがよくわかったら、仮説を立てましょう。
現実的に変更できるものに焦点を絞り、主要な質問をしたいという誘惑に抵抗します。 Wishpondは、次の3つの手順を使用することをお勧めします。
分割テスト仮説の作成
たぶん、仮説を立てることはあなたの問題ではありません。多分それはあなたの焦点を最も優先度の高い問題に絞り込んでいるので、最初に何をテストすべきかを知っています。
Conversion XLには、エネルギーを最初に集中させる場所を決定するのに役立つ、優れた優先順位付けワークシートがあります。
Conversionxl優先順位付けフレームワーク
仮説ができたので、それをテストします。
統計的有意性が重要
統計的有意性は、測定している変動に伴うリスクのレベルを反映しています。
選択した結果に対する自信のレベルです。
Optimizelyによると、「統計的有意性は、特定の統計が信頼できることを数学的に証明する方法です。実行している実験の結果に基づいて決定を下すときは、関係が実際に存在することを確認する必要があります。」
有意義なデータ関係から有意義な結果を得るには、95％〜99％の統計的有意性に達するまでテストの実行を停止しないでください。これは、結果が有効であると95％〜99％確信していることを意味します。
ConversionXLのこの例を見てください。
テスト期間の統計的有意差
データからわかるように、バリエーション1は、最初は命題を失ったように見えました。しかし、95％の統計的有意性を待つことにより、結果はまったく異なりました。最終的に、バリエーション1は25％以上勝ちました。
もし彼らが早くテストを中断していたら、彼らは結果を歪めていただろうし、テストは無意味だっただろう。
これは、オンラインWebサイト構築会社であるBaseKitの別の例です。
バスキットテスト
彼らのトラフィックのほとんどは支払われているので、彼らは彼らの聴衆が彼らの製品に明確な興味を持っていたと安全に推測することができました。したがって、彼らがテストを価格設定ページに集中させたことは理にかなっています。
彼らは24時間以内に95％の統計的有意性に達し、価格設定ページを再設計するだけで全体的なコンバージョンが25％増加しました。
このようなツールは、統計的有意性を判断するための大変な作業を取り除きます。
ニールパテル重要性ツール
ある時点で、分割テスト（2つの変数のみを比較）以上のものを実行したい場合、このツールを使用すると、それぞれの有意性を分析するために必要な数のバリエーションを追加できます。
訪問者数とバリアントの全体的なコンバージョン数を入力するだけで、ツールは2つのコンバージョン率を比較し、テストが統計的に有意であるかどうかを示します。
重要度が95％以上でない場合は、テストを続けてください。
これを十分に強調することはできません。適切なレベルの統計的有意性があると思われるレベルに達したら、やめないでください。 95％に達する前に停止せず、99％の統計的有意性を目指します。
それ以外は大げさな推測です。
A / Bテストを成功させるための要素は、統計的有意性に到達することだけではありません。サンプルサイズも結果に大きな違いをもたらします。
サイズが重要
サンプルサイズまたは変換プールが小さすぎると、許容誤差が大きくなります。
それは理にかなっていますよね？
このように考えてください。 100個のジェリービーンズの袋を持っていて、袋からさまざまなフレーバーを引き出す可能性を確認するためにテストを実行したいとします。
それで、私がランダムに3つのジェリービーンズをバッグから取り出し、3つすべてが甘草風味であるとしましょう。これらの3つのジェリービーンズだけを使用して、別の甘草ジェリービーンズを引き出す可能性を測定した場合、テストから正確な結果が得られる可能性は低くなります。
バッグ全体に甘草ジェリービーンズが4つか5つしかない可能性がありますが、たまたまp
すぐに3つをチェックします。あるいは、半分は甘草で、残りの半分はサクランボです。
いずれにせよ、これら3つのジェリービーンズだけを使用して、甘草をさらに描く確率を決定する場合、実際よりもはるかに高い確率であると想定します。
または、3つのジェリービーンズだけを引き出し、どれも甘草ではない場合、バッグから甘草ジェリービーンズを決して引き出さないと誤解する可能性があります。
これらは2つの異なる仮定ですが、テストのサンプルサイズが小さすぎて適切な結論を引き出すことができないため、どちらも間違っています。
では、テストに必要なコンバージョンや科目の魔法の数はいくつですか？
明らかに、それはあなたの全体的な訪問数とコンバージョン数に応じて少し異なります。ただし、サンプルの汚染を克服して正しく機能するためのテストでは、実験に少なくとも1,000人の被験者（またはコンバージョン、顧客、訪問者など）を含めることが確実なガイドになります。
一部のマーケティング専門家は、最大5,000人のサンプルサイズを推奨しています。
A / Bテスト（2つのバリアント）を実行している場合は、そのサンプルを自動的に半分に分割し、各半分に1つのバリアントを表示することに注意してください。そのように考えると、500サンプルを下回りたくないでしょう？
A / Bテストで見落としがちなもう1つの考慮事項は、サンプルオーディエンスが実際にコンバージョンユニバースの全員を代表していることを確認することです。注意しないと、サンプルの汚染により不正確な結果が得られる可能性があります。
サンプル汚染の一般的な例は次のとおりです。
訪問者の多くは、デスクトップ、タブレット、ラップトップ、さらにはテレビのコンテンツにアクセスします。
最も人気のあるデバイス
彼らはさまざまなデバイスからあなたのウェブサイトやコンテンツにアクセスしています。
これらの各訪問を（一意の訪問者であるかのように）データに含めると、デバイスの汚染の犠牲になります。基本的に、同じ訪問者を数回カウントしました。
同じデバイスを使用する複数のユーザー、公的にアクセスされるマシンなど、考慮すべき他の要因があります。重要なのは、サンプル汚染の悪に関しては、基地をカバーし、先を見越さなければならないということです。
どうやってそれをしますか？ 1つの方法は、特定のデバイスとブラウザーに対して個別にA/Bテストを実行することです。
確かに、健全なサンプルサイズに到達するまでには時間がかかります。ただし、サンプルサイズがはるかに正確になることを知って、十分に休むことができます。
目指すべきサンプルの大きさがまだわからない場合は、Optimizelyに簡単な計算機があり、理想的なサンプルサイズを決定するのに役立ちます。さらに、統計的有意性も考慮に入れています！
最適化されたサンプルサイズ計算機
それでは、A / Bテストの核心と、すべてのマーケティング担当者がいつか尋ねる数百万ドルの質問に取り掛かりましょう。
テストはどのくらい実行する必要がありますか？
忍耐は美徳
マーケターは、すでに答えを知っていると思っているため、A/Bテストをすぐに終了するという間違いを犯すことがよくあります。
どのバリエーションが「勝つ」かについての結論にジャンプすると、結果が歪曲され、テストは機能しません。
考えてみてください。
答えがわかっているのに、そもそもなぜテストを実行するのでしょうか。正直なテストを実行している場合は、プロセスを実行させる必要があります。
統計的有意性についての議論を覚えていますか？何度も言うことはできません。常に、常に、常に95％以上のルールを守り、その有意水準以上に達する前にテストを行わないでください。
ツールを使用して、統計的有意性がどこにあるかを確認し、それを待ちます。
そのポイントを家にドリルしたので、タイミングについて話しましょう。
データを正直に保つために、理想的には少なくとも2週間テストを実行する必要があります。
なんで？コンバージョンとウェブトラフィックは、いくつかの重要な変数によって大きく異なります。
ConversionXLからのこのデータを見てください。
日ごとのコンバージョン率
木曜日のコンバージョン率は、週末よりもはるかに高くなります。この場合、1週間未満のテストでは、結果が大きく歪むことになります。
原則として、最低7日間テストし、統計的有意性に達していることを確認してから、そうでない場合はさらに7日間テストする必要があります。
データに関して言えば、ほとんどの場合、十分ではないよりも多い方が良いです。開始時にA/B計画にテスト時間を考慮に入れると、急いで計画を短縮したり、早めに短縮したりすることはありません。
2週間以上テストを実行できますか？もちろん！
TruckersReportのこの例を見てください。これは彼らの元のランディングページでした：
トラック運転手はオリジナルを報告します
一見、何も問題がないように見えます。しかし、彼らは彼らが望む反応を見ていませんでした、そして、コンバージョンは約12％で最高になりました。
次に、それを改訂された設計と比較します。
トラック運転手は変動を報告します
この新しいレイアウトにより、コンバージョン率は79.3％に跳ね上がりました。
彼らはどうやってそれをしましたか？
彼らはA/Bテストを「1回限りの」テストとは見なしていませんでした。彼らは、6か月の間に合計6回の反復テストを実行しました。
彼らは、95％を超える統計的有意性があるだけでなく、上限もあることを確認しました
トラックの運転手がそれらを見つけるために使用していたデバイスに関係なく、すべての異なるトラフィックパターンを調整します。
待機が報われた別の例を次に示します。コピーハッカーは、ホームページでA/Bテストを実行しました。
ハッカーの元のA/Bテストバリアントをコピーする
最初の数日後、彼らの結果は決定的ではありませんでした。しかし、6日後、それらは95％の統計的有意性に達しました。やめたでしょうか？
彼らはしませんでした。
まだ丸1週間ではなかったので、彼らは別の日にテストを実行しました。そして、さらに1日待った後、まったく異なる結果が得られ、コンバージョン数が24％近く増えました。その余分な日を待つことによって、それらの有意水準は95％から99.6％に上昇しました。
copyhackerabテストの結果
忍耐は結果を得る。
しかし、時間が長引いていて（そして、ここでは数日ではなく数か月について話している）、バリアントが首を絞めている場合はどうしますか？
すべての手順を実行し、明確な勝者がいない場合は、立ち去って新しいバリアントのセットからやり直す必要がある場合があります。そしてそれは大丈夫です
Convertには、データの整合性を維持するためにテストを実行する期間を決定するのに役立つ、優れたA/Bテスト期間計算機があります。
abテスト期間計算機
既存のコンバージョン率を考慮するだけでなく、構築に多くの時間を費やしたスマートで測定可能な仮説に対して直接テストする機会も提供します。
結論
マーケティングの世界でのA/Bテストについては大きく異なる意見がありますが、この投稿で強調した組織が達成した結果に異議を唱えることはできません。
一部の組織は、A/Bテストを完全に無視しています。企業は通常、時間の無駄のように思われるいくつかの誤ったテストを実行した後、このルートに進むことを決定します。
しかし、それをあなたにさせないでください。組織内に少数の否定論者がいるため、堅実なA/Bテストから得られるコンバージョンリフトとデータをお見逃しなく。
A / Bテストを試したことがない場合は、つま先を水に浸してください。
あなただけではありません。あなたの前に行ったことがある人は、多くの脚本と初期の実験をしました。
また、適切な成分を適切な量で追加するために利用できるすべての計算機を使用すると、A/Bテストでコンバージョンを確実に向上させることができます。
A / Bテストの「ビッグスリー」要素を覚えておいて、テストプロセスの最初から最後までそのままにしておいてください。
正しい仮説を立ててください—野蛮な推測や腸の感情はありません。
95〜99％の統計的有意性に達するまで続けます。
サンプルサイズが十分に大きいことを確認してください（少なくとも1,000回の変換）。
テストの実行をすぐにやめないでください。 1〜2週間を目指します。
A / Bテストの実際の経験に基づいて、最善のアドバイスを4つの言葉で要約する必要がある場合、これは正確であり、忍耐強いことです。
コンバージョンの最大の伸びをもたらしたA/Bテストのヒントはどれですか？
