A/B 測試 - 工作原理



您可以使用統計資料和分析來監控訪客的操作,以確定哪個版本產生更高的轉化率。A/B 測試結果通常以花哨的數學和統計術語給出,但數字背後的含義實際上非常簡單。您可以透過兩種主要方法檢查使用 A/B 測試的轉化率 -

  • 資料抽樣
  • 置信區間

讓我們詳細討論這兩種方法。

資料抽樣

樣本數量取決於執行的測試數量。轉化率的計數稱為樣本,收集這些樣本的過程稱為抽樣。

示例

假設您有兩個產品 A 和 B,您想根據其在市場上的需求收集樣本資料。您可以要求一些人從產品 A 和 B 中選擇,然後請他們參與調查。隨著參與者數量的增加,它將開始顯示真實的轉化率

有各種工具可用於確定正確的樣本量。其中一個可用的免費工具是 -

www.evanmiller.org

Sampling of Data

A/B 測試中的置信區間

置信區間是在多個樣本上對平均值的偏差進行測量。假設在上面的例子中,22% 的人更喜歡產品 A,置信區間為 ±2%。此區間表示選擇產品 A 的人群的上限和下限,也稱為誤差範圍。為了獲得最佳的平均調查結果,誤差範圍應儘可能小

示例

假設在產品 B 中,我們添加了一個微小的更改,然後對這兩個產品進行了 A/B 測試。產品 A 和 B 的置信區間分別為 10% ±1% 和 20% ±2%。因此,這表明微小的更改提高了轉化率。如果我們忽略誤差範圍,測試變體 A 的轉化率為 10%,測試變體 B 的轉化率為 20%,即測試變體增加了 10%。

現在,如果我們將差異除以對照變體率 10% ÷ 10% = 1.0 = 100%,則表明提高了 100%。因此,我們可以說 A/B 測試是一種基於數學方法和分析的技術。有各種線上工具可用於計算 A/B 顯著性。

http://getdatadriven.com

A/B Testing Confidence Intervals
廣告

© . All rights reserved.