A/B 測試 - 面試問題
A/B 測試（也稱為拆分測試）定義了一種**比較應用程式或網頁的兩個版本**的方法，使您能夠確定哪個版本的效果更好。A/B 測試是最簡單的方法之一，您可以修改應用程式或網頁以建立新版本，然後比較這兩個版本以找到轉化率。這還可以讓我們知道，兩者中哪個是**表現更好的**。
樣本數量取決於執行的測試數量。**轉化率的計數**稱為樣本，收集這些樣本的過程稱為取樣。
置信區間稱為**對多個樣本平均值的偏差的測量**。假設 22% 的人更喜歡產品 A，置信區間為 +/- 2%。此區間表示選擇產品 A 的人群的**上限和下限**，也稱為**誤差範圍**。為了獲得此平均調查的最佳結果，誤差範圍應儘可能小。
如果存在**以 >5% 的優勢擊敗原始版本**的可能性，則始終進行 A/B 測試。測試應執行相當長的時間，以便您擁有足夠的資料樣本來**執行統計和分析**。A/B 測試還可以幫助您從網頁上的現有流量中獲得最大收益。
與建立網站流量的成本相比，提高轉化率的成本微不足道。A/B 測試的**投資回報率 (ROI)** 非常大，因為網站上的一些細微更改可能會導致轉化率顯著提高。
與 A/B 測試類似，多變數測試基於相同的機制，但它**比較更多變數**，並提供有關這些變數如何表現的更多資訊。在 A/B 測試中，您將頁面的流量拆分到設計的不同版本之間。多變數測試用於衡量**每個設計的有效性**。
一次測試多個變數的問題在於，**難以準確確定**哪些變數造成了差異。雖然您可以說一個頁面比另一個頁面表現更好，但如果每個頁面上都有三個或四個變數，您無法確定其中一個變數實際上對頁面有害的原因，也無法在其他頁面上覆制**好的元素**。
以下是一些可以應用於網頁的 A/B 測試變體。該列表包括 - 標題、副標題、影像、文字、CTA 文字和按鈕、連結、徽章、媒體提及、社交提及、促銷和優惠、價格結構、送貨選項、付款選項、網站導航和使用者介面。
**背景研究** - A/B 測試的第一步是找出您網站上的**跳出率**。這可以透過 Google Analytics 等任何工具來完成。
**收集資料** - 來自 Google Analytics 的資料可以幫助您找到**訪客行為**。始終建議從網站收集足夠的資料。嘗試查詢可以改進的轉化率低或跳出率高的頁面。
**設定業務目標** - 下一步是設定您的轉化目標。找到**衡量**變體是否比原始版本更成功的指標。
**構建假設** - 一旦為 A/B 測試設定了目標和指標，接下來就是尋找改進原始版本的想法，以及它們如何優於當前版本。一旦您有了**想法列表，請根據預期的影響和實施難度對它們進行優先排序**。
**建立變體/假設** - 市場上有很多 A/B 測試工具具有**視覺化編輯器**，可以有效地進行這些更改。成功執行 A/B 測試的關鍵決策是**選擇正確的工具**。
**執行變體** - 將您網站或應用程式的所有變體呈現給訪客，並監控每個變體的操作。測量每個變體的**訪客互動**，並進行比較以確定該變體的表現如何。
**分析資料** - 實驗完成後，接下來是**分析結果**。A/B 測試工具將顯示實驗資料，並告訴您網頁的不同變體之間存在哪些差異。還會透過數學方法和統計方法顯示變體之間是否存在任何顯著差異。
最常見的型別的資料收集工具包括分析工具、回放工具、調查工具、聊天和電子郵件工具。
回放工具用於更好地瞭解使用者在您網站上的操作。它還允許您檢視**使用者點選的點選圖和熱圖**，以及檢查使用者在網站上瀏覽的範圍。像 Mouse Flow 這樣的回放工具允許您**以與訪客相同的方式檢視訪客的會話**。
影片回放工具可以更深入地瞭解訪客瀏覽您網站上各個頁面的體驗。最常用的工具是**Mouse Flow 和 Crazyegg**。
調查工具用於**收集網站的定性反饋**。這涉及向回頭訪客提出一些調查問題。調查會向他們提出一些常規問題，並允許他們輸入他們的觀點或從預先提供的選項中進行選擇。
您可以透過**在底部新增更多影像**來減少跳出率。您可以新增社交網站的連結以進一步提高轉化率。
可以使用多種型別的變體應用於物件，例如使用專案符號、更改關鍵元素的編號、更改字型和顏色等。市面上有很多 A/B 測試工具具有視覺化編輯器，可以有效地進行這些更改。成功執行 A/B 測試的關鍵決策是**選擇正確的工具**。
最常用的工具包括 Visual Website Optimizer、Google 內容實驗和 Optimizely。
Visual Website Optimizer 或 VWO 使您能夠**測試同一頁面的多個版本**。它還包含“所見即所得”（WYSIWYG）編輯器，使您能夠**進行更改並執行測試**，而無需更改頁面的 HTML 程式碼。您可以更新標題、元素編號並執行測試，而無需對 IT 資源進行更改。
要在 VWO 中為 A/B 測試建立變體，請在所見即所得編輯器中開啟您的網頁，然後您可以對任何網頁應用許多更改。這些包括更改文字、更改 URL、編輯/編輯 HTML、重新排列和移動。
Visual Website Optimizer 還提供多變數測試選項，幷包含其他一些工具來執行行為定位、熱圖、可用性測試等。
這些測試可以應用於其他幾個地方，例如電子郵件、移動應用程式、PPC 和 CTA。
實驗完成後，**接下來是分析結果**。A/B 測試工具將顯示實驗資料，並告訴您網頁的不同變體之間存在哪些差異。它還會使用數學方法和統計方法顯示變體之間是否存在任何顯著差異。
要將 Optimizely 整合到 Universal Google Analytics，首先選擇側邊欄上的“開啟”按鈕。然後您必須擁有一個**可用的自定義維度來填充 Optimizely 實驗資料**。
Universal Google Analytics 跟蹤程式碼必須放置在頁面 <head> 部分的底部。除非 Optimizely 程式碼段位於 Analytics 程式碼段上方，否則 Google Analytics 整合將無法正常工作。
Google Analytics 提供了兩種分析資料的方法，分別是 Universal Analytics 和 Classic Google Analytics。新的 Universal Analytics 功能允許您使用 20 個併發 A/B 測試將資料傳送到 Google Analytics，而 Classic 版本僅允許最多 5 個。
A/B 測試會損害搜尋引擎排名是一個誤解，因為它可能被歸類為重複內容。以下四種方法可以確保在執行 A/B 測試時不會失去潛在的 SEO 價值。
**不要使用隱藏技術** - 隱藏技術是指向 Googlebot 代理顯示網頁的一個版本，向網站訪客顯示另一個版本。
**使用“rel=canonical”** - 當您使用多個 URL 進行 A/B 測試時，您可以將“rel=canonical”新增到網頁以指示 Google 您要索引哪個 URL。Google 建議使用 canonical 元素而不是 noindex 標籤，因為它更符合其意圖。
使用302重定向而不是301重定向 – 谷歌建議使用臨時重定向方法 – 即302而不是永久的301重定向。
不要長時間執行實驗 – 請注意，當您的A/B測試完成後，應儘快移除變體，並對網頁進行更改，開始使用帶來最佳轉化率的版本。